现代计算机2022，Vol.28Issue(12) ：1-8.DOI:10.3969/j.issn.1007-1423.2022.12.001

基于多分支退出的自蒸馏方法研究

Research on Self-Distillation Approach Based on Multi-Branch Exit

邹美霞
现代计算机2022，Vol.28Issue(12) ：1-8.DOI:10.3969/j.issn.1007-1423.2022.12.001
✕
  • NETL
  • NSTL
  • 维普
  • 万方数据

基于多分支退出的自蒸馏方法研究

Research on Self-Distillation Approach Based on Multi-Branch Exit

邹美霞1
扫码查看

作者信息

  • 1. 北京交通大学计算机与信息技术学院,北京 100044
  • 折叠

摘要

随着卷积神经网络的快速发展,研究者不断加深或加宽网络的结构以追求更高精度,但这种方式会带来延迟和计算成本的增加.在带有多分支结构的自蒸馏方法中存在浅层网络不能充分学习深层网络性能的问题.因此,提出一种基于多分支的自蒸馏方法(SDA),将网络中所有分支的集成结果作为教师指导最后分支的输出,同时用最后分支输出指导其他分支,使得模型更好更早地退出网络.实验结果表明,该方法在ResNet一系列模型上取得了0.46％～1.51％的精度提升.

关键词

卷积神经网络/多分支结构/自蒸馏方法/模型早退

引用本文复制引用

出版年

2022
现代计算机
中大控股

现代计算机

影响因子：0.292
ISSN：1007-1423
参考文献量21
段落导航相关论文