基于多分支退出的自蒸馏方法研究

扫码查看

原文链接

NETL
NSTL
万方数据
维普

中文摘要：随着卷积神经网络的快速发展,研究者不断加深或加宽网络的结构以追求更高精度,但这种方式会带来延迟和计算成本的增加.在带有多分支结构的自蒸馏方法中存在浅层网络不能充分学习深层网络性能的问题.因此,提出一种基于多分支的自蒸馏方法(SDA),将网络中所有分支的集成结果作为教师指导最后分支的输出,同时用最后分支输出指导其他分支,使得模型更好更早地退出网络.实验结果表明,该方法在ResNet一系列模型上取得了0.46％～1.51％的精度提升.

外文标题：Research on Self-Distillation Approach Based on Multi-Branch Exit

作者：

邹美霞

展开 >

作者单位：

北京交通大学计算机与信息技术学院,北京 100044

关键词：

卷积神经网络多分支结构自蒸馏方法模型早退

出版年：

2022

DOI：

10.3969/j.issn.1007-1423.2022.12.001