首页|基于一致性正则化的在线知识蒸馏

基于一致性正则化的在线知识蒸馏

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
在线知识蒸馏通过同时训练两个或多个模型的集合,并使之相互学习彼此的提取特征,从而实现模型性能的共同提高.已有方法侧重于模型间特征的直接对齐,从而忽略了决策边界特征的独特性和鲁棒性.利用一致性正则化来指导模型学习决策边界的判别性特征.具体地说,网络中每个模型由特征提取器和一对任务特定的分类器组成,通过正则化同一模型不同分类器间以及不同模型对应分类器间的分布距离来度量模型内和模型间的一致性,这两类一致性共同用于更新特征提取器和决策边界的特征.此外,模型内一致性将作为自适应权重,与每个模型的平均输出加权生成集成预测值,进而指导所有分类器与之相互学习.在多个公共数据集上,该算法均取得了较好的表现性能.
OKDCR:online knowledge distillation via consistency regularization

张晓冰、龚海刚、刘明

展开 >

电子科技大学计算机科学与工程学院,成都611731

计算机视觉 模型压缩 在线知识蒸馏 一致性正则化

国家自然科学基金资助项目中央高校基金资助项目

61572113XGBDFZ09

2021

10.19734/j.issn.1001-3695.2021.05.0139

计算机应用研究
四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心
影响因子：0.93
ISSN：1001-3695
年,卷(期)：2021.38(11)
  • 1
  • 1