摘要
在线知识蒸馏通过同时训练两个或多个模型的集合,并使之相互学习彼此的提取特征,从而实现模型性能的共同提高.已有方法侧重于模型间特征的直接对齐,从而忽略了决策边界特征的独特性和鲁棒性.利用一致性正则化来指导模型学习决策边界的判别性特征.具体地说,网络中每个模型由特征提取器和一对任务特定的分类器组成,通过正则化同一模型不同分类器间以及不同模型对应分类器间的分布距离来度量模型内和模型间的一致性,这两类一致性共同用于更新特征提取器和决策边界的特征.此外,模型内一致性将作为自适应权重,与每个模型的平均输出加权生成集成预测值,进而指导所有分类器与之相互学习.在多个公共数据集上,该算法均取得了较好的表现性能.
国家科技期刊平台
NSTL
维普
万方数据