首页|卷积神经网络压缩中的知识蒸馏技术综述

卷积神经网络压缩中的知识蒸馏技术综述

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
  • 维普
近年来,卷积神经网络(CNN)凭借强大的特征提取和表达能力,在图像分析领域的诸多应用中取得了令人瞩目的成就.但是,CNN性能的不断提升几乎完全得益于网络模型的越来越深和越来越大,在这个情况下,部署完整的CNN往往需要巨大的内存开销和高性能的计算单元(如GPU)支撑,而在计算资源受限的嵌入式设备以及高实时要求的移动终端上,CNN的广泛应用存在局限性.因此,CNN迫切需要网络轻量化.目前解决以上难题的网络压缩和加速途径主要有知识蒸馏、网络剪枝、参数量化、低秩分解、轻量化网络设计等.首先介绍了卷积神经网络的基本结构和发展历程,简述和对比了五种典型的网络压缩基本方法;然后重点针对知识蒸馏方法进行了详细的梳理与总结,并在CIFAR数据集上对不同方法进行了实验对比;其后介绍了知识蒸馏方法目前的评价体系,给出多类型方法的对比分析和评价;最后对该技术未来的拓展研究给出了初步的思考.
Review of Knowledge Distillation in Convolutional Neural Network Compression

孟宪法、刘方、李广、黄萌萌

展开 >

国防科技大学 自动目标识别重点实验室,长沙 410000

卷积神经网络(CNN) 知识蒸馏 神经网络压缩 轻量化网络

2021

10.3778/j.issn.1673-9418.2104022

计算机科学与探索
华北计算技术研究所

计算机科学与探索

CSTPCDCSCD北大核心
影响因子：0.652
ISSN：1673-9418
年,卷(期)：2021.15(10)
  • 10
  • 10