计算机应用研究2021，Vol.38Issue(5) ：1463-1467.DOI:10.19734/j.issn.1001-3695.2020.01.0009

一种基于信息瓶颈的神经网络混合压缩方法

Neural network hybrid compression method based on information bottleneck

卓越 姜黎
计算机应用研究2021，Vol.38Issue(5) ：1463-1467.DOI:10.19734/j.issn.1001-3695.2020.01.0009
✕
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 维普
  • 万方数据

一种基于信息瓶颈的神经网络混合压缩方法

Neural network hybrid compression method based on information bottleneck

卓越 1姜黎1
扫码查看

作者信息

  • 1. 湘潭大学微电子科学与工程系,湖南湘潭411100
  • 折叠

摘要

如何在计算能力和存储能力有限的移动或嵌入式设备中部署神经网络是神经网络发展过程中必须面对的一个问题.为了压缩模型大小和减轻计算压力,提出了一种基于信息瓶颈理论的神经网络混合压缩方案.以信息瓶颈理论为基础,找到相邻神经网络层之间冗余信息,并以此为基础修剪冗余的神经元,然后对剩余的神经元进行三值量化,从而进一步减少模型存储所需内存.实验结果表明,在MNIST和CIFAR-10数据集上与同类算法对比,所提方法具有更高的压缩率和更低的计算量.

关键词

信息瓶颈/剪枝/三值量化/模型压缩

引用本文复制引用

出版年

2021
计算机应用研究
四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心
影响因子：0.93
ISSN：1001-3695
参考文献量1
段落导航相关论文