摘要
卷积神经网络(convolutional neural network,CNN)模型量化 可有效压缩模型尺寸 并提升CNN计算效率.然而,CNN模型量化算法的加速器设计,通常面临算法各异、代码模块复用性差、数据交换效率低、资源利用不充分等问题.对此,提出一种面向量化CNN的嵌入式FPGA加速框架FAQ-CNN,从计算、通信和存储3方面进行联合优化,FAQ-CNN以软件工具的形式支持快速部署量化CNN模型.首先,设计面向量化算法的组件,将量化算法自身的运算操作和数值映射过程进行分离;综合运用算子融合、双缓冲和流水线等优化技术,提升CNN推理任务内部的并行执行效率.然后,提出分级编码与位宽无关编码规则和并行解码方法,支持低位宽数据的高效批量传输和并行计算.最后,建立资源配置优化模型并转为整数非线性规划问题,在求解时采用启发式剪枝策略缩小设计空间规模.实验结果表明,FAQ-CNN能够高效灵活地实现各类量化CNN加速器.在激活值和权值为16b时,FAQ-CNN的加速器计算性能是Caffeine的1.4倍;在激活值和权值为8 b时,FAQ-CNN可获得高达1.23TOPS的优越性能.
基金项目
国家重点研发计划(2018YFB2100304)
国家自然科学基金(62002175)
计算机体系结构国家重点实验室(中国科学院计算技术研究所)开放课题(CARCHB202016)
天津市优秀科技特派员项目(21YDTPJC00380)
福建省信息处理与智能控制重点实验室(闽江学院)开放基金(MJUKF-IPIC202105)
中国高校产学研创新基金(2020HYA01003)
NETL
NSTL
维普
万方数据