高技术通讯2024,Vol.34Issue(2) :173-186.DOI:10.3772/j.issn.1002-0470.2024.02.007

面向稀疏卷积神经网络的CGRA加速器研究

The research of CGRA accelerator for sparse convolutional neural networks

谭龙 严明玉 吴欣欣 李文明 吴海彬 范东睿
高技术通讯2024,Vol.34Issue(2) :173-186.DOI:10.3772/j.issn.1002-0470.2024.02.007

面向稀疏卷积神经网络的CGRA加速器研究

The research of CGRA accelerator for sparse convolutional neural networks

谭龙 1严明玉 2吴欣欣 1李文明 2吴海彬 1范东睿1
扫码查看

作者信息

  • 1. 中国科学院计算技术研究所处理器国家重点实验室 北京 100190;中国科学院大学 北京 100049
  • 2. 中国科学院计算技术研究所处理器国家重点实验室 北京 100190
  • 折叠

摘要

本文针对规模日益增长和演变迅速的稀疏卷积神经网络(CNN)应用,提出一款高能效且灵活的加速结构DyCNN来提升其性能和能效.DyCNN基于兼具灵活性和高能效的粗粒度可重构架构(CGRA)设计,可以利用其指令的高并行性来高效支持CNN的操作.DyCNN使用基于数据感知的指令动态过滤机制来滤除各计算单元中由于稀疏CNN中权值静态稀疏性和激活值动态稀疏性产生的大量无效计算和访存指令,使它们能像执行稠密网络一样高效复用一组指令.此外DyCNN利用基于负载感知的动静结合负载调度策略解决了稀疏导致的负载不均衡问题.实验结果表明,DyCNN运行稀疏CNN与运行密集CNN相比实现了平均1.69倍性能提升和3.04倍能效提升,比先进的GPU(cuS-PARSE)和Cambricon-X上的解决方案分别实现了 2.78倍、1.48倍性能提升和35.62倍、1.17倍能效提升.

Abstract

A novel accelerator named DyCNN is proposed for sparse convolutional neural network(CNN)that has the in-creasing scale and rapid evolution.DyCNN is an energy-efficient and flexible accelerator,which is based on coarse grained reconfigurable architecture(CGRA).DyCNN utilizes a data-aware dynamic filtering mechanism to elimi-natea large number of invalid calculations and memory accesses caused by the static sparsity of filters and dynamic sparsity of activation values in sparse convolutional neural network and increase the on-chip reuse of instructions among processing units.Meanwhile,a dynamic work-stealing strategy combined with a static work distribution scheme is proposed to alleviate the load imbalance caused by the sparsity of filter and activation values.Overall,DyCNN achieves a 1.69 × speedup and 3.04 × energy savings on average when running sparse CNN compared with running dense CNN.DyCNN achieves 2.78 ×,1.48 × speedup and 35.62 × and 1.17 × energy savings com-pared with the state-of-the-art GPU(cuSPARSE)and Cambricon-X solutions respectively.

关键词

稀疏卷积神经网络(CNN)/专用加速结构/粗粒度可重构架构(CGRA)/动态指令过滤/动态负载调度

Key words

sparse convolutional neural network(CNN)/dedicated accelerator/coarse-grained reconfigu-rable architecture(CGRA)/dynamic instruction filtering/dynamic workload balance

引用本文复制引用

基金项目

国家自然科学基金(62202451)

中国科学院青年基础研究(YSBR-029)

中国科学院青年创新促进会项目资助()

出版年

2024
高技术通讯
中国科学技术信息研究所

高技术通讯

CSTPCD北大核心
影响因子:0.19
ISSN:1002-0470
参考文献量29
段落导航相关论文