首页|LPGEMM:低精度通用矩阵乘法计算模拟框架研究

LPGEMM:低精度通用矩阵乘法计算模拟框架研究

扫码查看
原文链接
  • 万方数据
  • 维普
通用矩阵乘(GEMM)算子是AI模型的核心计算,使用低精度数值格式加速GEMM对加速模型的推理和训练有重要影响.由于并不总是有合适的硬件可供选择,而且人们可能希望实验尚未在硬件中实现的新GEMM计算行为,但很难通过构建硬件的方式去进行不同计算行为的GEMM模拟,如何在算子内部进行细粒度模拟还没有被深入研究.通过提出LPGEMM——一个低精度GEMM计算模拟框架来模拟GEMM的计算过程,重新编写了GEMM算子,实现了可变分组累加长度以及低精度累加器,同时还实现了训练和推理全过程的GEMM相关数据统计,来支持用户探索模型精度的下限.实验结果证实了相较于此前的一些工作,所提出的方法模拟最高可减少56％的平均误差.

黄浩岚、罗铁清、文梅、曹亚松、时洋

展开 >

湖南中医药大学 湖南长沙 410208

国防科技大学 湖南长沙 410073

先进微处理器芯片与系统重点实验室 湖南长沙 410073

深度学习 用户探索模型 通用矩阵乘 低精度

2024

10.3969/j.issn.1672-9528.2024.02.023

信息技术与信息化
山东电子学会

信息技术与信息化

影响因子：0.29
ISSN：1672-9528
年,卷(期)：2024.(2)
  • 14