摘要
通用矩阵乘(GEMM)算子是AI模型的核心计算,使用低精度数值格式加速GEMM对加速模型的推理和训练有重要影响.由于并不总是有合适的硬件可供选择,而且人们可能希望实验尚未在硬件中实现的新GEMM计算行为,但很难通过构建硬件的方式去进行不同计算行为的GEMM模拟,如何在算子内部进行细粒度模拟还没有被深入研究.通过提出LPGEMM——一个低精度GEMM计算模拟框架来模拟GEMM的计算过程,重新编写了GEMM算子,实现了可变分组累加长度以及低精度累加器,同时还实现了训练和推理全过程的GEMM相关数据统计,来支持用户探索模型精度的下限.实验结果证实了相较于此前的一些工作,所提出的方法模拟最高可减少56％的平均误差.
维普
万方数据