针对目前许多神经网络模型存在泛化能力较差现象,提出一种多头注意力方法以缓解神经网络泛化问题.该方法利用多头注意力从并行的长短期记忆网络(LSTM)中选择性激活并进行信息交流.在信息交流过程中既保留了普遍性信息,又加强了鲁棒性,从而提高神经网络的泛化能力.在对比传统并行LSTM实验中,该方法在4种数据集的平均测试误差比传统方法约低1.39％.另外与3种相关研究进行对比,该方法在4种数据集的平均测试误差比次优算法约低0.21％,并且在加噪情况下平均测试误差也比次优算法约低0.73％.理论分析和实验证明该方法能够有效提高神经网络泛化能力.
国家科技期刊平台
NSTL
万方数据
维普
