摘要
为了区分不同高阶交叉特征的重要程度并剔除冗余交叉特征,提高点击率的预估精度,提出了 一种深度交叉注意力预估网络(deep cross attention prediction network,DAPN)模型.它将具有稀疏高维特征的输入信息表示为低维稠密向量后,分别送入因子分解机(factorization machine,FM)和深度交叉注意力层(deep cross attention,DCA).FM通过一阶特征和二阶特征交叉挖掘训练数据中从未出现或者很少出现的低阶交叉特征.DCA层利用缩放点积注意力机制(dot-product attention,DP_Att)设计交叉注意力层,用于区分高阶交叉特征的重要度,并设计深度神经网络(deep neural network,DNN)实现对高阶交叉特征建模.仿真表明,D APN在MovieLens-1 m和Avazu等公开数据集上均具有良好的预估性能,它使用并行结构能同时有效地学习低阶和高阶交叉特征,提高预估精度.
基金项目
国家自然科学基金面上项目(52174141)
安徽省自然科学基金面上项目(2108085ME158)
安徽高校协同创新项目(GXXT-2020-54)
安徽省重点研究与开发计划(202004a07020043)
NETL
NSTL
维普
万方数据