摘要
针对现有的广告点击率预估模型未能精准挖掘用户历史兴趣及历史兴趣对目标广告点击与否的影响,提出了一种基于改进Transformer的广告点击率预估模型.该模型采用Transformer网络捕捉隐藏在用户点击序列背后的潜在历史兴趣;同时针对Transformer建模用户历史兴趣无法有效关联目标广告的问题,提出了一种改进的Transformer网络.改进后的Transformer不但有效建模用户历史兴趣,而且考虑了跟目标广告的关联.新模型采用辅助损失函数来监督改进的Transformer对用户历史兴趣的抽取过程,然后采用注意力机制进一步建模用户的历史兴趣和目标广告的相关性以提升模型的预估性能.实验结果表明新模型有效提升了广告点击率的预估效果.