摘要
随着互联网的飞速发展和数据的爆炸增长，出于网络服务提供商和用户两方面的需求，推荐系统得到了广泛的应用。一个好地推荐系统不仅可以让用户有效的获取到他所需要的服务，提升用户的满意度，同时也可以让服务提供商吸引用户，为其产生无法忽视的商业价值。对于推荐系统来说，点击率预估问题是至关重要的。随着近些年机器学习的不断发展，现在基于机器学习方法的点击率预估模型被广泛的应用。这些模型也取得了很大的成功，但是其仍然存在着一些问题。模型通常以简单的方式进行特征交互，例如内积操作，而不区分不同特征的不同重要性。同时点击率预估模型通常都是离线的很少利用在线的用户反馈进行学习，以及对于冷启动问题的研究较少。本文针对点击率预估中存在的上述问题进行了研究，本文地主要内容包括以下两个方面： （1）当前许多点击率预估模型只是以简单的方式计算特征交互，而不太关心不同特征交互的不同重要性和计算要求。通常的想法是一些复杂的特征交互可能需要更多的计算来产生最终结果，一些简单或不重要的特征交互可能需要更少的计算。出于这种朴素的想法的启发，本文提出了自适应深度注意力模型，这是一种自动学习原始数据的高阶特征交互的新模型。该模型的核心是学习特征交互的多头自注意力神经网络和控制不同特征交互所需的网络深度的网络深度控制模块。在本文中进行了广泛的实验，结果证明了所提出模型与其它模型相比具有出色的预测性能。 （2）对于目前的模型很少利用用户的实时在线反馈数据的问题，本文对基于强化学习的点击率预估问题进行了研究。强化学习的环境与智能体的交互模式天然适合在线的点击率预估模型，可以高效地利用用户的在线反馈数据跟踪用户的兴趣变化，实时地对模型进行优化。在本文中利用真实数据集构造了强化学习环境，提出了基于深度Q网络的点击率预估模型，同时提出了一种新颖的奖励机制，在非冷启动情况下和用户冷启动的情况下验证了所提出模型具有良好的点击率预估效果。
NETL