摘要
知识图谱是一种高效的语义网络结构，目前已被广泛应用于自然语言理解、推荐系统、智能问答、医疗教育等领域，知识图谱中存在大量三元组信息尚未被发掘，导致知识图谱中存在结构残缺与语义混淆等问题，进一步导致上游任务的性能遭受到严重影响。如何挖掘实体间潜在的联系，发现知识图谱中的路径规则，是知识图谱领域亟需解决的问题。 本文针对上述问题，研究基于深度强化学习的知识推理方法，旨在通过强化学习技术来补全知识图谱。本文首先围绕知识图谱推理的相关研究技术进行全面的研究，提出了融合表示学习与规则学习的路径推理模型，并分析强化学习过程中启发式奖励存在的不足，进一步提出了基于逆向强化学习的知识图谱奖励推理模型，最后将路径推理模型推广到不确定性知识图谱上，提出了基于因果推断的不确定性知识图谱推理方法。本文的主要研究工作如下： （1）提出了融合表示学习与规则学习的路径推理模型。针对强化学习模型在知识图谱推理任务中所存在的奖励稀疏、动作空间大等问题，提出了表示学习与规则学习共同优化的奖励函数，并设计了包含关系策略网络与实体策略网络的智能体架构，引入多种优化机制，最后通过实验结果证明了提出模型的有效性。 （2）提出了基于逆向强化学习的知识图谱奖励推理模型。针对路径推理模型中启发式奖励所导致的奖励可靠性低、奖励不准确等问题，从规则奖励与命中奖励两方面出发，设计了基于智能体轨迹更新的自适应规则奖励学习机制与基于智能体策略进行迭代的命中奖励学习机制，并设计了一种奖励随机失活机制，进一步探索多样化的奖励函数，最后通过实验结果证明了提出模型的有效性。 （3）提出了基于因果推断的不确定性知识图谱推理模型，常规路径推理模型不适用于不确定性知识图谱，对此，设计了能够捕捉路径不确定性的推理智能体，并通过因果推断框架来解决多条路径带来的不确定性歧义问题，实验结果证明了所提出模型的有效性。
NETL