摘要
近年来，知识图谱在很多领域中都取得了巨大的成功，如智能问答、推荐系统、知识增强等领域。然而，由于不同组织或机构的需求差异，设计和构建的知识图谱呈现出多样性，这也导致了图谱间的异构性和冗余问题。因此，将多个知识图谱融合成一个综合、丰富且高质量的知识图谱显得尤为必要。而在这融合过程中，实体对齐扮演着至关重要的角色，其核心任务便是准确发现不同知识图谱间的等价实体，从而为知识的整合与利用奠定坚实基础。 目前，在实体对齐的任务中，多数模型仅使用知识图谱的结构信息来执行对齐任务，而忽略了其他方面的信息，尤其是多模态信息，这可能会导致实体对齐结果出现错误。虽然有些研究已经尝试利用多模态信息来改进实体对齐的准确性，但是通常没有考虑多个模态之间的相关性。此外，一般的实体对齐任务都是局部实体对齐，这会导致实体多对一或多对多的对齐，造成匹配冲突。因此，本文针对上述的问题，主要做了以下工作： （1）针对不同知识图谱之间的结构异质性和单一模态的局限性问题，本文提出了一种多模态局部实体对齐方法。在结构嵌入过程中，本文引入了远距离邻居信息，利用门控机制将直接邻居和远距离邻居信息进行聚合，并使用邻域匹配模块计算邻域节点之间的相似度。此外，还融合了关系、属性和图像多模态信息，以增强实体对齐的效果，弥补了单一模态的局限性，增加了模态之间的互补性。本模型在DBP15K数据集上进行了实验，将Hits@1和Hits@10作为评价指标，实验结果表明该方法能够提高实体对齐效果。 （2）为了进一步优化局部实体对齐方法和多模态信息的融合，本文提出了双重融合多模态全局实体对齐方法。本文在局部对齐模型上引入了全局对齐算法，将全局对齐问题转化成稳定匹配问题，使用Softmax函数优化相似矩阵，然后采用延迟接受算法执行全局实体对齐，保证实体一对一的对齐。为了更好地融合多模态信息，加入早期融合模块和晚期融合模块，组合使用进行多模态信息融合。本模型在真实数据集DBP15K上的评价指标Hits@1的值有明显的提升，表明了加入双重融合模块和全局对齐模块能有效提高实体对齐效率。
NETL