摘要
随着机器学习和深度学习的发展，知识图谱(Knowledge Graphs,KGs)因其强大的知识表示和推理能力，逐渐成为人工智能领域研究的热点。在实际应用中，提高知识图谱中知识的覆盖率，对知识图谱进行补全一直是一个重要研究方向。知识图谱嵌入(Knowledge Graph Embedding,KGE)技术能够将知识图谱中的知识表示为低维向量，是知识图谱补全(Knowledge GraphCompleion，KGC)的关键技术之一。关系抽取(Relationship Extraction,RE)、类比推理(Analogical Reasoning，AR)、实体对齐(Entity Alignment，EA)作为知识图谱嵌入技术研究中的三个任务，是对知识图谱补全的有效手段。随着多模态数据的不断丰富以及研究人员对多模态技术的深入研究，单一模态的知识图谱嵌入技术已经无法满足当前知识图谱补全的需求，知识图谱也逐渐多模态化。近年来，多模态知识图谱嵌入技术发展迅速，其能够为多模态知识图谱中的实体生成更丰富的多模态表示，在多模态知识图谱补全问题上表现出了卓越的性能。但是，由于多种模态数据间的复杂关系，之前的多模态知识图谱嵌入方法往往无法充分表示实体的多模态特征。同时，先前的研究往往会忽略掉多模态知识图谱本身存在视觉模态模糊和缺失问题。为了解决上述问题,基于多模态知识图谱嵌入技术，本文做了以下三个任务的工作: (1)针对目前多模态知识图谱关系抽取任务中存在的结构知识利用不足等问题，提出一种基于知识增强与提示调优的嵌入模型(REKP)。模型首先采用文本编码器和图像编码器分别抽取图像和文本特征，同时利用知识增强提示调优模块增强文本嵌入;然后在跨模态编码器中利用交叉注意力和相似聚合器对两种模态特征进行交互并增强以得到最终的多模态表示。实验结果表明，该嵌入模型可以有效提高关系抽取精度和效率，为多模态知识图谱补全提供可靠的保障。 (2)针对目前多模态知识图谱类比推理任务中存在的对类比关系信息利用不足等问题，提出了一种基于关系增强与提示调优的嵌入模型(MarTRP)。模型首先利用提示模板和单模态编码器分别获取文本、图像和关系三种模态的嵌入表示;然后，通过图文对比匹配以及跨模态编码器对齐并融合图像和文本信息，得到多模态表示;而后在关系约束模块中为多模态表示注入关系信息。实验结果表明，该嵌入模型在类比推理任务中的性能超越了其他基线模型。 (3)针对多模态知识图谱中普遍存在视觉模态缺失或模糊的问题，提出了一种应用于多模态知识图谱实体对齐任务上的基于模态感知与不完全学习的嵌入模型(MeaTMa)。MeaTMa首先将多模态知识图谱中的图像、图结构、关系和属性信息进行特征表示;然后通过多尺度实体对齐策略以及模态过滤与增强方法对模型进行训练;最后加入单独训练的循环模态缺失想象模块对模型进行训练。在五个真实多模态双语数据集的十五个划分子集上进行了大量实验，实验结果表明，该嵌入模型可以在视觉模态缺失或模糊的情况下有效地进行实体对齐任务。
NETL