摘要
知识库问答(KnowledgeBasedQuestionAnswering,KBQA)是一种对于给定的自然语言问题，通过对问题进行语义理解和解析，并在知识库中进行查询和推理来得到答案的问答系统方法。相比于搜索引擎，知识库问答更加精确，人机交互更舒适，能大大提升用户体验。动态知识库问答是在不断变化的知识库上进行知识库问答的一项任务。对该任务的研究将有助于提高知识库问答在不断变化的场景中的部署能力。然而，以往的研究更多关注当前知识库中新知识的学习，忽略了旧知识库中历史知识的记忆，或仅获取少量内容作为所有历史知识的替代。这使得模型问答过程中部分历史知识出现缺失的问题，从而降低了它们回答历史问题的能力。为了解决该问题，本文构建了基于增量学习的知识库问答模型，来根据问题动态获取历史知识作为缺失知识的补充，并用知识蒸馏的方法加强模型对这些知识的学习，从而解决历史知识缺失的问题，提升模型推理能力。具体研究包括以下内容: 1)提出了一种历史知识感知问答模型(HistoricalKnowledgeAwareQuestionAnsweringModel,HKAM)。该模型在完成当前问答任务的同时，通过动态获取回答历史问题所需的历史知识，解决了回答历史问题时历史知识缺失的问题。具体来说，HKAM设计了一个反向推理模块，在训练前根据历史问题及其答案进行反向推理来补充回答历史问题时缺失的历史知识，并训练模型记忆该部分历史知识。此外，本文还为HKAM设计了两种优化方法，通过知识蒸馏来继续使用历史知识优化对历史问题的推理过程，缓解历史知识缺失对模型训练的影响。实验结果显示，HKAM在三个标准数据集上达到了89.82％,69.65％,69.82％的平均准确率，比现有的BERT等大型模型在平均精度上提高了约6％。 2)提出了一种助教历史知识感知问答模型(AssistantHistoricalKnowledgeAwareQuestionAnsweringModel,AHKAM),在解决历史知识缺失问题的同时，解决了HKAM中学生模型只能学习单一教师的输出而造成性能损失的问题。AHKAM设计了一个多教师-助教知识选择框架，聚合多个不同的教师模型训练结果来进一步优化知识蒸馏对推理过程的提升。实验结果显示，该模型在同样三个数据集上的平均准确率高于HKAM,达到了91.02％,72.65％,73.82％。 3)设计并实现了一种基于增量学习的知识库问答系统，解决了现有问答系统需要不断重复训练的问题，实现对用户提出问题的连续回答。该系统基于HKAM与AHKAM模型进行设计，能够在学习并回答用户当前问题的前提下保持记忆历史问题，做到对历史问题和当前问题回答的兼顾，从而实现在知识库问答系统上的连续问答。
NETL