摘要
随着互联网数据的急剧增长和自然语言处理技术的迅速进步，基于深度学习的对话系统也有了较大的发展。然而，传统的基于深度学习的方法主要采用序列到序列模型，仅依赖大规模的数据集来模拟人类对话，这种方法往往导致生成的响应缺乏信息量和上下文相关性。基于背景知识的对话系统通过引入丰富的外部知识解决这一问题，成为对话系统领域中的研究热点。但是，基于背景知识的对话系统的研究目前仍然面临一些挑战，例如难以捕获多轮对话的长距离依赖、难以理解复杂文本的语义信息、响应易重复、知识选择不准确、知识融合困难等。针对上述挑战，本论文以基于背景知识的对话系统为研究对象，做了以下三个方面的工作: (1)提出了一种基于RoBERTa与背景知识的对话生成模型。该模型通过RoBERTa提取对话上下文语义信息，再结合Bi-GRU提取时间序列信息，有效地解决了多轮对话中的复杂文本语义理解问题。同时，引入外部文档作为背景知识，并采用逐步增强的解码策略，在每一个解码时间步中加强了对背景知识的感知，从而克服了知识融合的难题。在CMU_DoG数据集上的实验结果表明，模型在PPL指标上领先于其他最优基线模型达到30.95,表明RoBERTa预训练模型的加入有效地提升了整个模型的语义理解能力。 (2)针对难以捕获多轮对话的长距离依赖、响应易重复及知识选择不准确的问题，提出了一种基于层次序列编码与背景知识差异的对话生成模型。该模型使用层次序列编码器对对话上下文进行编码，解决了难以捕获长距离依赖的问题。在知识选择阶段，通过考虑上一轮背景知识与候选知识之间的差异性，提高了知识选择的准确率，同时也避免了重复知识导致重复响应的问题。在Holl-E和WoW数据集上的实验结果表明，模型在知识选择准确率指标上分别领先于其他最优基线模型1.07/1.12和3.09,表明模型能更准确的选择当前轮次的背景知识。此外模型在Blue-2、Rouge-1等自动评估指标上也均优于基线模型，表明模型能更好地捕捉长距离依赖、生成更为准确的响应。 (3)基于上述研究，设计并实现了一个基于电影背景知识的在线对话系统。该系统整合了用户管理、日志管理、人机对话、模型调用及前端交互等功能，不仅满足了用户的对话需求，同时也验证了此前所提出改进措施的有效性。
NETL