摘要
随着计算机科学和人工智能的高速发展，自然语言处理成为了人工智能领域的重要研究方向。对话系统作为自然语言处理的一个重要分支，目标是实现计算机与人之间进行自然语言交流。对话系统按照实现方式可划分为基于检索式方法和基于生成式方法。在检索式方法中，现有方法很少关注于如何有效利用上下文语境信息特征。在对上下文语境建模时，以往方法通常不做额外处理，直接将完整的上下文语境进行建模，这种做法使得模型无法有效地从冗长的上下文语境中提取信息。在生成式方法中，大部分研究通常采用通用的文本生成的思路，而并没有考虑到在对话过程中，单个对话轮次之间蕴含了大量语义关系。若是使用通用的文本生成方法对上下文语境进行粗粒度的训练，难以捕捉到对话轮次内的两条语句的细粒度的互动信息。针对上述问题，本文对检索式对话系统和生成式对话系统分别展开研究，其主要研究内容总结如下: 1.在检索式对话系统中，以预训练语言模型为基础对上下文语境进行建模，同时提出了回复样例对比策略，帮助模型更加有效地学习对话上下文语境信息及其与回复候选项之间的关系从而提升模型匹配精度，增强模型在多噪声数据环境下的鲁棒性。还提出了适用于特定对话环境下的语境处理策略，以此使模型能够更好地应对不同对话语境下的不同特征。最后在三个对话数据集上的实验结果验证了方法的有效性。 2.在生成式对话系统中，以基于Transformer的编码器-解码器架构为基础，提出分层编码的方式，使用轮次分编码器和语境总编码器两种编码器对上下文语境进行两种训练粒度的编码，以此来学习整个上下文语境的整体信息和具体对话轮次内的互动信息。同时提出一种插入式连贯性检测训练任务，用于提高模型生成回复语句的流畅度。最后在两个对话数据集上的实验结果验证了方法的有效性。 3.基于先前的研究内容，实现了一个基于Web形式的智能对话闲聊系统。该系统能够对用户所输入的对话信息，通过模型给出回复语句。
NETL