摘要
近年来，随着人工智能技术的不断发展，越来越多的智能化应用被引入到教育领域，成为教师教学和学生学习的得力助手。任务型人机对话作为一种智能交互技术，能够帮助用户完成特定任务，可以在不同教学环节提供人性化交互方式和个性化智能辅导与教学。它可以作为智能教学助手实现教育资源的有效组织和管理，为学习评测、资源推荐、个性化教学等智能教育服务提供底层技术支撑。因此，实现高质量的任务型人机对话系统具有重要的研究意义和实际应用价值，有助于推动智能教育的发展和创新。 在实际的人机交互中，用户对话往往是十分复杂的，常常涉及到多个任务或需求。实践表明，当用户需求较复杂时，任务型人机对话系统表现仍不理想。任务型人机对话系统要在实际应用中发挥更大的作用，需要在应对复杂的用户提问和多样的任务需求上开展更深入的研究，具备更强的能力。随着深度学习技术的不断突破，为任务型人机对话向更智能方向发展提供了基础。基于此，本文开展了基于深度学习的任务型人机对话关键技术研究，针对任务型人机对话中的口语理解、对话状态追踪和自然语言生成开展深入研究，具体工作如下。 （1）提出了一种基于历史对话和外部知识的口语理解模型。口语理解是任务型人机对话系统的基础模块，主要包括意图识别和槽填充两个任务。目前，基于深度学习的口语理解模型能够从大规模语料中学习到用户对话的浅层语义和语法信息。然而，仅依靠大规模语料驱动，缺少真实对话的语境信息和背景知识，口语理解模型仍难以理解用户对话表达的深层语义。基于此，本文提出了基于历史对话和外部知识的口语理解模型。首先，为了更好地获得外部知识表示，本文构建了基于注意力机制的知识表示模块，根据当前对话中的上下文信息筛选不同的外部知识并获得知识表示。其次，为了更好地获得历史对话表示，本文设计了带有上文注意力机制的历史对话编码器，通过注意力机制为每一轮历史对话分配不同的权重并获得历史对话表示。最后，将历史对话表示和知识表示融入到意图识别和槽填充联合模型中。实验结果证明，本文提出的模型有效地提高了意图识别与槽填充的准确率。 （2）提出了一种基于堆叠传播框架的多领域对话状态追踪模型。在实际的人机交互中，对话系统往往无法从单轮对话中获得完成用户任务需要的全部关键信息，需要对话追踪模块记录和管理多轮对话状态。目前，大多工作主要聚焦在端到端对话状态追踪模型上，这些模型省略了口语理解模块，直接根据用户对话得到对话状态。然而，口语理解中槽填充任务识别出的槽信息与对话状态中需要更新的槽值对紧密相关。有效利用槽填充获得的关键槽信息有助于提高对话状态追踪的性能。基于此，本文提出了基于堆叠传播框架的多领域对话状态追踪模型。首先，为了联合建模槽填充和对话状态追踪两个任务，本文引入了堆叠传播框架，直接将槽填充得到的槽位信息输入到对话状态追踪模型中。其次，本文设计了基于槽位掩码的注意力机制，选择槽填充检测到的关键槽信息来约束模型更好地关注到对话状态中需要更新的槽值对。最后，在更新槽值时，本文引入软拷贝机制，加强对话中被槽标签标注的词语对生成槽值的影响。实验结果证明，本文提出的模型有效地提高了对话状态追踪的准确率。 （3）提出了一种基于对偶监督学习的小样本自然语言生成模型。自然语言生成是将结构化对话行为转化为用户能够理解的自然语言。目前，在小样本自然语言生成中，充分传达对话行为中的语义信息是一个关键挑战。事实上，自然语言生成和口语理解是对偶任务。如果自然语言生成模块生成的回复可以通过口语理解模块还原为对应的对话行为，即表明生成的回复完全传达了对话行为的语义信息。有效利用对偶任务间的约束可以增强自然语言生成模型的语义控制能力。基于此，本文提出了基于对偶监督学习的小样本自然语言生成模型，主要分为预训练阶段和微调阶段。在预训练阶段，本文引入对偶监督学习框架从概率角度联合建模自然语言生成和口语理解两个任务。并从现有的大规模标注数据中学习自然语言生成和口语理解之间的联合概率相关性，从而增强预训练模型的语义控制能力。在微调阶段，自然语言生成模型仅用少量特定领域的标注数据进行微调以进行领域自适应。在小样本公共数据集上的实验结果表明了本文提出的模型能够更全面地传达对话行为中的语义信息，具有更强的语义控制能力。
NETL