首页|基于深度学习的情感对话生成模型研究

基于深度学习的情感对话生成模型研究

毛彦颖

基于深度学习的情感对话生成模型研究

毛彦颖1
扫码查看

作者信息

  • 1. 国防科技大学
  • 折叠

摘要

情感对话系统是人机对话中一个重要的研究分支,其目标是在对话系统中融入情感信息来生成带有合适情感的响应。情感对话改变了传统的人机对话模式,使得人机对话不再是冰冷无趣的,让对话更有意义。情感对话系统的应用非常广泛,可以出现在心理咨询、幼儿教学和娱乐休闲等领域,改善用户的体验。随着大数据时代的到来和深度学习技术的快速发展,基于大型数据集和深度学习技术的生成式对话系统成为现在的研究主流,模型通过大量数据的训练来学习人类的对话模式,从而能自动生成响应。 论文以情感对话生成模型为研究对象,以生成语义连贯且情感合适的响应为研究目标,从多轮对话的历史内容、情感信息的捕获、对话主题的提取切入,运用层次神经网络结构和自注意力机制,研究了情感响应的生成方法。具体来说,本文的主要研究内容和创新点如下: (1)提出了基于自注意力机制的情感对话生成模型 现有的情感对话生成模型大多以单轮对话为研究对象,而现实中是以多轮对话为主,随着对话轮数的增加,用户的情感也会动态发生变化。而且在中文的一些特殊语境中,例如反问与反讽,用户的真实情感通常隐藏在语义中,不能仅靠情感词汇进行判断。文中提出了基于自注意力机制的情感对话生成模型。该模型考虑了多轮对话中的上下文内容和潜在的情感信息,为对话生成更高质量的情感响应。为了能够更好地处理长期对话内容,模型采用了分层循环神经网络结构来逐层处理上下文内容;并且为了避免信息之间的互相干扰,模型使用两个并行的自注意力增强编码器为每一轮对话生成一个单独的语义向量和一个情感向量;模型用语义表示来更新潜在的情感表示,最后将它们融合后来完成最后的响应生成。本研究在公开数据集上进行实验,实验结果表明该模型能够在多轮对话中生成情感合适的响应,提升用户体验。 (2)提出了融入主题信息的情感对话生成模型 当前的情感对话生成模型更注重于将情感融入响应生成过程中,对响应的语义内容关注不够。为了能够增强生成响应的语义内容质量,文中提出了融入主题信息的情感对话生成模型,它能够增强响应内容与上下文的相关性。该模型首先训练主题模块获得输入的主题概率分布,并编码成上下文层级的向量表征;然后在独立编码模块用循环神经网络分别捕获对话中的语义信号和情感信号;并且在融合模块使用主题信息来增强语义向量的表征能力;最后在生成模块将上下文中学习到的信息表示输入到生成器中生成语义连贯且情感恰当的响应。本研究在公开的数据集上的实验结果表明,该模型相比于基线模型能够生成更贴合当前对话内容的情感响应。最后还通过实验分析了不同上下文长度和不同模块对模型性能的影响,证明了该模型的鲁棒性和各个模块的有效性。

关键词

情感对话生成/自注意力机制/主题信息/深度学习

引用本文复制引用

授予学位

硕士

学科专业

管理科学与工程

导师

陈洪辉

学位年度

2022

学位授予单位

国防科技大学

语种

中文

中图分类号

TP
段落导航相关论文