摘要
槽填充任务是任务型对话系统中的核心部分，旨在识别某个特定领域下用户话语中存在的槽实体，从而辅助下游对话任务的执行。由于新兴领域的不断出现，需要一个泛化能力较强的模型或算法实现对槽填充任务的领域迁移，弥补新领域数据稀缺的问题。随着深度学习的不断发展，基于神经网络的模型在该任务上取得了很大的进步，学术界通过设计独特的模型结构和策略来提升跨领域槽填充任务的准确率。但是，目前的研究很少细致地分析领域迁移对阶段性子任务所带来的影响，并且没有显式地考虑槽类型和领域之间的差异。本文从增强实体和类型表征学习、槽类型依赖以及领域级特征交互三个角度逐渐深入，采用不同的方法充分挖掘源域与目标域之间的联系，不断提升领域迁移性能。具体来说，本文的研究内容如下： （1）基于分阶段结构语义信息增强的跨领域槽填充方法 近年来，跨领域槽填充任务采用槽实体识别和槽类型匹配的两阶段框架取得了很大进展，但大多数研究只针对其中的某一阶段，或利用外部知识来增强模型的可迁移性，没有考虑领域迁移对两个子任务本身带来的影响，导致性能的提升有所限制。因此，本文提出了一个分阶段增强结构语义信息的方法，通过在槽实体识别阶段构建依存关系结构图来捕获不同领域的任务型对话文本中存在的共有句法特征。同时，引入互信息最大化技术增强槽实体识别任务的跨域能力。在槽类型匹配阶段通过原型对比学习增强槽样本和槽类型之间匹配精度，从而提高模型的分类能力。实验结果表明，本文提出的方法在跨领域槽填充任务中获得了良好的性能，实体识别性能提高将近2.5%。在少样本设置下槽识别性能优于多个基线模型，平均F1值超过同类型方法2%。 （2）基于槽依赖建模的跨领域槽填充方法 已有的跨领域槽填充方法很大程度上忽视了槽类型之间在话语中存在的依赖关系，导致现有的模型迁移到新领域时性能欠佳。为了弥补这个缺陷，本文提出了基于槽依赖建模的跨领域槽填充方法，应用生成式预训练模型的提示学习方法，设计了一种融入槽依赖信息的提示模板，该模板建立了不同槽类型之间的隐式依赖关系，充分挖掘预训练模型的实体识别性能。此外，为了进一步提高槽类型和槽实体与话语文本之间的语义依赖，本文的方法增加了话语填充子任务，利用反向填充的方式增强话语与槽实体的内在联系。通过对多个领域的实验结果表明，本文提出的模型在零样本和少样本的设置上取得了较大的性能提升，超过其他对比方法2%以上。此外，本文对模型的主要结构进行了实验分析，进一步说明模型构建的有效性。 （3）基于领域前缀特征交互的跨领域槽填充方法 跨领域槽填充需要使用源领域知识使模型适应未知的目标领域。现有方法利用槽描述或设计输入模板来提高其泛化能力，缺乏考虑领域级特征对目标域的影响。为了解决这个问题，本文提出了基于生成式预训练语言模型的跨领域特征交互框架。本文构建了特定领域的输入模板，并且利用冻结的预训练语言模型进行前缀微调，在知识转移过程中不需要再次优化主干模型。通过领域控制器融合每个领域的前缀参数以辅助目标域前缀初始化。本文提出的方法为目标域和源域设计了三种类型的相似度计算，包括槽类型、领域前缀和文本风格，以促进领域特征的交互效率。这种方式帮助模型动态调整不同源域和目标域之间的关系，从而更高效地迁移源域知识。实验结果表明了该方法的有效性，在零样本和少样本设置下性能领先最好的基准模型3%。 综上，本文从多个角度研究了任务型对话中槽填充任务的跨领域迁移问题，探索了领域迁移对该任务特性的影响，建立领域之间的关联与交互，以及源领域和目标领域的信息迁移，从而获得更好的性能结果。本文通过多个实验设置，分析并验证了提出方法的有效性。
NETL