摘要
依存句法分析通过依存树来刻画输入句子中词语之间存在的语法和语义信息。依存树是由输入词组成的树状结构，其中从核心词到修饰词的有向边为依存弧，弧上的标签为依存关系类型。依存句法分析作为一项自然语言处理的基础任务，由于其表现形式简单、易于理解，受到了许多研究者的关注。依存句法分析的结果不仅可以促进自然语言处理任务的发展，如分词、语义角色标注等;也可以为其他人工智能任务提供支撑，如机器翻译、信息检索等。 近年来，有监督的依存句法分析模型在效率和精度上都有了明显提升。然而，训练一个高质量的依存句法分析模型往往依赖于大规模的领域内带标签数据。一旦训练数据的领域发生改变，分析精度就会显著下降。主要原因是来自不同领域的训练数据在词法、句法和语义上的改变导致模型难以捕捉不同领域特征分布之间的共性和差异。因此，如何有效地建模领域不变特征和领域特定特征成为依存句法分析领域移植的一个重要挑战。针对这个问题，本文首先尝试构建依存句法分析模型，为后面的领域移植研究奠定基础;然后，本文提出两种新的方法从两个方面解决少样本依存句法分析领域移植问题，其中基于改进上下文词表示的方法更多地关注如何增强模型提取领域不变特征的能力，而基于动态特征迁移的方法则重点挖掘领域特定表示之间的关联;最后，本文提出对抗和参数生成网络模型解决零样本依存句法分析领域移植问题，该模型可同时完成领域不变表示的提取以及多个领域特定表示的融合。 1.构建依存句法分析基准模型，为后续领域移植研究提供支撑。目前广泛使用的句法分析方法采用双向长短时记忆网络对输入句子进行编码。受前人工作的启发，本文首次成功地将自注意力编码方式应用于依存句法分析任务中，并在中英文基准数据集上取得了可比的实验结果。接着，通过深入对比分析，我们发现模型集成可以有效融合这两种编码方式的优势，从而进一步提升依存句法分析性能。最后，本文利用最近提出的深度上下文相关表示作为额外的输入特征，取得了新的最佳实验结果。 2.提出领域感知的词表示方法，缓解词法改变对少样本依存句法分析领域移植模型造成的干扰。在这个工作中，本文提出通过对抗学习和微调BERT来获取领域感知词表示。首先，本文将对抗学习应用于参数共享、特征扩展和领域嵌入这三种典型的少样本领域移植方法，并使用融合目标领域词表示和正交性约束这两种策略建模更加纯粹且有效的领域不变表示。同时，本文利用大量目标领域无标签数据对BERT模型进行微调，获得领域相关的上下文词表示。在基准数据集上的实验表明本文提出的对抗模型取得了比非对抗模型更好的结果，微调BERT可以进一步大幅度提高跨领域依存句法分析的精度。 3.提出基于动态特征匹配的共享-私有模型，缓解句法改变造成的少样本依存句法分析性能下降的问题。上一个工作更多的关注了领域公共信息的提取，而忽略了领域特定表示之间的关联。为了解决这个问题，本文设计了简单而有效的动态匹配网络让模型从源领域中自动筛选有效信息，提高目标领域句法分析性能。具体来说，动态匹配网络可以通过模仿经过充分训练的源领域特征自动学习合适的匹配权重，该权重有助于模型强调对目标领域有用的源领域知识并过滤无效甚至有害的信息。此外，本文设计一种新的训练策略来提高匹配网络的能力。实验结果表明本文提出的模型始终优于各种基准模型，并在所有领域都取得了新的最好结果。 4.提出对抗与参数生成网络，通过多领域特征融合提高零样本依存句法分析的精度。在这个工作中，本文提出一种新的模型用于零样本依存句法分析。该模型主要包含两个模块，分别为用于区分领域特定表示的参数生成网络和用于学习领域不变表示的对抗网络。实验结果显示本文的模型能显著提升零样本依存句法分析领域移植的性能。针对不同领域表示策略的分析实验证明了本文设计的分布式领域嵌入表示可以准确捕捉领域之间的关系，有利于模型学习对目标领域有用的信息。 综上，本文深入研究了依存句法分析基准模型构建、少样本依存句法分析领域移植和零样本依存句法分析领域移植等问题。我们期待这些研究成果能够进一步促进面向其他任务领域移植的发展。
NETL