摘要
命名实体识别是自然语言处理的一项关键技术，其目的是自动识别文本中具有特定意义的部分，并在许多应用场景中发挥着重要作用。目前，命名实体识别模型在单领域中基于大量有标签数据进行训练，已经取得相当不错的效果。泛化能力差、通用性不够是单领域命名实体识别模型的通病，特别是在发生域转移的情况下,由于训练数据和测试数据分布的不同导致模型性能显著下降。单领域的命名实体识别模型已无法满足不断诞生新领域所带来的域适应需求，跨领域命名实体识别已成为当下急需解决的重要课题。 现有的跨领域命名识别模型方法分为基于多任务和基于参数迁移两类，然而它们存在适应效率低、难以调优、模型性能与源域和目标域相似性密切相关等诸多问题。元学习是一种从丰富数据中获得知识，并快速适应新任务的学习定式，与跨领域识别的场景非常匹配。本文将探究如何将元学习技术应用于跨领域命名实体识别，以找到更高效、更稳健的跨领域命名实体识别模型，主要研究内容如下: (1)本文提出一种基于层次元学习的跨领域命名实体识别方法，旨在使模型具备适应未知新实体类别的能力，同时提高模型的适应效率。首先进行元知识提取，将不同源域的数据封装为训练任务，采用元学习算法ANIL提取通用特征，得到命名实体识别元模型;然后进行域适应，把元模型作为初始化，在目标域任务上进行微调，微调时仅学习任务头参数，以实现对元知识在具体领域上的特征重用。此外,本文还设计层次多专家网络，使模型能够更好地存储和利用通用特征，从而提升模型的整体性能。 (2)本文提出一种基于分解原型网络的跨领域命名实体识别方法，旨在提升模型在少样本场景下的跨领域性能。首先，把命名实体识别任务分成两个子任务:实体边界检测和实体类别识别，分别使用元学习算法训练模型，有效增加了通用特征的提取;其次，实体类别识别模型基于原型分类网络，并显式地分散原型分布，可以有效缓解预训练模型向量各向异性的问题，增加模型泛化能力。 本文提出的2种跨领域命名实体识别方法分别在2个跨领域命名实体识别数据集上进行实验。实验结果表明，基于元学习的方法可以找到能够快速适应新领域的良好模型参数初始化，并且本文所提两个方法在F1-score上均优于对比算法。
NETL