摘要
实体关系联合抽取是现有自然语言处理中比较重要的基础任务，旨在通过模板或深度学习识别句子中的实体和关系三元组，现有的研究主要集中在流水线和联合抽取两种深度学习研究方法，这两种方法各有优劣，但是流水线会有误差累积，因此联合抽取近几年被广泛的研究。然而当下已有的联合抽取方法常集中在解码层而忽视编码层，也存在实体抽取和关系抽取交互性弱和误差累积的问题，其次当数据发生扰动时预测结果会差强人意。根据以上问题，本文的主要工作如下: (1)本文使用经典的联合抽取解码模型，即先抽取三元组SPO中的subject实体然后拼接subject和预训练模型的输出，对其进行解码获得该subject的object和关系，最后得到实体关系三元组。本文对现有的Transformer预训练模型在关系抽取上面的表现进行详细的研究，使用BERT、BioBERT、SciBERT、RoBERTa、ALBERT和XLNet六个预训练模型作为编码器在已发布的五个数据集上进行实验。为保证能够验证不同预训练模型在关系抽取任务上的特性,本文使用的数据集除通用类外还包括生物医学和科学类。六个Transformer预训练模型中XLNet表现出较好的编码能力，BERT次之，ALBERT和RoBERTa有较短的训练时间，而SciBERT不够稳定。 (2)针对已有联合抽取解码模型实体与关系解码存在交互性差以及训练过程与测试过程不一致导致误差累积的问题，本文提出Subjects-object和联合标注框架两种解码模型，实验结果表明基于Subjects-object的解码模型在ADE、SciERC数据集上有比较好地表现，其分别提升了0.6％和0.06％。基于联合标注框架的关系抽取模型有更好的效果，其F1值在ADE、CoNLL04、SciERC和WebNLG上分别提升了0.87％、2.11％、4.69％和0.58％。本文的研究在ADE、CoNLL04、WebNLG和NYT四个数据集上取得了最好的性能。 (3)针对联合模型泛化性弱的问题，即当数据发生微小变化时，模型无法保证判断的准确性。本文提出使用对抗攻击来提高模型的鲁棒性,主要提出change_char、delete_char、exchange_char和add_char四种对抗扰动的方法生成对抗样本，对联合抽取模型进行对抗攻击，共使用10个不同的扰动数量进行对比实验。实验结果显示对抗攻击后的模型在CoNLL04、SciERC、WebNLG和NYT四个数据集上分别提升了2.41％、0.9％、0.72％和0.23％,表明数据集越小对抗攻击效果越好，数据集越大提升越不明显甚至会有所降低。
NETL