计算机研究与发展2023,Vol.60Issue(7) :1581-1591.DOI:10.7544/issn1000-1239.202220216

基于适应性自训练的少样本关系抽取建模

Modeling of Few-Shot Relation Extraction Based on Adaptive Self-Training

陈洪辉 郑建明 蔡飞 韩毅
计算机研究与发展2023,Vol.60Issue(7) :1581-1591.DOI:10.7544/issn1000-1239.202220216

基于适应性自训练的少样本关系抽取建模

Modeling of Few-Shot Relation Extraction Based on Adaptive Self-Training

陈洪辉 1郑建明 1蔡飞 1韩毅2
扫码查看

作者信息

  • 1. 国防科技大学系统工程学院 长沙 410073
  • 2. 国防科技大学气象海洋学院 长沙 410073
  • 折叠

摘要

关系抽取(relation extraction,RE)是自然语言处理中的一项基础任务,可以支撑许多下游任务,例如对话生成和机器阅读理解等.在现实生活中,由于新关系类别不断涌现,人工标注的成本和速度无法满足传统基于有监督学习的关系抽取模型的训练要求.面对这种现实挑战,神经雪球提出一种自助采样的方法,通过对有限标注数据的信息迁移,不断为无标注数据打上标签,增加标注数据量,从而提升模型分类性能.然而,固定的阈值选择以及同等对待入选的无标注数据使得神经雪球模型容易受到噪声数据的影响.为了解决这 2个缺陷,基于适应性自训练的关系抽取(adaptive self-training relation extraction,Ada-SRE)模型由此提出.具体地,Ada-SRE基于元学习的思想提出自适应阈值模块,能够为每个关系类别提供合适的阈值选择.另外,Ada-SRE还提出基于梯度反馈的赋权策略,为每个入选的示例提供相应的权重,避免噪声数据的干扰.实验结果表明,相比于神经雪球模型,Ada-SRE有更好的关系抽取能力.

关键词

自训练/关系抽取/梯度反馈/少样本学习/元学习

引用本文复制引用

基金项目

湖南省研究生科研创新项目(CX20190034)

湖南省研究生科研创新项目(CX20210068)

出版年

2023
计算机研究与发展
中国科学院计算技术研究所 中国计算机学会

计算机研究与发展

CSTPCDCSCD北大核心
影响因子:2.649
ISSN:1000-1239
参考文献量2
段落导航相关论文