首页|基于注意力机制补足实体缺陷的文档级关系抽取方法

基于注意力机制补足实体缺陷的文档级关系抽取方法

扫码查看
命名实体识别是文档级关系抽取中的一项关键任务,然而,传统的文档级关系抽取模型在实体识别时,仅通过汇聚局部提及信息构建实体,这限制了实体的表征能力.为此,该文提出了基于注意力机制补足实体缺陷的文档级关系抽取方法.该方法根据预定义的关系集合选择性关注实体提及层次特征,然后利用池化方法积累信号,为实体补足不同提及语义特征,同时,引入交叉多头注意力机制和残差连接对实体进行上下文加权处理,加强实体与上下文、全局信息之间的联系.该文在DocRED数据集上进行实验,与基线模型相比,补足实体缺陷后的基线模型在验证集Fi/Ign_F1和测试集F1/Ign_F1上分别提升了 1.82%/1.73%和1.81%/1.62%,实验结果表明了该方法的有效性.
Document-Level Relation Extraction with Attention Mechanisms
Named Entity Recognition(NER)is a vital task in document-level relation extraction.Traditional models in this domain construct entities by aggregating local mentions,thereby constraining entity representational capabili-ties.To address this limitation,this paper proposes a document-level relation extraction method that supplemented entity deficiencies through an attention mechanism.The approach concentrates on hierarchical features directed by predefined relations,and employs pooling to augment mention semantics.It introduces a cross-multi-head attention mechanism and residual connections for context-weighted processing,reinforcing associations among entities,con-text,and global information.Experiments on the DocRED dataset reveal improvements of 1.82%/1.73%and 1.81%/1.62%in the validation set F1/Ign_F1 and test set F1/Ign_F1,respectively.

document-level relation extractionnamed entity recognitionattention mechanisms

彭文智、肖蓉、安先跨、杨肖

展开 >

湖北大学计算机与信息工程学院,湖北武汉 430062

武汉大学国家网络安全学院,湖北武汉 430072

文档级关系抽取 命名实体识别 注意力机制

2024

中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
年,卷(期):2024.38(8)