首页|MKE:基于背景知识与多头选择的嵌套命名实体识别

MKE:基于背景知识与多头选择的嵌套命名实体识别

MKE:Nested NER Based on Knowledge Embedding and Multi-Head Selection

扫码查看
目前,在嵌套命名实体识别研究中,基于片段的方法将命名实体识别转化为分类问题,通过微调预训练模型,能够较好地识别嵌套实体,但仍存在领域知识缺乏和无法实现实体多分类的不足.该文提出基于知识嵌入的多头模型,用于解决这些问题.模型的改进包括:①引入领域背景知识,知识嵌入层以实体矩阵的形式,实现背景知识的无损嵌入;②将命名实体识别过程转化为多头选择过程,借助注意力打分模型,计算候选片段得分,最终在正确识别嵌套实体边界的同时实现实体多分类.实验结果表明,以实体矩阵方式实现的背景知识嵌入,可以有效提高识别准确率,在 7 个嵌套与非嵌套命名实体识别数据集上取得 SOTA表现.
In existing research on nested named entity recognition,this task is treated as span classification tasks via finetuned pretrained models.This paper proposes a multi-head model based on knowledge embedding(MKE for short)method to further improve this task.This method introduces domain-specific knowledge in the form of entity matrices,allowing the background knowledge to be embedded without any loss.It also transforms the named entity recognition into a multi-head selection process,followed by scoring the candidate spans using the attention score model.The experimental results show that the proposed method achieves the state-of-the-art performance on seven nested and flat named entity recognition datasets.

nested named entity recognitionknowledge embeddingmulti-head selectionattentionentity multi-clas-sification

李政、涂刚、汪汉生

展开 >

华中科技大学 计算机科学与技术学院,湖北 武汉 430074

中国舰船研究设计中心,湖北 武汉 430064

嵌套命名实体识别 知识嵌入 多头选择 注意力 实体多分类

国防基础科研计划

JCKY2019204A007

2024

中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
年,卷(期):2024.38(4)
  • 32