摘要
针对命名实体识别任务,该文以可通过参数调节感受野范围的IDCNN为基础,提出了BERT-Duplex CNN-Self Attention-CRF模型,在不引入其他辅助特征的条件下,采用BERT预训练模型来提供具有丰富语义信息的字嵌入,将字嵌入分别输入IDCNN和CNN中进行特征提取.IDCNN在提取长距离语义信息的前提下可以充分利用GPU的并行能力,CNN在不损失并行能力的前提下可以弥补IDCNN对于局部上下文信息的缺失,将提取到的特征融合,通过引入自注意力机制在众多特征中选取对命名实体识别更有效的特征,最后通过CRF层提升实体标签预测的准确性.为验证模型的有效性,该文在常用的MSRA数据集以及Resume数据集上进行实验,实验结果表明:该模型在MSRA、Resume数据集上,结果超越了Lattice LSTM、BERT-Tagger、LR-CNN、PLET等几个目前较优模型,相对于结果最好的PLET模型,该模型的F1值分别提高了1.28百分点、0.15百分点.
维普
万方数据