摘要
实体关系抽取是构建知识图谱过程中至关重要的一步.将注意力机制引入卷积神经网络或循环神经网络是目前关系抽取任务中比较主流的解决方法,谷歌最新提出的BERT模型在多项自然语言处理任务中都取得了非常好的效果.为了充分融合局部信息和全局信息,并提高处理效率,该文提出了滑动窗口注意力网络模型(Sliding Window Attention Network,SWAN).该模型首先通过预训练的word2vec生成词向量,加入位置表示并使用TransE模型对实体进行表征以充分突出实体信息,再采用基于BERT的SBERT模型对句子进行表征,在此基础上采用多种滑动窗口注意力机制捕获局部信息,然后在聚集层对抽取到的局部信息进行聚合,最后利用softmax函数来实现实体关系的分类.实验结果表明,提出的SWAN模型在SemEval2010 Task 8数据集上取得了较高的准确率,优于对比的现有关系抽取模型,同时模型训练效率也得到极大提升.
基金项目
中国科学院战略性先导科技专项(XDA20010000)
山西省-中国科学院科技合作重大项目(20151101001)
深圳市战略新兴产业发展专项(JSGG20170413173425899)
维普
万方数据