摘要
命名实体识别是自然语言处理的一项重要技术,也是问答系统、句法分析、机器翻译等下游工作的基本任务.煤矿事故案例命名实体识别是构建煤矿安全生产知识图谱的关键环节,其效率和准确率直接影响后期知识图谱的质量.针对传统命名实体识别方法训练时间长、识别率低的问题及煤矿事故案例的描述特点,以自构的标注语料集CoalMineCorpus为研究对象,基于深度学习算法,该文提出了一种结合ALBERT和迭代扩张卷积的命名实体识别方法.首先引入ALBERT预训练语言模型生成字向量,提升传统字向量的文本表示能力;然后将字向量序列输入改进的卷积神经网络中,其中卷积层采用四个三层结构的迭代扩张卷积模块完成特征抽取,采用RELU激活函数,取消池化层避免特征损失,使用Dropout和自适应矩估计对模型进行优化;最后使用条件随机场对标签序列结果进行合法性约束.实验结果表明,该模型在较大提升准确率、召回率和F值的同时可以有效缩短训练时间,可用于煤矿事故领域的命名实体识别工作.
基金项目
中国科学院战略性先导科技专项(XDA20010000)
山西省自然科学基金面上项目(201901D111258)
国家科技期刊平台
NSTL
维普
万方数据