首页|融合动态掩码预训练与膨胀卷积的实体识别

融合动态掩码预训练与膨胀卷积的实体识别

Entity recognition based on dynamic mask pre-training and dilated convolutional

扫码查看
原文链接
  • 万方数据
  • 维普
针对传统的BERT模型在使用中文语料进行预训练时无法获取词的信息问题,本文中在预训练阶段引入基于动态掩码的RoBERTa预训练模型;该预训练模型所生成的语义表示含有词的信息,能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,更适用于中文命名实体识别任务;同时通过字在上下文中能形成词的词向量对相应的字向量进行了增强;为了提高模型的效率,在序列建模层引入膨胀卷积神经网络.实验表明,该模型在多尺度上下文和结构化预测方面比传统CNN有更好的容量,在常用中文实体识别任务语料库上,验证了模型的有效性.

葛志辉、洪龙翔、李陶深、叶进

展开 >

广西大学 计算机与电子信息学院,广西 南宁 530004

实体识别 深度学习 膨胀卷积神经网络 条件随机场

国家自然科学基金

F020804

2022

10.13624/j.cnki.issn.1001-7445.2022.0692

广西大学学报(自然科学版)
广西大学

广西大学学报(自然科学版)

CSTPCD北大核心
影响因子：0.767
ISSN：1001-7445
年,卷(期)：2022.47(3)
  • 1
  • 17