为了从非结构化电商领域语料中抽取出有效的实体信息,提出了一种基于Rotary Transformer(RoFormer)预训练模型的中文电商语料命名实体识别模型.该模型通过RoFormer预训练模型,将大规模未标注的文本生成具有语义特征的嵌入向量;采用双向长短时记忆神经网络模型(BiLSTM)和迭代膨胀卷积神经网络(IDCNN)提取输入文本序列的特征,并引入多头注意力机制调整特征权重;通过条件随机场(CRF)修正后输出,为验证所提出方法的有效性,设计了对比实验.结果表明:该模型评价值优于其他模型,能够较好的应用于电商领域命名实体识别任务.
万方数据
维普
