首页|基于ERNIE-AA模型的诉求文本分类技术

基于ERNIE-AA模型的诉求文本分类技术

扫码查看
12345市民服务热线中汇集了大量的市民诉求,对这些诉求文本进行分类能够有效地提高市民服务热线的办事效率.为了快速且精准地对诉求文本进行分类,提出一种融合了人工注意力机制的ERNIE-AA模型.该模型将人工分类时的启发式规则通过人工注意力机制引入ERNIE模型的输入表示,通过预训练模型增加影响分类的关键词的注意力权重.实验结果表明:ERNIE-AA模型在诉求文本数据集上具有良好的表现,分类准确率可达86.71%.
Classification technique of appeal text based on ERNIE-AA model
12345 citizen service hotline brings together a large number of citizen appeals. Classification of these appeal texts can effec-tively improve the efficiency of citizen service hotline. In order to classify the appeal text quickly and accurately, this paper proposes an ERNIE-AA model based on artificial attention mechanism. The model introduces the heuristic rules of artificial classification into the input representation of ERNIE model by artificial attention mechanism, and increases the attention weight of keywords that affect classi-fication by pretraining model. The experimental results show that the ERNIE-AA model has good performance on the appeal text data set, and the classification accuracy can reach 86. 71 %.

appeal texttext classificationERNIE modelartificial attention mechanism

高永兵、李春灿、郑伟业、姜春光

展开 >

内蒙古科技大学 信息工程学院,内蒙古 包头 014010

中冶西北工程技术有限公司 市政设计研究院,内蒙古包头 014010

诉求文本 文本分类 ERNIE模型 人工注意力机制

内蒙古自治区自然科学基金

2021LHMS06004

2024

内蒙古科技大学学报
内蒙古科技大学

内蒙古科技大学学报

影响因子:0.247
ISSN:2095-2295
年,卷(期):2024.43(1)
  • 11