计算机技术与发展2022,Vol.32Issue(7) :39-45.DOI:10.3969/j.issn.1673-629X.2022.07.007

基于XLNet-BiGRU-Attention的行业分类方法

Industry Classification Method Based on XLNet-BiGRU-Attention

陈钢 佘祥荣 陈健鹏
计算机技术与发展2022,Vol.32Issue(7) :39-45.DOI:10.3969/j.issn.1673-629X.2022.07.007

基于XLNet-BiGRU-Attention的行业分类方法

Industry Classification Method Based on XLNet-BiGRU-Attention

陈钢 1佘祥荣 1陈健鹏1
扫码查看

作者信息

  • 1. 长三角信息智能创新研究院,安徽 芜湖 241000
  • 折叠

摘要

企业所属行业对于国民经济统计、市场监督管理等领域具有重要作用.在现如今庞大的行业规模下,人工进行企业行业分类不但效率低下,而且可靠性不高.在行业划分规范中,企业所属行业由企业的经营范围描述而得.针对传统词向量加机器学习的方法难以有效融合企业经营范围上下文语义信息等问题,提出了一种XLNet-BiGRU-Attention的行业分类方法.该方法首先通过XLNet网络从企业经营范围文本中获取具有上下文特征信息的语义表征向量,其次构建基于双向门限循环神经网络和注意力机制的候选集生成网络来进一步提取企业经营范围上下文相关特征,再次通过构建键值对嵌入网络来进一步挖掘企业其他标签对于行业分类的提升效果,最后将融合后的特征向量输入到分类器完成企业行业分类.相较于其他基线分类方法,该方法能够取得更好的行业分类效果.消融实验结果表明:该方法所构建的候选集生成网络和键值对嵌入网络能够提升行业分类的性能.

关键词

行业分类/XLNet/双向GRU/注意力机制/候选集生成/键值对

引用本文复制引用

基金项目

安徽省重点研发计划(2021)(202104a05020071)

芜湖市科技计划(2020)(2020yf41)

出版年

2022
计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子:0.621
ISSN:1673-629X
参考文献量6
段落导航相关论文