首页|基于分层Attention机制的Bi-GRU中文文本分类模型

基于分层Attention机制的Bi-GRU中文文本分类模型

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
针对基于神经网络的文本分类模型在训练过程中容易发生过拟合及忽略句子中的关键词的问题,提出了一种基于分层Attention机制的Bi-GRU中文文本分类模型.该模型引入了分层的思想,利用双向门控循环神经网络学习词层面和句子层面的文本表示,采用Self-Attention层次模型获取词和句子对于文本分类影响程度的信息;通过绑定共享嵌入层和softmax层之间的权重,在减少模型中参数的同时采用AMSBound优化方法快速有效地获取最优权重矩阵.对常用的两个中文数据集Fudan Set和THUCNews,本文模型对中文较长文本分类数据集Fudan Set进行实验,实验结果表明,本文模型在精度、召回率、F-score等指标上均优于Text-CNN模型、Attention-BiLSTM模型、Bi-GRU_CNN模型,精度、召回率、F-score指标分别提高了5.9％、5.8％、4.6％.
Bi-GRU Model Based on Hierarchy Attention for Chinese Text Classification

胡玉兰、赵青杉、牛永洁、陈莉

展开 >

忻州师范学院计算机系,山西 忻州034000

延安大学数学与计算机科学学院,陕西 延安716000

西北大学信息科学与技术学院,陕西 西安710127

中文文本分类 双向门控循环单元 分层注意力机制 权重绑定 自适应边界梯度优化法

国家重点研发项目

2017YFB1402103-1

2021

长春师范大学学报(自然科学版)
长春师范学院

长春师范大学学报(自然科学版)

影响因子：0.279
ISSN：1008-178X
年,卷(期)：2021.40(1)
  • 7