首页|基于ALBERT、Bi-GRU和注意力机制的文本情感分析

基于ALBERT、Bi-GRU和注意力机制的文本情感分析

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
针对静态词向量方法不能很好地解决一词多义,长短时记忆网络参数量较多、训练时间过长等不足,提出将ALBERT预训练模型、双向门控循环单元、多头注意力机制融合在一起,构建了一个微博文本情感预测模型.首先,通过ALBERT模型获取文本动态词向量;然后采用双向门控循环单元提取文本特征;接着引入多层注意力机制捕获文本序列中的重要信息;最后,通过Softmax进行情感分类.实验结果表明:所提出的模型与传统模型相比,能有效提取文本的特征,与静态词向量相比,模型准确率提升1.76％,与长短时记忆网络相比,参数数量下降25％,训练效率提升20％,有较好的实用价值.
Text Sentiment Analysis Based on ALBERT ,Bi-GRU and Attention Mechanism

王英明、郭艳梅、许青、李洁

展开 >

马鞍山学院

马鞍山职业技术学院

马鞍山学院 安徽 当涂243100

情感分析 ALBERT 注意力机制 Bi-GRU

安徽高校自然科学研究项目安徽高校优秀青年人才支持计划安徽高校优秀青年人才支持计划

KJ2019A0916gxyq2020096gxyq2021250

2022

10.13877/j.cnki.cn22-1284.2022.08.006

通化师范学院学报
通化师范学院

通化师范学院学报

影响因子：0.266
ISSN：1008-7974
年,卷(期)：2022.43(8)
  • 4