基于RoBERTa-WWM的多特征情感分析模型

扫码查看

原文链接

NETL
NSTL
万方数据

中文摘要：针对传统词向量模型无法有效解决多义词表征、经典网络模型存在文本特征提取不足和无法捕捉特征的关键信息等问题,提出了一种基于RoBERTa-WWM的多特征情感分析模型.首先采用RoBERTa-WWM模型动态生成词向量,解决了多义词表征问题,丰富了语义特征;接着将多个BIGRU进行堆叠形成Multi-Layer BIGRU,并与TextCNN结合提取局部和全局特征,让模型从不同角度学习语义特征;最后通过多头注意力机制,将局部和全局特征进行融合赋予不同的权重,以突出关键信息和文本的情感极性.在酒店评论数据集和商品评论数据集上进行了实验,结果显示,所提出的模型与其他模型相比,准确率和F1 值都有显著提升.

作者：

张宏伟、李晓晔

展开 >

作者单位：

齐齐哈尔大学计算机与控制工程学院黑龙江齐齐哈尔 161000

关键词：

情感分析 RoBERTa-WWM 卷积神经网络多层双向门控循环单元多头注意力机制

出版年：

2024

DOI：

10.3969/j.issn.1672-9528.2024.05.008

信息技术与信息化

山东电子学会

信息技术与信息化

影响因子：0.29

ISSN：1672-9528

年,卷(期)：2024.(5)