基于深度学习的情感文本分类

扫码查看

原文链接

NETL

中文摘要：文本情感分析是自然语言处理领域中的一项关键任务，主要用于研究人们对特定实体或主题的态度、看法以及情绪。随着技术的发展，这一领域已在企业、政府和各种组织中受到极大关注，并已广泛应用于市场分析、公共情绪监测和社交媒体分析等多个社会领域。目前，大规模预训练语言模型通过在庞大的语料库上进行预训练，能够深入学习语言的细微特征和上下文关系，从而在情感文本分类等多种自然语言处理任务中展现出卓越的性能。然而，在实际应用中，这种基于预训练模型的方法仍面临多个挑战：第一，预训练与微调阶段目标的不一致和过拟合问题可能导致模型在特定下游任务上表现不佳；第二，预训练模型提供了强大的通用语言表示，但在情感分析任务中，仍需设计特定的下游网络来进一步提升准确率；第三，预训练语言模型庞大的参数量提高了运算成本，增加了在资源受限环境下的应用难度。本文针对以上问题，分别从优化模型微调流程以及改进模型结构两方面入手，提出以下方法： 1.针对预训练与微调阶段目标的不一致和过拟合问题，提出了基于分数阶高斯噪声的微调方法(FGnTune)。此方法通过向预训练模型的可训练参数注入引入分数阶高斯噪声来优化预训练模型的参数调整策略，增加了模型在参数空间中的探索潜力。通过这种方式可以减轻模型在面对预训练任务和实际下游任务之间的差异时出现的过拟合现象，进而提升模型在特定情感文本分类任务中的泛化能力。通过一系列实验验证，不同基准模型加入FGnTune后，在多个数据集上的性能均得到了明显提升。这些实验结果印证了FGnTune可以提升模型适应性和准确率。 2.针对参数量庞大和特定下游网络设计的需求，提出了基于双向门控及注意力机制的低秩适配情感分析模型。该模型结合FGnTune微调技术和低秩适配技术，不仅减少了训练参数量，还通过双向门控循环单元精准捕捉文本的细微语义变化。同时，利用局部敏感哈希注意力机制，有效放大对情感判断至关重要的文本片段。实验验证表明，该模型在多个公开数据集上均优于其他基准模型，尤其是在处理长文本数据集上，各项性能指标有显著提升。此外，通过消融实验和整体极性分析，进一步证实了模型中各个组件的贡献和模型在整体情绪趋势捕捉与表达上的强大能力。

作者：

龙雨欣

展开 >

关键词：

情感分析文本分类深度学习预训练模型微调流程

授予学位：

硕士

学科专业：

计算机技术

导师：

蒲亦非

学位年度：

2024

学位授予单位：

四川大学

语种：

中文

中图分类号：