融合思维链和低秩自适应微调的方面情感三元组抽取

扫码查看

原文链接

国家科技期刊平台
NETL
NSTL
万方数据

中文摘要：方面情感三元组抽取(ASTE)任务是方面级情感分析的重要子任务之一，传统的监督学习方法在该任务上取得了SOTA或接近SOTA的效果。然而，随着深度神经网络的发展，生成式大型语言模型(LLM)为该任务带来了更多的可能性。目前大多数工作都是直接对LLM进行微调，但是忽略了LLM的幻觉现象，导致性能下降。提出一种融合思维链技术和LLM低秩自适应(LoRA)微调LFC方法，实现生成式的ASTE新范式，以提升任务性能。在LFC中，首先基于思维链技术，通过人工构造少量推理样本，并利用LLM生成具有推理结构的增强数据集。将增强数据集用于微调ChatGLM3-6B模型的学习。在微调过程中，采用LoRA微调技术提高在低资源环境下适配ASTE任务的效果。实验结果表明，LFC方法相比于最优的基线模型在Res14、Lap14、Res15和Res16 4个数据集上的F1值分别提升8。37、12。31、11。07和8。43个百分点，该方法不仅能够准确地识别三元组，而且在一定程度上优化了LLM的幻觉现象。

外文标题：Aspect Sentiment Triplet Extraction Combining Chain-of-Thought and Low-Rank Adaptation Fine-Tuning

外文摘要：The Aspect Sentiment Triplet Extraction(ASTE)task is an important subtask of aspect-level sentiment analysis.Conventional supervised learning methods achieve SOTA or near-SOTA results in this task.However,in developing deep neural networks,generative Large Language Models(LLM)offer additional possibilities for this task.Currently,most studies directly fine-tune the LLM but overlook its hallucinations,leading to performance degradation.To improve task performance,this paper proposes a LFC method for implementing a new generative ASTE paradigm.This method combines the Chain-Of-Thought(COT)technique and a fine-tuning approach based on LLM Low-Rank Adaption(LoRA).In LFC,based on COT technology,a few inference samples are manually constructed,and an enhanced dataset with an inference structure is generated using LLM.It uses an enhanced dataset to fine-tune the learning of the ChatGLM3-6B model.During the fine-tuning process,LoRA fine-tuning technology improves the effectiveness of adapting to ASTE tasks in low-resource environments.Experimental results show that compared with the optimal baseline model,the LFC method improves the F1 values by 8.37,12.31,11.07,and 8.43 percentage points on the Res14,Lap14,Res15,and Res16 datasets,respectively.This method accurately identifies triples and optimizes the hallucinations of the LLM to a certain extent.

外文关键词：

Aspect Sentiment Triplet Extraction(ASTE)Large Language Model(LLM)Low-Rank Adaptation(LoRA)fine-tuningChain-Of-Thought(COT)prompt learning

作者：

曾碧卿、陈鹏飞、姚勇涛

展开 >

作者单位：

华南师范大学软件学院,广东佛山 528225

关键词：

方面情感三元组抽取大型语言模型低秩自适应微调思维链提示学习

基金：

广东省普通高校人工智能重点领域专项广东省基础与应用基础研究基金广州市基础研究计划基础与应用基础研究项目

项目编号：

2019KZDZX10332021A1515011171202102080282

出版年：

2024

DOI：

10.19678/j.issn.1000-3428.0069066

计算机工程

华东计算技术研究所　上海市计算机学会

计算机工程

CSTPCD北大核心

影响因子：0.581

ISSN：1000-3428

年,卷(期)：2024.50(7)