首页|增强提示学习的少样本文本分类方法

增强提示学习的少样本文本分类方法

扫码查看
针对少样本文本分类任务,提出提示学习增强的分类算法(EPL4FTC).该算法将文本分类任务转换成基于自然语言推理的提示学习形式,在利用预训练语言模型先验知识的基础上实现隐式数据增强,并通过两种粒度的损失进行优化.为捕获下游任务中含有的类别信息,采用三元组损失联合优化方法,并引入掩码语言模型任务作为正则项,提升模型的泛化能力.在公开的 4 个中文文本和 3 个英文文本分类数据集上进行实验评估,结果表明 EPL4FTC 方法的准确度明显优于所对比的基线方法.
Enhanced Prompt Learning for Few-shot Text Classification Method
An enhanced prompt learning method(EPL4FTC)for few-shot text classification task is proposed.This algorithm first converts the text classification task into the form of prompt learning based on natural language inference.Thus,the implicit data enhancement is achieved based on the prior knowledge of pre-training language models and the algorithm is optimized by two losses with different granularities.Moreover,to capture the category information of specific downstream tasks,the triple loss is used for joint optimization.The masked-language model is incorporated as a regularizer to improve the generalization ability.Through the evaluation on four Chinese and three English text classification datasets,the experimental results show that the classification accuracy of the proposed EPL4FTC is significantly better than the other compared baselines.

pre-trained language modelfew-shot learningtext classificationprompt learningtriplet loss

李睿凡、魏志宇、范元涛、叶书勤、张光卫

展开 >

北京邮电大学人工智能学院, 北京 100876

教育部信息网络工程研究中心, 北京 100876

交互技术与体验系统文化和旅游部重点实验室, 北京 100876

北京邮电大学计算机学院, 北京 100876

展开 >

预训练语言模型 少样本学习 文本分类 提示学习 三元组损失

国家自然科学基金

62076032

2024

北京大学学报(自然科学版)
北京大学

北京大学学报(自然科学版)

CSTPCD北大核心
影响因子:0.785
ISSN:0479-8023
年,卷(期):2024.60(1)
  • 33