混合BERT和宽度学习的低时间复杂度短文本分类
Low time complexity short text classification based on fusion of BERT and broad learing
陈晓江 1杨晓奇 2陈广豪 3刘伍颖4
作者信息
- 1. 广东开放大学揭阳分校信息科,广东 揭阳 522095;广东外语外贸大学信息科学与技术学院,广东 广州 510006
- 2. 广东外语外贸大学信息科学与技术学院,广东 广州 510006
- 3. 广州软件学院软件工程系,广东 广州 510990
- 4. 鲁东大学山东省语言资源开发与应用重点实验室,山东 烟台 264025;广东外语外贸大学外国语言学及应用语言学研究中心,广东 广州 510420
- 折叠
摘要
针对短文本分类任务效率低下和精度不高的问题,提出混合基于Transformer的双向编码器表示和宽度学习分类器(hybrid bidirectional encoder representations from transformer and broad learning,BERT-BL)的高效率和高精度文本分类模型.对基于Transformer的双向编码器表示(bidirectional encoder representation from transformer,BERT)进行微调以更新BERT的参数.使用微调好的BERT将短文本映射成对应的词向量矩阵,将词向量矩阵输入宽度学习(broad learning,BL)分类器中以完成分类任务.试验结果显示,BERT-BL模型在 3 个公共数据集上的准确率均达到最优;所需要的时间仅为基线模型支持向量机(support vector machine,SVM)、长短期记忆网络(long short-term memory,LSTM)、最小p范数宽度学习(minimum p-norm broad learning,p-BL)和BERT的几十分之一,而且训练过程不需要高性能显卡的参与.通过对比分析,BERT-BL模型不仅在短文本任务中具有良好的性能,而且能节省大量训练时间成本.
Abstract
To address the issues of low efficiency and low accuracy in short text classification(STC)tasks,a high-efficiency and high-precision text classification model was proposed that combined transformer based on bidirectional encoder representations and broad learning classifiers(BERT-BL).Through the process of fine-tuning the bidirectional encoder representation from transformer(BERT)based on transformer,the parameters of BERT could be updated to optimize its performance.Utilized fine-tuned BERT to map the short text to its respective word vector matrix,then input it into the BL classifier to classify.The experimental results showed that the accuracy of the BERT-BL model reached state-of-art performance on three public datasets respectively.The main finding was that the BERT-BL model took only a few tenths of the time required to baseline models of support vector machine(SVM),long short-term memory(LSTM),minimum p-norm broad learning(p-BL)and BERT,and its training process did not require the participation of a graphics processing unit.Through comparative analysis,the BERT-BL model not only had good performance in STC,but also can save a lot of training time cost.
关键词
短文本分类/BERT-BL/BERT/宽度学习/高精度Key words
short text classification/BERT-BL/BERT/broad learning/high accuracy引用本文复制引用
基金项目
教育部新文科研究与改革实践资助项目(2021060049)
山东省研究生教育教学改革研究资助项目(SDYJG21185)
山东省本科教学改革研究重点资助项目(Z2021323)
教育部人文社会科学研究青年基金资助项目(20YJC740062)
上海市哲学社会科学"十三五"规划课题资助项目(2019BYY028)
教育部人文社会科学研究规划基金资助项目(20YJAZH069)
广州市科技计划资助项目(202201010061)
出版年
2024
NETL
NSTL
万方数据