现代计算机2022，Vol.28Issue(16) ：1-8,15.DOI:10.3969/j.issn.1007-1423.2022.16.001

优化预训练模型的小语料中文文本分类方法

A Small-Corpus Chinese Text Classification Method for Optimizing Pre-trained Models

陈蓝 杨帆 曾桢
现代计算机2022，Vol.28Issue(16) ：1-8,15.DOI:10.3969/j.issn.1007-1423.2022.16.001
✕
  • NETL
  • NSTL
  • 维普
  • 万方数据

优化预训练模型的小语料中文文本分类方法

A Small-Corpus Chinese Text Classification Method for Optimizing Pre-trained Models

陈蓝 1杨帆 1曾桢1
扫码查看

作者信息

  • 1. 贵州财经大学信息学院,贵阳 550000
  • 折叠

摘要

针对GloVe、BERT模型生成的字向量在小语料库中表义不足的问题,提出融合向量预训练模型,对小语料中文短文本分类的精确度进行提升.本文以今日头条新闻公开数据集为实验对象,使用GloVe、BERT模型通过领域预训练,对GloVe与BERT生成的预训练字向量进行向量融合,实现语义增强,从而提升短文本分类效果.结果表明,当语料库中的数据量为500时,融合字向量的准确度相较于BERT字向量的准确度提升了5个百分点,相较于GloVe字向量的准确度提升了3个百分点.词义选取的维度待进一步加强.本文所提方法能够对小语料库的短文本数据实现精准分类,对后续文本挖掘工作具有重要意义.

关键词

BERT/GloVe/向量融合/小语料/短文本

引用本文复制引用

基金项目

教育部产学合作协同育人项目(BZX1902-20)

出版年

2022
现代计算机
中大控股

现代计算机

影响因子：0.292
ISSN：1007-1423
参考文献量13
段落导航相关论文