首页|结合数据增强方法的藏文预训练语言模型

结合数据增强方法的藏文预训练语言模型

扫码查看
最近在自然语言处理领域中,预训练加微调模式已然成为新的训练范式.在藏文自然语言处理领域中虽缺乏人工标注数据,但预训练语言模型能够缓解下游任务中数据规模不足和模型重新训练时难以收敛等问题.首先,该文收集整理含有46.55亿字符的藏文文本语料;然后在UniLM模型的基础上,利用藏文文本特征的数据增强方法和预训练技术相结合的方法预训练藏文语言模型.实验表明,该文方法在藏文La格例句分类和藏文文本分类等四个下游任务中获得显著效果.
Tibetan Pre-training Language Model Combined with Data Enhancement Method
Recently,in the field of natural language processing,pre training plus fine tuning has become a new para-digm.This paper collects and arranges the Tibetan text corpus containing 4.655 billion characters,then pretrained by a Tibetan language model via the UniLM model,enhanced by the Tibetan text features.Experiments show that this method has achieved remarkable results in four downstream tasks,such as Tibetan La case sentence classifica-tion and Tibetan text classification.

Tibetan pre-training language modeltext data enhancement methodUniLM model

色差甲、班马宝、才让加、柔特

展开 >

省部共建藏语智能信息处理及应用国家重点实验室,青海西宁 810008

青海省藏文信息处理工程技术研究中心,青海西宁 810008

藏文预训练语言模型 文本数据增强方法 UniLM模型

青海省重点研发与转化计划项目青海师范大学青年科研基金藏语智能信息处理及应用国家重点实验室

2022-GX-1042024QER142024-skl-006

2024

中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
年,卷(期):2024.38(9)
  • 6