基于预训练语言模型的机器翻译最新进展
Recent Progress on Machine Translation Based on Pre-trained Language Models
杨滨瑕 1罗旭东 2孙凯丽3
作者信息
- 1. 广西师范大学计算机科学与工程学院/软件学院 广西桂林 541004
- 2. 教育区块链与智能技术教育部重点实验室 广西桂林 541004
- 3. 广西多源信息挖掘与安全重点实验室 广西桂林 541004
- 折叠
摘要
自然语言处理涉及许多重要主题,其中之一是机器翻译.预训练语言模型,如BERT和GPT,是用于处理包括机器翻译在内的各种自然语言处理任务的先进方法.因此,许多研究人员使用预训练语言模型来解决机器翻译问题.为推动研究向前发展,首先概述了这一领域的最新进展,包括主要的研究问题和基于各种预训练语言模型的解决方案;其次比较了这些解决方案的动机、共性、差异和局限性;然后总结了训练这类机器翻译模型常用的数据集,以及评估这些模型的指标;最后讨论了进一步的研究方向.
Abstract
Natural language processing(NLP)involves many important topics,one of which is machine translation(MT).Pre-trained language models(PLMs),such as BERT and GPT,are state-of-the-art approaches for various NLP tasks including MT.Therefore,many researchers use PLMs to solve MT problems.To push the research forward,this paper provides an overview of recent advances in this field,including the main research questions and solutions based on various PLMs.We compare the motiva-tions,commonalities,differences and limitations of these solutions,and summarise the datasets commonly used to train such MT models,as well as the metrics used to evaluate them.Finally,further research directions are discussed.
关键词
自然语言处理/机器翻译/预训练语言模型/BERT/GPTKey words
Natural language processing/Machine translation/Pre-trained language model/BERT/GPT引用本文复制引用
基金项目
广西多源信息挖掘与安全重点实验室系统性研究课题(22-A-01-02)
出版年
2024
NETL
NSTL
万方数据