首页|融合AMR的汉蒙神经网络机器翻译模型的研究

融合AMR的汉蒙神经网络机器翻译模型的研究

王雪皎

融合AMR的汉蒙神经网络机器翻译模型的研究

王雪皎1
扫码查看

作者信息

  • 1. 内蒙古大学
  • 折叠

摘要

近年来,神经网络机器翻译借助机器学习、计算机硬件能力的快速提高以及深度学习的迅速发展取得了前所未有的成就。在此背景下汉蒙神经网络机器翻译缓慢起步,且得益于神经网络优越的表达能力等也取得了一定的成绩。然而,汉蒙翻译作为低资源机器翻译任务,数据稀疏、语义表达方式单一、神经网络有限的语义特征提取能力等因素掣肘着其进一步发展。对于如何解决低资源机器翻译的问题,现有的大多数学者提出的深度学习解决方案都忽略了语料本身文本结构特征以及语义特征对机器翻译模型性能的影响。本文从研究语料语义结构出发,丰富汉蒙神经机器翻译源语言的表示,研究融合中文抽象语义表示(AMR)的汉蒙神经网络机器翻译方法。本文主要工作分为两个部分,一是,研究新型的语义表示方法中文抽象语义表示,提出基于自注意力机制的中文AMR解析模型;二是,构建融合AMR的汉蒙神经网络机器翻译模型。本文具体工作如下: (1)提出了一种基于神经网络机器翻译框架的中文AMR解析方法,构建基于自注意力机制的中文AMR解析模型。本文将中文AMR解析视为从源端文本到目标端AMR图的翻译任务,采用序列到序列的方法进行建模。收集归纳整理中文AMR语料,对中文AMR语料进行线性化处理。采用完全基于自注意力机制的神经网络进行编码解码,学习源端文本到目标端线性化AMR图的映射关系,实现更高效的中文AMR解析模型。 (2)提出了一种融合AMR的汉蒙神经网络机器翻译模型。本文对源端的中文文本进行AMR解析,得到源语言句子的抽象语义表示图。采用图循环神经网络作为AMR图编码器与基于长短时记忆神经网络的序列编码器共同作为汉蒙机器翻译的编码器,解码器采用双重注意力机制将图编码器和序列编码器的编码结果分别作为注意力向量共同指导解码过程。该方法丰富了源端语义表示而且增强编码器的特征提取能力。 本文针对上述两个研究内容,开展了大量的实验验证和探究。首先实现了完全基于自注意力神经网络的中文AMR解析模型,该方法缓解了基于RNN的基线方法存在的非局部信息丢失的问题,从而将F1-measure提高到了0.57,缩短了与基于人工提取特征方法的差距;其次,完成了融合AMR的汉蒙神经网络机器翻译模型的构建。本文在两个数据集上开展实验,结果表明本文提出模型在仅利用LDC2019T07中文AMR语料中的句子作为数据集的情况下,较基线模型提升BLEU值2.29个百分点;在CWMT2009数据集上,较基线模型提升BLEU值1.02个百分点。

关键词

汉蒙神经网络机器翻译/中文抽象语义表示/图神经网络/自注意力机制

引用本文复制引用

授予学位

硕士

学科专业

计算机科学与技术

导师

侯宏旭

学位年度

2021

学位授予单位

内蒙古大学

语种

中文

中图分类号

H0
段落导航相关论文