首页|基于时空注意力机制的视频引导机器翻译方法

基于时空注意力机制的视频引导机器翻译方法

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
视频引导机器翻译是一种多模态机器翻译任务,其目标是通过视频和文本的结合产生高质量的文本翻译.但是之前的工作只基于视频中的时间结构选择相关片段引导机器翻译,所选片段中存在大量与目标语言无关的信息.因此,在翻译过程中,视频中的时空结构没有得到充分利用,从而无法有效缓解机器翻译中细节缺失或翻译错误的问题.为了解决这一问题,该文提出了一种基于时空注意力(Spatial-Temporal Attention,STA)的模型来充分利用视频中的时空信息引导机器翻译.该文提出的注意力模型不但能够选择与目标语言最相关的时空片段,而且能进一步聚焦片段中最相关的实体信息.所关注的实体信息能有效增强源语言和目标语言的语义对齐,从而使得源语言中的细节信息得到准确翻译.该文的方法基于Vatex公共数据集和构建的汉-越低资源数据集进行实验,在Vatex与汉-越低资源数据集上BLEU4 分别达到 32.66 和 18.46,相比于时间注意力基线方法提高了 3.54 与 0.89个BLEU值.
Video-guided Machine Translation by Spatial-Temporal Attention
Video-guided Machine Translation is one of multimodal neural machine translation tasks aiming at high-quality text translation by tangibly engaging both video and text.In the most of the existing methods,the spatial-temporal structure of the video is still unexplored,and the problem of mistranslation caused by detail missing is still unaddressed.In this paper,we propose a spatial-temporal attention(SAT)method to address these issues.The pro-posed STA can not only select the most relevant segment video for the target language,but also further focuses the most relevant entity information in the segment given the sentence context.The selected entity information can ef-fectively enhance the semantic alignment between the source language and the target language,so that the details in the source language can be translated accurately.Experimented on the Vatex public dataset and the self-built Chi-nese-Vietnamese low resource dataset,the proposed method outperforming the baseline method by achieving 32.66 and 18.46 BLEU-4 scores,respectively.

spatial-temporal attentionvideo-guided machine translationdetail missingtemporal attentionspatial at-tention

姜舟、余正涛、高盛祥、毛存礼、郭军军

展开 >

昆明理工大学 信息工程与自动化学院,云南 昆明 650500

昆明理工大学 云南省人工智能重点实验室,云南 昆明 650500

时空注意力 视频引导机器翻译 细节缺失 时间注意力 空间注意力

国家重点研究与发展计划国家重点研究与发展计划国家重点研究与发展计划国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金国家自然科学基金云南高新技术产业发展项目云南省重大科技专项计划云南省重大科技专项计划云南省重大科技专项计划云南省重大科技专项计划云南省基础研究计划云南省基础研究计划云南省学术和技术带头人后备人才

2019QY18012019QY18022019QY1800U23A2038862376111U21B202761732005617610266197218661762056201606202401BC070021202103AA080015202303AP140008202002AD080001-5202001AS0700142018FB104202105AC160018

2024

中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCHSSCD北大核心
影响因子：0.8
ISSN：1003-0077
年,卷(期)：2024.38(4)
  • 34