中文信息学报2024,Vol.38Issue(2) :61-69.

Ti-Reader:基于注意力机制的藏文机器阅读理解端到端网络模型

Ti-Reader:An End-to-End Attention Based Model for Tibetan Machine Reading Comprehension

孙媛 陈超凡 刘思思 赵小兵
中文信息学报2024,Vol.38Issue(2) :61-69.

Ti-Reader:基于注意力机制的藏文机器阅读理解端到端网络模型

Ti-Reader:An End-to-End Attention Based Model for Tibetan Machine Reading Comprehension

孙媛 1陈超凡 2刘思思 2赵小兵2
扫码查看

作者信息

  • 1. 中央民族大学信息工程学院,北京 100081;国家语言资源监测与研究少数民族语言中心,北京 100081;民族语言智能分析与安全治理教育部重点实验室,北京 100081
  • 2. 中央民族大学信息工程学院,北京 100081;国家语言资源监测与研究少数民族语言中心,北京 100081
  • 折叠

摘要

机器阅读理解旨在教会机器去理解一篇文章并且回答与之相关的问题.为了解决低资源语言上机器阅读理解模型性能低的问题,该文提出了一种基于注意力机制的藏文机器阅读理解端到端网络模型Ti-Reader.首先,为了编码更细粒度的藏文文本信息,将音节和词相结合进行词表示,然后采用词级注意力机制去关注文本中的关键词,利用重读机制去捕捉文章和问题之间的语义信息,自注意力机制去匹配问题与答案的隐变量本身,为答案预测提供更多的线索.最后,实验结果表明,Ti-Reader模型提升了藏文机器阅读理解的性能,同时在英文数据集SQuAD上也有较好的表现.

Abstract

Machine reading comprehension aims to enable machines to answer questions related to a given article.To address the machine reading comprehension models in low-resource languages,this paper proposes an end-to-end at-tention based model for Tibetan named Ti-Reader.First,to encode more fine-grained Tibetan text information,this paper combines syllables and words for word embedding,and then uses word-level attention to capture the keywords in the article.Moreover,the re-read mechanism is applied to capture the semantic information between the article and the questions,and the self-attention is used to match the hidden variables of the question and the answer.The experimental results show that Ti-Reader improves the performance of Tibetan machine reading comprehension,while preserving a good performance on the English dataset SQuAD.

关键词

机器阅读理解,注意力机制/端到端网络/藏文

Key words

machine reading comprehension/attention/end-to-end network/Tibetan

引用本文复制引用

基金项目

国家自然科学基金(61972436)

中央民族大学项目(GRSCP202316)

中央民族大学项目(2023QNYL22)

出版年

2024
中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCSCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
参考文献量21
段落导航相关论文