首页|Ti-Reader:基于注意力机制的藏文机器阅读理解端到端网络模型

Ti-Reader:基于注意力机制的藏文机器阅读理解端到端网络模型

扫码查看
机器阅读理解旨在教会机器去理解一篇文章并且回答与之相关的问题.为了解决低资源语言上机器阅读理解模型性能低的问题,该文提出了一种基于注意力机制的藏文机器阅读理解端到端网络模型Ti-Reader.首先,为了编码更细粒度的藏文文本信息,将音节和词相结合进行词表示,然后采用词级注意力机制去关注文本中的关键词,利用重读机制去捕捉文章和问题之间的语义信息,自注意力机制去匹配问题与答案的隐变量本身,为答案预测提供更多的线索.最后,实验结果表明,Ti-Reader模型提升了藏文机器阅读理解的性能,同时在英文数据集SQuAD上也有较好的表现.
Ti-Reader:An End-to-End Attention Based Model for Tibetan Machine Reading Comprehension
Machine reading comprehension aims to enable machines to answer questions related to a given article.To address the machine reading comprehension models in low-resource languages,this paper proposes an end-to-end at-tention based model for Tibetan named Ti-Reader.First,to encode more fine-grained Tibetan text information,this paper combines syllables and words for word embedding,and then uses word-level attention to capture the keywords in the article.Moreover,the re-read mechanism is applied to capture the semantic information between the article and the questions,and the self-attention is used to match the hidden variables of the question and the answer.The experimental results show that Ti-Reader improves the performance of Tibetan machine reading comprehension,while preserving a good performance on the English dataset SQuAD.

machine reading comprehensionattentionend-to-end networkTibetan

孙媛、陈超凡、刘思思、赵小兵

展开 >

中央民族大学信息工程学院,北京 100081

国家语言资源监测与研究少数民族语言中心,北京 100081

民族语言智能分析与安全治理教育部重点实验室,北京 100081

机器阅读理解,注意力机制 端到端网络 藏文

国家自然科学基金中央民族大学项目中央民族大学项目

61972436GRSCP2023162023QNYL22

2024

中文信息学报
中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCHSSCD北大核心
影响因子:0.8
ISSN:1003-0077
年,卷(期):2024.38(2)
  • 21