首页|一种基于多层次语言信息的自然语言推理方法

一种基于多层次语言信息的自然语言推理方法

扫码查看
随着网络深度逐层加深,提取特征时表层信息和浅层特征或多或少被遗失,而一些推理场景需要浅层特征来作出推理判断.为此,提出一种融入多层语言信息的自然语言推理方法,通过学习多层深度神经网络的不同层对结果的贡献权重,有效结合不同层学习到的语言信息对结果进行预测.在SNLI数据集上的实验结果和对多个样例的分析表明,多层神经网络的不同层捕获到了不同的语言信息,不同的网络层擅长不同的推理任务,合理融入不同层次的语言信息有助于方法性能的提升.
A Natural Language Inference Method Based on Multi-Level Linguistic Information
With the deepening of the network depth layer by layer,When extracting features,many surface information and shallow features are lost more or less,and some reasoning scenarios just need these shallow features to make inference judgments.This thesis proposes a NLI method that introduces multi-layer linguistic information.By learning the contribution weights of different layers of the multi-layer deep neural network to the results,it can effectively combine the linguistic information learned by different layers to predict the results.Through the experi-mental results on the SNLI dataset and the interpretive analysis of multiple samples,it is shown that different layers of the multi-layer deep neural network capture different linguistic information,and different layers are good at different reasoning tasks and reasonably integrate differ-ent linguistic information.The information contributes to the performance improvement of NLI tasks.

natural language processingmulti-level linguistic informationnatural language inferenceattention mechanism

张振寰、李琳、张梦静、钟珞、陈云、程庆贺

展开 >

湖北孝感美珈职业学院 信息技术学院,湖北 孝感 432017

武汉理工大学 计算机与人工智能学院,湖北 武汉 430070

自然语言处理 多层语言信息 自然语言推理 注意力机制

湖北省自然科学基金项目湖北省重点研发计划项目

2021CFB5132021BAA030

2024

软件导刊
湖北省信息学会

软件导刊

影响因子:0.524
ISSN:1672-7800
年,卷(期):2024.23(4)
  • 25