首页|基于深度学习的事实-解释句对提取

基于深度学习的事实-解释句对提取

贺优

基于深度学习的事实-解释句对提取

贺优1
扫码查看

作者信息

  • 1. 太原理工大学
  • 折叠

摘要

随着互联网的飞速发展,信息获取方式发生了变革,人们面临着处理和分析海量数据的挑战,如何从泛滥的数据中提取具有核心价值的信息成了一项迫切需要解决的问题。特别是从文本中提取出描述特定事实及其对应解释的“事实-解释对”,不仅对于理解文本内容具有重要意义,对进一步的信息检索、知识发现和决策支持等应用领域也至关重要。然而提取这些关键信息并非易事,文本中的事实与解释之间往往存在复杂的逻辑关系,这些关系可能是隐含的,仅凭对文本的表层阅读很难捕捉到。通过事实和解释多角度解析文本并增强这些维度的交互可以提升对解释性关系的敏感度,且大语言模型的强大文本理解能力能够提供有力支持。基于此,本文以多任务交互学习和大语言模型结合策略为核心,深入研究了事实-解释对提取任务,主要工作内容如下: (1)针对现有轻量模型在提取事实-解释对时普遍存在的文本语义信息利用不充分以及事实和解释两个任务维度交互不足导致模型对解释性关系敏感度低的问题,提出一种基于多任务交互学习的事实-解释对提取模型MT-CSIN,本模型通过整合事实句提取和解释句提取两项辅助任务来增强性能。首先利用自适应特征选择机制从事实和解释两个维度进行句子特征的划分,确保语义信息的全面利用。然后使用语义交互模块以构建关系图卷积网络的方式捕捉句子和句子对之间的深层次交互,通过促进语义信息的流动以及事实句和解释句之间的联系来提升模型对事实和解释之间复杂关系的理解。最后,基于预测结果将事实句提取和解释句提取两个辅助任务以组合的形式融入反馈回路中,实现多任务之间的协同优化。 (2)为了充分发挥领域专用轻量模型在特定领域的专业知识以及大语言模型出色的文本理解能力,同时解决轻量模型在处理复杂任务上能力有限和大模型在某些特定领域专业度不足的问题,提出两种结合大语言模型和领域专用轻量模型的提取方法FiDeNet和EnReNet。FiDeNet使用经过特定领域训练的轻量模型处理原文本,提取潜在的目标对,充分发挥轻量模型的专业性和针对性。随后将提取到的事实-解释对与原文本送入大语言模型中,利用大模型的深度理解能力结合轻量模型的提取结果,进行综合分析完成最终的提取。EnReNet先使用大语言模型对原文本进行分析,剔除冗余或信息量较小句子的同时生成原文本的概括句,在减少文本复杂度的同时增强信息密度和关联性。处理后的文本被送入轻量模型中,由轻量模型完成事实-解释对的提取。这两种方法分别采用不同的处理流程来优化各个模块的优势并弥补它们的不足。 为了全面验证所提出的三个模型MT-CSIN、FiDeNet和EnReNet,本文针对不同行业构建了医学领域症状-诊断对数据集和工业领域事故-原因对数据集,同时使用公开的情感领域情感-原因对数据集,实现了不同行业领域中模型性能的充分验证,证明了模型的有效性,一定程度上解决了事实-解释对提取所面对的解释性关系敏感度不足的问题。

关键词

事实-解释对/句子提取/多任务交互学习/深度学习

引用本文复制引用

授予学位

硕士

学科专业

软件工程

导师

王莉

学位年度

2024

学位授予单位

太原理工大学

语种

中文

中图分类号

TP
段落导航相关论文