首页|基于深度学习的文本语义匹配研究

基于深度学习的文本语义匹配研究

熊招辉

基于深度学习的文本语义匹配研究

熊招辉1
扫码查看

作者信息

  • 1. 电子科技大学
  • 折叠

摘要

随着数字化时代的到来,人们在问答系统、智能客服、信息检索、文本复述、机器翻译等人工智能领域的需求日益增长。为了提供高质量、高效性的服务,无数学者投入到文本语义匹配的相关技术研究中。 作为自然语言处理领域的一项基本问题和研究热点,过去文本语义匹配问题的相关研究主要是基于统计机器学习技术的。该类语义匹配模型需要消耗大量的人力成本才能挖掘出文本潜在的特征。随着深度学习技术的日新月异,文本数据的特征提取不再是一个难题,越来越多的学者把重心放到了基于该技术的文本语义匹配的研究当中。 本文对比分析了一些主流的深度匹配模型。针对这些模型所存在的不足之处,本文提出了多信息交叉融合的文本语义匹配模型与最优权重模型融合算法。本文的主要工作包括: (1)本文提出了多信息交叉融合的文本语义匹配模型(MICF),该模型是在多粒度语义交叉模型的基础上进行改进的。针对多粒度语义交叉模型在交互匹配过程中部分语义特征丢失的问题,该模型通过依此构建多信息交叉融合的嵌入层、语义交叉层和特征提取层来提取文本的词重要性、前后文信息、字粒度、词匹配重要性和词位置等多个维度的特征信息。实验结果表明,相较于其他语义匹配模型,MICF模型在两个中文语义匹配数据集上的语义匹配效果更好。 (2)本文提出了最优权重模型融合算法(OWBlending),该模型是在Blending集成算法的基础上进行改进的。针对Blending集成算法无法综合考虑到各个基学习器的学习表现能力,且原始文本数据特征丢失等问题,OWBlending集成算法通过一种“基于神经网络的加权学习法”的组合策略去组合集成算法中各个基学习器的输出结果。该算法通过构建一个神经网络模块来学习原始文本数据的特征信息,并将其用来预测各个基学习器的最优权重组合。实验结果表明,OWBlending集成算法在两个中文语义匹配数据集上的语义匹配效果均优于Bagging、Stacking、Blending等其他集成学习算法。

关键词

文本语义匹配/自然语言处理/信息融合/深度学习

引用本文复制引用

授予学位

硕士

学科专业

计算机技术

导师

段立新

学位年度

2021

学位授予单位

电子科技大学

语种

中文

中图分类号

TP
段落导航相关论文