摘要
由于技术水平的进步和人工成本的升高，日常生活中对高性能智能对话系统的需求不断提升。作为智能对话系统的重要组成部分，自然语言理解模型也成为科研及工业应用的研究热点。自然语言理解主要分为两个任务——意图识别和语义槽填充。以往的工作证明了联合处理两种任务会取得更好的效果。本文提出了一种联合处理两种任务的模型，并对提升其模型表现的方法进行了探索。 本文通过对网络结构的对比发现S-LSTM模型特殊的模型结构能够很好地同时提炼单词隐状态和全局隐状态，加强了整体和局部信息的交流，十分符合联合处理意图识别和语义槽填充任务的需求，因此创新性地引入S-LSTM模型作为本文的基础模型，处理自然语言理解问题。在此基础上，本文发现其存在数据预处理较为粗糙，提炼全局状态时不能有效区分不同单词的影响程度等问题，并分别引入精细化数据预处理和注意力机制来解决这些问题。这些措施使得模型表现得到进一步提升。 上述模型中采用了很多方法提升槽填充任务的准确性，对于在实际使用中往往更加重要的意图识别任务处理较为粗糙，仅仅将输出全局隐状态通过softmax函数得出最终的分类结果，因此本文尝试探索提升意图识别准确率的方法。为了提升意图识别的准确率，本文开创性地提出了使用标签中所蕴含语义信息的思路，为了初步验证这一想法，本文基于词嵌入向量的简单拼接得出标签嵌入，虽然实验结果有所下降，但仍具有实际意义，为后续的研究开拓了思路。之后为了加强网络应对域外意图的能力，本文引入离群点检测LOF算法，在测试阶段检测出可能存在的离群语句，提升模型的实用价值。 本文提出的模型既具有较好的自然语言理解任务表现，也具有一定的实际应用价值，同时在研究的过程中也为后续的研究提供了思路。
NETL