Siamese-ELECTRA网络结合对抗训练的FAQ问答模型研究

扫码查看

原文链接

国家科技期刊平台
NETL
NSTL
万方数据
维普

中文摘要：FAQ问答系统可基于用户提出的问题在标准问题集合中自动检索出一条或多条最相似的问题,并以该问题的标准答案作为解答.针对传统基于向量空间模型的方法只能表征文本浅层语义变化,以及BERT模型句对分类任务预测效率低等问题,提出一种基于Siamese-ELECTRA网络的FAQ检索式问答模型,将语义上相似问句的特征向量映射到相近的空间,基于向量距离公式快速计算语义相似性得分.同时,为了提升模型的鲁棒性和泛化能力,在训练模型时加入对抗训练算法FGM,对嵌入层参数矩阵进行梯度扰动;针对FAQ数据集通常只标注正样本导致负采样不充分、分类比例难平衡问题,引入无需在数据集中添加负样本即可训练的多重否定损失.实验表明,该模型相较于多种已有方法有较大提升,能够实现相似问题检索服务的毫秒级响应,具有一定的应用价值.

外文标题：Research on the FAQ Question Answering Model Comoining Siamese-ELECTRA Network and Adversarial Training

作者：

王仲林、王卫民、朱乐俊

展开 >

作者单位：

江苏科技大学计算机学院,江苏镇江212003

关键词：

Siamese网络 ELECTRA FAQ 对抗训练问答模型

出版年：

2021

DOI：

10.11907/rjdk.202353