计算机技术与发展2023，Vol.33Issue(8) ：180-185.DOI:10.3969/j.issn.1673-629X.2023.08.026

基于预训练模型与记忆卷积网络的立场检测研究

Study of Stance Detection Based on Pre-training Model and Memory Convolution Network

陈珂 周浩轩 王国权
计算机技术与发展2023，Vol.33Issue(8) ：180-185.DOI:10.3969/j.issn.1673-629X.2023.08.026
✕
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 维普
  • 万方数据

基于预训练模型与记忆卷积网络的立场检测研究

Study of Stance Detection Based on Pre-training Model and Memory Convolution Network

陈珂 1周浩轩 2王国权1
扫码查看

作者信息

  • 1. 广东石油化工学院 计算机学院,广东 茂名 525000
  • 2. 东莞长城开发科技有限公司,广东 东莞 523000
  • 折叠

摘要

立场检测研究旨在研究特定文本针对特定话题所表达的支持、中立或反对立场,在以往的中文文本立场分析研究方法中,未关注文本结构间的依赖关系,且评论文本所隐含的立场往往是隐晦和不敏感的.该文提出了基于双向Transformer的大规模预训练语言模型 BERT(Bidirectional Encoder Representation from Transformers)和长短时记忆(LSTM)以及卷积神经网络(CNN)相结合的立场分析方法来解决这个问题,同时,为解决BERT模型针对不同数据样本输入向量维度不一所导致的误差,提出了一种最优字个数维度判定算法对BERT模型输入进行分析.模型搭建上创新地采用并行输入输出的方法,充分利用了LSTM的全局特征提取和CNN的局部特征提取的优势,并且所用BERT模型更能对隐晦特征及不敏感特征进行提取,利用这一方法可以有效地判定不同目标对某一特定话题所表达的支持、中立或者反对立场.经过对比传统模型以及现有立场分析方法表明,所提模型拥有较好的性能,其F1 值达到0.883.

关键词

立场分析/最优字维度判定/BERT/长短时记忆/卷积神经网络

Key words

stance detection/determination of optimal word dimension/BERT/long and short term memory/convolutional neural network

引用本文复制引用

基金项目

国家自然科学基金(61172145)

广东省自然科学基金(2018A030307032)

广东省普通高等学校重点科研平台项目(2020ZDZX3038)

广东石油化工学院人才引进项目(2019rc078)

出版年

2023
计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子：0.621
ISSN：1673-629X
参考文献量11
段落导航相关论文