基于伪标签和迁移学习的双关语识别方法
Pun detection basd on pseudo-label and transfer learning
姜思羽 1张智恒 2姜立标 3马乐 4陈博远 5王连喜 2赵亮6
作者信息
- 1. 广东外语外贸大学 信息科学与技术学院,广州 510006;华南理工大学 软件学院,广州 510000
- 2. 广东外语外贸大学 信息科学与技术学院,广州 510006
- 3. 广州城市理工学院 机械工程学院,广州 510800
- 4. 广州城市理工学院 工程研究院,广州 510800
- 5. 华南理工大学 机械与汽车工程学院,广州 510000
- 6. 广东轻工职业技术学院 继续教育学院, 广州 510300
- 折叠
摘要
针对双关语样本短缺问题,研究提出了基于伪标签和迁移学习的双关语识别模型(pun detection based on Pseudo-label and transfer learning).该模型利用上下文语义、音素向量和注意力机制生成伪标签;然后,迁移学习和置信度结合挑选可用的伪标签;最后,将伪标签数据和真实数据混合到网络中进行训练,重复伪标签标记和混合训练过程.一定程度上解决了双关语样本量少且获取困难的问题.使用该模型在SemEval 2017 shared task 7以及Pun of the Day 数据集上进行双关语检测实验,结果表明模型性能均优于现有主流双关语识别方法.
Abstract
To address the problem of shortage of the pun samples,this paper proposes a pun recognition model based on pseudo-label speech-focused context(pun detection based on pseudo-label and transfer learning).Firstly,the model uses contextual semantics,phoneme vector and attention mechanism to generate pseudo-labels.Then,it combines transfer learning and confidence to select useful pseudo-labels.Finally,the pseudo-label data and real data are used for network theory and training,and the pseudo-label labeling and mixed training procedures are repeated.To a certain extent,the problem of small sample size and difficulty in obtaining puns has been solved.By this model,we carry out pun detection experiments on both the SemEval 2017 shared task 7 dataset and the Pun of the Day dataset.The results show that the performance of this model is better than that of the existing mainstream pun recognition methods.
关键词
双关语检测/伪标签/迁移学习Key words
pun detection/pseudo-label/transfer learning引用本文复制引用
基金项目
广州市科技计划资助项目(202102020637)
广州市科技计划资助项目(202002030227)
广东外语外贸大学师生合作资助项目(21SS10)
出版年
2024
国家科技期刊平台
NSTL
维普
万方数据