基于BERT特征融合与膨胀卷积的汉语副词框架语义角色标注

Semantic Role Labeling of Chinese Adverb Frames Based on BERT Feature Fusion and Dilated Convolution

王超 ¹吕国英 ¹李茹 ²柴清华 ³李晋荣¹

扫码查看

作者信息

1. 山西大学计算机与信息技术学院,山西太原 030006
2. 山西大学计算机与信息技术学院,山西太原 030006;山西大学计算智能与中文信息处理教育部重点实验室,山西太原 030006
3. 山西大学外国语学院,山西太原 030006
折叠

摘要

汉语框架语义角色标注对汉语框架语义分析具有重要作用.目前汉语框架语义角色标注任务主要针对动词框架,但是汉语没有丰富的形态变化,很多语法意义都是通过虚词来表现的,其中副词研究是现代汉语虚词研究的重要部分,因此该文从副词角度出发构建了汉语副词框架及数据集,且对框架下的词元按照语义强弱进行了等级划分.目前的语义角色标注模型大多基于BiLSTM网络模型,该模型虽然可以很好地获取全局信息,但容易忽略句子局部特征,且无法并行训练.针对上述问题,该文提出了基于BERT特征融合与膨胀卷积的语义角色标注模型,该模型包括四层:BERT层用于表达句子的丰富语义信息,Attention层对BERT获取的每一层信息进行动态权重融合,膨胀卷积(IDCNN)层进行特征提取,CRF层修正预测标签.该模型在三个副词框架数据集上表现良好,F1值均达到了 82％以上.此外,将该模型应用于CFN数据集上,F1值达到88.29％,较基线模型提升了 4％以上.

Abstract

Chinese frame semantic role labeling plays an important role in Chinese frame semantic analysis.At pres-ent,the task of semantic role labeling in Chinese frame is mainly aimed at verb frame.This paper constructs a Chi-nese adverb framework and dataset,and classifies the word in the framework according to its semantic strength.Then,this paper proposes a semantic role labeling model based on Bert feature fusion and expansion convolution.The model includes four layers,with the bert layer to reperesent the rich semantic information of sentences,the at-tention layer to dynamical weighs the information from each BERT layer,the expansion convolution(IDCNN)layer to extract features,and the CRF layer to predict tags.The model performs well in three adverb frame datasets,a-chieveing 82％or more F1 value.In addition,the model achieves 88.29％F1 value in CFN dataset,which is 4％a-bove the baseline model.

关键词

汉语框架语义角色标注/副词/BERT/膨胀卷积/CRF

Key words

Chinese frame semantic role labeling/adverb/BERT/IDCNN/CRF

引用本文复制引用

基金项目

国家社会科学基金(18BYY009)

山西省"四个一批"科技兴医创新计划项目(2022XM01)

出版年

2024

中文信息学报

中国中文信息学会,中国科学院软件研究所

中文信息学报

CSTPCDCSCDCHSSCD北大核心

影响因子：0.8

ISSN：1003-0077

参考文献量37

段落导航