计算机工程与设计2024,Vol.45Issue(9) :2749-2756.DOI:10.16208/j.issn1000-7024.2024.09.026

基于多尺度风格自适应的手写维文识别模型

Handwritten Uyghur text recognition model based on self-adaptive multi scale style

闫林 王磊 艾孜麦提·艾尼瓦尔 杨雅婷 李晓
计算机工程与设计2024,Vol.45Issue(9) :2749-2756.DOI:10.16208/j.issn1000-7024.2024.09.026

基于多尺度风格自适应的手写维文识别模型

Handwritten Uyghur text recognition model based on self-adaptive multi scale style

闫林 1王磊 1艾孜麦提·艾尼瓦尔 1杨雅婷 1李晓1
扫码查看

作者信息

  • 1. 中国科学院新疆理化技术研究所多语种信息技术研究室,新疆乌鲁木齐 830011;中国科学院大学计算机科学与技术学院,北京 100049;中国科学院新疆理化技术研究所新疆民族语音语言信息处理实验室,新疆乌鲁木齐 830011
  • 折叠

摘要

基于字符形态与书写风格的强关联性,提出一种多尺度风格自适应的手写维文识别模型,模型从浅层笔划到深层序列建模多尺度风格特征,提高对手写风格的自适应能力.针对手写维文特点改进Transformer提取多尺度笔划特征;构建多尺度风格自适应模块提取序列特征;构建特征泛化融合模块对笔划特征和序列特征进行深度融合,提升识别效果.实验结果表明,该模型在真实手写维文测试集WER、CER分别下降3.75%、0.19%,在IAM数据集中验证了模型迁移性.

Abstract

Based on the theoretical basis of the strong correlation between character form and writing style,a handwritten Uy-ghur recognition model based on self-adaptive multi scale style generalization and integration(HTR-MSS)was proposed to im-prove the style adaptive ability.Transformer was improved to extract multi-scale stroke features,the multi-scale style adaptive module was designed to extract the multi-scale sequence features,and the feature generalization fusion module was constructed to deeply integrate the stroke features and sequence features to improve the recognition effect.WER and CER are declined by 3.75%and 0.19%on handwritten Uyghur test datasets compared to that of other base models.It is also validated on IAM pub-lic datasets.

关键词

手写维文识别/手写风格/多尺度/特征金字塔网络/视觉自注意力模型/长短期记忆网络/特征融合

Key words

handwritten Uyghur text recognition/handwriting style/multi-scale/feature pyramid networks/vision self-attention model/long short-term memory networks/feature fusion

引用本文复制引用

基金项目

国家自然科学基金项目(U2003303)

新疆天山创新团队基金项目(2020D14045)

中国科学院青年创新促进会基金项目(科发人函字[2019]26号)

新疆维吾尔自治区自然科学基金重点基金项目(2022D01D04)

新疆维吾尔自治区重点研发任务专项基金项目(2022B03010)

出版年

2024
计算机工程与设计
中国航天科工集团二院706所

计算机工程与设计

CSTPCD北大核心
影响因子:0.617
ISSN:1000-7024
参考文献量4
段落导航相关论文