首页|基于生成对抗网络的维语场景文字修改网络

基于生成对抗网络的维语场景文字修改网络

扫码查看
原文链接
  • 万方数据
  • 维普
通过对维语的场景文字检测与识别研究发现,人工采集标注自然场景文字图像是耗时耗力的,因此人工合成的数据是作为训练数据的主要来源.为获得更加真实的数据,本文提出一种基于生成对抗网络的维语场景文字修改网络,利用高效的Transformer模块构建网络,充分提取图像全局与局部特征来完成维语场景文字图像修改,并添加微调模块,对最终结果进行微调.采用WGAN思想策略训练模型,可有效应对模型崩溃以及梯度爆炸等问题.通过在英文-英文,英文-维文的文字修改实验来验证模型的泛化能力和鲁棒性,无论在客观评价指标(SSIM、PSNR)还是视觉上均取得不错效果,并在真实场景数据集SVT以及ICDAR 2013上进行了验证.
Scenes Text Modification Network for Uyghur Based on Generative Adversarial Network
Through the study of scene text detection and recognition in Uyghur languages,it is found that manual acquisition of labeled natural scene text images is time-consuming and labor-intensive.Therefore,artificially synthesized data is used as the main source of training data.To obtain more realistic data,a scenes text modification network for Uyghur based on generative ad-versarial network is proposed.The efficient Transformer module is used to construct the network for fully extracting the global and local features of the image to complete the modification of the Uyghur,and a fine-tuning module is added to fine-tune the final results.The model is trained with WGAN thought strategy,which can effectively cope with the problems of pattern collapse as well as gradient explosion.The generalization ability and robustness of the model are verified by text modification experiments in English-English and English-Virginia.Good results are achieved in both objective metrics(SSIM,PSNR)and visual effects,and are validated on real scene datasets SVT and ICDAR 2013.

generative adversarial networksscene text editingUyghur scene text imageefficient TransformerWGAN

付鸿林、张太红、杨雅婷、艾孜麦提·艾瓦尼尔、马博

展开 >

新疆农业大学计算机与信息工程学院,新疆 乌鲁木齐 830052

新疆农业信息化工程技术研究中心,新疆 乌鲁木齐 830052

中国科学院新疆理化技术研究所多语种信息技术研究室,新疆 乌鲁木齐 830011

生成对抗网络 场景文字修改 维语场景文字图像 高效Transformer WGAN

国家自然科学基金资助项目新疆天山创新团队项目中国科学院青年创新促进会项目新疆维吾尔自治区自然科学基金重点基金资助项目新疆维吾尔自治区重大科技专项

U20033032020D14045科发人函字[2019]26号2022D01D042022A02011

2024

10.3969/j.issn.1006-2475.2024.01.007

计算机与现代化
江西省计算机学会 江西省计算技术研究所

计算机与现代化

CSTPCD
影响因子：0.472
ISSN：1006-2475
年,卷(期)：2024.(1)
  • 27