首页|联合语义分割与边缘重建的深度学习图像修复

联合语义分割与边缘重建的深度学习图像修复

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 传统图像修复方法缺乏对图像高级语义的理解,只能应对结构纹理简单的小面积受损.现有的端到端深度学习图像修复方法在大量训练图像的支持下克服了上述局限性,但由于这些方法试图在约束不足的情况下恢复整个目标,修复的图像往往存在边界模糊和结构扭曲问题.对此,本文提出一种语义分割结构与边缘结构联合指导的深度学习图像修复方法.方法 该方法将图像修复任务分解为语义分割重建、边缘重建和内容补全3个阶段.首先重建缺失区域的语义分割结构,然后利用重建的语义分割结构指导缺失区域边缘结构的重建,最后利用重建的语义分割结构与边缘结构联合指导图像缺失区域内容的补全.结果 在CelebAMask-HQ(celebfaces at-tributes mask high quality)人脸数据集和Cityscapes城市景观数据集上,将本文方法与其他先进的图像修复方法进行对比实验.在掩膜比例为50％～60％的情况下,与性能第2的方法相比,本文方法在Celebamask-HQ数据集上的平均绝对误差降低了4.5％,峰值信噪比提高了1.6％,结构相似性提高了1.7％;在Cityscapes数据集上平均绝对误差降低了4.2％,峰值信噪比提高了1.5％,结构相似性提高了1.9％.结果 表明,本文方法在平均绝对误差、峰值信噪比和结构相似性3个指标上均优于对比方法,且生成的图像边界清晰,视觉上更加合理.结论 本文提出的3阶段图像修复方法在语义分割结构与边缘结构的联合指导下,有效减少了结构重建错误.当修复涉及大面积缺失时,该方法比现有方法具有更高的修复质量.
Deep learning image inpainting combining semantic segmentation reconstruction and edge reconstruction

杨红菊、李丽琴、王鼎

展开 >

山西大学计算机与信息技术学院,太原 030006

山西大学计算智能与中文信息处理教育部重点实验室,太原 030006

图像修复 生成对抗网络(GAN) 语义分割 边缘检测 深度学习

国家自然科学基金山西省高等学校科技创新资助项目山西省回国留学人员科研项目

619761282019L01032022-008

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(12)
  • 4
  • 2