基于端到端的图像清晰化处理的深度学习算法
A Deep Learning Algorithm Based on End-to-End Image Clarity Processing
孙田 1邹斌 2龙潜 3孟然 4谢启伟5
作者信息
- 1. 湖北大学数学与统计学学院,湖北 武汉 430062
- 2. 湖北大学数学与统计学学院,湖北 武汉 430062;湖北省应用数学重点实验室,湖北 武汉 430070
- 3. 天津科技大学人工智能学院,天津 300457
- 4. 北京中科慧眼有限公司,北京 100025
- 5. 北京工业大学北京现代制造业发展研究基地,北京 100023
- 折叠
摘要
随着深度卷积神经网络的发展及其在图像恢复中的应用,一些基于深度学习的图像处理的方法实现了越来越好的图像清晰化的效果.为使模糊图像复原出清晰图像,提出了一种基于端到端的去噪,去马赛克,去振铃以及超分辨率的深度学习算法 JDDDSN(Joint de-noising,de-mosaic,de-ringing,and super-resolution network).以端到端的网络结构结合去噪,去马赛克,去振铃以及超分辨率四种图像处理方法,同时增加注意力机制与对抗性损失函数以捕获更多的高频信息,并融合到最终的超分辨率图像中.该模型的表现是通过使用峰值信噪比(PSNR)和结构相似性(SSIM)这两个评价指标来进行评估,实验结果表明:将注意力机制、对抗性损失函数以及Unet网络模块合理地应用于端到端的网络模型中无论在视觉效果还是在数据指标上均可以获得较好的结果.
Abstract
As deep convolutional neural networks continue to evolve and their applications in image restoration,some image processing methods based on deep learning have achieved better and better image clarity.A deep learning algorithm JDDDSN(Joint De-noising,De-mosaic,De-ringing,and Super-resolution Network)is proposed to restore blurry images to clear images.The end-to-end network structure is combined with four image processing methods:de-noising,de-mosaic,de-ringing and super-resolution.At the same time,attention mechanism and antagonistic loss function are added to capture more high-frequency information,and the losses caused in the reconstruction process are extracted and fused into the final super-resolution image.The model is based on the PSNR and SSIM metrics.The experimental results show that the reasonable application of attention mechanism,antagonistic loss function and Unet network module to the end-to-end network model can achieve good results in terms of both visual effects and data indicators.
关键词
端到端网络/去噪/去马赛克/去振铃/超分辨率/对抗性损失函数/注意力机制Key words
end-to-end network/denoising/go to mosaic/ring the bell/super resolution/antagonistic loss function/attention mechanism引用本文复制引用
基金项目
变革性技术关键科学问题(2020YFA0714201)
科技创新2030-"新一代人工智能"重大项目(2018AAA0103103)
中关村科学城管理委员会(中关村科技园区海淀园管理委员会)资助人才项目-"海英人才"项目()
出版年
2024
NETL
NSTL
万方数据