首页|基于生成对抗网络的图像超分辨率重建

基于生成对抗网络的图像超分辨率重建

赵杨坤

基于生成对抗网络的图像超分辨率重建

赵杨坤1
扫码查看

作者信息

  • 1. 景德镇陶瓷大学
  • 折叠

摘要

图像作为高效快速的信息传递载体,对于人们获取和传递信息具有重要意义。由于图像采集设备本身硬件条件的不足、人为因素和环境因素的干扰,导致采集到的往往是由原始图像经过一系列退化过程所得的低分辨率图像,易出现失真、模糊、噪声等现象。基于深度学习的图像超分辨率重建技术,可以在不依赖原始图像采集设备的条件下,通过算法建模的方式直接提取低分辨率图像的特征来提升图像的分辨率,是一种具有高性价比和高可行性的图像处理技术。本文在对生成对抗网络和注意力机制相关理论的研究基础上,结合课题组的个性化陶瓷定制平台的实际应用场景,对超分辨率重建算法中的退化操作、网络结构和损失函数进行了优化,获得了更好的重建效果。本文的主要研究内容如下: (1)考虑到目前大多数图像超分辨率重建算法均采用固定的双三次插值算法来对原始图像进行下采样,导致超分算法在处理现实世界中较为复杂的退化场景时,会出现预测值偏差和性能下降的问题,为此,本文提出了二阶退化模型,将传统插值算法扩展为两个阶段的退化过程,在每一个退化阶段中加入随机的模糊、下采样、噪声和压缩操作来增强退化操作的复杂度,使得超分算法可以学习到更加复杂的退化关系,进一步提升算法的性能和泛化能力。实验结果表明采用二阶退化模型的超分辨率重建算法可以更加有效地处理缩放、噪声、模糊和压缩等退化过程。 (2)针对目前生成对抗网络所存在的缺陷,即过于依赖卷积运算从而导致网络无法充分捕捉图像在各个尺度上的特征,本文提出了基于混合注意力机制和生成对抗网络的图像超分辨率重建算法HA-ESRGAN。该算法构建了多尺度混合注意力残差组,通过在残差结构单元中融入空间注意力、通道注意力和自注意力机制来准确提取图像的空间特征、通道特征和全局特征,同时降低网络的运算量。此外,本文采用基于Unet结构和谱归一化层的判别器来增强网络训练过程中的稳定性。实验结果表明,在2倍重建条件下,该算法相比于其他先进算法在四个基准数据集上的PSNR和SSIM指标平均提升了1.65dB和3%,NIQE平均下降了12.1%,而在4倍重建条件下,该算法的PSNR和SSIM指标平均提升了1.14dB和3.7%,NIQE平均下降了15.4%,且重建图像视觉观感更好,纹理细节、亮度和饱和度更加准确。 (3)为了满足个性化陶瓷定制应用中需要提升陶瓷图案清晰度的实际需求,本文构建了在线Web超分平台,首先对该平台的功能和架构进行分析与设计,再将所提出的超分模型部署到该平台中,最后结合个性化陶瓷定制应用对该平台的主要功能进行测试和可视化结果展示,测试结果表明该平台可以有效提升用户上传陶瓷图案的清晰度,具有实际应用价值。

关键词

图像重建/超分辨率/生成对抗网络/混合注意力机制

引用本文复制引用

授予学位

硕士

学科专业

计算机软件与理论

导师

章义赖

学位年度

2023

学位授予单位

景德镇陶瓷大学

语种

中文

中图分类号

TP
段落导航相关论文