摘要
图像是人类生活中表达与传递信息的重要载体，在图像获取与传输中往往会受到外界因素影响，导致图像质量下降，分辨率变低。图像超分辨技术（ImageSuperResolution，SR）可以从退化的低分辨图像（LowResolution，LR）重建出高分辨图像（HighResolution，HR），实现图像的复原，是计算机视觉重要的研究内容之一，在卫星遥感、医学成像、国家安全等领域都有广泛应用。图像超分辨技术由最初插值放大到现在智能生成，重建图像质量越来越好，基于深度学习的生成对抗网络（GenerativeAdversarialNetworks，GAN）的提出使图像超分辨技术有了质的飞跃。这些方法存在标量神经元表达图像特征能力较弱且模型复杂度较大的问题，忽视了深层次特征信息丢失对图像超分辨的影响，缺少退化处理中下采样倍数对图像复原后的效果对比与理论分析。因此，在ESRGAN网络基础上提出了一种基于多尺度卷积和注意力机制的生成对抗网络图像超分辨模型AC-ESRGAN（EnhancedSuper-ResolutionGenerativeAdversarialNetworkBaseonDeepMulti-ScaleConvolutionandAttentionMechanism），搭建了图像超分辨平台，该平台包括无人机数据库采集系统、网络模型训练系统，网络模型评价系统等。 该文搭建了基于无人机数据采集系统，构建了不同下采样倍数的数据库，解决了数据集构建困难等问题；通过在ESRGAN网络中加入深度多尺度卷积模块（DeepMultiscaleConvolution，DMConv）、通道注意力模块（InnovationChannelAttention，ICA）和融入胶囊网络（CapsuleNetwork，CapsNet）多维神经元的思想，构建了一种基于多尺度卷积和注意力机制的生成对抗图像超分辨网络；对提出的网络在自制数据集和公共数据集上进行训练与测试，并与不同网络的模型性能进行对比；最后对所得的模型进行峰值信噪比、结构相似性与YOLO目标检测评价。实验表明：该网络能更好提取模型更深层的特征，传递更多特征信息量，降低模型复杂度，提高模型性能。本论文的主要工作包括以下内容： （1）为了使模型适用更多场景，且更好的对比不同下采样倍数对图像复原后的影响，构建了具有真实感和背景复杂的不同下采样倍数的数据库，这样可以扩充原有数据集的图片数量和增强模型特征学习能力。 （2）为了更好提取图像更多层次的特征，防止高频信息丢失，基于深度多尺度卷积机制，重构了ESRGAN生成网络编码器模块，不仅增强了网络特征提取能力，而且使网络具有更高的效率及较好的灵活性。 （3）为了降低模型复杂度，提高模型性能，提升网络质量，通过在ESRGAN的生成网络的解码器中引入ICA注意力模块，不仅可以防止过拟合，增强输入图像与输出图像的关系，还可以无降维的进行局部跨通道交互，降低模型复杂度。 （4）为了能增强模型表达能力，使其更能“理解”图像，反映图像特征更多的状态，在ESRGAN的生成网络的解码器中融入一种向量神经元有多种属性的思想，能“吸取”更多信息，建立图像三维之间的关系，从而模型的性能进一步提升。 （5）为了能客观的评价图像结果，测试网络模型性能，除了使用峰值信噪比与结构相似性评价指标，还提出了一种新的参考性评价指标，即YOLO目标检测方法，通过检测原图像与超分辨生成图像的置信度和目标类别来进一步评价模型的效果。 该文分别在不同公共图像数据集与自制数据集上对提出的网络进行测试并分析，实验结果表明AC-ESRGAN比ESRGAN、ZSSR、SRGAN等网络无论在纹理还是细节上都有较好的提升。在UM4模型的Set5的测试集中，AC-ESRGAN的峰值信噪比（PSNR）比ESRGAN提升了0.11dB，比SRGAN提升了0.76dB，比SRCNN提升了2.36dB；在结构相似性（SSIM）方面，AC-ESRGAN比ESRGAN提升了0.12%，比SRGAN提升了1.13%，比SRCNN参数相比提升了3.95%；在Set14的测试集中AC-ESRGAN的PSNR比ESRGAN提升了0.06dB，比SRGAN提升了0.52dB，比SRCNN提升了1.55dB；在结构相似性（SSIM）指标上，AC-ESRGAN的参数与ESRGAN参数相比提升了0.08%，比SRGAN参数相比提升了1.21%。综上所述，提出的AC-ESRGAN网络与其他网络相比有较好的提升，不仅可以提取图像更多层次特征，还能提高模型的性能，使得模型输出的图像比原网络质量更高。
NETL