摘要
图像超分辨率是一个经典的低维计算机视觉任务，其目的在于将一张退化后的低分辨率图片恢复成一张视觉上令人满意的高分辨率图片。图像超分辨率问题本质上是一个不适定问题，没有唯一解，单纯依靠数学表达式难以很好地解决这个问题。近年来基于深度学习的图像超分辨率方法开始崭露头角。目前基于深度学习的图像超分辨率方法为了获得更好的重建性能会不断加深网络深度，但是这种做法会让整个网络模型的参数变多和计算量过大，从而限制了这些算法在移动设备上的应用。除此之外，现有研究大都数是建立在理想退化模型(例如双三次退化)的基础上的，而在真实场景中图像的退化模型是十分复杂且难以建模。因此以双三次下采样为退化模型训练得到的网络应用在真实场景中会有较大的性能退化。本文针对以上问题进行深入研究，主要工作如下: (1)针对现有图像超分辨率重建算法计算复杂度过高这一现象，本文提出了一种基于自适应稀疏性的轻量级图像超分辨率重建算法。通过引入稀疏自注意力机制构建了一个浅层特征提取模块，该模块能够以较少的计算量为代价提取出包含全局信息的浅层特征，为恢复图像的高频细节打下坚实的基础。为了考虑图像超分任务中固有的稀疏性，提出了改进的稀疏掩膜模块，该模块能够在网络的前向推理过程中跳过图像平坦区域的冗余计算以节约计算量。接着设计了一个特征融合模块，该模块将前面多个级联的稀疏掩膜模块的输出融合在一起以提供包含更多高频细节的特征给图像重建模块。此外，整个超分辨率网络各模块间使用了跳跃连接以保证图像的低频细节不丢失。实验证明，本文提出的算法以较少的计算复杂度在各个公共测试集上都取得了比其他轻量超分算法更好的重建结果。 (2)针对现有图像超分辨率重建算法在真实场景的退化模型下无法恢复出高质量的图像这一现象，本文提出了一种改进的基于无监督退化表示学习的盲超分辨率重建算法。该算法主要有两个分支网络组成。第一个分支网络为对比学习框架下的基于残差思想的编码器网络，使用编码器网络可以从输入的低分辨率图像中学习到一个高维抽象的退化表示向量，该退化表示向量能够给超分重建网络提供待重建的低分辨率图像的退化模型信息。另一个分支为可以利用编码器学习到的退化表示向量灵活地适应各种退化模型的退化感知融合超分网络。退化感知融合超分网络的主干块为退化感知融合模块，该模块的核心思想是使用三个分支对输入的低分辨率图像特征和退化表示向量进行融合。此外，为了从输入的低分辨率图像中提取到包含图像全局信息的特征，本文为退化感知融合超分网络设计了一个浅层特征提取模块。在真实图像和合成数据集上大量的实验结果表明，本文所提出的算法能够在盲超分任务上取得比其他盲超分算法领先的重建性能。
NETL