摘要
图像模糊是图像退化中的一种常见形式，可能发生在任何需要成像设备的应用领域，其中散焦模糊是由拍摄物体在数码相机焦平面外引起的。由于相机景深有限，在拍摄场景具有显著深度变化的情况下，散焦模糊不可避免。散焦图像中不同区域的模糊程度可能不同，使得从模糊图像中获取清晰图像成为很具挑战性的任务。双像素技术通过使用两个独立的光电二极管，捕捉到更多的光学信息，帮助光学器件实现自动对焦，而其采集到的左右子视图中隐含的差异信息，近年来也受到计算机视觉中深度估计和图像去模糊等任务的关注。 为了解决单幅散焦图像复原问题，本文以U-Net[1]为基础架构，对编码层、瓶颈层和解码层均进行改进，提出了SDFRNet。首先，针对散焦图像中模糊区域与清晰区域呈现空域变化的特点，本文设计了残差空间注意力模块作为网络基本块；其次，为了避免传统池化下采样和反卷积上采样导致的特征图信息丢失问题，本文利用离散小波变换的无损可逆性，提出了基于离散小波变换的下采样以及基于逆小波变换的上采样；然后，由于在U-Net[1]架构中编码层将输入特征图提升到高维，为了能更好地利用高维特征图信息，本文将多尺度局部卷积引入瓶颈层；最后，与DPDNet[2]针对单幅散焦图像输入的版本DPDNets相比，SDFRNet在参数量减少67%的同时，在DPDD[2]测试集的室内场景下，图像质量评价指标PSNR、SSIM、MAE和LPIPS分别提升了1.61dB、4.66%、16.12%和13.39%，各项性能指标得到显著提升。 为了解决双像素散焦图像对的复原问题，本文将双像素技术中采集到的左右子图像对作为网络输入，并在SDFRNet基础上进行针对性的改进，提出了DPDFRNet。由于左右子图像在模糊区域存在相关性复杂的差异，而模糊区域是空域变化的，且不同程度模糊的模糊范围不同，所以本文首先从多尺度角度对残差空间注意力模块进行了改进，并引入了残差嵌套结构，让网络能从多级残差的多尺度信息里学习到多层级范围的空域变化特征信息；其次，本文在特征转换阶段引入了空洞卷积，无损增大感受野，增加网络对更大区域特征的感知程度；最后，与DPDNet[2]针对双像素图像对输入的版本DPDNetD相比，DPDFRNet在参数量减少40.73%的同时，在DPDD[2]测试集的室内场景下，图像质量评价指标PSNR、SSIM和MAE上分别提升了1.29dB、2.24%和17.24%，表现出了明显的优势。
NETL