摘要
数字图像作为一种相比于文字更加直观和丰富的信息载体，无论在日常生活交流还是专业图像应用等方面都需要很高的质量。然而在实际情况中，图像在传送和转换等过程中，经常会出现损坏，导致图像质量下降和局部信息丢失。因此，如何正确地将损坏的图像恢复到满足人们视觉要求成为图像处理研究的重要内容之一。本文主要对基于深度学习的图像修复算法进行了研究，主要工作如下。 分析现有基于卷积自编码的图像修复算法，对当前修复模型进行研究，总结多列卷积生成对抗修复模型网络存在的不足和优点，对其网络结构进行改进。首先在网络第三分支编码器的深层网络引入上下文注意力(CA)模块，以避免神经网络由于局部连接特性不能借用遥远位置的特征生成破损特征；其次在网络的所有分支分别引入特征连接模块，防止图像在特征提取时信息丢失导致有效信息不足，为网络解码器图像的生成提供更多细节信息；最后，所有分支利用混合空洞卷积(HDC)模块扩大模型感受野，同时保持信息相关性，通过实验分析合理设置各分支HDC模块的空洞率，选择最佳空洞率。在ParisStreetview街道数据集和Celeba人脸数据集上进行仿真实验，结果表明本文网络模型相较对比模型PSNR结果提升了约1.2dB，SSIM值也有一定的提升。 针对当前图像修复存在的结构扭曲和图像内容不连贯问题，对多列卷积生成对抗修复模型的损失函数进行研究和改进。首先总结了多列卷积生成对抗修复模型中损失函数忽略破损区域特征语义相关性和特征连续性问题；其次将图像修复领域常用保持图像一致性的损失函数分别替换改进模型的ID-MRF损失函数，通过实验仿真选取修复效果更佳的一致性损失函数训练改进模型的上下文注意力层，并确定其最佳权重；接着由于一致性损失函数只能更新模型第三分支，第一二分支缺少纹理细节约束，因此，对模型第一二分支引入结构相似性损失函数约束其结构纹理，并优化其训练策略，使用不同的损失函数分别训练模型第一二和第三分支，得到修复效果最佳模型。实验结果表明，引入一致性损失函数和结构相似性损失函数交替训练网络各分支得到的改进模型能够使修复图像的结构纹理连贯，与原始图像更相似。
NETL