摘要
图像修复是指将图像缺失内容进行重建的一个过程，其主要手段是通过退化图像中还能够获取到的语义信息、纹理信息、结构信息等进行缺失区域的语义预测、纹理预测、结构预测。最后使填充的结果与图像未丢失部分保持相同的风格，连贯的内容。并且，修复结果需要人眼看起来真实，自然。传统的图像修复方法在解决一些简单的小面积缺失区域图像时，修复结果尚可，但是由于其本身的限制，在修复复杂图像、大面积缺失图像时，往往得不到令人满意的修复效果。深度学习被用于图像修复领域之后，图像修复算法的能力取得了巨大的突破。深度学习技术在语义特征提取、特征学习等方面具有强大的能力，为缺失图像的内容预测起到了巨大帮助。不过深度学习应用于图像修复的时日尚浅，还存在很多可以改进优化的地方。本文通过以下三个方面对基于学习的修复算法进行改进： （1）关于图像信息的利用方面，通过改进一阶段修复算法，提出渐进式修复算法。方法包含一个生成对抗网络和一个掩码更新分支。通过更新掩码区域，对修复过程进行反复迭代，从缺失区域的外围逐步向里填充，使缺失区域内部在修复时能够接收更多的有用信息。 （2）在图像语义特征提取方面，提出一个包含四个生成对抗子网络的长短期记忆网络。每个子网络负责特定的区域进行修复，将一次性修复大面积区域的修复问题转化为小面积修复带时序性的问题。使图像语义提取更加容易，从而取得更好的修复效果。 （3）针对现有修复算法模型参数多的问题，通过改进卷积方式，吸取两种优秀卷积的优点，提出深度可分离门控卷积。该卷积方式能够学习更新掩码，排除掉缺失区域无效像素对生成结果的干扰，同时大大降低模型参数。
NETL