摘要
图像修复是计算机视觉领域的重要问题，图像修复可以分为imageinpainting和imageoutpainting，目的都是根据图像中的已知内容自动恢复丢失的内容。对于规则缺失区域，现在inpainting的方法已经取得了不错的进展，然而修复不规则缺失区域仍然是一项较大的挑战。与先前的修复方法有所不同，我们从不规则图像特征周围进行了研究，考虑到处理空间位置信息时卷积效率低的问题，引入了注意力机制来提取远距离和不规则的图像内容，自我注意力机制和SENet模块，能够关注全局信息。另外，引入了注意力归一化来代替批归一化，以对网络上的长距离关系进行建模。 与imageinpainting不同，imageoutpainting在图像中心具有相对较少的上下文来捕获特征图像边界上的内容进行预测，因此，传统的编解码器网络可能无法预测完全未知的内容。在本文中，我们提出了一种新颖的两阶段孪生对抗图像外推网络，称为孪生扩展网络（SiEeseExpansionNetwork，SiENet）。具体来说，在两个阶段中，我们设计了一种新颖的边界敏感卷积名为自适应填充卷积，旨在能够使得编码器预测未知内容，从而减轻解码器的预测负担。此外，向网络引入先验知识，能够增强编码器的推理能力，孪生对抗机制使我们的网络能够对远距离的特征分布进行建模。同时在四个数据集的实验表明我们的方法优于现有的最新技术。本文在imageinpainting进行衍生实验，做了一系列图像去云，类似于端到端的图像修复任务，将带云的遥感图像转换为无云的遥感图像，本质上是像素到像素的问题，本文在decoder上加入了空间注意力机制，将图片中的空间域信息做对应的空间变换，从而能将关键的信息提取出来实现图像去云。
NETL