摘要
图像生成技术是当前计算机视觉领域一个热门话题。近年来，生成对抗网络(GenerativeAdversarialNetwork,GAN)在图像生成领域取得了巨大的成功，这是因为GAN在生成器与判别器之间的竞争博弈下不断提高建模能力，最终实现以假乱真的图像生成能力。GAN已被广泛应用于图像生成领域，但是GAN模型常常面临的主要问题之一是模式崩塌问题。GAN模型的模式崩塌问题主要分为两类:一是缺乏多样性，即GAN生成的图像分布偏向于某一类或少数几类的图像分布，二是缺乏真实性，即GAN生成的图像与原始图像间存在严重的失真。针对上述两类模式崩塌问题，本文对GAN模型的生成器和判别器的网络结构及其损失函数的设计与优化进行了较为深入的研究，论文的主要研究工作如下: (1)基于patches自监督生成对抗模型 为了解决GAN模型多样性缺乏的模式坍塌问题，传统的方法是利用大规模无监督数据中的自监督信息，即通过仿射变换(如旋转、平移等)等图像增强技术扩充有限的训练真实图像样本，以此增加训练样本的数量以及多样性。该方法能够较好地解决样本多样性不足的问题，但仍存在局部细节纹理与全局结构不一致等问题。为此，本文提出一种基于图像块对比自监督生成对抗模型。该模型首先对初始训练图像进行自旋转变换，然后对变换后的每个图像进行分块，最后在所有的分块小图像上进行对抗学习。因此该模型不但能够学习图像的全局结构，也能够获取图像的局部细节表征。在几个公开数据集上的广泛实验验证了所提模型具有更好的图像生成能力。 (2)基于自注意力噪声方法的生成对抗模型 针对GAN模型缺乏真实性的模式坍塌问题，现有的方法通常采用优化判别器端的反向传播的梯度信息，但是该梯度信息仍然是间接性的，未能使生成器获得足够的真实信息。本文通过在生成器端优化设计输入噪声，提出基于自注意力噪声对抗生成模型。该方法首先分别利用通道自注意力机制与空间自注意力机制抽取真实训练图像的分布权重图，然后将该分布权重图与输入噪声相融合，同时在生成器端的对抗损失函数中增加真实图像与生成图像间的分布权重图损失，从而有效地提升生成器生成图像的真实感。在多种开放数据集上的实验结果验证所提模型生成的图像具有更高的真实感。 (3)基于自注意力机制的生成对抗模型在缺损严重图像修复中的应用 针对现有GAN模型对缺失严重图像的修复能力不足的问题，传统的方法是对局部图像与全局图像分别进行修复对比，该方法能够获取缺失图像的全局信息与局部信息,但是忽略了全局与局部之间的联系，导致生成的图像在修复边缘衔接不契合。本文将上述基于自注意力机制的生成对抗模型应用于缺损严重图像的修复中，该方法首先将真实图像与缺失图像进行特征融合并输入判别器，然后抽取真实图像的权重分布图与输入噪声进行融合，并构造权重误差损失函数用以优化自注意力模块，从而有效提升了修复图像边缘处的图像契合度。在几个公开人脸图像数据集上的实验结果表明所提方法在图像的细节修复及视觉连贯性方面取得了较为明显的提升。 综上所述，本文通过优化GAN网络结构与传递函数，从局部与全局信息出发，利用注意力机制改善现有GAN模型生成图像的多样性和真实信息，最后将所提方法应用于缺失严重图像的修复，有效地提升了图像的修复质量。
NETL