摘要
随着计算机视觉的高速发展，生成对抗网络的出现提升了合成图像的真实性，生成更丰富的数据。同时生成对抗网络也被广泛的应用于艺术图像生成任务中，如自然风景、中国山水画图像生成等。为了激发作者创作灵感、提高图像质量，需要在作者画作基础上将不同风格图像进行融合，生成新的高质量图像。然而现实生活里中国山水画图像的数量有限，且山水画创作中因其对纹理、风格和自然属性等特征有极高的要求，在生成对抗模型的设计上有很大的挑战。传统的GAN图像生成方法依赖于大量数据，当面对小样本数据输入时，生成的图像在质量和多样性方面都有所欠佳。在无监督条件下，针对山水画图像数据集少、生成的图像质量差、风格不够灵活的问题，本文提出了新的小样本山水画图像生成方法，将不同风格图像进行融合，生成高质量图像。本文主要的研究内容如下： （1）本文提出了一种新的无监督小样本图像生成方法FUGAN（Few-shotUnsupervisedGenerationAdversarialNetwork），该方法致力于解决无监督条件下样本数据过少导致生成图像质量较差的问题，将不同风格图像进行融合，生成新的高质量多风格图像。在生成器设置上将内容图像和风格图像同时作为输入进行联合学习，这种策略可以在学习过程中创建一个直接的反馈路径，有助于在风格选取上互相影响，在样本数据少的情况下充分利用其样本数据，生成风格灵活的高质量图像。此外，在生成器中采用多尺度融合学习策略，对输入图像在不同分辨率下进行学习并进行融合，加强对山水画不同尺度的学习，从局部细节到全局脉络，都能有效学习，有效解决训练过程中数据依赖问题，提高对小样本数据的学习能力，生成高质量、多风格图像。 （2）针对山水画图像生成过程中出现局部结构不协调、忽略全局信息的问题，提出FUGAN-SA方法：在FUGAN基础上引入自注意力机制模块，通过计算内容图像像素之间的像素位置关系来衡量权重比例，加强图像特征的关联性，从而赋予更大的权重，建立关联性比较强的特征之间的依赖关系，从而提高山水画图像整体协调性。在内容编码器和图像解码器设置上，用残差块替换普通卷积层，保留图像的固有特征，降低原图像特征在中间卷积过程中的信息损失，更好地还原图像细节，可以有效提高性能。在判别器设置上设计多任务对抗判别器，增加自我重构降低无关图像域信息的改变，进一步引导图像生成的方向，提高图像生成效果。
NETL