首页|基于样式的生成式对抗网络用于图像数据增广

基于样式的生成式对抗网络用于图像数据增广

刘晨

基于样式的生成式对抗网络用于图像数据增广

刘晨1
扫码查看

作者信息

  • 1. 燕山大学
  • 折叠

摘要

近年来,人工智能技术的快速发展使人们的衣食出行发生了翻天覆地的变化,尤其是计算机视觉领域相关技术的突破,从应用最为普遍的人脸识别技术,再到无人驾驶、虚拟现实技术等等,人们越来越感受到计算机视觉领域的研究始终在朝着更加便利、更加多元化的方向发展。当然,这些优秀的算法模型能得以在实际生活中应用更离不开算力资源和数据资源的支持。尽管,各大企业、高校、开源社区、科研机构相继发布了相关任务的开源数据集,但随着日益增长的复杂应用场景,这些开源数据集与海量的数据相比仍然相差甚远。由于采集数据需要大量的时间、金钱和人员成本,所以如果能够通过技术手段生产数据那便能很好地解决这些难题。 目前,业界已经有许多图像数据增广的方法,例如,给图像添加高斯噪声,对图像进行随机裁剪或者随机遮蔽,同时也可以对图像进行随机旋转或者对图像进行色彩增强,这些方法已经普遍运用到了各种模型的训练阶段。尽管如此,这些方法产生的图像依然缺乏多样性和丰富性,从图像中的主体角度来讲,这些变换实际与原始图像别无差距。基于样式生成式对抗网络的提出使得图像生成任务有了新的思路,即通过基于样式的生成式对抗网络来生成图像数据。 将差分隐私算法与样式生成式对抗网络相互结合,本文实验数据表明基于本文的方法生成的图像能够很好地隐去原始图像中人脸的身份信息,以实现生产具有多样性和丰富性的图像数据。 本文的主要研究内容如下: (1)由于样式生成式对抗网络是本文采用的核心方法,所以本文对样式生成式对抗网络的模型结构、训练技巧、模型缺点以及评估指标进行了研究,同时,对基于样式生成式对抗网络的下游任务进行了简要的分析,为后续实验进行铺垫。 (2)采用将差分隐私与样式生成式对抗网络相互结合的方法,解决样式生成式对抗网络在改变人脸的面部特征和隐去身份信息进行折中的问题。基于大型开源人脸数据集进行模型训练,利用FrechetInceptionDistance(FID)指标来评估生成图像的质量,之后基于人脸身份聚类算法模型评估本文方法是否能够很好隐去原始训练图像的身份信息。 (3)由于样式生成式对抗网络的样式混合策略结果只能在模型预测阶段获得,所以该过程是不可控的,并且无法对目标图像实现一对一的样式混合。本文提出通过对目标图像微调中间潜在空间向量并对其进行重构的策略,用来对目标图像实现可控的样式混合,基于该方法生成的图像没有任何的冲突感。 (4)对样式生成式对抗网络的系列模型进行了研究,着重分析样式生成式对抗网络的缺点,以及后续系列模型的改善与提升,引发更多科研工作者对相关研究的思考与展望。同时,鉴于自我注意力机制擅长捕获长距离的依赖关系,并且能够通过上下文信息对重要特征进行提取和信号激活。为此,将自我注意力机制引入样式生成式对抗网络的生成器结构中,用来产生更真实的人脸图像。

关键词

隐私保护/数据增广/生成式对抗网络/样式生成式对抗网络/差分隐私

引用本文复制引用

授予学位

硕士

学科专业

仪器仪表工程

导师

王书涛/宋涛

学位年度

2022

学位授予单位

燕山大学

语种

中文

中图分类号

TP
段落导航相关论文