首页|基于多尺度Scale-Unet的单样本图像翻译

基于多尺度Scale-Unet的单样本图像翻译

扫码查看
随着生成对抗网络(GAN)的发展,基于单样本的无监督图像到图像翻译(UI2I)取得了重大进展。然而,以前方法无法捕获图像中的复杂纹理并保留原始内容信息。为解决这个问题,提出了一种基于尺度可变U-Net结构(Scale—Unet)的新型单样本图像翻译结构SUGAN。所提出的SUGAN使用Scale—Unet作为生成器,利用多尺度结构和渐进方法不断改进网络结构,以从粗到细地学习图像特征。同时,提出了尺度像素损失scale-pixel来更好地约束保留原始内容信息,防止信息丢失。实验表明,与SinGAN、TuiGAN、TSIT、StyTR2等公共数据集Summer↔Winter、Horse↔Zebra上的方法相比,该方法生成图像的SIFID值平均降低了 30%。所提方法可更好地保留图像内容信息,同时生成详细逼真的高质量图像。
Single-sample Image Translation Based on Multi-scale Scale-Unet
Single-sample unsupervised image-to-image translation(UI2I)has made significant progress with the development of generative adversarial networks(GANs).However,previous methods cannot capture complex textures in images and preserve original content information.We propose a novel one-shot image translation structure SUGAN based on a scale-variable U-Net structure(Scale—Unet).The proposed SUGAN uses Scale—Unet as a generator to continuously improve the network structure using multi-scale structures and progressive methods to learn image features from coarse to fine.Meanwhile,we propose the scale-pixel loss to better constrain the preservation of original content information and prevent information loss.Experiments show that compared with SinGAN,TuiGAN,TSIT,StyTR2 and another methods on public datasets Summer↔ Winter,Horse↔Zebra,the SIFID value of the generated image is reduced by 30%.The proposed method can better preserve the content information of the image while generating detailed and realistic high-quality images.

single-sample image translationScale-Unetmulti-scale structureprogressive approachscale-pixel loss

周蓬勃、冯龙、寇宇帆

展开 >

北京师范大学艺术与传媒学院,北京 100032

西北大学信息科学与技术学院,陕西西安 710127

单样本图像翻译 Scale-Unet 多尺度结构 渐进方法 尺度像素损失

国家自然科学基金国博文旅部重点实验室开放基金陕西省重点研发计划陕西省重点研发计划

62271393CRRT2021K012019GY-2152021ZDLSF06-04

2024

计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子:0.621
ISSN:1673-629X
年,卷(期):2024.34(4)
  • 16