计算机技术与发展2024,Vol.34Issue(4) :55-61.DOI:10.20165/j.cnki.ISSN1673-629X.2024.0009

基于多尺度Scale-Unet的单样本图像翻译

Single-sample Image Translation Based on Multi-scale Scale-Unet

周蓬勃 冯龙 寇宇帆
计算机技术与发展2024,Vol.34Issue(4) :55-61.DOI:10.20165/j.cnki.ISSN1673-629X.2024.0009

基于多尺度Scale-Unet的单样本图像翻译

Single-sample Image Translation Based on Multi-scale Scale-Unet

周蓬勃 1冯龙 2寇宇帆2
扫码查看

作者信息

  • 1. 北京师范大学艺术与传媒学院,北京 100032
  • 2. 西北大学信息科学与技术学院,陕西西安 710127
  • 折叠

摘要

随着生成对抗网络(GAN)的发展,基于单样本的无监督图像到图像翻译(UI2I)取得了重大进展.然而,以前方法无法捕获图像中的复杂纹理并保留原始内容信息.为解决这个问题,提出了一种基于尺度可变U-Net结构(Scale—Unet)的新型单样本图像翻译结构SUGAN.所提出的SUGAN使用Scale—Unet作为生成器,利用多尺度结构和渐进方法不断改进网络结构,以从粗到细地学习图像特征.同时,提出了尺度像素损失scale-pixel来更好地约束保留原始内容信息,防止信息丢失.实验表明,与SinGAN、TuiGAN、TSIT、StyTR2等公共数据集Summer↔Winter、Horse↔Zebra上的方法相比,该方法生成图像的SIFID值平均降低了 30%.所提方法可更好地保留图像内容信息,同时生成详细逼真的高质量图像.

Abstract

Single-sample unsupervised image-to-image translation(UI2I)has made significant progress with the development of generative adversarial networks(GANs).However,previous methods cannot capture complex textures in images and preserve original content information.We propose a novel one-shot image translation structure SUGAN based on a scale-variable U-Net structure(Scale—Unet).The proposed SUGAN uses Scale—Unet as a generator to continuously improve the network structure using multi-scale structures and progressive methods to learn image features from coarse to fine.Meanwhile,we propose the scale-pixel loss to better constrain the preservation of original content information and prevent information loss.Experiments show that compared with SinGAN,TuiGAN,TSIT,StyTR2 and another methods on public datasets Summer↔ Winter,Horse↔Zebra,the SIFID value of the generated image is reduced by 30%.The proposed method can better preserve the content information of the image while generating detailed and realistic high-quality images.

关键词

单样本图像翻译/Scale-Unet/多尺度结构/渐进方法/尺度像素损失

Key words

single-sample image translation/Scale-Unet/multi-scale structure/progressive approach/scale-pixel loss

引用本文复制引用

基金项目

国家自然科学基金(62271393)

国博文旅部重点实验室开放基金(CRRT2021K01)

陕西省重点研发计划(2019GY-215)

陕西省重点研发计划(2021ZDLSF06-04)

出版年

2024
计算机技术与发展
陕西省计算机学会

计算机技术与发展

CSTPCD
影响因子:0.621
ISSN:1673-629X
参考文献量16
段落导航相关论文