摘要
图像跨域转换,又称图像翻译,是一种旨在将源域的图像转换为目标域的图像的技术,具体来说是使生成图像在保持源域图像的结构(轮廓、姿态等)的同时具有目标域图像的风格(纹理、颜色等).图像跨域转换技术在视觉领域有着广泛的应用,如照片编辑和视频特效制作.近年来,该技术在深度学习尤其是生成对抗网络的基础上得到了飞速发展,也取得了令人印象深刻的结果,但是迁移后的生成图像仍然存在颜色模式坍塌、内容结构无法保持等问题,针对这些问题,提出了一种基于自相似性与对比学习的图像跨域转换算法.该算法利用预先训练的深度神经网络模型提取图像的内容特征和风格特征,将感知损失和基于自相似性的损失作为图像内容损失函数,同时使用一种宽松的最优传输损失和基于矩匹配计算的损失作为图像风格损失函数对提出的神经网络进行训练,并通过将生成图像和目标域图像标记为正样本对,将生成图像和源域标记为负样本进行对比学习.在4个数据集上对提出的算法进行了实验验证,结果表明提出的算法在生成的结果图像上较好地保持了源域图像的内容结构,同时减少颜色的模式坍塌,且使生成的图像风格与引导图像的风格更加一致.
基金项目
国家重点研发计划(2020YFC1522704)
国家自然科学基金(62172365)
浙江省自然科学基金(LY21F02005)
浙江省自然科学基金(LY19F020049)
国家社科基金重大项目(19ZDA197)
浙江省文物保护科技项目(2019011)
浙江省尖兵计划(2022C01222)
石窟寺文物数字化保护国家文物局重点科研基地项目()
浙江大学教育部脑与脑机融合前沿科学中心项目(2021008)
维普
万方数据