单幅图像去雨数据集和深度学习算法的联合评估与展望

扫码查看

原文链接

NETL
NSTL
万方数据
维普

中文摘要：雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降.基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面.为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献.依据数据集的构建方式将雨图数据集分为4类:基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络(generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集.依据任务场景、采取的学习机制以及网络设计对主流算法分类总结.综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除.综述了学习机制和网络构建方式(比如:卷积神经网络(convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式.综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标.通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性.最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向.

外文标题：The integrated evaluation and review of single image rain removal based datasets and deep learning methods

作者：

胡明娣、吴怡、宋尧、杨静冰、张瑞芳、王红、孟德宇

展开 >

作者单位：

西安邮电大学,西安 710121

西安交通大学,西安 710049

关键词：

单幅图像去雨深度神经网络雨图数据集雨图合成模型数据双驱动后续高层任务性能评价指标

基金：

国家自然科学基金陕西省国际科技合作计划西安市科技局计划

项目编号：

620713782022KW-0421XJZZ0072

出版年：

2022

中国图象图形学报

中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心

影响因子：1.111

ISSN：1006-8961

年,卷(期)：2022.27(5)

被引量2
参考文献量4