摘要
随着全球高分对地观测系统的建设与完善，遥感数据的获取能力得到了极大提升，其数据量呈现指数级增长，这为遥感图像智能化解译提供了数据支撑。作为遥感影像智能解译的基础任务之一，遥感图像语义分割旨在对图像中的每一个像素点进行分类，为其赋予一个预定义的语义类别标签，进而刻画出目标物体的轮廓信息，其结果被广泛应用于地表专题制图、智能交通、环境监测、城市规划等方面。随着人工智能技术的蓬勃发展，深度学习方法已经逐渐成为遥感图像语义分割的主流方法，并实现了对传统图像分割方法的全面超越。然而，深度语义分割网络的优越表现很大程度上依赖于带有标签的海量目标数据，使得这些方法所需的时间和金钱成本十分高昂。为减轻标注数据工作的压力，一种常用的方法是使用已有的标注数据集（源域）进行训练，在未标注的数据集（目标域）上进行测试与推理。但不同遥感图像数据集之间往往有着较大的差异，存在严重的“同物异谱”和“同谱异物”现象，而传统的深度学习模型要求源域与目标域数据分布相似，这势必将导致在源域图像场景下训练的语义分割模型难以泛化到目标域图像场景。针对这一难题，本文对遥感图像跨域语义分割问题展开了研究，提出了一系列的创新性解决方案，并通过实验验证了方案的有效性。论文的主要工作和贡献如下： （1）提出基于对偶生成对抗网络的域适应遥感图像语义分割方法。本方法首先训练对偶生成对抗网络，将源域图像映射至目标域的风格，缩小源域图像与目标域图像的像素级分布差异。为了更好的将在标签丰富的源域数据集训练的网络迁移应用至无标签的目标域数据集，创新性地引入了联合迁移后图像语义分割损失、目标域图像伪标签损失以及目标域图像旋转不变一致性损失的多重弱监督约束。同时，为了充分发挥多重约束的作用、避免网络退化，该方法采取了一种动态优化策略，在训练过程中动态地调整目标约束的各项权重。 （2）提出基于语义保持生成对抗网络的域适应遥感图像语义分割方法。主流方法通常直接利用已有的生成对抗网络模型，进行源域图像到目标域图像的迁移工作。然而，由于现有的基于生成对抗网络的图像迁移模型未充分考虑语义信息，致使迁移后的图像往往会产生偏差，导致迁移效果有限。为解决该问题，本方法通过在生成对抗网络模型中引入表征不变约束和语义保持约束，来实现从源域到目标域的语义保持图像迁移。此外，考虑到源域和目标域数据的类别分布存在差异，提出了类别分布对齐语义分割模块。该模块包括两个层面：在模型输入层面，引入类别混合操作—ClassMix操作，通过随机采样的方式从迁移后的图像中随机选择一定的类别，将相应的图像块粘贴到目标域图像上构成混合图像，接着将迁移后的图像与混合图像一起输入语义分割网络进行训练；在模型输出层面，提出了边界增强损失，用来细化语义分割网络在目标边界的性能。 跨域遥感图像语义分割是一个具有挑战性的新兴课题，在遥感大数据时代具有很强的实用价值。本文以生成对抗网络图像迁移为主线，开展了一系列相关研究。首先，利用已有的对偶生成对抗网络模型进行源域到目标域的图像迁移，缩小了源域和目标域图像像素级分布的差异。其次，充分挖掘目标域数据的弱监督信息，如伪标签损失、旋转不变性损失，进一步提升语义分割模型在目标域的性能。随后，针对已有的生成对抗网络在图像迁移过程中存在偏差的问题，提出了基于语义保持的生成对抗网络方法。最后，考虑到源域与目标域数据类别分布差异的问题，进一步地提出了类别分布对齐语义分割模块，在输入和输出层面进行了进一步对齐。大量的实验结果表明，本文提出的方法在经典的跨域遥感图像语义分割任务中都取得了最优的结果，证明了本文所提出的方法的有效性和通用性，为跨域遥感图像语义分割任务提供了新的范式。
NETL