目的 将半监督对抗学习应用于图像语义分割,可以有效减少训练过程中人工生成标记的数量.作为生成器的分割网络的卷积算子只具有局部感受域,因此对于图像不同区域之间的远程依赖关系只能通过多个卷积层或增加卷积核的大小进行建模,但这种做法也同时失去了使用局部卷积结构获得的计算效率.此外,生成对抗网络(generative adversarial network,GAN)中的另一个挑战是判别器的性能控制.在高维空间中,由判别器进行的密度比估计通常是不准确且不稳定的.为此,本文提出面向图像语义分割的半监督对抗学习方法.方法 在生成对抗网络的分割网络中附加两层自注意模块,在空间维度上对语义依赖关系进行建模.自注意模块通过对所有位置的特征进行加权求和,有选择地在每个位置聚合特征.因而能够在像素级正确标记值数据的基础上有效处理输入图像中广泛分离的空间区域之间的关系.同时,为解决提出的半监督对抗学习方法的稳定性问题,在训练过程中将谱归一化应用到对抗网络的判别器中,这种加权归一化方法不仅可以稳定判别器网络的训练,并且不需要对唯一的超参数进行密集调整即可获得满意性能,且实现简单,计算量少,即使在缺乏互补的正则化技术的情况下,谱归一化也可以比权重归一化和梯度损失更好地改善生成图像的质量.结果 实验在Cityscapes数据集及PASCAL VOC 2012(pattern analysis,statistical modeling and computational learning visual object classes)数据集上与9种方法进行比较.在Cityscapes数据集中,相比基线模型,性能提高了2.3％～3.2％.在PASCAL VOC 2012数据集中,性能比基线模型提高了1.4％～2.5％.同时,在PASCAL VOC 2012数据集上进行消融实验,可以看出本文方法的有效性.结论 本文提出的半监督对抗学习的语义分割方法,通过引入的自注意力机制捕获特征图上各像素之间的依赖关系,应用谱归一化增强对抗生成网络的稳定性,表现出了较好的鲁棒性和有效性.
NETL
NSTL
万方数据
维普
