摘要
点云和图像分割一直是计算机视觉的热点领域，深度学习也推动了点云和图像语义分割的研究和进步。然而，目前基于深度学习的目标分割模型在数据分布不一致的新域上精度无法保证，需要标签数据再次训练以适应新域，这种方式需要耗费大量人力物力进行子级的标注。因此，研究将已标签的源域知识迁移到未标签的目标域上的无监督域自适应（UnsupervisedDomainAdaptation，UDA）方法极具现实意义。但大多数UDA方法是作用于图像模态，极少直接作用于点云。因此本文就上述问题做出了以下工作： 1.本文首先使用了跨模态UDA(xMUDA)方法，通过图像和点云语义分割网络相互模仿学习的方式，增强了在目标域上各模态语义分割性能。并将基于门控的注意力机制引入到图像特征提取网络中，通过对自动驾驶场景中部分稳定信息特征提取进行增强。在提高图像模态在目标域数据的语义分割精度基础上同步提升点云语义分割精度，达到更好的域迁移效果。 2.本文在分析现有xMUDA方法不足后，在原有方法基础上引入了基于对抗的方法。在xMUDA方法的基础上，考虑对齐在特征空间上的源域和目标域特征差异，并通过对抗训练两个点云语义分割头差异，学习到较优的点云语义分割任务决策边界。 本文在常用自动驾驶数据集上进行了域自适应的实验对本文方法进行了实验验证，跨域数据集中包括跨城市域数据集、跨日夜域数据集和跨传感器域数据集三大类型。结果表明，本文方法在三组跨数据集点云和图像语义分割实验中均取得了最佳语义分割效果，较xMUDA最多总体提升0.3、2.8、3.3个mIOU，提比例为0.4%，5.6%和7.7%。其中主要类别如车辆最多提升2.2、1.9、4.8个mIOU，实现了融合影像的面向城市场景激光点云语义分割域自适应。
NETL