计算机辅助设计与图形学学报2024,Vol.36Issue(1) :133-141.DOI:10.3724/SP.J.1089.2024.19824

深度指导的无监督领域自适应语义分割

Depth Guidance Unsupervised Domain Adaptation for Semantic Segmentation

卢加文 史金龙 诸皓伟 孙蕴瀚 成志刚
计算机辅助设计与图形学学报2024,Vol.36Issue(1) :133-141.DOI:10.3724/SP.J.1089.2024.19824

深度指导的无监督领域自适应语义分割

Depth Guidance Unsupervised Domain Adaptation for Semantic Segmentation

卢加文 1史金龙 1诸皓伟 1孙蕴瀚 2成志刚3
扫码查看

作者信息

  • 1. 江苏科技大学计算机学院 镇江 212000
  • 2. 南京大学计算机软件新技术国家重点实验室 南京 210046
  • 3. 浙江大学软件学院 杭州 310058
  • 折叠

摘要

为了提高语义分割精度,解决模型在不同数据域上泛化性差的问题,提出基于深度信息的无监督领域自适应语义分割方法.首先,深度感知自适应框架通过捕捉深度信息和语义信息的内在联系,减小不同域之间的差异;然后,设计了一个轻量级深度估计网络来提供深度信息,通过跨任务交互策略融合深度和语义信息,并在深度感知空间对齐源域和目标域的分布差距;最后,提出基于深度信息的域内自适应策略弥合目标域内部的分布差异,将目标域分为子源域和子目标域,并缩小子源域和子目标域分布差距.实验结果表明,所提方法在 SYNTHIA-2-Cityscapes和SYNTHIA-2-Mapillary跨域任务上的平均交并比分别为 46.7%和 73.3%,与同类方法相比,该方法在语义分割和深度估计精度上均有显著提升.

Abstract

To improve the segmentation performance and solve the problem of poor generalization of the model in different data domains,we propose a method based on depth information for semantic segmenta-tion in the context of unsupervised domain adaptation.It includes a Depth-aware Adaptation Frame-work(DAF)and a Intra-domain Adaptation(IDA)strategy.Firstly,DAF is proposed to adapt domains by capitalizing on the inherent correlations of semantic and depth information.Then a novel light-weight depth estimation network is designed provide additional depth information,and we fuse semantic and depth information by cross-task interaction,then align the distribution in depth-aware space between source and target domains.Finally,IDA strategy is proposed to bridge the distribution gap inside the target domain.To this end,a depth-aware ranking strategy is presented to separate target domain into sub-source domain and sub-target domain,and then we perform the alignment between sub-source domain and sub-target domain.Experiments on SYNTHIA-2-Cityscapes and SYNTHIA-2-Mapillary cross-domain tasks show that our method achieves significant improvement(46.7%mIoU and 73.3%mIoU,respec-tively)compared with the similar methods.

关键词

无监督领域自适应/语义分割/多任务学习/深度估计

Key words

unsupervised domain adaptation/semantic segmentation/multi-task learning/depth estimation

引用本文复制引用

基金项目

国家重点研发计划(2018YFC0309104)

中国民航大学民航智慧机场理论与系统重点实验室开放基金(SATS202207)

出版年

2024
计算机辅助设计与图形学学报
中国计算机学会

计算机辅助设计与图形学学报

CSTPCDCSCD北大核心
影响因子:0.892
ISSN:1003-9775
参考文献量29
段落导航相关论文