首页|融合注意力机制和多层U-Net的多视图立体重建

融合注意力机制和多层U-Net的多视图立体重建

扫码查看
原文链接
  • NETL
  • NSTL
  • 万方数据
  • 维普
目的 针对多视图立体(multi-view stereo,MVS)重建效果整体性不理想的问题,本文对MVS 3D重建中的特征提取模块和代价体正则化模块进行研究,提出一种基于注意力机制的端到端深度学习架构.方法 首先从输入的源图像和参考图像中提取深度特征,在每一级特征提取模块中均加入注意力层,以捕获深度推理任务的远程依赖关系;然后通过可微分单应性变换构建参考视锥的特征量,并构建代价体;最后利用多层U-Net体系结构正则化代价体,并通过回归结合参考图像边缘信息生成最终的细化深度图.结果 在DTU(Technical University of Den-mark)数据集上进行测试,与现有的几种方法相比,本文方法相较于Colmap、Gipuma和Tola方法,整体性指标分别提高8.5％、13.1％和31.9％,完整性指标分别提高20.7％、41.6％和73.3％;相较于Camp、Furu和SurfaceNet方法,整体性指标分别提高24.8％、33％和29.8％,准确性指标分别提高39.8％、17.6％和1.3％,完整性指标分别提高9.7％、48.4％和58.3％;相较于PruMvsnet方法,整体性指标提高1.7％,准确性指标提高5.8％;相较于Mvsnet方法,整体性指标提高1.5％,完整性标提高7％.结论 在DTU数据集上的测试结果表明,本文提出的网络架构在整体性指标上得到了目前最优的结果,完整性和准确性指标得到较大提升,3 D重建质量更好.
Fusion attention mechanism and multilayer U-Net for multiview stereo

刘会杰、柏正尧、程威、李俊杰、许祝

展开 >

云南大学信息学院,昆明 650500

注意力机制 多层U-Net 可微分单应性变换 代价体正则化 多视图立体(MVS)

云南省科技重大专项

202002AD080001

2022

中国图象图形学报
中国科学院遥感应用研究所,中国图象图形学学会 ,北京应用物理与计算数学研究所

中国图象图形学报

CSTPCDCSCD北大核心
影响因子：1.111
ISSN：1006-8961
年,卷(期)：2022.27(2)
  • 5
  • 2