光学精密工程2024,Vol.32Issue(3) :445-455.DOI:10.37188/OPE.20243203.0445

空洞卷积和双边格网的立体匹配网络

Atrous convolution and Bilateral grid network

张晶晶 杜兴卓 支帅 丁国鹏
光学精密工程2024,Vol.32Issue(3) :445-455.DOI:10.37188/OPE.20243203.0445

空洞卷积和双边格网的立体匹配网络

Atrous convolution and Bilateral grid network

张晶晶 1杜兴卓 1支帅 2丁国鹏2
扫码查看

作者信息

  • 1. 中国地质大学(武汉) 自动化学院,湖北 武汉 430074;复杂系统先进控制与智能自动化湖北省重点实验室,湖北 武汉 430074;地球探测智能化技术教育部工程研究中心,湖北 武汉 430074
  • 2. 中国科学院 微小卫星创新研究院,上海 201203;上海微小卫星工程中心,上海 201203
  • 折叠

摘要

为解决基于深度学习的立体匹配方法面临着网络规模大、网络结构复杂等问题,提出了一个网络规模较小、精度较高的网络结构.该网络在特征提取模块删减修改了复杂冗余的残差层并引入了空洞卷积金字塔池化模块来扩大视野范围,提取更多有用的上下文信息;在代价计算模块中使用了三维卷积层以成本聚合提升立体匹配的精度;最后,在代价聚合模块引用了双边格网模块以较低分辨率的成本量来获取精度较高的视差图.将该网络在KITTI 2015数据集和Scene Flow数据集等主流数据集上进行实验,结果显示,相较于其他主流优秀网络类如金字塔立体匹配网络(Pyramid Stereo Matching Network,PSM-Net),网络规模参数量减少了约38%,并取得了较高的实验精度,其中Scene Flow数据集的终点误差(End-point Error,EPE)为0.86,是一个同时兼顾速度与精度的立体匹配网络.

Abstract

To address the challenges of large-scale and complex network structures in deep learning-based stereo matching,this work introduces a compact yet highly accurate network.The feature extraction mod-ule simplifies by removing complex,redundant residual layers and incorporating an Atrous Spatial Pyramid Pooling(ASPP)module to broaden the field of view and enhance contextual information extraction.For cost calculation,three-dimensional(3D)convolutional layers refine stereo matching accuracy through cost aggregation.In addition,a bilateral grid module is integrated into the cost aggregation process,achieving precise disparity maps with reduced resolution demands.Tested on widely-used datasets like KITTI 2015 and Scene Flow,our network demonstrates a significant reduction in parameters by approximately 38%compared to leading networks like Pyramid Stereo Matching Network(PSM-Net),without compromis-ing on experimental accuracy.Notably,it achieves an end-point error(EPE)of 0.86 on the Scene Flow dataset,outperforming many top-performing networks.Thus,our network effectively balances speed and accuracy in stereo matching.

关键词

计算机视觉/立体匹配/人工神经网络/视差

Key words

computer vision/stereo matching/artificial neural network/parallax

引用本文复制引用

基金项目

中国科学院国防科技创新实验室基金资助项目(CXJJ-19S012)

国家自然科学基金资助项目(42001408)

出版年

2024
光学精密工程
中国科学院长春光学精密机械与物理研究所 中国仪器仪表学会

光学精密工程

CSTPCD北大核心
影响因子:2.059
ISSN:1004-924X
被引量1
参考文献量1
段落导航相关论文