首页|联合深度超参数卷积和交叉关联注意力的大位移光流估计

联合深度超参数卷积和交叉关联注意力的大位移光流估计

扫码查看
原文链接
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 万方数据
针对现有深度学习光流估计模型在大位移场景下的准确性和鲁棒性问题,提出了一种联合深度超参数卷积和交叉关联注意力的图像序列光流估计方法.首先,通过联合深层卷积和标准卷积构建深度超参数卷积以替代普通卷积,提取更多特征并加快光流估计网络训练的收敛速度,在不增加网络推理量的前提下提高光流估计的准确性;然后,设计基于交叉关联注意力的特征提取编码网络,通过叠加注意力层数获得更大的感受野,以提取多尺度长距离上下文特征信息,增强大位移场景下光流估计的鲁棒性;最后,采用金字塔残差迭代模型构建联合深度超参数卷积和交叉关联注意力的光流估计网络,提升光流估计的整体性能.分别采用MPI-Sintel和KITTI测试图像集对本文方法和现有代表性光流估计方法进行综合对比分析,实验结果表明本文方法取得了较好的光流估计性能,尤其在大位移场景下具有更好的估计准确性与鲁棒性.
Large Displacement Optical Flow Estimation Jointing Depthwise Over-parameterized Convolution and Cross Correlation Attention
To improve the computation accuracy and robustness of deep-learning based optical flow models under large displacement scenes,we propose an optical flow estimation method jointing depthwise over-parameterized con-volution and cross correlation attention.First,we construct a depthwise over-parameterized convolution model by combining the common convolution and depthwise convolution,which extracts more features and accelerates the convergence speed of optical flow network.This improves the optical flow accuracy without increasing computation complexity.Second,we exploit a feature extraction encoder based on cross correlation attention network,which ex-tracts multi-scale long distance context feature information by stack the attention layers to obtain a larger recept-ive field.This improves the robustness of optical flow estimation under large displacement scenes.Finally,a pyram-id residual iteration network by combing cross correlation attention and depthwise over-parameterized convolution is presented to improve the overall performance of optical flow estimation.We compare our method with the exist-ing representative approaches by using the MPI-Sintel and KITTI datasets.The experimental results demonstrate that the proposed method shows better optical flow estimation performance,especially achieves better computation accuracy and robustness under large displacement areas.

Optical flowlarge displacementcross correlation attentiondepthwise over-parameterized convolutiondeep learning

王梓歌、葛利跃、陈震、张聪炫、王子旭、舒铭奕

展开 >

南昌航空大学江西省图像处理与模式识别重点实验室 南昌 330063

南昌航空大学测试与光电工程学院 南昌 330063

北京航空航天大学仪器科学与光电工程学院 北京 100083

南昌航空大学无损检测技术教育部重点实验室 南昌 330063

展开 >

光流 大位移 交叉关联注意力 深度超参数卷积 深度学习

国家自然科学基金国家自然科学基金江西省重大科技研发专项江西省重点研发计划重点专项江西省技术创新引导类计划项目江西省教育厅科学技术项目江西省图像处理与模式识别重点实验室开放基金

622222066227220920232ACC0100720232BBE500062021AEI91005GJJ210910ET202104413

2024

10.16383/j.aas.c230049

自动化学报
中国自动化学会 中国科学院自动化研究所

自动化学报

CSTPCD北大核心
影响因子：1.762
ISSN：0254-4156
年,卷(期)：2024.50(8)
  • 6