液晶与显示2024,Vol.39Issue(11) :1544-1556.DOI:10.37188/CJLCD.2024-0159

融合渐进式策略的轻量化特征点提取与匹配方法

Lightweight method of feature point extraction and matching incorporating a progressive strategy

杨潞霞 任佳乐 张红瑞 韩睿 崔耀文 马永杰
液晶与显示2024,Vol.39Issue(11) :1544-1556.DOI:10.37188/CJLCD.2024-0159

融合渐进式策略的轻量化特征点提取与匹配方法

Lightweight method of feature point extraction and matching incorporating a progressive strategy

杨潞霞 1任佳乐 1张红瑞 1韩睿 1崔耀文 1马永杰2
扫码查看

作者信息

  • 1. 太原师范学院 计算机科学与技术学院,山西 晋中 030619;太原师范学院 智能优化计算与区块链技术山西省重点实验室,山西 晋中 030619
  • 2. 西北师范大学 物理与电子工程学院,甘肃 兰州 730070
  • 折叠

摘要

针对基于SuperPoint网络的特征匹配方法在光照、姿态、角度等挑战下,特征点提取准确率低、计算参数量大的问题,提出了一种融合渐进式策略的轻量化特征点提取与匹配方法.首先,利用深度可分离卷积对SuperPoint网络进行结构调整,以降低模型参数计算量;其次,在特征提取部分搭建注意力模块增强网络在空间上的特征提取能力,并设计渐进式多尺度特征融合模块捕获目标细节,增强特征的表达能力;最后,利用SuperGlue算法对所得到的特征点进行匹配.在Hpatches数据集上进行实验分析,实验结果表明,所提算法在光照变换场景下匹配平均准确率(mAP)和特征点重复度(Rep)达到了86%和70%,在视角变换场景下mAP和Rep达到了78%和68%.所提算法不仅在特征匹配中表现出一定的优势,同时将其应用于视频拼接中也获得了较好的效果.

Abstract

To address the issues of the feature-matching method based on the SuperPoint network,such as low accuracy in feature-point extraction and high computational cost under challenges of lighting,pose and angles,a lightweight feature point extraction and matching method under a progressive strategy is put forward.Firstly,to reduce the model's computational cost,the SuperPoint network is modified using depthwise separable convolution.Secondly,an attention module is built in the feature extraction part to strengthen the network's spatial feature extraction capability.Also,a progressive multi-scale feature fusion module is designed to capture object details and boost feature representation capabilities.Finally,the obtained feature points are matched using the SuperGlue algorithm.Experimental analysis on the Hpatches dataset shows that the proposed algorithm achieves an average matching accuracy(mAP)of 86%and feature point repeatability(Rep)of 70%in illumination change scenarios,and mAP of 78%and Rep of 68%in viewpoint change scenarios.The proposed algorithm not only shows certain advantages in feature matching,but also achieves good results when applied to video stitching.

关键词

特征点提取/特征点匹配/轻量化/注意力机制/渐进式多尺度特征融合

Key words

feature point extraction/feature point matching/lightweight/attention mechanism/progressive multi-scale feature fusion

引用本文复制引用

基金项目

国家自然科学基金(62066041)

山西省重点研发计划(202102010101008)

太原师范学院研究生创新项目(SYYJSYC-2392)

出版年

2024
液晶与显示
中科院长春光学精密机械与物理研究所 中国光学光电子行业协会液晶分会 中国物理学会液晶分会

液晶与显示

CSTPCD北大核心
影响因子:0.964
ISSN:1007-2780
段落导航相关论文