摘要
图像拼接技术是指将同一场景下采集到的、具有一定重叠区域的多幅图像拼接为一幅大视野、高分辨率的全景图像，该技术广泛应用于视频监控、汽车驾驶、全景地图等领域。随着计算机视觉技术的发展，满足纹理丰富、单点透视条件的图像拼接技术已经取得显著进步，但面向室外场景的拼接算法在遇到特殊问题时仍存在一定缺陷，如雪天图像纹理不够丰富、夜间图像照度较低、交通路口图像前景物体较大并且包含运动物体、采集图像存在视差等问题。本文通过改进现有的图像拼接算法，克服室外场景拼接任务中弱纹理、低照度、前景物体较大、包含运动物体、视差等特殊问题。本文主要研究内容如下： （1）针对弱纹理、低照度图像特征描述符区分度不够的问题，采用深度特征提取算法替代传统手工特征提取算法，提出了基于Transformer的分层细化特征匹配模型（HierarchicalRefinementFeatureMatching,HRFM）。该模型是一种无特征点检测器的特征匹配模型，即直接对匹配关系进行学习，建立像素的密集匹配后再对匹配进行筛选和细化，并且引入自注意力机制和互注意力机制为特征图添加权重信息，在特征匹配阶段采用分层细化策略，解决了深层特征匹配直接上采样效果不佳的问题。最终在相关数据集上进行实验，结果表明本文提出的模型提取到的特征匹配对数量更多、匹配准确度更高。 （2）针对前景物体较大、包含运动物体和存在视差的图像拼接产生伪影、错位的问题，对缝合线主导的图像拼接方法进行改进，提出了基于语义分割感知缝合线的图像拼接算法。首先对DeepLabV3+语义分割模型的解码器进行改进，引入注意力机制模块CBAM以提升分割精度；然后使用该分割模型对配准后的图像进行前景信息提取，利用分割生成的掩码图像设计了一种避让前景物体的缝合线能量方程，该方程考虑了人眼对图像显著度的感知特性，其平滑项权重值由掩码图像和像素点显著度共同决定；最终使用该方法搜索到的缝合线对已配准图像进行拼接，并在相关数据集上进行实验对比，结果表明本文提出的方法有效消除了拼接产生的伪影和错位现象。 （3）在交通路口、大型广场等室外场景的图像上验证本文提出的两个算法的实用性，并选择4组图像的匹配和拼接结果进行可视化展示。
NETL