交叉特征融合和RASPP驱动的场景分割方法
Cross Feature Fusion and RASPP Driven Scene Segmentation Method
朱新杰 1熊风光 2谢帅康 1宋宁栋 1李文清1
作者信息
- 1. 中北大学计算机科学与技术学院,太原 030051
- 2. 中北大学计算机科学与技术学院,太原 030051;中北大学山西省视觉信息处理及智能机器人工程研究中心,太原 030051;中北大学机器视觉与虚拟现实山西省重点实验室,太原 030051
- 折叠
摘要
本文针对场景中目标多样性和尺度不统一等现象造成的边缘分割错误、特征不连续问题,提出了一种交叉特征融合和RASPP驱动的场景分割方法.该方法以交叉特征融合的方式合并编码器输出的多尺度特征,在融合高层语义信息时使用复合卷积注意力模块进行处理,避免上采样操作造成的特征信息丢失以及引入噪声的影响,细化目标边缘分割效果.同时提出了深度可分离残差卷积,在此基础上设计并实现了结合残差的金字塔池化模块——RASPP,对交叉融合后的特征进行处理,获得不同尺度的上下文信息,增强特征语义表达.最后,将RASPP模块处理后的特征进行合并,提升分割效果.在Cityscapes和CamVid数据集上的实验结果表明,本文提出方法相比现有方法具有更好的表现,并且对场景中的目标边缘有更好的分割效果.
Abstract
This study proposes a cross feature fusion and RASPP-dnven scene segmentation method to address the edge segmentation errors and feature discontinuity caused by target diversity and scale inconsistency in the scenes.This method combines the multi-scale features output by the encoder in the way of cross feature fusion and employs the compound convolution attention module to process high-level semantic information fusion.As a result,this avoids the feature information loss caused by the upsampling operation and the influence of noise and refines the segmentation effect of target edges.Meanwhile,this study proposes a depthwise separable convolution combining residual connections.Based on this,a pyramid pooling module RASPP combining residuals is designed and implemented to process the features after cross fusion,obtain contextual information at different scales,and enhance feature semantic expression.Finally,the features processed by the RASPP module are merged to improve the segmentation effect.The experimental results on the Cityscapes and CamVid datasets show that the proposed method outperforms existing methods and has better segmentation performance on target edges in the scenes.
关键词
语义分割/交叉特征融合/金字塔池化/注意力机制/深度可分离卷积Key words
semantic segmentation/cross feature fusion/pyramid pooling/attention mechanism/depthwise separable convolution引用本文复制引用
基金项目
国家自然科学基金(62272426)
山西省回国留学人员科研项目(2020-113)
山西省科技成果转化引导专项(202104021301055)
山西省科技重大专项"揭榜挂帅"项目(202201150401021)
山西省自然科学基金(202203021212138)
山西省自然科学基金(202303021211153)
山西省自然科学基金(202203021222027)
出版年
2024
NETL
NSTL
维普
万方数据