首页|基于多模态特征融合监督的RGB-D图像显著性检测

基于多模态特征融合监督的RGB-D图像显著性检测

扫码查看
RGB-D图像显著性检测是在一组成对的RGB和Depth图中识别出视觉上最显著突出的目标区域.已有的双流网络,同等对待多模态的RGB和Depth图像数据,在提取特征方面几乎一致.然而,低层的Depth特征存在较大噪声,不能很好地表征图像特征.因此,该文提出一种多模态特征融合监督的RGB-D图像显著性检测网络,通过两个独立流分别学习RGB和Depth数据,使用双流侧边监督模块分别获取网络各层基于RGB和Depth特征的显著图,然后采用多模态特征融合模块来融合后3层RGB和Depth高维信息生成高层显著预测结果.网络从第1层至第5层逐步生成RGB和Depth各模态特征,然后从第5层到第3层,利用高层指导低层的方式产生多模态融合特征,接着从第2层到第1层,利用第3层产生的融合特征去逐步地优化前两层的RGB特征,最终输出既包含RGB低层信息又融合RGB-D高层多模态信息的显著图.在3个公开数据集上的实验表明,该文所提网络因为使用了双流侧边监督模块和多模态特征融合模块,其性能优于目前主流的RGB-D显著性检测模型,具有较强的鲁棒性.
RGB-D Image Saliency Detection Based on Multi-modal Feature-fused Supervision

刘政怡、段群涛、石松、赵鹏

展开 >

安徽大学计算机科学与技术学院 合肥 230601

RGB-D显著性检测 卷积神经网络 多模态 监督

安徽省自然科学基金国家自然科学基金安徽高校自然科学研究项目

1908085MF18261602004KJ2019A0034

2020

电子与信息学报
中国科学院电子学研究所 国家自然科学基金委员会信息科学部

电子与信息学报

CSTPCDCSCD北大核心EI
影响因子:1.302
ISSN:1009-5896
年,卷(期):2020.42(4)
  • 14
  • 25