首页|基于多模态RGB-T的显著性目标检测算法

基于多模态RGB-T的显著性目标检测算法

扫码查看
原文链接
  • 万方数据
  • 维普
针对RGB(Red Green Blue)模态与热度模态信息表征形式不一致，特征信息无法有效挖掘、融合问题，提出了一种新的联合注意力强化网络-FCNet(Feature Sharpening and Cross-modal Feature Fusion Net)。首先，通过双维度注意力机制提升图像特征映射能力;然后，利用跨模态特征融合机制捕获目标区域;最后，利用逐层解码结构消除背景干扰，优化检测目标。实验结果表明，该优化改进算法运算参数更少、运算时间更短，且模型整体检测性能均优于现有多模态检测模型性能。
Research on Multi-Modal RGB-T Based Saliency Target Detection Algorithm
To address the problem that RGB(Red Green Blue)modal and thermal modal information representations are inconsistent in form and feature information can not be effectively mined and fused,a new joint attention reinforcement network-FCNet(Feature Sharpening and Cross-modal Feature Fusion Net)is proposed.Firstly,the image feature mapping capability is enhanced by a two-dimensional attention mechanism.Then,a cross-modal feature fusion mechanism is used to capture the target region.Finally,a layer-by-layer decoding structure is used to eliminate background interference and optimize the detection target.The experimental results demonstrate that the improved algorithm has fewer parameters and shorter operation times,and the overall detection performance of the model is better than that of existing multimodal detection models.

multimodalityRGB-Thermal(RGB-T)feature sharpening modulecross-modal fusion mechanism

刘东、毕洪波、任思琪、于鑫、张丛

展开 >

东北石油大学电气信息工程学院,黑龙江大庆 163318

多模态 RGB-热 特征锐化模块 跨模态融合机制

黑龙江省自然科学基金资助项目红外与低温等离子体安徽省重点实验室开放基金资助项目省部共建公共大数据国家重点实验室开放基金资助项目广东省数字信号与图像处理技术重点实验室开放基金资助项目黑龙江省教育科学"十四五"规划2023年重点课题基金资助项目东北石油大学教学建设基金资助项目

LH2022F005IRKL2022KF07PBD2022-15022GDDSIPL-05GJB1423350JG202201

2024

吉林大学学报(信息科学版)
吉林大学

吉林大学学报(信息科学版)

CSTPCD
影响因子：0.607
ISSN：1671-5896
年,卷(期)：2024.42(3)
  • 2