首页|联合时空注意力的视频显著性预测

联合时空注意力的视频显著性预测

扫码查看
原文链接
  • 万方数据
  • 维普
为了解决视频显著性预测任务中时间与空间特征联合建模的问题，提出联合时空注意力机制(COStA)，共同提取时间和空间维度的注意信息，突出特定时间和区域的特征供模型来感知。基于该机制，进一步提出视频显著性预测模型TASED-COStA，对比实验表明:COStA机制能为神经网络模型在CC、NSS与SIM三个评价指标上获得大于8%的性能提升，TASED-COStA模型能有效地建模视频信息中的时间与空间关系，并给出准确的预测结果。
Video saliency prediction with collective spatio-temporal attention
How to model the temporal and spatial relationships in video features is a key factor affecting the accuracy of model prediction in video saliency prediction tasks.To address this problem,this paper proposes a collective spatio-temporal attention mechanism(COStA),which collectively extracts attentional information in temporal and spatial dimensions,highlighting time-and region-specific pixels for the model to perceive.Based on this mechanism,the video saliency prediction model TASED-COStA is further proposed,which is a pure 3DCNN-based encoder-decoder neural network.The comparison experiments show that the collective spatio-temporal attention mechanism can improve the performance of the model by more than 8%in CC,NSS and SIM evaluation metrics,and the performance comparison results with similar models in recent years indicate that the TASED-COStA model is highly competitive in terms of accuracy.Extracting attention information in features by combining temporal and spatial information can improve the modeling accuracy of spatio-temporal relationship in video saliency prediction tasks and obtain more accurate saliency prediction results.

computer applicationdeep learningcomputer visionconvolutional neural networkvideo saliency predictioncollective spatio-temporal attention mechanism

孙铭会、薛浩、金玉波、曲卫东、秦贵和

展开 >

吉林大学 计算机科学与技术学院,长春 130012

吉林大学 符号计算与知识工程教育部重点实验室,长春 130012

上海爱思博特管理咨询有限公司,上海 200050

光电对抗测试评估技术重点实验室,河南 洛阳 471000

展开 >

计算机应用 深度学习 计算机视觉 卷积神经网络 视频显著性预测 联合时空注意力机制

国家自然科学基金项目吉林省科技发展计划项目中央高校基本科研业务费专项项目

6187216420220201147GX2022-JCXK-02

2024

10.13229/j.cnki.jdxbgxb.20220851

吉林大学学报(工学版)
吉林大学

吉林大学学报(工学版)

CSTPCD北大核心
影响因子：0.792
ISSN：1671-5497
年,卷(期)：2024.54(6)