计算机应用研究2021，Vol.38Issue(4) ：1235-1239,1276.DOI:10.19734/j.issn.1001-3695.2020.02.0077

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

T-STAM:end-to-end action recognition model based on two-stream network with spatio-temporal attention mechanism

石祥滨 李怡颖 刘芳 代钦
计算机应用研究2021，Vol.38Issue(4) ：1235-1239,1276.DOI:10.19734/j.issn.1001-3695.2020.02.0077
✕
  • 国家科技期刊平台
  • NETL
  • NSTL
  • 维普
  • 万方数据

T-STAM:基于双流时空注意力机制的端到端的动作识别模型

T-STAM:end-to-end action recognition model based on two-stream network with spatio-temporal attention mechanism

石祥滨 1李怡颖 2刘芳 3代钦4
扫码查看

作者信息

  • 1. 辽宁大学 信息学院,沈阳 110036;沈阳航空航天大学 计算机学院,沈阳 110136
  • 2. 辽宁大学 信息学院,沈阳 110036
  • 3. 沈阳航空航天大学 计算机学院,沈阳 110136
  • 4. 沈阳工程学院 信息学院,沈阳 110136
  • 折叠

摘要

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题,提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM,实现了对视频关键时空信息的充分利用.首先,将通道注意力机制引入到双流基础网络中,通过对特征通道间的依赖关系进行建模来校准通道信息,提高特征的表达能力.其次,提出一种基于CNN的时间注意力模型,使用较少的参数学习每帧的注意力得分,重点关注运动幅度明显的帧.同时提出一种多空间注意力模型,从不同角度计算每帧中各个位置的注意力得分,提取多个运动显著区域,并且对时空特征进行融合进一步增强视频的特征表示.最后,将融合后的特征输入到分类网络,按不同权重融合两流输出得到动作识别结果.在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效地识别视频中的动作.

关键词

动作识别/双流/通道信息/时空注意力/运动显著区域

引用本文复制引用

基金项目

出版年

2021
计算机应用研究
四川省电子计算机应用研究中心

计算机应用研究

CSTPCDCSCD北大核心
影响因子：0.93
ISSN：1001-3695
被引量1
参考文献量2
段落导航相关论文