摘要
在当前城市大型聚集活动不断增加的背景下，城市公共安全管理面临着更为严峻的挑战。为了优化城市的公共安全治理，实时分析社交群体行为显得至关重要。社交群体行为识别作为计算机视觉领域的热点课题，包括但不限于个体行为识别、群组成员之间的交互关系建模以及群体行为识别，在这一背景下变得尤为重要。相较于无交互关系建模，基于交互关系建模的群体行为识别能够提取并推理成员整体的交互关系，从而为群体行为识别提供全面的关系特征。本文研究了基于人际交互建模的社交群体行为识别，主要研究内容如下: （1）提出了一种建模人际交互的方法。与传统的动作识别不同，人际交互建模侧重于理解个体之间的互动，除了识别个体动作标签外，还需要深入了解个体之间的互动关系。然而，考虑到人的互动是随着空间和时间的动态变化而演变的，过去的方法往往通过单独或顺序提取空间和时间特征，未能完全捕捉到空间—时间的动态演变，从而无法有效识别个体行为或捕捉交互关系。为了应对这一挑战，本文提出了一种基于时空关系的人际交互建模模型，该模型通过集成不同时空路径的特征，可以全面探索个体之间的互补相关性，实现对人际互动的全面建模。该算法在UT数据集和BIT数据集的性能优于主流算法，证明了其优越性。 （2）设计并实现了一种基于交互关系建模的社交群体行为识别方法。群体活动是由一群为了实现一个目标而聚集在一起的个体组成的，主要通过学习个体层面和群体层面上的复杂的、不平衡的交互关系来推断群体行为，所以高效利用不同层面上的交互作用对于提高群体行为识别的准确性至关重要。本文采用了图来表征不同层次上的交互关系，通过引入注意力机制，以更全面地推理群体成员之间的高级交互关系，动态地为每个节点分配不同的权重，从而更好地捕捉不同节点之间的重要性和交互模式，使其能够更好地适应不同的群体结构和行为动态。该算法在Volleyball数据集和Collective数据集上取得了较现有方法更高的准确率，表明了本文采用的交互关系建模对于群体行为识别的重要性。 （3）设计并实现了一种结合时空注意力的社交群体行为识别的方法。该方法进一步将注意力机制从空间域扩展到时间域，通过融合多层交互关系和全局场景特征，生成更为综合和有代表性的群体行为时空特征，从而为群体活动的识别提供更加准确和全面的特征。该算法在Volleyball数据集和Collective数据集上取得了较前一个方法更优的性能，证明了本文设计的时空注意力机制在群体行为识别任务上的有效性。
NETL