计算机科学与探索

作者：叶浩, 王龙业, 曾晓莉, 肖越

单位：1. 西南石油大学 电气信息学院, 成都 6105002. 西藏大学 信息科学技术学院, 拉萨 850000

关键词：时空动作检测,环形残差Video Swin Transformer,非均匀采样,级联池化三维空间金字塔

针对人体异常行为时空动作检测对相似行为存在误检及局部肢体行为检测精度较低的问题，基于自制的不文明行为时空动作检测数据集（UBSAD），提出了一种融合非均匀采样与特征强化的人体不文明行为检测方法。该方法在时空特征提取阶段引入Video Swin Transformer（VST）作为主干网络，用于捕获视频中的长期时序依赖关系，提升网络全局信息学习能力；将提出的环形残差VST模块替换主干网络最后阶段的VST模块，放大目标区域和背景区域的差异，并结合多头自注意力机制，强化对目标区域的特征提取；在视频帧采集阶段提出了独特的非均匀采样方法，根据任务需求调整输入数据分布，使模型有层次地获取动作变化信息，有效提升网络对相似行为细节特征的关注；在特征提取网络之后嵌入新的融合浅层特征的级联池化三维空间金字塔特征强化模块，进一步增强多种尺度下的特征适用性，有效减少动作细节信息在特征提取过程中的丢失和降低背景信息的干扰，实现特征强化的效果。实验结果表明，该方法在UBSAD数据集和公开数据集UCF101-24上mAP指标分别达到了71.93%和83.09%，比使用基线网络VST作为时空特征提取模型分别提高了7.39个百分点和1.22个百分点，能够有效检测目标的行为。

来源：2024年第12期

《计算机科学与探索》期刊编辑部

查看计算机科学与探索杂志2024年第12期