基于时空注意力蒸馏的轻量级异常行为检测方法及系统与流程

本发明涉及计算机视觉、深度学习与边缘计算，尤其是涉及基于时空注意力蒸馏的轻量级异常行为检测方法及系统。

背景技术：

1、近年来，随着安防监控设备的普及以及视频数据的指数级增长，技术关注点已不再仅限于静态目标检测，而更多地转向视频序列中的动态人体行为分析，即异常行为检测。异常行为检测的任务是实时分析监控视频帧序列，识别出具有潜在安全风险的动作集合，如人员跌倒、违规攀爬等。对于大规模工地监控系统，传统的基于视频图像的深度学习技术由于模型参数庞大和计算成本等限制，往往难以在前端设备上实现实时精准检测。

2、为降低背景干扰对识别效果的影响，基于时空图卷积网络（st-gcn）的检测方法被引入异常行为检测领域。该类方法通过姿态估计算法从视频帧中提取人体骨架关键点，将连续的人体骨架序列映射为同时包含空间拓扑关系与时间演化信息的图数据形式，从而有效排除了复杂背景的干扰，提高了行为识别的准确率。基于骨架的时空图方法也因此被广泛应用于视频监控场景下的异常行为识别。

3、根据网络计算复杂度的不同，现有的时空图卷积异常行为检测方法主要可分为两类：深层重型方法和轻量化方法。深层重型方法通过堆叠大量时空图卷积层来提取深层动作特征，能够保证较高的识别精度。然而，在实际部署中，此类大规模网络需要耗费高昂的硬件算力与计算资源，难以适配前端边缘设备。轻量化方法则致力于精简网络层数、削减通道数以降低参数量和计算量，从而适配边缘端的计算能力。但网络参数的过度精简往往导致特征表达能力不足，识别精度出现显著下降。在此背景下，知识蒸馏方法被用于解决轻量化模型精度不足的问题，即利用参数量较大的深度教师网络的中间层知识分布来指导轻量化学生网络的训练，在不增加推理成本的前提下提升轻量化模型的识别精度。

4、然而，现有的知识蒸馏方法在应用于时空图卷积网络的轻量化时，仍存在以下不足：

5、其一，深度教师网络与轻量级学生网络之间的层数存在显著不对等。教师网络通常包含数十层时空图卷积层，而学生网络为了满足边缘端的低算力要求仅保留少量网络层，两者在特征演化的深度和抽象层级上不一致。直接对中间层特征图进行对齐会产生语义错位，影响蒸馏效果。

6、其二，现有蒸馏方法大多仅从逻辑输出层或单一特征层进行知识迁移，忽视了异常行为检测任务中至关重要的时空联合推理特征。异常行为的判定既依赖于对特定身体部位（如肢体末端）空间位置异常的感知，也依赖于对动作发生瞬间时序突变的捕捉，而现有方法缺乏同时提取并传递这两方面注意力信息的机制。

7、其三，深度教师网络与轻量级学生网络的特征通道维度往往存在显著差异。教师网络的高维特征通道数远多于学生网络，直接计算两者注意力图之间的距离度量会因维度不匹配而失效，缺乏有效的跨维度对齐手段。

技术实现思路

1、本发明的目的是提供基于时空注意力蒸馏的轻量级异常行为检测方法及系统，通过跨层均匀映射机制解决师生网络层数不对等导致的语义错位问题，通过时空注意力解耦提取空间节点注意力图与时序关键帧注意力图，在保持轻量级学生网络高速推理的同时，逼近深度教师网络的时空推理精度。

2、为实现上述目的，第一方面，本发明提供了一种基于时空注意力蒸馏的轻量级异常行为检测方法，包括以下步骤：

3、s1、获取监控视频流，利用姿态估计算法提取人体骨架关键点，将相邻帧间同一点连接构建时间边并将自然肢体连接构建空间边，得到时空图矩阵作为原始输入数据；

4、s2、根据深度教师网络与轻量级学生网络层数不对等的异构性，按比例建立深度教师网络与轻量级学生网络之间的隐藏层映射关系，得到跨层均匀特征映射配对集合，映射配对集合中的每一对相互对应的隐藏层构成一个映射层；

5、s3、将s1构建的时空图矩阵分别输入深度教师网络和轻量级学生网络，经前向传播后获得各映射层输出的特征图。由于深度教师网络的特征通道数通常远大于轻量级学生网络，直接提取注意力会产生维度不匹配；为此，采用1×1卷积算子作为自适应转换算子，将轻量级学生网络特征图的通道数映射至与深度教师网络相同的维度，完成特征图层面的物理对齐；

6、s4、对于步骤s3中维度对齐后的特征图，通过注意力解耦算子分别提取空间节点注意力图与时序关键帧注意力图，以表征网络对高危肢体部位的聚焦度以及对异常动作发生瞬间的敏感度；

7、s5、构建联合注意力蒸馏损失函数，并联合分类预测损失、软标签知识蒸馏损失、联合注意力对齐项以及正则化项得到整体目标函数，通过反向传播优化轻量级学生网络的参数，强迫轻量级学生网络在时空特征分布上逼近深度教师网络的注意力路径；

8、s6、将训练完成的轻量级学生网络部署至边缘计算节点，将新采集的监控视频流输入已部署的轻量级学生网络，经前向传播计算得到异常行为的实时识别结果。

9、优选的，所述s1中利用姿态估计算法提取人体骨架关键点并构建时空图矩阵，具体包括：

10、s11、利用骨架提取算法将每一帧画面转化为包含个节点的坐标集合；

11、s12、将相邻帧间同一点连接构建时间边，将自然肢体连接构建空间边，得到去中心化的时空图矩阵数据，记为，其中为时间帧长度，为人体骨架关节点数量，为初始特征维度。

12、优选的，所述s2中按比例建立深度教师网络与轻量级学生网络之间的隐藏层映射关系，具体包括：

13、s21、设定深度教师网络包含个隐藏层，轻量级学生网络包含个隐藏层；

14、s22、通过比例索引函数建立映射对集合，其中，表示轻量级学生网络的第个隐藏层，表示深度教师网络的第个隐藏层。

15、优选的，所述s4中通过注意力解耦算子提取空间节点注意力图，具体按照如下公式计算：

16、；

17、其中，为第个映射层输出的空间节点注意力特征矩阵，为第个映射层中第个通道的时空特征图输入，为第个映射层输出的特征通道总数，为可学习空间映射权重矩阵，用于自适应调整不同骨架节点的权重分布，为特征映射的二维卷积操作算子，为非线性激活函数，为基于人体骨架物理先验约束的空间掩码矩阵，用于过滤非相邻节点的异常连接干扰，为矩阵的哈达玛乘积（hadamard product），即元素对应位置相乘，为归一化指数函数，用于将空间节点注意力权重值映射至区间。

18、优选的，所述s4中通过注意力解耦算子提取时序关键帧注意力图，具体按照如下公式计算：

19、；

20、其中，为第个映射层在第帧的时序注意力权重值，为人体骨架关节点数量，为第个映射层中第个通道、第帧、第个节点处的标量特征响应值，为第个映射层输出的特征通道总数，为针对第帧的时序动作敏感度权重，用于放大动作剧烈变化帧的响应峰值，为时序维度的可学习偏置项，为平滑归一化函数，用于将计算出的时序关键帧注意力权重值约束在稳定范围内。

21、优选的，所述s3中引入自适应转换算子，消除深度教师网络与轻量级学生网络之间的通道维度差异，具体包括：

22、采用1×1卷积算子作为自适应转换算子，将轻量级学生网络的特征通道数映射至与深度教师网络相同的维度。

23、优选的，所述s5中的整体目标函数为：

24、；

25、其中，为真实动作标签与轻量级学生网络预测概率之间的交叉熵分类损失，为相对熵，为知识蒸馏的温度系数，用于软化教师网络的输出概率分布，和分别为深度教师网络与轻量级学生网络在全连接层输出的原始逻辑值，和分别为控制软标签蒸馏项与联合注意力对齐项比重的超参数，为深度教师网络在第个映射层输出的空间节点注意力图，为轻量级学生网络在第个映射层输出的空间节点注意力图，为深度教师网络在第个映射层输出的时序关键帧注意力图，为轻量级学生网络在第个映射层输出的时序关键帧注意力图，为跨层特征映射对集合，和分别为空间维度与时间维度的自适应转换算子，为矩阵的frobenius范数的平方，用于精确衡量高维注意力特征矩阵间的拓扑距离，和分别为空间节点损失与时序关键帧损失的平衡权重，为轻量级学生网络权重参数的正则化惩罚项。

26、第二方面，本发明提供了一种基于时空注意力蒸馏的轻量级异常行为检测系统，包括：时空图构建模块、跨层映射管理模块、联合注意力提取模块、蒸馏优化模块和实时监测模块；

27、时空图构建模块用于获取监控视频流并提取人体骨架关键点，构建反映肢体拓扑与时序关联的时空图输入矩阵；

28、跨层映射管理模块与联合注意力提取模块连接，用于根据预设的层级比例，建立深度教师网络与轻量级学生网络之间的特征映射配对索引，确定各映射层的对应关系；

29、联合注意力提取模块分别与时空图构建模块和跨层映射管理模块连接，用于先通过自适应转换算子执行特征通道的维度对齐，再对对齐后的特征图进行空间与时间维度的特征解耦，生成空间节点注意力图和时序关键帧注意力图；

30、蒸馏优化模块与联合注意力提取模块连接，用于构建包含注意力对齐约束的多目标损失函数，引导轻量级学生网络在训练阶段深度模仿深度教师网络的推理特征分布；

31、实时监测模块与蒸馏优化模块连接，用于将训练完成的轻量级学生网络部署至边缘计算节点，将新采集的监控视频流输入已部署的轻量级学生网络，通过前向传播计算得到异常行为的实时识别结果。

32、因此，与现有技术相比，本发明具备以下有益效果：

33、（1）利用跨层均匀映射机制保持了师生网络在深浅层语义间的同步性，有效解决了深度教师网络与轻量级学生网络层数不对等导致的语义错位问题；

34、（2）通过时空注意力解耦技术，分别提取空间节点注意力图和时序关键帧注意力图，解决了轻量级网络因参数削减导致的关键动作特征丢失问题；

35、（3）应用时能同时保持对高危身体部位的空间聚焦度和对违规动作发生瞬间的时序捕捉能力；

36、（4）轻量级学生网络参数量小、推理速度快、识别精度高，适用于算力受限的工地监控边缘端，可显著提高大规模场景下异常行为的实时监测效能。

37、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。