一种基于改进PoseConv3D模型的校园人员异常行为识别方法、装置及介质

本发明涉及计算机视觉和智能安防，尤其涉及一种基于改进poseconv3d模型的校园人员异常行为识别方法、装置及介质。

背景技术：

1、近年来，随着高校人数持续增多，校园环境复杂多变，校园安全事故也随之多发。根据众多事故案例调查发现，很多安全事故的发生与校园人员自身的异常行为密切相关。目前，许多校园主要采用传统人力巡查以及视频监控对校园人员进行监督，但该类方法存在成本高、效率低和主观性强等问题，难以及时、稳定地发现隐藏在校园场景中的安全隐患。

2、伴随深度学习快速发展，基于深度学习的行为识别方法逐渐替代基于手工特征的方法。现有行为识别方法通常以监控摄像头的视频数据为基础，通过骨骼关键点、rgb帧以及光流等模态实现人员动作识别。其中，rgb帧和光流数据对计算资源要求较高，且容易受到背景环境、遮挡和光照变化影响；相比之下，基于骨骼关键点的行为识别方法复杂度较低，并且对背景变化具有更好的鲁棒性。

3、poseconv3d模型将骨骼关键点或肢体信息表示为三维热图体，并利用三维卷积网络进行人体行为识别，在基于骨架的人体行为识别中具有一定适用性。然而，在校园异常行为识别任务中，仍存在以下不足：第一，校园人员行为类别多样，跑步与行走、推人与拳击等相似行为在时空特征上高度重叠，仅依靠普通三维卷积难以充分捕捉关键细粒度动作变化；第二，推人、拳击、踢人、跳跃、摔倒、钻栅栏和翻栅栏等复杂行为由多个子动作组成，普通三维卷积的通道间卷积核相对独立，难以有效建模不同身体部位之间的全局关联性；第三，钻栅栏、翻栅栏和摔倒等行为持续时间较长，普通三维卷积受固定感受野限制，难以捕捉长时间序列中的长时间依赖关系。

4、因此，有必要提供一种能够兼顾关键细粒度特征、跨通道全局关联特征以及长时序依赖特征的校园人员异常行为识别方法，以提高校园场景下行为识别的准确性和可靠性。

技术实现思路

1、本发明的目的在于提出一种基于改进poseconv3d模型的校园人员异常行为识别方法、装置及介质，以克服现有poseconv3d模型在校园异常行为识别中存在的关键细粒度动作变化捕捉不足、跨通道全局关联建模不足以及长时间动作序列依赖关系建模不足的缺陷，

2、为达到上述目的，本发明提出一种基于改进poseconv3d模型的校园人员异常行为识别方法，包括以下步骤：

3、获取校园人员行为视频数据；

4、对视频帧进行人体目标检测，并对检测到的人体目标进行人体姿态估计，得到人体骨骼关键点坐标及对应置信度；

5、根据所述人体骨骼关键点坐标及对应置信度生成关键点热图和肢体热图，并将连续视频帧对应的姿态热图沿时间维度堆叠，得到三维姿态热图体；

6、利用所述三维姿态热图体对训练完成的drt-poseconv3d模型进行测试，输出校园人员行为类别；

7、所述drt-poseconv3d模型以poseconv3d模型为基础，在三维卷积主干网络中引入dptam机制、refconv模块和tcn网络；

8、所述drt-poseconv3d模型的整体结构包括输入卷积层、多个三维残差层、所述dptam机制、所述refconv模块、所述tcn网络、全局平均池化层和全连接层；

9、三维姿态热图体输入drt-poseconv3d模型后首先经过输入卷积层进行初始特征映射和通道升维得到初始时空特征，随后将初始时空特征输入三维残差层进行逐级特征提取；每个三维残差层均接收上一层输出的特征，先通过dptam机制对特征的通道维度和时间维度进行联合注意力加权，得到注意力增强特征，再通过refconv模块对注意力增强特征进行三维卷积处理，得到跨通道关联增强特征，最后将跨通道关联增强特征与残差分支特征进行逐元素相加，得到当前三维残差层的输出特征；

10、经过三维残差层后得到高层时空特征，将高层时空特征输入tcn网络沿时间维度进行长时间依赖建模，得到时序增强特征，将时序增强特征输入全局平均池化层对时间维度进行特征压缩，得到行为表征向量，将行为表征向量输入全连接层并通过softmax函数得到各校园人员行为类别的预测概率。

11、进一步的，所述dptam机制设置于三维残差层中，用于对输入特征的通道维度和时间维度进行联合注意力加权；dptam机制包括维度重排模块、空间全局池化模块、时间增强分支、通道注意力分支、特征交叉融合模块和时间权重生成模块；dptam机制的处理步骤包括：将进入dptam机制的输入特征记为：

12、

13、其中，表示批次大小，表示时间帧数，表示通道数，和分别表示特征图的高度和宽度；

14、首先对输入特征进行维度重排使时间维度和通道维度作为后续注意力建模的主要维度，随后对重排后的特征在空间维度和上执行全局平均池化得到时间和通道的全局描述符：

15、

16、其中，表示第个样本、第个通道在第个时间帧上的全局响应值；

17、沿时间维度对全局描述符进行一维卷积处理，学习不同时间帧之间的动作变化关系得到时间增强特征，同时对全局描述符沿时间维度进行池化，得到通道描述向量，将通道描述向量输入一维卷积层和sigmoid激活函数生成全局通道注意力权重；将全局通道注意力权重与时间增强特征进行逐元素相乘并与时间和通道全局描述符进行逐元素相加得到联合增强特征，将联合增强特征输入卷积层和激活函数生成时间重要性权重，将时间重要性权重作用于原始输入特征得到dptam机制输出特征。

18、进一步的，所述时间增强分支由一维卷积层构成，沿时间维度对全局描述符进行一维卷积处理；所述通道注意力分支包含沿时间维度的池化操作、一维卷积层和sigmoid激活函数；所述时间权重生成模块由一维卷积层和sigmoid激活函数组成。

19、进一步的，所述refconv模块设置于三维残差层中，用于替换普通三维卷积并建立卷积核之间的跨通道参数关联；refconv模块首先获取预训练poseconv3d模型中对应普通三维卷积层的卷积核参数作为基础卷积核wb，训练过程中所述基础卷积核保持冻结状态不参与梯度更新；随后在基础卷积核之外设置可训练的重聚焦变换参数，重聚焦变换参数用于对基础卷积核进行跨通道变换使不同输入通道和不同输出通道对应的卷积核参数之间建立关联；重聚焦变换过程表示为：

20、

21、其中，表示重聚焦变换函数，表示由基础卷积核变换得到的重聚焦卷积核；为了使所述重聚焦卷积核与基础卷积核的尺寸一致，所述卷积变换操作采用填充方式保持卷积核尺寸不变；当dptam机制输出的注意力增强特征输入refconv模块后，refconv模块使用重聚焦卷积核wb对注意力增强特征进行三维卷积运算得到refconv模块输出特征。

22、进一步的，所述重聚焦变换函数的具体实现采用卷积操作；将基础卷积核wb作为输入，经过可训练的重聚焦变换参数进行卷积运算输出重聚焦卷积核。

23、进一步的，所述tcn网络设置于多个三维残差层之后，用于对三维残差层输出的高层时空特征进行长时间依赖建模；tcn网络的处理步骤包括：将最后一个三维残差层输出的高层时空特征记为：

24、；

25、其中，表示批次大小，表示通道数，表示时间帧数，和分别表示特征图的高度和宽度；

26、首先对高层时空特征f的空间维度进行聚合，得到以时间维度为主的时序特征序列：

27、；

28、其中，表示由高层时空特征f经空间维度聚合后得到的时序特征序列；

29、将时序特征序列输入时域卷积模块，时域卷积模块包括因果扩张卷积、批归一化、relu激活函数和dropout操作；因果扩张卷积在第t时刻进行特征计算时仅使用当前时刻及当前时刻之前的历史时刻特征，计算过程表示为：

30、

31、其中，表示第时刻的卷积输出，表示卷积核大小，表示卷积核索引，表示卷积核权重，表示扩张因子，表示当前时刻或历史时刻的输入特征；通过设置扩张因子，从而扩大时域卷积模块在时间维度上的有效感受野；

32、tcn网络设置残差分支将空间维度聚合后得到的原始时序特征序列传递至输出端，当原始时序特征与时域增强特征的通道数不一致时通过卷积对原始时序特征进行通道调整，将时域增强特征与残差分支特征进行逐元素相加得到tcn网络输出特征。

33、进一步的，关键点热图生成过程以人体骨骼关键点坐标为中心通过二维高斯映射函数生成；对于第k个关键点，其对应的二维关键点热图的计算过程为：

34、

35、；

36、其中，为二维高斯核函数的方差；通过高斯映射还生成了肢体热图，第个肢体位于两个关键点和之间；函数用于计算点到线段的距离，代表关键点和之间的线段；将生成的所有二维热图沿时间维度进行叠加，得到尺寸为k×t×h×w的三维姿态热图体；所述肢体热图生成过程根据人体骨骼拓扑结构将相邻人体骨骼关键点连接形成肢体线段，根据肢体热图中的任一像素位置到肢体线段的距离生成肢体热图。

37、本发明还提出一种基于改进poseconv3d模型的校园人员异常行为识别装置，包括存储器、处理器以及存储于存储器中并能够在处理器上运行的程序，所述处理器执行程序时实现所述的基于改进poseconv3d模型的校园人员异常行为识别方法；所述装置包括视频获取模块、姿态估计模块、热图生成模块、模型识别模块和告警输出模块；视频获取模块用于接收校园监控视频或采集设备上传的视频片段；姿态估计模块用于对视频帧中的人体目标进行检测和关键点定位；热图生成模块用于根据关键点坐标和置信度生成三维姿态热图体；模型识别模块用于调用训练完成的drt-poseconv3d模型得到行为类别；告警输出模块用于在识别结果为异常行为时输出告警信息。

38、本发明还提出一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现所述的基于改进poseconv3d模型的校园人员异常行为识别方法；所述存储介质包括只读存储器、随机存取存储器、磁盘、光盘、固态硬盘或闪存。

39、与现有技术相比，本发明的优势之处在于：

40、1）本发明通过dptam机制联合建模通道维度和时间维度，能够更加关注动作序列中的关键细粒度信息变化，提高跑步与行走、推人与拳击等相似行为的区分能力。

41、2）本发明通过refconv模块利用重聚焦变换建立卷积核跨通道参数关联，增强模型对不同身体部位之间全局关联特征的捕获能力，提高推人、拳击、踢人、跳跃、摔倒、钻栅栏和翻栅栏等复杂行为的识别能力。

42、3）本发明通过tcn网络采用因果扩张卷积扩大时间感受野，能够有效捕捉钻栅栏、翻栅栏和摔倒等长时间动作序列中的长时间依赖关系。

43、4）本发明使用人体姿态热图作为输入，相比直接使用rgb帧或光流具有更好的轻量化和抗背景干扰能力，适合校园智能安防场景中的实时或准实时行为识别应用。