基于时空图卷积网络的作业人员危险动作预测方法及系统与流程

本发明涉及人工智能与智能安防交叉，具体而言，涉及一种基于时空图卷积网络的作业人员危险动作预测方法及系统。

背景技术：

1、随着工业智能化的发展，基于计算机视觉的作业现场安全监管技术得到了广泛应用。传统的危险动作识别方法主要依赖于人工设计特征（如hog、sift）结合支持向量机（svm）或早期卷积神经网络（cnn）进行分类。然而，这类方法通常将人体视为独立的像素集合或刚体，难以有效建模关节点之间的拓扑连接关系和动态时序依赖，尤其在复杂多变的作业场景中，识别准确率往往无法满足实际需求。

2、近年来，基于骨架序列的动作识别方法逐渐成为主流，特别是时空图卷积网络（st-gcn）的出现，虽然解决了骨架建模的问题，但在应用于高危作业场景的危险动作预测时，仍存在以下显著缺陷：

3、第一，拓扑结构固化。现有st-gcn通常采用固定的人体物理连接作为图卷积的邻接矩阵，无法适应作业中因视角变化、自遮挡或特殊姿态导致的非物理连接依赖（如手部与工具、腿部与障碍物的交互），限制了特征提取的灵活性。

4、第二，大幅动作感知迟钝。跌倒、攀爬等高危动作通常涉及四肢的大幅度剧烈摆动。现有方法的图卷积采样通常局限于一阶邻居（直接相连的关节），导致肢体末端的运动特征在向躯干传递时被过度平滑，难以捕捉到四肢的关键运动模式，容易造成漏报。

5、第三，节点特征利用单一。现有技术多采用单一的关键点坐标作为输入，缺乏对骨骼向量（方向、长度）的显式建模，导致模型对肢体朝向和跨帧运动幅度的敏感性不足。

6、第四，邻域特征聚合粗糙。在图卷积过程中，对所有邻居节点通常赋予相同或简单的距离权重，未考虑不同距离的邻域对当前节点贡献度的差异，也未针对四肢关键点进行特殊的感受野扩展，导致局部精细特征丢失。

7、因此，亟需一种能够自适应调整拓扑结构、强化四肢大幅度动作特征并保持高精度实时预测的作业人员危险动作预警方案，以解决上述现有技术存在的不足。

技术实现思路

1、本发明的目的在于克服现有技术中时空图卷积网络拓扑结构僵化、对四肢大幅度危险动作感知迟钝以及特征表征单一的不足，提供一种基于时空图卷积网络的作业人员危险动作预测方法及系统，通过构建动态可学习的图拓扑结构与多级邻域特征增强机制，显著提升复杂作业场景下跌倒、攀爬等高危动作的识别准确率与预警实时性。

2、第一方面，本技术实施例提供一种基于时空图卷积网络的作业人员危险动作预测方法，所述方法包括：

3、采集作业现场视频流并提取作业人员的二维姿态关键点，生成含关键点坐标、可靠度及帧序的姿态序列数据；

4、以所述姿态序列数据中每帧关键点为节点、以帧内骨架自然连接为空间边、以帧间同一关键点连接为时间边，构建时-空图结构，并对所述关键点坐标进行相对于骨架质心的归一化处理；

5、以所述时-空图结构输入双分支动态拓扑图神经网络，第一分支以归一化后的关键点坐标作为输入，第二分支以相邻关键点构成的骨骼向量作为输入；

6、所述动态拓扑图神经网络中，每个图卷积层以由固定拓扑约束矩阵、可训练调节矩阵及输入特征驱动的全局关联矩阵三者动态融合生成的邻接矩阵进行图卷积运算，以自适应调整图拓扑连接关系；并在图卷积过程中将采样邻域动态扩展至二级，根据各节点到骨架质心的距离将二级邻域实时划分为五个独立加权子区域，且对四肢路径上的关键点邻域进行递归式扩展以强化局部运动特征传递；

7、两分支经所述图卷积层输出危险动作类别置信度并加权融合，当融合置信度超过预设阈值时输出危险类别并触发预警信号。

8、第二方面，本技术实施例提供一种基于时空图卷积网络的作业人员危险动作预测系统，应用于如第一方面所述的方法，所述系统包括：

9、数据采集与预处理模块，用于采集作业现场视频流并提取作业人员的二维姿态关键点，生成含关键点坐标、可靠度及帧序的姿态序列数据；

10、图构建与归一化模块，用于以所述姿态序列数据中每帧关键点为节点、以帧内骨架自然连接为空间边、以帧间同一关键点连接为时间边，构建时-空图结构，并对所述关键点坐标进行相对于骨架质心的归一化处理；

11、双分支输入模块，用于以所述时-空图结构作为输入，将归一化后的关键点坐标输入第一分支以建模位置分布，将相邻关键点构成的骨骼向量输入第二分支以建模肢体运动方向与幅度；

12、动态图卷积运算模块，用于执行图卷积运算，其中每个图卷积层被配置为：

13、由固定拓扑约束矩阵、可训练调节矩阵及输入特征驱动的全局关联矩阵三者动态融合生成邻接矩阵，以自适应调整图拓扑连接关系；

14、在卷积过程中将采样邻域动态扩展至二级，根据各节点到骨架质心的距离将二级邻域实时划分为五个独立加权子区域；

15、对四肢路径上的关键点邻域进行递归式扩展，以强化局部运动特征传递；

16、决策预警模块，用于接收所述双分支输出的危险动作类别置信度并进行加权融合，当融合置信度超过预设阈值时，输出危险类别并触发预警信号。

17、第三方面，本技术实施例提供一种电子设备，包括：

18、处理器；

19、用于存储处理器可执行指令的存储器；

20、其中，所述处理器被配置为执行所述指令时实现如第一方面所述的基于时空图卷积网络的作业人员危险动作预测方法。

21、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序指示设备执行如第一方面所述的基于时空图卷积网络的作业人员危险动作预测方法。

22、与现有技术相比，本发明具有以下显著的有益效果：通过引入由先验约束、可学习偏移及全局关联融合生成的动态邻接矩阵，消除了人体物理骨架的硬性限制，使模型能够自适应捕捉作业过程中非标准姿态及人机交互产生的隐式依赖关系，提升了特征表示的准确性。通过二级邻域扩展及基于质心距的五子区域独立加权机制，实现了对空间感受野的精细化控制；特别是针对四肢关键点的递归式扩展策略，有效放大了跌倒、攀爬等大幅度动作中肢体末端的运动特征，显著降低了高危动作的漏报率。采用坐标与骨骼向量并行的双分支输入结构，综合了关节点位置分布与肢体运动方向信息，通过差异化建模提升了网络对复杂动作的解析能力。通过对坐标及骨骼向量进行的归一化处理，有效消除了摄像机视角差异及作业人员个体体型差异带来的干扰，保障了系统在复杂光照及多变现场环境下的稳定运行。通过竞争式门控融合机制，使三种拓扑矩阵的贡献度在训练过程中形成自适应竞争关系，避免了传统线性加权对先验知识的过度依赖；通过各向异性感受野调控函数，依据邻域节点的空间分布连续调节聚合强度，提升了模型对旋转和扭转等复合动作的辨别能力；通过递归深度动态控制方程，使感受野范围随四肢运动幅度自适应扩展，同时利用累积运动衰减因子抑制局部畸变路径上的虚假特征传递，在保留大幅动作特征信息的同时避免因关节点检测噪声导致的虚假特征传递；通过分支协同置信度融合，利用双分支在时序维度上的预测一致性动态调节融合权重，提升了融合策略对动态场景的适应性。