一种复杂电力场景下的人体姿态检测方法及系统与流程

本发明属于计算机视觉与电力安全技术交叉，具体涉及一种复杂电力场景下的人体姿态检测方法及系统。

背景技术：

1、计算机视觉等智能化技术可用于在电力作业场景中对作业人员姿态进行实时检测，识别高空坠落、违规攀爬、身体失衡、靠近带电体等异常行为，实现安全风险提前预警。

2、现有技术主要采用以下两类方案：（1）基于目标检测和人体关键点检测的方法，例如利用yolo等目标检测模型定位人体，再结合姿态估计算法提取人体关节点，通过关节点位置关系判断是否存在异常姿态。（2）基于人体骨架时序建模的方法，例如利用图卷积网络（gcn）对人体关键点之间的空间拓扑关系以及连续动作变化进行分析，从而实现动态行为识别。

3、但在复杂的电力作业场景下，上述主流方案还存在以下不足之处：（1）室外作业环境存在遮挡因素，以及远距离拍摄情况下，部分关键关节点容易出现漏检、误检；（2）多集中于单张图像中的关键点定位，缺少对人体各关节之间深层空间关联关系的分析；（3）多数针对单一违章行为检测，或者仅关注设备状态监测，缺少对人员姿态、动作过程和安全风险之间关联关系的综合分析。

4、上述问题导致电力复杂作业环境下人体姿态检测精度低、动态行为识别能力不足以及安全闭环管控缺失，需要一种能够融合人体关键点空间关系、时序动态特征以及全局语义信息的智能姿态检测方法，以提升复杂场景下异常作业行为识别能力，实现电力作业安全风险的主动预警。

技术实现思路

1、为解决现有技术中存在的不足，本发明提供一种复杂电力场景下的人体姿态检测方法及系统。通过构建人体归一化位置场、设备结构场和人体骨架拓扑场，并进一步融合人体证据、设备反证及时序一致性能量场，对初步人体特征进行多场约束增强。基于增强特征构建带置信度掩码的骨架节点特征，经图卷积与transformer联合建模获得全局姿态特征，实现复杂电力场景下人体姿态的准确识别。

2、本技术的第一方面公开一种复杂电力场景下的人体姿态检测方法，采用如下的技术方案：

3、采集电力现场作业场景的图像并预处理，提取roi图像后输入yolov8-pose模型初步提取特征图、人体检测框、关键点坐标及置信度；

4、基于人体检测框与初步特征图的位置偏移构建人体归一化位置场；从roi中图像中提取多类结构响应构建电力设备结构场；根据人体关键点解剖连接关系建立骨架图并对疑似遮挡关键点进行位置反演，构成人体骨架拓扑场；基于三场输出响应对初步特征图处理得到精炼特征；

5、基于精炼特征中的检测框有效区域、关键点遮挡反演响应以及人体骨架连接区域响应计算人体证据强度，归一化得到人体证据能量场；基于精炼特征中的多类结构响应计算设备反证强度，归一化得到设备反证能量场；利用精炼特征相邻帧关键点位置计算时序一致性响应，归一化得到时序一致性能量场；基于三场响应对精炼特征处理得到增强特征；

6、根据骨架图动增强特征中获取节点局部特征，对节点设置置信度掩码并构建节点特征矩阵；经由图卷积计算与transformer建模后输出节点特征，通过置信度掩码聚合后输出全局姿态特征；采用分类头将全局姿态特征映射到动作类别概率分布，识别人体姿态类型。

7、进一步地，所述人体归一化位置场的构建过程包括：

8、计算初步特征图中的任意位置相对于人体检测框中心的归一化坐标；

9、将归一化坐标与初步特征图拼接，经由网络映射后输出人体归一化位置场在特征图空间坐标处的输出响应值。

10、进一步地，所述电力设备结构场的构建过程包括：

11、从roi图像中提取多类结构响应，包括线状卷积响应、sobel边缘梯度幅值响应、hsv明度通道高亮反光响应；

12、将多类结构响应融合，得到电力设备结构场在特征图空间坐标处的输出响应值。

13、进一步地，所述人体骨架拓扑场的构建过程包括：

14、将所述关键点按照解剖相邻关系，构建为人体骨架图；将置信度低于设定阈值的关键点判定疑似遮挡关键点；

15、对疑似遮挡关键点，定义相邻可见关键点集合；

16、基于集合中所有相邻可见关键点的位置，结合标准骨向量和当前人体框宽高，计算疑似遮挡关键点的反演位置；所述标准骨向量通过历史人体姿态数据计算；

17、对所述反演位置，基于人体合理部位得分、结构一致性得分和设备反证得分计算可信度，生成关键点遮挡反演响应图；

18、对每条有效骨架边生成高斯响应并取相应最大值构成人体骨架拓扑场。

19、进一步地，所述人体合理部位得分取反演位置处的人体归一化位置场响应；

20、所述结构一致性得分取相邻可见关键点与反演位置距离的高斯相似度平均值

21、设备反证得分取反演位置的电力设备结构场响应。

22、进一步地，所述精炼特征的获取过程，包括：

23、定义1减去电力设备结构场为排斥因子；

24、将人体归一化位置场、人体骨架拓扑场、关键点遮挡反演响应图、排斥因子进行特征拼接，通过卷积映射与激活函数输出精炼权重；

25、以精炼权重对初步特征图进行加权，输出精炼特征。

26、进一步地，所述人体证据能量场的构建过程包括：

27、对精炼特征中的任意位置，将对应的检测框有效区域指示量、关键点遮挡反演响应图最大值、人体骨架连接区域响应加权，得到人体证据强度；

28、当位于检测框边界内像素集合中，指示量取1，否则取0；

29、人体骨架连接区域响应取值为的人体骨架拓扑场响应。

30、进一步地，所述设备反证能量场的构建过程包括：

31、对精炼特征中的任意位置，将对应的电力设备结构场响应、线状卷积响应、hsv明度通道高亮反光响应以及骨架连接惩罚项进行加权，归一化后获取设备反证能量场；

32、所述骨架连接惩罚项定义为1减去人体骨架连接区域响应。

33、进一步地，所述时序一致性能量场的构建过程：

34、基于精炼特征中关键点在相邻两帧中的位移偏差计算关键点一致性；利用关键点一致性对遮挡反演响应图进行加权，得到时序一致性响应；

35、沿关键点逐点计算时序一致性响应，取最大值进行归一化，得到时序一致性能量场。

36、进一步地，所述增强特征的获取过程包括：

37、将人体证据能量场、设备反证能量场和时序一致性能量场通过竞争归一化机制计算竞争增强权重；

38、以竞争增强权重对精炼特征进行加权，生成增强特征。

39、本技术的第二方面公开一种复杂电力场景下的人体姿态检测系统，执行如本技术第一方面所述的人体姿态检测方法的技术方案，系统包括：

40、基础数据获取模块；采集电力现场作业场景的图像并预处理，提取roi图像后输入yolov8-pose模型初步提取特征图、人体检测框、关键点坐标及置信度；

41、关键点特征精炼模块；基于人体检测框与初步特征图的位置偏移构建人体归一化位置场；从roi图像中提取多类结构响应构建电力设备结构场；根据人体关键点解剖连接关系建立骨架图并对疑似遮挡关键点进行位置反演，构成人体骨架拓扑场；基于三场输出响应对初步特征图处理得到精炼特征；

42、关键点特征增强模块；基于精炼特征中的检测框有效区域、关键点遮挡反演响应以及人体骨架连接区域响应计算人体证据强度，归一化得到人体证据能量场；基于精炼特征中的多类结构响应计算设备反证强度，归一化得到设备反证能量场；利用精炼特征相邻帧关键点位置计算时序一致性响应，归一化得到时序一致性能量场；基于三场响应对精炼特征处理得到增强特征；

43、人体姿态识别模块；根据骨架图动增强特征中获取节点局部特征，对节点设置置信度掩码并构建节点特征矩阵；经由图卷积计算与transformer建模后输出节点特征，通过置信度掩码聚合后输出全局姿态特征；采用分类头将全局姿态特征映射到动作类别概率分布，识别人体姿态类型。

44、本发明的有益效果在于，与现有技术相比，

45、1、通用坐标注意力机制主要依赖水平方向和垂直方向的空间编码，对遮挡来源、设备结构和人体骨架拓扑缺乏显式建模。然而，本发明通过人体区域、电力设备区域和骨架拓扑区域的三域耦合，使低置信度关键点能够根据相邻可见关键点进行遮挡反演，并通过设备反证项抑制导线、杆塔、绝缘子等伪肢体响应。因此，该模块能够同时捕捉来自人体空间位置、设备干扰结构和骨架连接关系的联合影响，提升电力作业复杂场景下关键点检测的完整性和稳定性。

46、2、传统无参数空间能量增强方法主要基于同一通道内神经元与局部均值、方差之间的关系计算显著性，能够在一定程度上突出局部响应较强的区域。然而，在电力作业场景中，局部响应较强的区域并不一定属于人体区域，也可能来源于导线、杆塔边缘、绝缘子轮廓、安全绳反光或工具包边缘。因此，本发明不再仅根据单一空间能量判断特征重要性，而是通过人体证据、设备反证和时序一致性之间的竞争关系生成增强权重。该模块无需增加额外可训练注意力参数，能够在保持轻量化的同时，有效增强真实人体姿态区域，抑制设备结构干扰区域和瞬时噪声区域。