一种基于边缘计算的嵌入式电力违规行为检测方法及系统与流程

1.本发明涉及人体姿态识别技术领域，尤其是一种基于边缘计算的嵌入式电力违规行为检测方法及系统。


背景技术：

2.电力行业作业危险系数高，作业人员的安全需始终放在第一位，电力违规行为检测分析是电力行业亟需解决的问题。
3.在电力行业中，由于作业种类多，作业人员的专业性无法很好的做到保障，且电力作业常需要在恶劣环境下进行，一方面，作业人员作业过程中的专注度会受到影响，另一方面，作业人员可能会发生摔倒等意外；综合上述因素，电力作业人员的作业行为需进行实时检测，若发现违规操作，需及时告警。
4.参考中国专利公开号为cn113159166的一种基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备，包括：步骤1：通过摄像装置采集电力巡检图片；步骤2：训练目标检测模型yolov5和repvgg，并移植到嵌入式边缘设备中；步骤3：通过深度学习框架tensorrt对目标检测模型进行层间融合、张量融合、模型剪枝和权值量化，生成推理引擎；步骤4：通过推理引擎对采集到的图片进行识别检测，并将检测结果传入服务器，作为新的样本调整目标检测模型，公开了利用图像目标检测技术进行输电线路和变电站等场所的异物入侵检测，没有实现人体姿态识别。
5.再参考中国专利公开号为cn110163116a的一种通过加速openpose推理获取人体姿态的方法，通过加速openpose推理获取人体姿态的方法对硬件设备要求较低，通过对模型进行重构，能够加速openpose推理的速度，为openpose应用在实际生活中提供良好的基础，实现人体姿态识别。
6.而现有技术缺少人体姿态识别与人体位置同时识别的方案，不能够根据人体所处位置对人体姿态进行判断，容易造成误判。


技术实现要素：

7.本发明解决了现有不能够根据人体所处位置对人体姿态进行判断，容易造成误判的问题，提出一种基于边缘计算的嵌入式电力违规行为检测方法及系统，同时获取作业人员的姿态信息和作业人员位置坐标，分区域对人体姿态进行识别，减少由于区域引起的姿态识别误判。
8.为实现上述目的，提出以下技术方案：
9.一种基于边缘计算的嵌入式电力违规行为检测方法，包括以下步骤：
10.s1，获取电力作业场景的视频流，同时利用激光雷达对作业人员的位置进行定位，并生成作业人员位置坐标；
11.s2，构建openpose模型，并将openpose模型移植到嵌入式边缘处理设备中，所述openpose模型的接视频流，用于识别出作业人员的姿态；
12.s3，利用tensorrt推理优化器对openpose模型进行推理加速，输出作业人员的姿态信息；
13.s4，将作业人员的姿态信息和作业人员位置坐标上传至服务器，所述服务器判断作业人员是否违规，若是，则发出警告，若否，则继续监测。
14.在本发明中所述openpose算法是一种人员姿态检测模型，是由卡内基梅隆(cmu)开发的基于卷积神经网络和监督学习开源库。所述tensorrt推理优化器是一种对深度学习网络进行推理加速的引擎，主要是对模型中的部分结构进行压缩、重构、优化以及运行时的部署，因本发明对象为人员姿态，并非小精度目标，故可在保证一定精度的前提下，对模型进行推理加速。
15.作为优选，所述s1中利用3个激光雷达对作业人员进行定位，获取作业人员的空间位置坐标，即获取作业人员的三维位置坐标。
16.在电力作业场景构建三维空间坐标系，所述3个激光雷达的空间坐标是已知的，根据3个激光雷达识别到的作业人员的距离进行计算，获得作业人员的三维位置坐标。
17.作为优选，所述s2具体包括以下步骤：openpose模型接收视频流，截取包含人体姿态信息的二级视频流，并从二级视频流提取单帧图像。
18.作为优选，所述s3具体包括以下步骤：
19.s301：单帧图像处理：创建tensorrt推理优化器的数据缓冲区，所述数据缓冲区用于在gpu和内存之间传输数据；创建输入数组，所述输入数组的大小为n
×
c
×
w
×
h，其中，n表示一次输入到tensorrt推理优化器中图片的数量，c、h、w分别表示输入图像的通道数量、图像高度和宽度；取出单帧图像中每个通道的数据，并按照bgr的顺序将每个通道的数据分别保存到输入数组中；将输入数组传到tensorrt推理优化器的数据缓冲区中，作为优化模型的输入；
20.s302：模型结构重构：加载原始openpose的模型，获取网络结构，然后通过tensorrt推理优化器对网络中的卷积层、偏置层和激活层进行重构，将其组合成一层；
21.s303：降低数据精度：使用tensorrt推理优化器将openpose模型中的单精度fp32的参数优化成半精度fp16的参数，得到优化后的openpose的模型；
22.s304：获得优化结果：将s301中获得的缓冲数据输入到s303获得的优化后的openpose模型中，经过优化的网络推理后，得到优化结果，利用所述优化结果更新tensorrt的数据缓冲区；
23.s305：获取输出数据：将数据缓冲区内的更新后的缓冲数据从gpu拷贝到内存中，创建一个和openpose网络输出大小相同的数组作为输出数组，将数据缓冲区中的数据保存到输出数组中；
24.s306：获取人体姿态数据：使用openpose模型中生成人体姿态部分算法对输出数组进行处理，得到人体骨架图以及人体关节节点坐标。
25.作为优选，所述s4具体包括以下步骤：
26.s401，绑定作业人员的姿态信息对应时间节点的作业人员位置坐标；
27.s402，判断作业人员位置坐标是否出现在禁入区域，若是，发出警告，若否进入s403；
28.s403，判断作业人员位置坐标是否出现在工作区域，若是，进入s404，若否，进入
s405；
29.s404，判断作业人员的姿态信息是否与工作姿态信息匹配，若是，继续监测，若否，发出警告；
30.s405，则判断作业人员的姿态信息是否与禁止姿态信息匹配，若是，发出警告，若否，继续监测。
31.一种基于边缘计算的嵌入式电力违规行为检测系统，采用上述的一种基于边缘计算的嵌入式电力违规行为检测方法，包括：
32.网络摄像头，用于获取电力作业场景的视频流，并将视频流输入到嵌入式边缘处理设备；
33.嵌入式边缘处理设备，嵌入有openpose模型的接视频流，用于识别出作业人员的姿态；
34.激光雷达，对作业人员的位置进行定位，并生成作业人员位置坐标，并将作业人员位置坐标输入到嵌入式边缘处理设备；
35.tensorrt推理优化器，与嵌入式边缘处理设备电连接，用于对openpose模型进行推理加速，输出作业人员的姿态信息到嵌入式边缘处理设备；
36.通信模块，用于嵌入式边缘处理设备与服务器进行网络通信；
37.服务器，用于接收嵌入式边缘处理设备传输的作业人员的姿态信息和作业人员位置坐标，判断作业人员是否存有违规操作，并作出警告操作。
38.所述服务器设有禁入区域范围数据，工作区域范围数据、工作姿态信息和禁止姿态信息。
39.作为优选，所述嵌入式边缘处理设备为nvidia jetson xavier开发者套件。拥有高达21tops的加速算力，适用于可移动式设备核心处理单元，通过ip连接网络摄像头和激光雷达分别采集图像和位置信息，并通过通信模块实现与服务器的网络通信。
40.作为优选，所述激光雷达的型号为livox mid
‑
40。采用独特的非重复扫描方式，视场覆盖率将随时间推移而显著提高，当积分时间为0.1s秒时，视场覆盖率与32线产品相近；当积分时间为0.5s秒时，视场覆盖率与64线产品相当。
41.本发明的有益效果是：嵌入式边缘处理设备通过网络摄像头和激光雷达分别采集图像和位置信息，并通过通信模块实现与服务器的网络通信，同时获取作业人员的姿态信息和作业人员位置坐标，分区域对人体姿态进行识别，减少由于区域引起的姿态识别误判。
附图说明
42.图1是实施例的流程图。
具体实施方式
43.实施例：
44.本实施例提出一种基于边缘计算的嵌入式电力违规行为检测方法，参考图1，包括以下步骤：
45.s1，获取电力作业场景的视频流，同时利用激光雷达对作业人员的位置进行定位，并生成作业人员位置坐标；利用3个激光雷达对作业人员进行定位，获取作业人员的空间位
置坐标，即获取作业人员的三维位置坐标。
46.在电力作业场景构建三维空间坐标系，3个激光雷达的空间坐标是已知的，根据3个激光雷达识别到的作业人员的距离进行计算，获得作业人员的三维位置坐标。
47.s2，构建openpose模型，并将openpose模型移植到嵌入式边缘处理设备中，openpose模型的接视频流，用于识别出作业人员的姿态；具体包括以下步骤：openpose模型接收视频流，截取包含人体姿态信息的二级视频流，并从二级视频流提取单帧图像。
48.s3，利用tensorrt推理优化器对openpose模型进行推理加速，输出作业人员的姿态信息；s3具体包括以下步骤：
49.s301：单帧图像处理：创建tensorrt推理优化器的数据缓冲区，数据缓冲区用于在gpu和内存之间传输数据；创建输入数组，输入数组的大小为n
×
c
×
w
×
h，其中，n表示一次输入到tensorrt推理优化器中图片的数量，c、h、w分别表示输入图像的通道数量、图像高度和宽度；取出单帧图像中每个通道的数据，并按照bgr的顺序将每个通道的数据分别保存到输入数组中；将输入数组传到tensorrt推理优化器的数据缓冲区中，作为优化模型的输入；
50.s302：模型结构重构：加载原始openpose的模型，获取网络结构，然后通过tensorrt推理优化器对网络中的卷积层、偏置层和激活层进行重构，将其组合成一层；
51.s303：降低数据精度：使用tensorrt推理优化器将openpose模型中的单精度fp32的参数优化成半精度fp16的参数，得到优化后的openpose的模型；
52.s304：获得优化结果：将s301中获得的缓冲数据输入到s303获得的优化后的openpose模型中，经过优化的网络推理后，得到优化结果，利用优化结果更新tensorrt的数据缓冲区；
53.s305：获取输出数据：将数据缓冲区内的更新后的缓冲数据从gpu拷贝到内存中，创建一个和openpose网络输出大小相同的数组作为输出数组，将数据缓冲区中的数据保存到输出数组中；
54.s306：获取人体姿态数据：使用openpose模型中生成人体姿态部分算法对输出数组进行处理，得到人体骨架图以及人体关节节点坐标。
55.s4，将作业人员的姿态信息和作业人员位置坐标上传至服务器，服务器判断作业人员是否违规，若是，则发出警告，若否，则继续监测。
56.s4具体包括以下步骤：
57.s401，绑定作业人员的姿态信息对应时间节点的作业人员位置坐标；
58.s402，判断作业人员位置坐标是否出现在禁入区域，若是，发出警告，若否进入s403；
59.s403，判断作业人员位置坐标是否出现在工作区域，若是，进入s404，若否，进入s405；
60.s404，判断作业人员的姿态信息是否与工作姿态信息匹配，若是，继续监测，若否，发出警告；
61.s405，则判断作业人员的姿态信息是否与禁止姿态信息匹配，若是，发出警告，若否，继续监测。
62.本发明还提出一种基于边缘计算的嵌入式电力违规行为检测系统，采用上述的一种基于边缘计算的嵌入式电力违规行为检测方法，包括：
63.网络摄像头，用于获取电力作业场景的视频流，并将视频流输入到嵌入式边缘处理设备；
64.嵌入式边缘处理设备，嵌入有openpose模型的接视频流，用于识别出作业人员的姿态；
65.激光雷达，对作业人员的位置进行定位，并生成作业人员位置坐标，并将作业人员位置坐标输入到嵌入式边缘处理设备；
66.tensorrt推理优化器，与嵌入式边缘处理设备电连接，用于对openpose模型进行推理加速，输出作业人员的姿态信息到嵌入式边缘处理设备；
67.通信模块，用于嵌入式边缘处理设备与服务器进行网络通信；
68.服务器，用于接收嵌入式边缘处理设备传输的作业人员的姿态信息和作业人员位置坐标，判断作业人员是否存有违规操作，并作出警告操作。
69.服务器设有禁入区域范围数据，工作区域范围数据、工作姿态信息和禁止姿态信息。在本发明中openpose算法是一种人员姿态检测模型，是由卡内基梅隆(cmu)开发的基于卷积神经网络和监督学习开源库。tensorrt推理优化器是一种对深度学习网络进行推理加速的引擎，主要是对模型中的部分结构进行压缩、重构、优化以及运行时的部署，因本发明对象为人员姿态，并非小精度目标，故可在保证一定精度的前提下，对模型进行推理加速。
70.嵌入式边缘处理设备为nvidia jetson xavier开发者套件。拥有高达21tops的加速算力，适用于可移动式设备核心处理单元，通过ip连接网络摄像头和激光雷达分别采集图像和位置信息，并通过通信模块实现与服务器的网络通信。
71.激光雷达的型号为livox mid
‑
40。采用独特的非重复扫描方式，视场覆盖率将随时间推移而显著提高，当积分时间为0.1s秒时，视场覆盖率与32线产品相近；当积分时间为0.5s秒时，视场覆盖率与64线产品相当。
72.本系统的检测过程如下：
73.1.嵌入式边缘处理设备通过网络摄像头采集电力作业场景图片；
74.2.openpose模型的输入为电力作业图像，输出为人体骨架图以及人体关节节点坐标；
75.3.使用tensorrt推理优化器对训练好的openpose模型进行推理优化，生成推理引擎，并基于推理引擎对图像进行检测；基于推理结果进行行为分析判断，若判断行为违规，则发出告警，反之，继续监测；监测分析结果均在用户界面进行实时可视化展示。
76.4.绑定作业人员的姿态信息对应时间节点的作业人员位置坐标；
77.5.判断作业人员位置坐标是否出现在禁入区域，若是，发出警告，若否进入6；
78.6.判断作业人员位置坐标是否出现在工作区域，若是，进入7，若否，进入8；
79.7.判断作业人员的姿态信息是否与工作姿态信息匹配，若是，继续监测，若否，发出警告；
80.8.则判断作业人员的姿态信息是否与禁止姿态信息匹配，若是，发出警告，若否，继续监测。