一种基于边缘计算的嵌入式电力违规行为检测方法及系统与流程

技术特征：
1.一种基于边缘计算的嵌入式电力违规行为检测方法，其特征是，包括以下步骤：s1，获取电力作业场景的视频流，同时利用激光雷达对作业人员的位置进行定位，并生成作业人员位置坐标；s2，构建openpose模型，并将openpose模型移植到嵌入式边缘处理设备中，所述openpose模型的接视频流，用于识别出作业人员的姿态；s3，利用tensorrt推理优化器对openpose模型进行推理加速，输出作业人员的姿态信息；s4，将作业人员的姿态信息和作业人员位置坐标上传至服务器，所述服务器判断作业人员是否违规，若是，则发出警告，若否，则继续监测。2.根据权利要求1所述的一种基于边缘计算的嵌入式电力违规行为检测方法，其特征是，所述s1中利用3个激光雷达对作业人员进行定位，获取作业人员的空间位置坐标，即获取作业人员的三维位置坐标。3.根据权利要求1所述的一种基于边缘计算的嵌入式电力违规行为检测方法，其特征是，所述s2具体包括以下步骤：openpose模型接收视频流，截取包含人体姿态信息的二级视频流，并从二级视频流提取单帧图像。4.根据权利要求3所述的一种基于边缘计算的嵌入式电力违规行为检测方法，其特征是，所述s3具体包括以下步骤：s301：单帧图像处理：创建tensorrt推理优化器的数据缓冲区，所述数据缓冲区用于在gpu和内存之间传输数据；创建输入数组，所述输入数组的大小为n
×
c
×
w
×
h，其中，n表示一次输入到tensorrt推理优化器中图片的数量，c、h、w分别表示输入图像的通道数量、图像高度和宽度；取出单帧图像中每个通道的数据，并按照bgr的顺序将每个通道的数据分别保存到输入数组中；将输入数组传到tensorrt推理优化器的数据缓冲区中，作为优化模型的输入；s302：模型结构重构：加载原始openpose的模型，获取网络结构，然后通过tensorrt推理优化器对网络中的卷积层、偏置层和激活层进行重构，将其组合成一层；s303：降低数据精度：使用tensorrt推理优化器将openpose模型中的单精度fp32的参数优化成半精度fp16的参数，得到优化后的openpose的模型；s304：获得优化结果：将s301中获得的缓冲数据输入到s303获得的优化后的openpose模型中，经过优化的网络推理后，得到优化结果，利用所述优化结果更新tensorrt的数据缓冲区；s305：获取输出数据：将数据缓冲区内的更新后的缓冲数据从gpu拷贝到内存中，创建一个和openpose网络输出大小相同的数组作为输出数组，将数据缓冲区中的数据保存到输出数组中；s306：获取人体姿态数据：使用openpose模型中生成人体姿态部分算法对输出数组进行处理，得到人体骨架图以及人体关节节点坐标。5.根据权利要求1所述的一种基于边缘计算的嵌入式电力违规行为检测方法，其特征是，所述s4具体包括以下步骤：s401，绑定作业人员的姿态信息对应时间节点的作业人员位置坐标；s402，判断作业人员位置坐标是否出现在禁入区域，若是，发出警告，若否进入s403；
s403，判断作业人员位置坐标是否出现在工作区域，若是，进入s404，若否，进入s405；s404，判断作业人员的姿态信息是否与工作姿态信息匹配，若是，继续监测，若否，发出警告；s405，则判断作业人员的姿态信息是否与禁止姿态信息匹配，若是，发出警告，若否，继续监测。6.一种基于边缘计算的嵌入式电力违规行为检测系统，采用权利要求1所述的一种基于边缘计算的嵌入式电力违规行为检测方法，其特征是，包括：网络摄像头，用于获取电力作业场景的视频流，并将视频流输入到嵌入式边缘处理设备；嵌入式边缘处理设备，嵌入有openpose模型的接视频流，用于识别出作业人员的姿态；激光雷达，对作业人员的位置进行定位，并生成作业人员位置坐标，并将作业人员位置坐标输入到嵌入式边缘处理设备；tensorrt推理优化器，与嵌入式边缘处理设备电连接，用于对openpose模型进行推理加速，输出作业人员的姿态信息到嵌入式边缘处理设备；通信模块，用于嵌入式边缘处理设备与服务器进行网络通信；服务器，用于接收嵌入式边缘处理设备传输的作业人员的姿态信息和作业人员位置坐标，判断作业人员是否存有违规操作，并作出警告操作。7.根据权利要求6所述的一种基于边缘计算的嵌入式电力违规行为检测系统，其特征是，所述嵌入式边缘处理设备为nvidia jetson xavier开发者套件。8.根据权利要求6所述的一种基于边缘计算的嵌入式电力违规行为检测系统，其特征是，所述激光雷达的型号为livox mid
‑
40。

技术总结
本发明提出一种基于边缘计算的嵌入式电力违规行为检测方法及系统，其中方法包括以下步骤：S1，获取电力作业场景的视频流，同时利用激光雷达对作业人员的位置进行定位，并生成作业人员位置坐标；S2，构建OpenPose模型，并将OpenPose模型移植到嵌入式边缘处理设备中，所述OpenPose模型的接视频流，用于识别出作业人员的姿态；S3，利用TensorRT推理优化器对OpenPose模型进行推理加速，输出作业人员的姿态信息；S4，将作业人员的姿态信息和作业人员位置坐标上传至服务器，所述服务器判断作业人员是否违规，若是，则发出警告，若否，则继续监测。本发明同时获取作业人员的姿态信息和作业人员位置坐标，分区域对人体姿态进行识别，减少由于区域引起的姿态识别误判。少由于区域引起的姿态识别误判。少由于区域引起的姿态识别误判。


技术研发人员：张小龙 钱斌 司海涛 章华 单玉涵 时士伟 刘喆 王辉 杨金鑫 谢军
受保护的技术使用者：国网浙江省电力有限公司龙游县供电公司
技术研发日：2021.09.07
技术公布日：2022/1/3