一种变电站现场作业的越界违章监测方法

1.本发明涉及一种变电站现场作业的越界违章监测方法，属于智能变电站技术领域。


背景技术：

2.变电站场地环境复杂，存在着威胁人身的众多因素。在变电站施工的过程中,需要对即将误入危险区域的作业人员进行快速准确地检测并及时预警，减少生命和财产的损失。但现有的危险区域检测方法大多数基于传感器的方法，需要布置大量的传感器，实际操作复杂，而且在工人身上附着传感器，会干扰工人的施工操作，而人工观察耗时费力，容易受观察者的精神状态影响。随着人工智能的发展，不少研究人员开始把深度学习技术和危险区域检测问题结合起来。然而现有的技术主要依赖于大量的标记数据进行模型的训练，进而在后端进行检测识别，没有充分利用前端的计算资源，在数据的传输上消耗太大，也降低了适用性。
3.传统视频监控系统主要为人工监控，事后观察视频取证；而且视频监控系统的架构设计比较单一，不能对视频图像进实时智能分析，不能实现远程监控，并且无法进行异常事件及时报警。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种变电站现场作业的越界违章监测方法，不仅能有效识别地面违章行为，还能识别高程越界违章行为，且部署灵活，操作简单，实时性强，可重用性好。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.本发明提供了一种变电站现场作业的越界违章监测方法，包括：
7.通过移动端摄像头获取变电站作业现场的图像数据；
8.根据预构建的移动端检测模型对图像数据进行识别，获取图像数据中的三角锥、作业人员以及安全帽的检测框；
9.根据三角锥和作业人员的检测框进行周界越界监测；
10.基于rtk定位技术获取安全帽的真实高度；
11.根据安全帽的真实高度和检测框以及作业人员的检测框进行高程越界监测。
12.可选的，所述移动端监测模型的构建包括：
13.将pytorch框架下训练好的yolov5模型转为onnx模型；
14.将onnx模型转为ncnn模型并作为移动端监测模型；
15.其中，所述yolov5模型的训练包括：
16.获取变电站作业现场的图像信息并添加三角锥和作业人员的检测框标签；
17.根据添加检测框标签的图像信息生成样本图像并构建样本集；
18.将样本集划分为训练集和验证集；
19.初始化yolov5模型，并将训练集中样本图像输入yolov5模型进行训练；
20.将验证集中样本图像输入训练后的yolov5模型进行验证，若达到预设需求，则训练完成。
21.可选的，所述根据三角锥和作业人员的检测框进行周界越界监测包括：
22.以三角锥检测框底部内侧端点连线围成的多边形区域作为安全区域，多边形区域以外为危险区域；
23.以作业人员检测框左下角和右下角坐标作为检测点，获取检测点在地面的投影点；
24.基于pnpoly算法判断两个投影点位于安全区域或多边形区域，若两个投影点均位于安全区域，则所述工作人员未地面越界；若两个投影点均位于危险区域，则所述工作人员地面越界；若两个投影点分别位于安全区域和危险区域，则所述工作人员正在地面越界。
25.可选的，所述三角锥设置有四个，分别记为a、b、c、d；以三角锥a、b、c、d的检测框底部内侧端点连线围成的长方形区域abcd作为安全区域。
26.可选的，所述获取检测点在地面的投影点包括：
27.获取ac连线侧图像数据中的三角锥和作业人员的检测框；
28.以作业人员p检测框底部中点向地面做投影线以及投影线的延长线，投影线与ac连线的交点记为m，延长线与bd连线的交点记为n；
29.根据ac连线侧图像数据中的三角锥和作业人员的检测框计算ac连线侧图像数据中m和n点在ac连线和bd连线上的位置比例；
30.获取ab连线侧图像数据中的三角锥和作业人员的检测框；
31.根据ac连线侧图像数据中m和n点在ac连线和bd连线上的位置比例，获取ab连线侧图像数据中m和n点在ac连线和bd连线上的位置；
32.以ab连线侧图像数据中m和n点在ac连线和bd连线上的位置设置虚拟三角锥e、f，且虚拟三角锥e检测框的右下角横坐标与m点重合，虚拟三角锥f检测框的左下角横坐标与n点重合；
33.根据ab连线侧图像数据中的三角锥和作业人员的检测框计算ab连线侧图像数据中m、n点的坐标；
34.将ab连线侧图像数据中作业人员p检测框底部中点在地面的投影点记为h点；
35.根据ab连线侧图像数据中m、n点的坐标计算ab连线侧图像数据中h点的坐标；
36.根据ab连线侧图像数据中h点的坐标计算ab连线侧图像数据中作业人员p检测框左下角和右下角在地面的投影点坐标。
37.可选的，所述计算ac连线侧图像数据中m和n点在ac连线和bd连线上的位置比例包括：
38.获取ac连线侧图像数据中作业人员p检测框的左上角和右下角的横坐标获取ac连线侧图像数据中作业人员p检测框的左上角和右下角的横坐标确定ac连线侧图像数据中m和n点的横坐标xm、xn：
[0039][0040]
获取ac连线侧图像数据中三角锥a、b的检测框的左上角的横坐标三角锥
c、d的检测框的右下角的横坐标确定ac连线侧图像数据中m和n点在ac连线和bd连线上的位置比例k1和k2：
[0041][0042]
可选的，所述计算ab连线侧图像数据中m、n点的坐标包括：
[0043]
获取ab连线侧图像数据中三角锥a、c的检测框的左上角的纵坐标三角锥a、c的检测框的右下角的纵坐标确定三角锥e的检测框的高度he：
[0044][0045][0046]
获取ab连线侧图像数据中三角锥b、d的检测框的左上角的纵坐标三角锥b、d的检测框的右下角的纵坐标确定三角锥f的检测框的高度hf：
[0047][0048][0049]
确定ab连线侧图像数据中m点在ac连线上的位置比例km：
[0050][0051]
确定ab连线侧图像数据中n点在bd连线上的位置比例kn：
[0052][0053]
获取ab连线侧图像数据中三角锥a、c的检测框的右下角的横坐标确定ab连线侧图像数据中m点的坐标(xm,ym)：
[0054][0055][0056]
获取ab连线侧图像数据中三角锥b、d的检测框的左上角的横坐标确定
ab连线侧图像数据中n点的坐标(xn,yn)：
[0057][0058][0059]
可选的，所述计算ab连线侧图像数据中h点的坐标包括：
[0060]
获取ab连线侧图像数据中作业人员p的检测框的左上角和右下角横坐标作业人员p的检测框的右下角纵坐标确定ab连线侧图像数据中h点的横坐标xh：
[0061][0062]
获取ab连线侧图像数据中m、n点的横坐标xm、xn，确定ab连线侧图像数据中h点在mn连线上的位置比例kh：
[0063][0064]
获取ab连线侧图像数据中m、n点的纵坐标ym、yn，确定ab连线侧图像数据中h点的坐标(xh,yh)：
[0065][0066][0067]
可选的，所述ab连线侧图像数据中作业人员p的检测框左下角在地面的投影点坐标为右下角在地面的投影点坐标为
[0068]
可选的，所述根据真实高度和检测框以及作业人员的检测框进行高程越界监测包括：
[0069]
ab连线侧图像数据中以安全帽检测框的中心点坐标作为参考点，获取参考点在地面的投影点；
[0070]
根据ab连线侧图像数据中参考点和参考点在地面的投影点的纵坐标获取参考点到参考点在地面的投影点的距离，记为hq；
[0071]
结合安全帽的真实高度hr，确定ab连线侧图像数据与真实数据的比例系数k：
[0072][0073]
获取ab连线侧图像数据中作业人员p的检测框顶部中点纵坐标ab连线侧图像数据中h点纵坐标yh，确定作业人员p的检测框的顶部中点到地面的距离h
p
：
[0074][0075]
结合ab连线侧图像数据与真实数据的比例系数k，确定作业人员p的检测框的顶部中点到地面的真实高度h
p
：
[0076][0077]
若真实高度h
p
大于等于预设的越界高度，则所述工作人员高程越界；若真实高度h
p
小于预设的越界高度，则所述工作人员未高程越界。
[0078]
与现有技术相比，本发明所达到的有益效果：
[0079]
本发明提供的一种变电站现场作业的越界违章监测方法，通过预构建的移动端检测模型对图像数据进行识别，部署灵活，操作简单方便；区别于传统的物理围栏及其他类型的虚拟电子围栏技术，不仅能有效识别地面违章行为，还能识别高空越界违章行为，且实时性强，可重用性好。
附图说明
[0080]
图1是本发明实施例提供的一种变电站现场作业的越界违章监测方法流程图；
[0081]
图2是本发明实施例提供的变电站现场作业示意图；
[0082]
图3是本发明实施例提供的变电站现场作业ac连线侧图像数据示意图；
[0083]
图4是本发明实施例提供的变电站现场作业ab连线侧图像数据示意图。
具体实施方式
[0084]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0085]
如图1所示，本发明实施例提供了一种变电站现场作业的越界违章监测方法，包括以下步骤：
[0086]
1、通过移动端摄像头获取变电站作业现场的图像数据。
[0087]
2、根据预构建的移动端检测模型对图像数据进行识别，获取图像数据中的三角锥、作业人员以及安全帽的检测框。
[0088]
2.1、移动端监测模型的构建包括：
[0089]
将pytorch框架下训练好的yolov5模型转为onnx模型；
[0090]
将onnx模型转为ncnn模型并作为移动端监测模型；
[0091]
2.2、yolov5模型的训练包括：
[0092]
获取变电站作业现场的图像信息并添加三角锥和作业人员的检测框标签；
[0093]
根据添加检测框标签的图像信息生成样本图像并构建样本集；
[0094]
将样本集划分为训练集和验证集；
[0095]
初始化yolov5模型，并将训练集中样本图像输入yolov5模型进行训练；
[0096]
将验证集中样本图像输入训练后的yolov5模型进行验证，若达到预设需求，则训练完成。
[0097]
3、根据三角锥和作业人员的检测框进行周界越界监测；具体包括：
[0098]
3.1、以三角锥检测框底部内侧端点连线围成的多边形区域作为安全区域，多边形区域以外为危险区域；
[0099]
3.2、以作业人员检测框左下角和右下角坐标作为检测点，获取检测点在地面的投影点；
[0100]
3.3、基于pnpoly算法判断两个投影点位于安全区域或多边形区域，若两个投影点均位于安全区域，则工作人员未地面越界；若两个投影点均位于危险区域，则工作人员地面越界；若两个投影点分别位于安全区域和危险区域，则工作人员正在地面越界。
[0101]
如图2所示，在变电站现场作业，工作人员通常设置四个三角锥，本实施以四个三角锥为例：
[0102]
如图3-4所示，三角锥设置有四个，分别记为a、b、c、d；以三角锥a、b、c、d的检测框底部内侧端点连线围成的长方形区域abcd作为安全区域。在这种情况下，获取检测点在地面的投影点包括：
[0103]
s1、获取ac连线侧图像数据(通过摄像头s采集)中的三角锥和作业人员的检测框；
[0104]
s2、以作业人员p检测框底部中点向地面做投影线以及投影线的延长线，投影线与ac连线的交点记为m，延长线与bd连线的交点记为n；
[0105]
s3、根据ac连线侧图像数据中的三角锥和作业人员的检测框计算ac连线侧图像数据中m和n点在ac连线和bd连线上的位置比例；具体包括：
[0106]
s3.1、获取ac连线侧图像数据中作业人员p检测框的左上角和右下角的横坐标确定ac连线侧图像数据中m和n点的横坐标xm、xn：
[0107][0108]
s3.2、获取ac连线侧图像数据中三角锥a、b的检测框的左上角的横坐标s3.2、获取ac连线侧图像数据中三角锥a、b的检测框的左上角的横坐标三角锥c、d的检测框的右下角的横坐标确定ac连线侧图像数据中m和n点在ac连线和bd连线上的位置比例k1和k2：
[0109][0110]
s4、获取ab连线侧图像数据(通过摄像头f采集)中的三角锥和作业人员的检测框；
[0111]
s5、根据ac连线侧图像数据中m和n点在ac连线和bd连线上的位置比例，获取ab连线侧图像数据中m和n点在ac连线和bd连线上的位置；
[0112]
s6、以ab连线侧图像数据中m和n点在ac连线和bd连线上的位置设置虚拟三角锥e、f，且虚拟三角锥e检测框的右下角横坐标与m点重合，虚拟三角锥f检测框的左下角横坐标与n点重合；
[0113]
s7、根据ab连线侧图像数据中的三角锥和作业人员的检测框计算ab连线侧图像数据中m、n点的坐标；具体包括：
[0114]
s7.1、获取ab连线侧图像数据中三角锥a、c的检测框的左上角的纵坐标三角锥a、c的检测框的右下角的纵坐标确定三角锥e的检测框的高度he：
[0115]
[0116][0117]
s7.2、获取ab连线侧图像数据中三角锥b、d的检测框的左上角的纵坐标三角锥b、d的检测框的右下角的纵坐标确定三角锥f的检测框的高度hf：
[0118][0119][0120]
s7.3、确定ab连线侧图像数据中m点在ac连线上的位置比例km：
[0121][0122]
s7.4、确定ab连线侧图像数据中n点在bd连线上的位置比例kn：
[0123][0124]
s7.5、获取ab连线侧图像数据中三角锥a、c的检测框的右下角的横坐标确定ab连线侧图像数据中m点的坐标(xm,ym)：
[0125][0126][0127]
s7.6、获取ab连线侧图像数据中三角锥b、d的检测框的左上角的横坐标确定ab连线侧图像数据中n点的坐标(xn,yn)：
[0128][0129][0130]
s8、将ab连线侧图像数据中作业人员p检测框底部中点在地面的投影点记为h点；
[0131]
s9、根据ab连线侧图像数据中m、n点的坐标计算ab连线侧图像数据中h点的坐标；
[0132]
s9.1、获取ab连线侧图像数据中作业人员p的检测框的左上角和右下角横坐标作业人员p的检测框的右下角纵坐标确定ab连线侧图像数据中h点的横坐标xh：
[0133][0134]
s9.2、获取ab连线侧图像数据中m、n点的横坐标xm、xn，确定ab连线侧图像数据中h点在mn连线上的位置比例kh：
[0135][0136]
s9.3、获取ab连线侧图像数据中m、n点的纵坐标ym、yn，确定ab连线侧图像数据中h点的坐标(xh,yh)：
[0137][0138]
s10、根据ab连线侧图像数据中h点的坐标计算ab连线侧图像数据中作业人员p检测框左下角和右下角在地面的投影点坐标。
[0139]
ab连线侧图像数据中作业人员p的检测框左下角在地面的投影点坐标为右下角在地面的投影点坐标为
[0140]
4、基于rtk定位技术获取安全帽的真实高度。基于rtk定位技术主要包括：
[0141]
1)在变电站改扩建施工现场安置基准站。将基准站放在地势较高、天空开阔、周围障碍物高度角不超10
°
、有利于卫星信号接收和数据链发射的位置,且周围无信号反射物的位置，电台天线架设在高处；
[0142]
2)在作业人员安全帽上放置移动站，即用户接收机；
[0143]
3)使用4g透传模块与rtk移动站连接，实现将rtk移动站计算到的数据通过4g透传模块传输到云服务器；
[0144]
4)将获取到的高度信息传送至高程越界检测模块进行高度校准。
[0145]
5、根据安全帽的真实高度和检测框以及作业人员的检测框进行高程越界监测；具体包括：
[0146]
ab连线侧图像数据中以安全帽检测框的中心点坐标作为参考点，获取参考点在地面的投影点；
[0147]
根据ab连线侧图像数据中参考点和参考点在地面的投影点的纵坐标获取参考点到参考点在地面的投影点的距离，记为hq；
[0148]
结合安全帽的真实高度hr，确定ab连线侧图像数据与真实数据的比例系数k：
[0149][0150]
获取ab连线侧图像数据中作业人员p的检测框顶部中点纵坐标ab连线侧图像数据中h点纵坐标yh，确定作业人员p的检测框的顶部中点到地面的距离h
p
：
[0151][0152]
结合ab连线侧图像数据与真实数据的比例系数k，确定作业人员p的检测框的顶部中点到地面的真实高度h
p
：
[0153][0154]
若真实高度h
p
大于等于预设的越界高度，则工作人员高程越界；若真实高度h
p
小于预设的越界高度，则工作人员未高程越界。
[0155]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0156]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。