基于无人机的隔离开关引上线安全距离检测方法与流程

1.本发明涉及一种计算机图像处理测距技术，具体地说是一种基于无人机的隔离开关引上线安全距离检测方法。


背景技术：

2.隔离开关作为电气化铁路的重要组成部分，直接影响着铁路系统的正常运行。由于环境影响，包括温度湿度等的变化，导致隔离开关引上线和角钢之间的距离会有一定幅度的波动。正常情况下，要保持引上线和角钢之间的距离满足安全规定的要求，否则如果环境发生变化，或者出现大风天气，就可能会导致引上线和角钢的距离过近，产生放电现象，造成短路等一系列危害。如果引上线绷的太紧，则会导致缺乏一定的弹性，导致出现断裂问题。目前由于温度湿度的经常性影响，引上线和角钢的距离经常会发生变化。而变化后的距离是否还处在安全的距离范围就显得非常重要。
3.现在隔离开关引上线和角钢之间的距离完全是采用人工测量的方式，人工测量方式的主要缺陷是测量效率低下，流程比较繁琐，危险系数也比较高，亟待找到新的方法替代。


技术实现要素：

4.本发明的目的就是提供一种基于无人机的隔离开关引上线安全距离检测方法，以解决现在人工测量隔离开关引上线和角钢之间的距离时测量效率低下，流程繁琐，危险系数高的问题。
5.本发明是这样实现的：一种基于无人机的隔离开关引上线安全距离检测方法，包括以下步骤。
6.a.利用无人机沿接触网线路进行拍摄，获取接触网线路的视频图像。
7.b.对步骤a中无人机拍摄的视频图像进行抽帧，得到大量接触网线路的图片。
8.c.利用步骤b中的部分图片进行目标检测模型训练，使其能够自动识别图片中的隔离开关，得到目标检测的权重文件。
9.d.使用训练好的目标检测模型对步骤b得到的图片进行自动目标检测，识别含有隔离开关的图片并框选图片中的隔离开关。
10.e.筛选隔离开关位于图像中间的图片。
11.f.在步骤e中筛选出的图片中，人工在图片中框选r区域，位于r区域内的隔离开关引上线为引上线上最有可能靠近角钢的一段，获取r区域内引上线的两个端点坐标，连接两个端点得到r区域内引上线直线坐标。
12.g.选取r区域后，在接触网隔离开关底部的角钢上，选取角钢端部的上端点a和下端点b，点a和点b之间的距离ab为标准尺寸，利用标准尺寸计算a、b两点分别到r区域的引上线直线的距离，取其中的较小的值即为隔离开关引上线和角钢之间的最近距离。
13.进一步地，在步骤e中，获取图片上用于框选隔离开关的矩形框的一组对角点的坐
标，根据对角点坐标计算矩形框中心点的坐标；将图片的长和宽分别等分为大于等于3的奇数份，从而将图片划分为若干个方格，获取位于图片正中心的方格的四个顶点的坐标；若矩形框中心点的坐标落入图片正中心的方格内，则该图片的隔离开关位于图像的中间位置。
14.进一步地，在步骤g中，根据点a和点b的坐标计算距离ab所占的像素值，再利用点到直线距离公式，分别计算出a、b两点到r区域的引上线直线的距离所占的像素值，距离ab的实际长度由角钢实际尺寸确定，根据比例关系计算a、b两点分别到r区域的引上线直线的实际距离，取其中的较小的值即为隔离开关引上线和角钢之间的最近距离。
15.进一步地，在步骤f和步骤g中，如果在r区域内有两条引上线，则分别进行计算，最后统一比较取最小值。
16.进一步地，在步骤a中，无人机沿接触网线路飞行，摄像头正对接触网线路进行拍摄。
17.进一步地，在步骤b中，读取视频图像的每一帧，对每一帧或者每隔几帧进行截图保存操作，即可得到大量接触网线路的图片。
18.进一步地，在步骤c中，对选取的部分图片逐张进行标注，框选出图片中的隔离开关，对标注好的图片使用yolov5算法进行模型训练。
19.隔离开关引上线只有一个小段可能会与角钢进行碰触，这一小段是距离角钢最近的部分，该特点属于隔离开关本身的结构特点，不会因为隔离开关结构拍摄不完整或拍摄角度的变化而改变，因此以此结构特点作为入手点，实现利用无人机技术对隔离开关引上线进行安全距离的检测。
20.本发明只需要利用无人机沿着接触网线路的方向拍摄视频，然后利用抽帧算法将视频转化成一系列的图片，然后利用目标检测算法进行隔离开关的定位，找到所有含有隔离开关的图片，剔除不含隔离开关的图片。之后再利用算法找到框选隔离开关的矩形框的坐标，然后利用矩形框中点坐标在图像的整个画幅之中的位置来判断出隔离开关是否位于图像中间，从而对图片一步地筛选，保留隔离开关正面的图片，即为最适合机器视觉测量的图片。最后利用测算像素比例的方式选取标准件来进行距离的测量即可。
21.本发明完成对接触网上的隔离开关的辨识、定位以及引上线安全距离的无接触测量，代替现有的人工上线测量方式，便捷、安全、高效地对接触网上的隔离开关引上线安全距离进行自动检测，智能判断出是否符合安全标准。
附图说明
22.图1是本发明的流程图。
23.图2是本发明r区域和点a、点b位置的示意图。
具体实施方式
24.如图1所示，本发明为一种基于无人机的隔离开关引上线安全距离检测方法，包括以下步骤。
25.a.利用无人机沿接触网线路进行拍摄，获取接触网线路的视频图像。
26.b.对步骤a中无人机拍摄的视频图像进行抽帧，得到大量接触网线路的图片。
27.c.利用步骤b中的部分图片进行目标检测模型训练，使其能够自动识别图片中的
隔离开关，得到目标检测的权重文件。
28.d.使用训练好的目标检测模型对步骤b得到的图片进行自动目标检测，识别含有隔离开关的图片并框选图片中的隔离开关。
29.e.筛选隔离开关位于图像中间的图片。
30.f.在步骤e中筛选出的图片中，人工在图片中框选r区域，位于r区域内的隔离开关引上线为引上线上最有可能靠近角钢的一段，获取r区域内引上线的两个端点坐标，连接两个端点得到r区域内引上线直线坐标。
31.g.选取r区域后，在接触网隔离开关底部的角钢上，选取角钢端部的上端点a和下端点b，点a和点b之间的距离ab为标准尺寸，利用标准尺寸计算a、b两点分别到r区域的引上线直线的距离，取其中的较小的值即为隔离开关引上线和角钢之间的最近距离。
32.其中，在步骤a中，无人机沿接触网线路飞行，摄像头正对接触网线路进行拍摄。
33.利用无人机沿铁路线进行视频拍摄，由于拍摄角度的不同，侧面拍摄的图像相比正面拍摄的图像会产生更大的形变，因而也会对测距产生更多的误差，所以沿线拍摄时因先固定摄像头位置正对铁路线，也就是摄像头方向与飞行前进方向成90度，且面向铁路线，使摄像头正面拍摄接触网线路以及隔离开关。在无人机巡检的时，无人机起飞后调整好高度和摄像头方向沿线飞行即可，大部分时间只需要无人机操作员进行简单的前进，以及少量的上升、下降控制操作，几乎不需要在飞的过程中进行摄像头方向的调整。
34.在步骤b中，读取视频图像的每一帧，对每一帧或者每隔几帧进行截图保存操作，即可得到大量接触网线路的图片。
35.具体的是，将得到的视频图像利用python-opencv模块中的cv2.videocapture来读取视频。利用cv2.videocapture.read()读取视频的每一帧，并利用一个循环，其中使用cv2.imwrite对每一帧或者每隔几帧进行截图保存操作，即可得到大量沿高速铁路线接触网的图片。
36.在步骤c中，对选取的部分图片逐张进行标注，框选出图片中的隔离开关，对标注好的图片使用yolov5算法进行模型训练。
37.首先，在yolov5目录下创建paper_data文件夹，此目录下再创建三个文件夹，分别为images（用来存放准备好的隔离开关图片），annotations（用来存放图片对应的xml文件）和imagesets/main（之后会在main文件夹内自动生成train.txt，val.txt，test.txt和trainval.txt四个文件，分别用于存放训练集、验证集、测试集图片的名字（无后缀.jpg））。
38.然后，利用lableing工具进行图片标注，找到选取的部分图片所在文件夹进行打开，逐张对每张图片进行标注，使用鼠标拖拽框选隔离开关即可完成标注操作。数据集标记好后，将原始图片数据集放到images文件夹中，将标记所生成的xml文件全部放入到annotations文件夹中。
39.然后，创建yaml文件，其中的nc代表识别物体的种类数目，names代表种类名称。
40.最后，运行train.py进行模型训练，利用yolov5源码包中的train.py进行模型的训练，训练好后会得到目标检测的权重文件。训练后的模型就可以对隔离开关进行自动目标检测了，训练数据集的图片数目越多，检测的效果将会越好。
41.在步骤d中，运行yolov5源码包中的detect.py文件，目标检测模型自动对图片中的隔离开关进行目标检测，之后将会在runs/detect/exp文件夹下出现检测完成的图片，输
出的图片将会框选出隔离开关。
42.在步骤e中，由于无人机在拍摄过程中，摄像头始终正对铁路线，无人机一直在沿线前进，或者做简单的上升下降动作，从隔离开关进入画面到隔离开关离开画面这个过程中，一开始隔离开关只有一部分进入画面，然后进入画面的部分越来越多，直到隔离开关全部进入画面，再逐渐地从另一边离开画面。在这一过程中，由于摄像头方向始终正对铁路线，当隔离开关位于图片中央位置时，即为摄像头在隔离开关正前方时所拍摄的图片，也就是摄像头正对着隔离开关时拍摄的图片，而这也正是机器视觉测量所需要的最为理想的测距图像。
43.另外，隔离开关位置位于图像中间的图片无论是光线还是聚焦等图像质量方面也都会效果更好，更清晰，更有利于测量。所以找到隔离开关位于图像中间的图像至关重要。
44.本思想巧妙的将原本需要在隔离开关正面拍摄图片转变成了只需要寻找隔离开关位于图像中间的图片，大大降低了技术难度。
45.判断时，获取图片上用于框选隔离开关的矩形框的一组对角点的坐标，根据对角点坐标计算矩形框中心点的坐标；将图片的长和宽分别等分为大于等于3的奇数份，从而将图片划分为若干个方格，获取位于图片正中心的方格的四个顶点的坐标；若矩形框中心点的坐标落入图片正中心的方格内，则该图片的隔离开关位于图像的中间位置。
46.具体方法是修改detect.py程序文件，将其中的plot_one_box函数最后添加一行代码：print("左上点的坐标为：(" str(c1[0]) "," str(c1[1]) ")，右下点的坐标为(" str(c2[0]) "," str(c2[1]) ")")。此代码即可输出框选出隔离开关的矩形框的左上角和右下角的点的坐标。之后即可计算出矩形框的对角线交点坐标，即为矩形框的中心点坐标。然后利用python中的shape（）函数输出图片的长和宽，将图片的长和宽分别分为十一份，将整个画幅划分成十一乘十一的方格，各自取长和宽的第六份形成的那一个中间的方格的四个顶点的坐标。如果上面获取的矩形框的中心点坐标落在此方格中，即为位于图片的中间位置，利用坐标就可以直接判断出来。此方法可以找到隔离开关位于图片的中间位置的图片，即为最适合计算隔离开关角铁和引上线安全距离的图片，使得距离测量变得非常方便。
[0047]
在步骤g中，根据点a和点b的坐标计算距离ab所占的像素值，再利用点到直线距离公式，分别计算出a、b两点到r区域的引上线直线的距离所占的像素值，距离ab的实际长度由角钢实际尺寸确定，根据比例关系计算a、b两点分别到r区域的引上线直线的实际距离，取其中的较小的值即为隔离开关引上线和角钢之间的最近距离。
[0048]
隔离开关的结构特点，决定了引上线上只有一小段有可能在外部环境作用下与角钢接近，将这包含这一小段的区域定义为r区域，如图2。引上线从水平开始转向右下方的拐点开始，向前延伸一个绝缘子的长度后的位置为起点，再向前延伸一个角钢的高度后的位置为终点，这一段的引上线最有可能和角钢接近，所以确定包含这一段引上线的区域为r区域。由于只需大致的r区域范围，对精度要求不高，且不会对后续的测量产生明显的影响，所以只需依靠操作人员观察便可大致确定。
[0049]
利用人机交互的半自动算法获取r区域的两端点位置坐标，具体方式是利用opencv中的鼠标响应回调函setmousecallback，采用直接鼠标点击的方式，可直接获得鼠标点击位置的坐标。由于r区域比较短，又因为要求所测的安全范围是一个比较宽泛的范
围，对精度要求没有那么高，所以可以将r区域内的引上线近似的看作直线。可以利用刚刚获得的两端点坐标直接计算得出直线方程。再利用同样的方法获取角钢的上下边缘角处的坐标，即为图2中的a、b两点。将a、b两点间的距离看作标准尺寸，利用像素比例的方式计算出a、b两点到r区域的直线距离。取其中的较小的值即为角钢到引上线的最小距离。
[0050]
如果在r区域内有两条引上线，则分别进行计算，最后统一比较取最小值。
[0051]
隔离开关引上线只有一个小段可能会与角钢进行碰触，这一小段是距离角钢最近的部分，该特点属于隔离开关本身的结构特点，不会因为隔离开关结构拍摄不完整或拍摄角度的变化而改变，因此以此结构特点作为入手点，实现利用无人机技术对隔离开关引上线进行安全距离的检测。
[0052]
本发明只需要利用无人机沿着接触网线路的方向拍摄视频，然后利用抽帧算法将视频转化成一系列的图片，然后利用目标检测算法进行隔离开关的定位，找到所有含有隔离开关的图片，剔除不含隔离开关的图片。之后再利用算法找到框选隔离开关的矩形框的坐标，然后利用矩形框中点坐标在图像的整个画幅之中的位置来判断出隔离开关是否位于图片中间，从而对图片进一步地筛选，保留隔离开关正面的图片，即为最适合机器视觉测量的图片。最后利用测算像素比例的方式选取标准件来进行距离的测量即可。
[0053]
由于无人机巡检接触网更加的方便快捷，灵活性高，可以在任意时间进行隔离开关拍摄，且无人机采用的高清可变焦距的摄像头，可以在较远距离安全作业，不会对高速列车的运行造成危害，同时无人机操作简单，只需要沿线飞行即可，需要的劳动力也比较少。
[0054]
本方法与现有的传统人工上线测量的方式相比，利用无人机技术进行高速铁路接触网上的隔离开关放电距离的智能检测具有操作简单，安全系数高，效率高等优势，同时也可以达到所需的精度要求。此方法可以很好地应用于高速铁路接触网上的隔离开关放电距离的检测，具有较高的实用前景和研究意义。