基于双目测距和图像分割对输电线舞动的检测方法与流程

1.本发明涉及图像识别技术领域，尤其涉及基于双目测距和图像分割对输电线舞动的检测方法。


背景技术：

2.我国输电网建设大规模迅速扩大，输电线舞动引发的事故逐渐凸显，轻则造成闪络、跳闸，重则造成金属夹具损坏，导线断股、断线，杆塔螺栓松动、脱落，甚至倒杆等严重事故，容易造成电网大面积的停电，进而直接或者间接对社会生活生产造成巨大的经济损失。然而对输电线路舞动的监控，传统的采用现场检查的巡视方式必然会消耗大量的人力和物力，而更为重要的是不能及时发现故障或隐患，造成工作的延误，甚至扩大故障范围。
3.随着计算机技术和光电技术的发展，机器视觉技术应运而生。双目测距技术运用两个摄像头对同一场景进行拍摄，从而产生图像视差，然后通过该视差建立物体距离测量模型，从而实现景物距离的实时计算。
4.图像分割技术是计算机视觉领域的一个重要的研究方向，图像分割是指将图像分成若干具有相似性质的区域的过程。该技术相关的场景物体分割、人体前背景分割、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到了广泛的应用。基于深度学习的图像分割算法研究对象是像素级别的，在输电线路防外破监控系统应用中，分割的精准度非常高，适用于户外输电线路场景的多目标检测分割。
5.现有的舞动检测技术可以采用传感器检测、卫星定位检测等。传感器的测量精度易受温度的影响，观测抖动误差较大，而且抗干扰能力弱，运用传感器检测高压架空输电线路舞动，存在较大误差、预测高压架空输电线事故风险的能力差的问题。现有的卫星定位检测导线舞动状态的方法也存在诸多问题，包括定位模块定位高度误差较大、定位精度不高、计算误差较大以及算法反馈时间长等。综上，现有的高压架空输电线舞动检测技术存在各种问题。


技术实现要素：

6.为解决上述背景技术中存在的问题，本发明提供了一种基于双目测距和图像分割技术的输电线舞动的检测方法，本发明提供的检测方法能通过深度学习图像分割算法模型进行推理识别，再将识别结果传送给双目测距系统，双目测距系统通过识别结果判断是否需要计算距离，最后将识别结果和计算的障碍物距离信息发送到手机app端和设备终端，在手机app端查看图片，导线和障碍物的轮廓和距离信息会以不同颜色标出，并和原图做了对比，根据在同一场景不同时刻的固定障碍物距离的异同，便可判断导线是否舞动以及舞动的剧烈程度。本发明的技术方案是这样的：一种基于双目测距和图像分割对输电线舞动的检测方法，基于安装在输电线上的在线监测装置实时采集导线舞动、震动和风偏等工况图像信息，构建输电线三维运行姿态信息，检测过程中应用有包括硬件设备端、ai图像识别、双目测距系统、后端服务、app端五
大功能模块在内的检测系统，所述检测方法的步骤包括：s1: 在输电线上安装好图像采集终端设备，标定准确双目相机；s2:终端设备获取双目图片并转发给ai服务器，ai服务器获取图片后，通过图像分割技术推理出图片中是否存在危险目标以及危险目标位置及类别信息；s3: 双目测距系统获取到ai服务器提供的危险目标在图片中的位置信息，根据公式计算出危险目标和导线的距离以及危险目标和设备的距离，同时可构建出危险目标、导线和设备的三维姿态信息；s4:预警系统利用图像分割技术提供的目标类别和双目测距技术提供的危险等级；同时根据一段时间内的变化情况，计算出导线的舞动剧烈程度。
7.进一步的，所述s2中的图像分割技术中利用的是deeplab v3 的语义分割模型，由encoder和decoder两部分组成，将 deeplab 的 dcnn及aspp 部分看做 encoder，将 aspp输出的高层语义特征与dcnn中低层高分辨率信息融合后上采样成原图大小的部分看做 decoder，其中使用的上采样方式是双线性插值。
8.进一步的，所述s2中对采集图像进行卷积上采样的方式是通过空洞卷积进行计算：对于卷积输出的特征y上的每个位置i以及对应的卷积核w，对于输入x，空洞卷积的计算如下所示：上式中r为空洞率，表示卷积核在卷积操作的输入x上的取样步长；k表示卷积核参数的位置，例如卷积核尺寸为3，则k=0,1,2；kernel_size表示卷积核尺寸。
9.进一步的，所述s3中的双目测距系统中被测点与相机之间的距离计算方式为：z为被测点p到相机的距离，与分别为左右相机的光学中心，b为两光学中心的距离，和分别是被测点p在左右图像上的成像点，f为相机的焦距，和为成像点相对于图像中点的距离；根据三角形相似定理，可以得到公式（1）：简化公式（1），并将用d来替换后，得到公式2，即双目测距的原理公式：其中d被称为视差，所以在已知基线长度、相机焦距以及像点视差时，就可以通过公式（2）计算出被测点距离相机的实际距离。
10.进一步的，所述s1中标定的相机数据包括自身的内在参数和摄像机相对位置外在参数。
11.本发明的有益效果是：本发明的一种基于双目测距和图像分割技术对输电线舞动的检测方法通过图像分割技术计算危险目标的位置和类别；通过双目测距技术计算危险目标到导线和设备之间的实际距离；计算出导线舞动状态和剧烈程度，对输电线路的安全性进行监控；同时使得巡检人员能够实时获得报警提醒信息掌握现场情况，极大的提升监控效率。
附图说明
12.图1是本发明的基于双目测距和图像分割对输电线舞动的检测方法的工作原理流程图。
13.图2是本发明实施例中deeplab v3 的网络结构示意图。
14.图3是本发明实施例中空洞卷积的原理图。
15.图4是本发明实施例中深度卷积的原理图。
16.图5是本发明实施例中图像语义分割xception整体结构图。
17.图6是本发明实施例中在pascal voc 2012数据集上测试结果图。
18.图7是本发明实施例中的双目左右相机与被测点p的空间关系模型图。
19.图8是本发明实施例中的双目测距系统原理图。
20.图9是本发明实施例中的对现场树障检测的结果展示图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
22.目前，对处于大风工况、覆冰工况和超高树木威胁的输电线路，大多依赖人工现场确认隐患点，并通过例行巡检和组织特巡，进行日常监测，增加了劳动强度和管理难度。事故发生后的原因排查和事故评估，缺乏支撑数据，还原难度大，周期长，成本高。为解决输电线舞动的检测问题，本发明提出了一种基于双目测距和图像分割技术的输电线舞动的检测方法，本发明提供的检测方法能通过深度学习图像分割算法模型进行推理识别，再将识别结果传送给双目测距系统，双目测距系统通过识别结果判断是否需要计算距离，最后将识别结果和计算的障碍物距离信息发送到手机app端和设备终端，在手机app端查看图片，导线和障碍物的轮廓和距离信息会以不同颜色标出，并和原图做了对比，根据在同一场景不同时刻的固定障碍物距离的异同，便可判断导线是否舞动以及舞动的剧烈程度。本发明的技术方案是这样的：请参阅图1，一种基于双目测距和图像分割对输电线舞动的检测方法，基于安装在输电线上的在线监测装置实时采集导线舞动、震动和风偏等工况图像信息，构建输电线三维运行姿态信息，检测过程中应用有包括硬件设备端、ai图像识别、双目测距系统、后端服务、app端五大功能模块在内的检测系统，所述检测方法的步骤包括：s1: 在输电线上安装好图像采集终端设备，标定准确双目相机；s2:终端设备获取双目图片并转发给ai服务器，ai服务器获取图片后，通过图像分割技术推理出图片中是否存在危险目标以及危险目标位置及类别信息；s3: 双目测距系统获取到ai服务器提供的危险目标在图片中的位置信息，根据公式计算出危险目标和导线的距离以及危险目标和设备的距离，同时可构建出危险目标、导线和设备的三维姿态信息；
s4:预警系统利用图像分割技术提供的目标类别和双目测距技术提供的危险等级；同时根据一段时间内的变化情况，计算出导线的舞动剧烈程度。
23.不同工况下的工作机制大致可以分为四类：a:当线路负荷增加，导线温度升高，倾角和弧垂变化时，监测装置自动调整采集周期，并启动测距功能，对外破或隐患点的安全距离进行评估；b:当线路遇到大风工况，导线舞动的频率和幅度明显增加时，监测装置将逐步缩短采集周期，必要时实时采集并记录导线的舞动频率和幅度，同时启动图像采集功能、双目测距功能，对隐患点进行安全距离评估，当安全距离超过设定的阈值时，监测装置将进行就地和远程报警。
24.c:大风工况时，线路虽未发生舞动，但风偏量增大，也会触发导线异动工作机制，工作机制类似舞动状态下的工作机制。
25.d:覆冰工况下，因为覆冰造成导线被风面改变，风偏增大，且有一定几率发生舞动现象，前端装置也会启动异动工作机制。根据弧垂的变化，舞动的幅度，调整图像采集周期，并启动双目测距功能，进行安全距离的判定。
26.请参阅图3和图4，进一步的，所述s2中的图像分割技术中利用的是deeplab v3 的语义分割模型，由encoder和decoder两部分组成，将 deeplab 的 dcnn及aspp 部分看做 encoder，将 aspp输出的高层语义特征与dcnn中低层高分辨率信息融合后上采样成原图大小的部分看做 decoder，其中使用的上采样方式是双线性插值。双线性插值采样在较低的计算/内存开销下能给出相对于转置卷积上采样更好的结果。
27.进一步的，所述s2中对采集图像进行卷积上采样的方式是通过空洞卷积进行计算的，空洞卷积(atrous conv)是一个能够有效控制深度神经网络输出的feature map的分辨率的工具以及能够调整卷积核的感受野从而捕获多尺度信息，空洞卷积是标准卷积的一个扩展：对于卷积输出的特征y上的每个位置i以及对应的卷积核w，对于输入x，空洞卷积的计算如下所示：上式中r为空洞率，表示卷积核在卷积操作的输入x上的取样步长；k表示卷积核参数的位置，例如卷积核尺寸为3，则k=0,1,2；kernel_size表示卷积核尺寸。
28.请参阅图4，标准卷积就是空洞率为1的空洞卷积。卷积核的感受野随着空洞率的改变随之也会发生改变。
29.深度可分离卷积将一个标准卷积拆分为深度卷积 1*1卷积，极大的减少了计算复杂度。特别地，深度卷积独立的为输入feature的每个channel做卷积操作，然后使用1*1的卷积对深度卷积的输出进行channel间进行融合操作，这样就替代了一个标准卷积操作，即融合了空间信息，也融合了不同通道间的信息。在图4中的（a）就是深度卷积，单独的为每个channel进行卷积操作；（b）就是之前提到的1*1卷积用来融合channel间的信息。（a）和（b）就组成了深度可分离卷积。
30.deeplabv3作为encoder: deeplabv3使用了空洞卷积去对深度神经网络输出的任意分辨率的feature进行特征提取。这里使用输出步长（output stride）表示模型输入图像和输出的feature map（在全局池化或全连接层之前）的空间分辨率的比值。对于分类任务，
最终feature map的空间分辨率往往是模型输入图像的1/32，因此输出步长为32。对于语义分割任务来说，通过移除网络最后1到2个模块的步长以及相应地使用空洞卷积（例如对最后两个网络模块采用空洞率为2和4的空洞卷积从而实现输出步长为8）从而减小整个模型的输出步长从而达到输出步长为8或16，这样就能够提取到更稠密的特征。此外，deeplabv3增加了带有图像级别特征的空洞空间金字塔模块（aspp），空间金字塔模块（aspp）能够通过不同的空洞率获取多尺度卷积特征。使用原始deeplabv3的logits模块之前最后输出的feature map作为encoder-decoder中encoder部分的输出。需要注意的是，encoder输出的feature map包含256个通道以及丰富的语义信息。除此之外，根据计算能力可以采用空洞卷积在任意分辨率的输入上提取特征。
[0031] 提出的decoder: deeplabv3作为encoder输出的features通常输出步长为16，在之前的研究工作中，feature map通过双线性插值上采样16倍来将输出feature map恢复为模型输入尺寸，可以将其看作是一个简单的decoder模块。然而，这种简单的decoder模块可能并不能够很好的恢复物体分割细节。因此提出了一个简单但是有效的decoder模块，图2中deeplabv3 整体结构图中所示，encoder输出的特征首先进行4倍的双线性插值上采样，然后和encoder中backbone中拥有相同尺寸的低级别（浅层）特征（例如resnet-101的conv2模块的输出）进行通道维度的拼接，在拼接之前首先对低级别特征进行1*1卷积，目的是为了减小低级别特征的通道数目，因为低级别特征通常含有大量的通道数目（例如256或512），这样底级别特征的重要性可能会超过encoder输出的富有语义信息的特征（在本文模型中只有256个通道）并且使得训练更加困难。在将encoder输出特征和低级别特征拼接之后，对拼接结果进行了几个3*3卷积操作去细化特征，并随后又接了一个4倍的双线性插值上采样。在之后的实验中证明了，当encoder的输出步长为16时可以达到速度和精度的最好的权衡。当encoder的输出步长为8时模型效果略有提升，但也相应增加了额外的计算复杂度代价。
[0032]
请参阅图5和图6，本发明的采用xception模型来进行语义分割任务，其结果为了更快的计算以及高效的内存运用本文没有修改xception的输入流网络结构（entry flow network structure）；（2）最大池化操作通过使用带有一定步长的深度可分离卷积进行替代，也可以将深度可分离卷积替换为前文所说的空洞可分离卷积去在任意分辨率的输入上提取特征（或者另一种选择就是使用带有空洞率的最大池化操作替换原始的池化操作）。（3）在每一个3*3的深度卷积之后添加额外的batch normalization以及relu操作，这与mobilenet的设计类似。
[0033]
请参阅图7和图8，进一步的，所述s3中的双目测距系统中被测点与相机之间的距离计算方式为：z为被测点p到相机的距离，与分别为左右相机的光学中心，b为两光学中心的距离，和分别是被测点p在左右图像上的成像点，f为相机的焦距，和为成像点相对于图像中点的距离；根据三角形相似定理，可以得到公式（1）：简化公式（1），并将用d来替换后，得到公式2，即双目测距的原理公式：其中d被称为视差，所以在已知基线长度、相机焦距以及像点视差时，就可以通过
公式（2）计算出被测点距离相机的实际距离。
[0034]
为了确保双目测距系统的测距精度，双目测距标定是至关重要重要的一步，只有保证双目测距标定的准确性，才能保证双目测距系统测距的准确性。通过摄像机对被测目标进行图像采集，建立相机模型，就可以得到被测目标和图像的对应关系，并分析所采集到的图像，就可完成三维重建。在三维重建这一过程中，最重要的一部分就是建立标定相机模型，相机模型建立成功后，再对相机模型分析研究就可以得到相机的模型参数，完成标定。相机标定就是标定摄像机自身的内在参数和摄像机相对位置外在参数；目前，常用的标定技术包括：相机自标定法、传统相机标定法和主动视觉相机标定法。
[0035]
请参阅图1和图9，本系统分为硬件设备端、ai图像识别、双目测距系统、后端服务、app端五大模块。设备终端由多个摄像头拍摄各个方向视角的图像，一旦有危害目标进入监控范围被拍摄到，通过无线sim卡传输到后端服务器，后端接受到图像信息后，通过接口api调用ai图像识别服务，由深度学习图像分割算法模型进行推理识别，再将识别结果传送给双目测距系统，双目测距系统通过识别结果判断是否需要计算距离，最后将识别结果和计算的障碍物距离信息发送到手机app端和设备终端，在手机app端查看图片，导线和障碍物的轮廓和距离信息会以不同颜色标出，并和原图做了对比，根据在同一场景不同时刻的固定障碍物距离的异同，便可判断导线是否舞动以及舞动的剧烈程度，同时根据分割目标类别可以判断是否移动物体和移动物体对导线产生的危险以及危险程度。此时巡检人员能够实时获得报警提醒信息掌握现场情况，极大的提升监控效率。