基于无人机图像处理的输电线覆冰厚度检测方法

1.本发明属于输电线路覆冰厚度检测技术领域，具体涉及一种基于无人机图像处理的输电线覆冰厚度检测方法。


背景技术：

2.输电线路作为电网的重要组成部分，其安全稳定运行关系着供电的可靠性，维系着国民经济的发展。然而，我国的输电线路地域分布广泛、运行条件复杂，而且常年暴露于野外，很容易受大气候、微地形和微气象条件的影响造成覆冰、舞动等事故，导致线路输电中断，给人们的生产生活带来诸多不便，严重时还会造成巨大经济损失。因此，对输电线路的覆冰厚度检测尤为重要。
3.目前，输电线路覆冰厚度的监测方法主要包括人工巡线法、图像识别法、弧垂测量法以及预埋传感器法等。其中：图像识别法因其初期投资少、运维费用低、自定化程度高且监测数据准确而成为输电线覆冰监测的研究热点。目前所使用的输电线覆冰厚度的检测方法仍存在适用性不佳和精确性低等问题，如：
①
、由于摄像头采集的原始图像中的覆冰输电线在图像中一般与水平或竖直方向存在一定的夹角，要较为准确得到最大径向厚度，是较为困难的。
②
、当输电线位于灰度级交错的复杂环境中或覆冰图像模糊不清时，边缘检测结果包含了许多伪边缘。因此，现有技术中很难实现覆冰输电线边缘的准确提取和覆冰厚度的精确计算。


技术实现要素：

4.为解决上述技术问题，本发明提供一种基于无人机图像处理的输电线覆冰厚度检测方法，该方法能够更加精准及时的反应输电线路的覆冰状态，从而为指导融冰工作以及做好覆冰事故的预防提供了有力的技术支持，具有一定的应用前景。
5.本发明采取的技术方案为：
6.基于无人机图像处理的输电线覆冰厚度检测方法，首先，将无人机采集到的原始输电线覆冰rgb图像转换为灰度图像；采用最大类间方差法对灰度图像进行初始分割，完成对原始图像的预处理；结合输电线覆冰信息和背景噪声的连通域特征参数，提取输电线覆冰信息；最后，提出垂线逼近方法获取覆冰输电线垂线方向厚度值，求取覆冰厚度。
7.所述预处理指的是：将无人机采集的原始输电线覆冰rgb图像进行灰度化，得到灰度图像，并用最大类间方差法对灰度图像进行初始分割，得到初始分割后的图像。
8.所述输电线覆冰信息指的是：将初始分割后的图像进一步结合输电线覆冰信息和背景噪声的连通域特征参数，分离覆冰输电线目标和背景噪声。本发明提出的一种基于连通域特征的覆冰输电线目标提取方法，误差非常小，且结果稳定，明显优于常用的均值滤波算法和中值滤波算法。
9.所述输电线路覆冰厚度计算方法，具体是：针对覆冰输电线图像中左侧输电线进行细化运算得到单像素宽的骨架线，然后采用canny算法检查图像中每个像素的邻域，利用
邻近一阶方向导数的变化来检测该像素邻域内灰度的变化规律，如果出现灰度级的显著变化，则可推测该像素落在图像的边缘范围内；通过在骨架方向上寻找与骨架像素接近的边缘像素确定输电线覆冰边缘信息，在提取出覆冰输电线骨架线与覆冰边缘线基础上进行输电线覆冰厚度计算。
10.基于无人机图像处理的输电线覆冰厚度检测方法，包括以下步骤：
11.步骤1：以无人机巡检航拍的输电线路图像为依据，将原始输电线覆冰rgb图像转换为灰度图像；
12.步骤2：采用最大类间方差法，对步骤1得到的灰度图像进行初始阈值分割；
13.步骤3：采用基于连通域特征的覆冰输电线目标提取方法，结合输电线覆冰信息和背景噪声的连通域特征参数，进一步分离覆冰输电线目标和背景噪声；
14.步骤4：采用垂线逼近方法获取覆冰输电线垂线方向厚度值，进而计算出覆冰厚度。
15.所述步骤1中，采用平均值法将原始输电线覆冰rgb图像转换为灰度图像，平均值法公式如式(1)所示：
16.f(i,j)＝[r(i,j) g(i,j) b(i,j)]/3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；
[0017]
式中：r(i,j)、g(i,j)、b(i,j)为rgb图像像素点(i,j)的r、g、b三个分量的像素值；f(i,j)为灰度图像像素点(i,j)的像素值。
[0018]
所述步骤2中，最大类间方差法是目前计算简单、自适应强的阈值分割法，具体如下：
[0019]
设f(m,n)为m
×
n图像在(m,n)点的灰度值，灰度级为k，则f(m,n)的范围是[0，k-1]；设p(i)是图像中灰度值为i的频率，则有：
[0020][0021]
m为该模板中包含当前像素在内的像素总个数、n是图像中像素总数、i为灰度值、f(m,n)为m
×
n图像在(m,n)点的灰度值。
[0022]
当选定的阈值为灰度值t时，通过比较f(m,n)与阈值t的大小来分割目标物体和背景。在图像中目标物体与背景所占的比例分别为：
[0023][0024]
w0(t)表示当m
×
n图像在(m,n)点的灰度值小于等于阈值时，在图像中目标物体与背景所占的比例、p(i)是图像中灰度值为i的频率、t为选定的阈值灰度值。
[0025][0026]
w1(t)表示当m
×
n图像在(m,n)点的灰度值大于阈值时，在图像中目标物体与背景所占的比例。
[0027]
均值分别为：
[0028][0029]
u0(t)表示当m
×
n图像在(m,n)点的灰度值小于等于阈值时的均值。
[0030][0031]
u1(t)表示当m
×
n图像在(m,n)点的灰度值大于阈值时的均值。
[0032]
目标和背景总的均值为：
[0033]
u＝w0(t)u0(t) w1(t)u1(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)；
[0034]
则类间方差为：
[0035]
e＝w0(t)(u0(t)-u)2 w1(t)(u1(t)-u)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
[0036]
u表示目标和背景总的均值。
[0037]
当类间方差e取得最大值时的灰度值t，即为要选择的最优阈值。
[0038]
所述步骤3中，采用基于连通域特征的覆冰输电线目标提取方法，进一步分离覆冰输电线目标和背景噪声。该方法通过分析覆冰输电线灰度图像的灰度值变化来构造连通域，统计输电线覆冰连通域和背景信息连通域的特征，分析两者的差异，设置相应的参数阈值将输电线覆冰和背景信息分割出来，获取只有覆冰输电线信息的二值化图像。
[0039]
观察阈值分割后的图像，得到覆冰输电线信息和背景噪声的连通域面积(p)，具有明显差异，前者远大于后者，因此本发明选取连通域面积作为覆冰输电线信息的特征参数。
[0040]
连通域面积公式如式(9)所示：
[0041]
p＝∫f(x,y)dx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)；
[0042]
式中，f(x,y)表示连通域n内坐标(x,y)处的像素点。
[0043]
所述步骤4中，该方法首先需要获取覆冰输电线边缘的骨架线，即是一组具有覆冰输电线长度和方向信息的覆冰段中心像素。在理想情况下，垂直骨架切线方向上的覆冰输电线直径，即为覆冰输电线两边缘间的最小距离，但是，由于提取的骨架线并不是理想的数学平滑曲线，而是以像素点为单位离散性排列的曲线，因此，提出了一种在某段曲线区域内采用垂线逼近的方法来得到覆冰厚度。
[0044]
图7为输电线覆冰像素级排列示意图，从图7可以看出提取的骨架线并不是理想的数学平滑曲线，难以找到合适的曲线方程表示输电线覆冰骨架线。
[0045]
所述步骤4中，选取像素示意图中o0点相邻的上下共7个点oi(i＝0,1,2,3)之间的连线近似作为骨架线对应的切线，由于输电线覆冰图像是m行n列的离散点矩阵，当i太大则该段直线在此区段不能近似于骨架线斜率，当i太小则像素排列形式带来的误差较大，根据目前设计的检测设备分辨率分析表明：i＝3时，将该段直线作为近似骨架线切线，得到的垂线方向输电线覆冰厚度，作为骨架线上该点对应的厚度误差最小；
[0046]
所述步骤4包括如下步骤，
[0047]
s4.1:利用边缘检测方法，对输电线覆冰骨架和输电线覆冰边缘进行像素定位，统计记录输电线覆冰细化、边缘提取操作后所有灰度值为0的像素点坐标；
[0048]
s4.2:计算骨架线上任意o点的厚度，以o点为圆心沿骨架线上两个方向寻找输电线覆冰骨架线上相距3个像素的点p1(x,y)和点p2(x,y)，通过p1和p2点得到近似骨架线斜率k＝(y
2-y1)/(x
2-x1)，并将该直线方程作为输电线覆冰骨架曲线在o点的近似切线方程；
[0049]
s4.3:根据斜率k得到经过o点的垂线方程y＝(-1/k)*x (1/k)*xi yi，记录垂线与输电线覆冰两条边缘线的交点o(xi,yi)、o’(xk,yk)，则输电线覆冰后的像素宽度为：
[0050]
[0051]
xi、xk表示交点o和o’的横坐标、yi、yk表示交点o和o’的纵坐标。
[0052]
s4.4:在携带高清摄像机的无人机上装载高精度gps导航定位系统，即可固定无人机的空间位置和形态，使得摄像机在输电线覆冰前后采集图像时位置和形态一致，如此输电线在前后两次采集到的图像中处于同一位置。已知输电线的直径为r，则输电线覆冰厚度d为：
[0053][0054]
式中，d0为输电线覆冰前在图像中的像素宽度，d1为输电线覆冰后在图像中的像素宽度。
[0055]
本发明基于无人机图像处理的输电线覆冰厚度检测方法，技术效果如下：
[0056]
1)本发明首先将原始rgb图像转换为灰度图像，能够有效提高图像处理速度和覆冰厚度计算效率。
[0057]
2)当输电线位于灰度级交错的复杂环境中或覆冰图像模糊不清时，边缘检测结果包含了许多伪边缘。采用本发明的方法可以实现覆冰输电线边缘的准确提取和覆冰厚度的精确计算。
[0058]
3)采用本发明一种基于连通域特征的覆冰输电线目标提取方法，覆冰输电线目标提取误差非常小，且结果稳定，明显优于常用的均值滤波算法和中值滤波算法。
[0059]
4)由于提取的骨架线并不是理想的数学平滑曲线，要较为准确得到最大径向厚度，本发明提出了一种垂线逼近方法获取覆冰输电线垂线方向厚度值，以此来获取覆冰厚度。
附图说明
[0060]
图1为基于无人机图像处理的输电线覆冰厚度检测方法流程图。
[0061]
图2为最大类间方差法初始分割图像。
[0062]
图3(a)为本发明方法覆冰输电线信息提取效果图；
[0063]
图3(b)为均值滤波提取覆冰输电线信息效果图；
[0064]
图3(c)为中值滤波提取覆冰输电线信息效果图。
[0065]
图4为覆冰输电线骨架提取示意图。
[0066]
图5为覆冰输电线边缘提取示意图。
[0067]
图6为输电线覆冰厚度示意图。
[0068]
图7为输电线覆冰像素级排列示意图。
[0069]
图8为局部覆冰厚度不均匀图像。
[0070]
图9为真实覆冰输电线像素宽度图。
[0071]
图10为覆冰输电线宽度计算误差图。
具体实施方式
[0072]
基于无人机图像处理的输电线覆冰厚度检测方法，如图1所示包括以下步骤：
[0073]
步骤1：以无人机巡检航拍的输电线路图像为依据，将原始输电线覆冰rgb图像转换为灰度图像；
[0074]
步骤2：采用最大类间方差法，对步骤1得到的灰度图像进行初始阈值分割；
[0075]
步骤3：采用基于连通域特征的覆冰输电线目标提取方法，结合输电线覆冰信息和背景噪声的连通域特征参数，进一步分离覆冰输电线目标和背景噪声；
[0076]
步骤4：采用垂线逼近方法获取覆冰输电线垂线方向厚度值，进而计算出覆冰厚度。
[0077]
步骤1中，原始图像通过无人机巡检航拍采集得到，然后将原始图像灰度化，得到灰度图像。在输电线路现场拍摄到的图像一般情况下是彩色图像。1幅彩色图像每个像素点的颜色是由红(r)、绿(g)、蓝(b)3个独立的分量组成，所以一幅rgb图像在计算机中由一个三维数组表示，每个数组分别存放图像的r、g、b分量。如果直接对彩色图像进行处理，就需要对图像的r、g、b三个分量进行处理，这样对计算机的cpu、内存等硬件要求很高，而且会大大降低图像处理的速度。考虑到本发明只是提取导线的边缘轮廓，而对图像的色彩没有要求，所以只需要处理灰度图像即可。本发明采用平均值法将原始rgb图像转换为灰度图像。平均值法公式如式(1)所示。
[0078]
f(i,j)＝[r(i,j) g(i,j) b(i,j)]/3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)；
[0079]
式中：r(i,j)、g(i,j)、b(i,j)为rgb图像像素点(i,j)的r、g、b三个分量的像素值；f(i,j)为灰度图像像素点(i,j)的像素值
[0080]
步骤2中，采用最大类间方差法对步骤1得到的灰度图像进行初始阈值分割，得到如图2的分割后的图像。
[0081]
图像分割是图像处理中的重要问题，也是计算机视觉研究中的一个经典难题。计算机视觉中的图像理解包括目标检测、特征提取和目标识别等，都依赖于分割的质量。阈值法是一种简单有效的分割方法，其最大特点就是计算简单，因此也得到了广泛的应用。它利用图像中要提取的目标和背景在灰度特性上的差异，把图像视为具有不同灰度级的两类区域的组合。阈值分割法的关键在于阈值的选择，选取阈值的方法有很多，最大类间方差阈值分割、自适应阈值分割、最大熵阈值分割法和迭代阈值分割等。本发明采用计算简单、自适应强，使用最广泛的最大类间方差法进行图像分割。
[0082]
最大类间方差法是一种自适应的阈值确定方法。该算法假设图像像素能够根据阈值，被分成背景和目标两部分。然后，计算该最佳阈值来区分这两类像素，使得两类像素区分度最大。
[0083]
设f(m,n)为m
×
n图像在(m,n)点的灰度值，灰度级为k，则f(m,n)的范围是[0，k-1]；设p(i)是图像中灰度值为i的频率，则有：
[0084][0085]
m为该模板中包含当前像素在内的像素总个数、n是图像中像素总数、i为灰度值、f(m,n)为m
×
n图像在(m,n)点的灰度值。
[0086]
当选定的阈值为灰度值t时，通过比较f(m,n)与阈值t的大小来分割目标物体和背景。在图像中目标物体与背景所占的比例分别为：
[0087][0088]
w0(t)表示当m
×
n图像在(m,n)点的灰度值小于等于阈值时，在图像中目标物体与
背景所占的比例、p(i)是图像中灰度值为i的频率、t为选定的阈值灰度值。
[0089][0090]
w1(t)表示当m
×
n图像在(m,n)点的灰度值大于阈值时，在图像中目标物体与背景所占的比例。
[0091]
均值分别为：
[0092][0093]
u0(t)表示当m
×
n图像在(m,n)点的灰度值小于等于阈值时的均值。
[0094][0095]
u1(t)表示当m
×
n图像在(m,n)点的灰度值大于阈值时的均值。
[0096]
目标和背景总的均值为：
[0097]
u＝w0(t)u0(t) w1(t)u1(t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)；
[0098]
则类间方差为：
[0099]
e＝w0(t)(u0(t)-u)2 w1(t)(u1(t)-u)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)；
[0100]
u表示目标和背景总的均值。
[0101]
当类间方差e取得最大值时的灰度值t，即为要选择的最优阈值。
[0102]
步骤3中，从阈值分割后的图像易知，背景噪声和覆冰输电线具有不同的形态特性，噪声信息主要的表现形式为面积较小且随机散落的点块，而覆冰输电线则面积较大且具有一定线性和方向性。为达到消除噪声信息的目的，基于阈值进行图像分割，本发明采用一种基于连通域特征的覆冰输电线目标提取方法，进一步分离覆冰输电线目标和背景噪声。该方法通过对灰度变化点构造连通域，统计输电线覆冰连通域和背景信息连通域的特征，分析两者的差异，设置相应的参数阈值将输电线覆冰和背景信息分割出来，获取只有覆冰输电线信息的二值化图像。
[0103]
连通域是图像中具有相同像素值且位置相邻的目标像素点组成的图像区域，根据连通域几何属性定义不同的连通域特征参数，主要有连通域面积p、最小外接矩形长宽比t和连通域内最远距离l。观察阈值分割后的图像得到冰输电线信息和背景噪声的连通域面积p具有明显差异，前者远大于后者，因此，本发明选取连通域面积作为覆冰输电线信息的特征参数，其数值可分别按式(9)计算得到：
[0104]
p＝∫f(x,y)dx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)；
[0105]
式中，f(x,y)表示连通域n内坐标(x,y)处的像素点。
[0106]
将20张随机拍摄的输电线覆冰图像进行灰度处理、阈值分割、连通域面积计算后发现，覆冰输电线的连通域面积均大于2000pixel，而背景噪声的连通域面积则集中于100～160pixel之间。由此可得，在得到覆冰输电线图像每个连通域面积pi后，筛选出pi小于设定阈值2000的连通域，并将域内的像素全赋值0，即可有效剔除背景噪声。
[0107]
如图3(a)、图3(b)、图3(c)所示，将本发明采用的方法与传统的和高斯滤波算法的输电线覆冰信息提取结果对比。为测试本发明采用方法的检测效果，针对覆冰输电线提取后的二值图像，提出了一种有效性系数作为评价参数，其定义为二值图像中残余背景连通域的面积与总连通域面积之比，该值越大则表示误差越大，提取效果也越差，与常用的输电
线覆冰图像滤波分割方法：均值滤波算法、二维直方图滤波算法进行比较，对20张随机拍摄的覆冰输电线图像进行处理，结果如表1所示。
[0108]
表1覆冰输电线提取效果对比
[0109][0110]
从上表1可以看出，本发明采用的覆冰输电线提取算法的提取误差非常小，且结果稳定，明显优于常用的均值滤波算法和中值滤波算法。
[0111]
步骤4中，由于摄像头采集的原始图像中的覆冰输电线在图像中一般与水平或竖直方向存在一定的角，要较为准确得到最大径向厚度，本发明提出一种垂线逼近方法获取覆冰输电线垂线方向厚度值。该方法首先需要获取覆冰输电线边缘的骨架线。
[0112]
覆冰输电线骨架是一组具有长度和方向信息的像素点集合，如图4所示，本发明针对覆冰输电线图像中左侧输电线进行细化运算得到单像素宽的骨架线。覆冰输电线边缘是包含厚度信息的两个外边缘像素的集合，本发明采用canny算法检查图像中每个像素的邻域，利用邻近一阶方向导数的变化来检测该像素邻域内灰度的变化规律，如果出现灰度级的显著变化，则可推测该像素落在图像的边缘范围内。如图5所示，通过在骨架方向上寻找与骨架像素接近的边缘像素确定输电线覆冰边缘信息，在提取出覆冰输电线骨架线与覆冰边缘线基础上进行输电线覆冰厚度计算。
[0113]
在理想情况下，垂直骨架切线方向上的输电线覆冰厚度即为输电线覆冰两边缘间的最小距离，但是由于输电线覆冰曲线切线方向不断变化，难以找到合适的曲线方程表示输电线覆冰的骨架线，并且提取的骨架线并不是理想的数学平滑曲线，而是以像素点为单位离散性排列的曲线，即使得到骨架垂线方向的输电线覆冰厚度也可能不是输电线覆冰的最小厚度。据此，本发明提出一种在某段曲线区域内采用垂线逼近的方法得到输电线覆冰厚度。
[0114]
求像素示意图6中o0点处切线方程时，选取它相邻的上下共7个点oi(i＝0,1,2,3)之间的连线近似作为骨架线对应的切线，由于输电线覆冰图像是m行n列的离散点矩阵，当i太大则该段直线在此区段不能近似于骨架线斜率，当i太小则像素排列形式带来的误差较大，根据我们目前设计的检测设备分辨率分析表明i＝3时，将该段直线作为近似骨架线切线得到的垂线方向输电线覆冰厚度作为骨架线上该点对应的厚度误差最小。
[0115]
利用边缘检测方法对输电线覆冰骨架和输电线覆冰边缘进行像素定位，统计记录输电线覆冰细化、边缘提取操作后所有灰度值为0的像素点坐标。若计算骨架线上任意o点的厚度，以o点为圆心沿骨架线上两个方向寻找输电线覆冰骨架线上相距3个像素的点p1(x,y)和点p2(x,y)，通过p1和p2点得到近似骨架线斜率k＝(y
2-y1)/(x
2-x1)，并将该直线方程作为输电线覆冰骨架曲线在o点的近似切线方程，根据斜率k得到经过o点的垂线方程，记录垂线与输电线覆冰两条边缘线的交点o(xi,yi)、o’(xk,yk)，则输电线覆冰后的像素宽度为：
[0116][0117]
在携带高清摄像机的无人机上装载高精度gps导航定位系统，即可固定无人机的
空间位置和形态，使得摄像机在输电线覆冰前后采集图像时位置和形态一致，如此输电线在前后两次采集到的图像中处于同一位置。已知输电线的直径为r，则输电线覆冰厚度d为：
[0118][0119]
式中，d0为输电线覆冰前在图像中的像素宽度，d1为输电线覆冰后在图像中的像素宽度。
[0120]
验证实施例：
[0121]
为验证垂线逼近输电线覆冰厚度计算方法的准确性，首先应用前述的图像灰度化、阈值分割对图3进行预处理，基于连通域特征的覆冰输电线目标提取方法则用于提取覆冰输电线目标。本发明分别采用传统的霍夫变换方法和垂线逼近方法计算图8所示的覆冰输电线像素宽度，并应用人工检测方法精确测量图3中覆冰输电线真实像素宽度，其结果如图9所示，该结果将用于评价霍夫变换方法和垂线逼近方法的计算精度。
[0122]
如图10所示为霍夫变换方法和垂线逼近方法的覆冰输电线像素宽度计算误差，正值表示计算结果比真实覆冰输电线像素宽度大，负值则表示计算结果比真实覆冰输电线像素宽度小。从图10中可以看出，霍夫变换方法在求解覆冰输电线像素宽度时的误差最大可达-8pixel，而此处覆冰输电线真实像素宽度为50pixel，由此可知，霍夫变换方法可能在局部得到误差达到16％的覆冰输电线像素宽度。而垂线逼近方法的误差均集中于(-1,1)pixel，覆冰输电线各点像素宽度求解误差较小，且方差仅为0.31。通过计算两种方法的平均误差可得，霍夫变换方法的平均误差2.24pixel明显大于垂线逼近方法的平均误差0.47pixel，后者的覆冰输电线像素宽度计算精度较前者提高约79％。
[0123]
输电线覆冰厚度计算误差
△
d可表示为：
[0124][0125]
式中：h0为覆冰输电线在图像中的真实像素数宽度，h1为计算得到的覆冰输电线像素宽度。
[0126]
由上式可得，输电线覆冰厚度计算误差
△
d与|h
0-h1|的大小成正比，|h
0-h1|则表示输电线覆冰像素宽度计算值的误差大小，其数值越大，输电线覆冰厚度计算误差越大。由此可知，采用垂线逼近方法计算输电线覆冰厚度时，其计算精度将明显优于霍夫变换方法。