一种用于无人机风机叶片自动巡检的风机定向方法与流程

1.本发明属于无人机应用技术领域，具体涉及一种用于无人机风机叶片自动巡检的风机定向方法。


背景技术：

2.随着我国新能源行业的快速发展，以风力发电为代表的清洁能源以其污染小和可再生等特点，正在逐步改善原有的能源结构，对促进区域经济和社会的可持续发展产生了积极作用。但随着风电场规模的不断扩大，设备后期安全维护的需求也在高速增长，而有限的巡检人力和复杂的巡检环境则极大地影响了设备维护的作业效率和安全性。因此，寻求一种高效、安全的风机巡检方式就显得尤为重要。多旋翼无人机具有机动性高、适应性强等特点，通过搭载可见光相机、红外相机或者激光雷达等载荷进行作业，并借助自动航线规划算法，可以确保无人机自主的进行数据采集，有效地保证前端数据采集的快速性和可靠性，帮助巡检人员高效准确的发现和处理风机叶片上存在的砂眼、胶衣破损等异常。
3.对于整个无人机风机叶片巡检的前端数据采集端，风机定向和风叶定位技术是确保航线规划准确性的前提，而其中的风机定向最为重要，直接决定了无人机能否精确飞行至风机平面正前方进行风机前视图拍摄。目前，市面上少有的几个无人机风机叶片巡检方案解决商(如复亚智能、扩博智能)均使用激光雷达进行叶片定位导航，虽然该方式的准确性较高，但由于风机体型很大，采用激光雷达进行前期数据采集和处理的耗时较长，对该业务的高时效性需求有所制约。因此，寻求一种更为简洁快速的风机定向方法就显得格外重要。


技术实现要素：

4.本发明的目的在于克服背景技术中存在的技术问题，目的在于提供了一种用于无人机风机叶片自动巡检的风机定向方法，能够很好地利用风机叶片在环境中显著的颜色特征，通过简洁的图像处理方式，实现准确可靠的风机定向功能，有效地保障了整个无人机风机叶片自动巡检流程的高效进行。
5.为了解决技术问题，本发明的技术方案是：
6.一种用于无人机风机叶片自动巡检的风机定向方法，所述方法包括：
7.对输入图像进行图像处理，得到剔除噪点后的二值化图像；
8.对所述剔除噪点后的二值化图像中的直线，利用霍夫变换直线检测方法进行拟合，将拟合后得到的最大投票数对应的直线作为风机叶片主体的连线；
9.对风机叶片主体的连线，利用直线的斜率得到风机叶片在图像中的旋转角度；
10.对剔除噪点后的二值化图像，基于所述图像中的旋转角度进行欧式变换并裁剪目标区域，得到风机叶片整体部分图像；
11.把风机叶片整体部分图像进行等分操作，得到风机叶片主体部分图像和机舱部分图像，并统计风机叶片主体部分和机舱部分的前景个数；
12.根据风机叶片主体部分和机舱部分的前景个数，进行风机朝向正反的判断；
13.利用风机朝向正反的判断结果，输出最终的朝向角度值，整个风机定向流程结束。
14.能够很好地利用风机叶片在环境中显著的颜色特征，通过简洁的图像处理方式，实现准确可靠的风机定向功能，有效地保障了整个无人机风机叶片自动巡检流程的高效进行，风机的真实朝向角可以得到快速准确的估算，已经应用于沽源、定边等多个风电场的无人机巡检作业中，其估算精度可达到1度以内，具有较强的实际应用价值。整个风机定向方法具有较强的场景适应性，能够适用于任意的风机朝向及叶片位置。相比于现有的基于激光雷达的风机定向方法，本发明具有操作简便、处理快速等优势。
15.进一步，所述对输入图像进行图像处理，具体包括：
16.s1：提取输入图像的亮度通道，统计该亮度通道下的灰度图的均值和标准差；
17.s2：基于所述灰度图的均值和标准差，利用滑动窗对所述输入图像进行滤波操作，得到前背景分离的灰度图；
18.s3：对所述前背景分离的灰度图利用大津法进行二值化处理，得到二值化处理后的灰度图；
19.s4：对二值化处理后的灰度图进行形态学开闭运算处理，得到剔除噪点后的二值化图像。
20.进一步，所述形态学开闭运算处理包括：
21.使用形态学开运算对二值化处理后的灰度图中较小的离散区域进行剔除，使用形态学闭运算进一步对二值化处理后的灰度图中较大区域的缺口进行补齐。
22.进一步，所述输入图像为无人机在风机正上方采集的俯视图。
23.进一步，在对输入图像进行图像处理之前，所述方法还包括：
24.首先对输入的风机正上方采集的俯视图进行俯仰角判断，如果与垂直方向的偏差在
±
10度以内，则判定为可用的俯视图，进入后续处理。
25.进一步，所述进行欧式变换并裁剪目标区域的具体过程包括：
26.以剔除噪点后的二值化图像的图像中心作为旋转中心，以上述步骤中的直线的斜率求得的旋转角度作为待旋转量，可以计算出对应的旋转矩阵；
27.随后，在所述旋转矩阵的作用下，对剔除噪点后的二值化图像进行欧式变换即可将图像中的风机主体由倾斜旋转为水平；
28.对旋转后的二值图求取轮廓，并将最大轮廓对应矩形的全部水平区域进行裁剪并保存。
29.进一步，所述进行风机朝向正反的判断具体包括：
30.若风机叶片主体部分的前景个数比机舱部分的前景个数更大，则叶片在上、机舱在下，若风机叶片主体部分的前景个数比机舱部分的前景个数更小，则叶片在下、机舱在上，从而完成风机朝向正反的判断。
31.进一步，利用风机朝向正反的判断结果，输出最终的朝向角度值；具体包括：
32.经过风机朝向的正反判断后，根据风机朝向的不同的指向决定是否加入180度的补偿，从而得到风机朝向与图像正方向的夹角β，其中，图像正方向与地理正北方向的夹角α可直接从图像属性中的云台偏航角读取，因此最终轮毂正方向相对于地理正北方向的夹角γ即为夹角α和夹角β之和，其中，最终朝向角隶属于(-180度～ 180度)区间；对最终朝向角
进行修正，最终朝向角γ满足如下公式：
[0033][0034]
与现有技术相比，本发明的优点在于：
[0035]
一种用于无人机风机叶片自动巡检的风机定向方法，能够很好地利用风机叶片在环境中显著的颜色特征，通过简洁的图像处理方式，实现准确可靠的风机定向功能，有效地保障了整个无人机风机叶片自动巡检流程的高效进行，风机的真实朝向角可以得到快速准确的估算，已经应用于沽源、定边等多个风电场的无人机巡检作业中，其估算精度可达到1度以内，具有较强的实际应用价值。整个风机定向方法具有较强的场景适应性，能够适用于任意的风机朝向及叶片位置。相比于现有的基于激光雷达的风机定向方法，本发明具有操作简便、处理快速等优势。
附图说明
[0036]
图1是无人机风机叶片自动巡检前端作业流程图；
[0037]
图2是风机定向方法流程图；
[0038]
图3是使用大疆m300无人机在风机正上方采集的风机俯视图；
[0039]
图4是风机定向方法涉及的三个角度示意图；
[0040]
图5是经过前背景分离得到的待选风机主体灰度图；
[0041]
图6是形态学处理前后的噪点剔除结果对比图；
[0042]
图7是经过霍夫变换直线拟合得到的风机叶片主体连线图；
[0043]
图8是经过裁剪得到的风机主体区域图；
[0044]
图9是上下等分后得到的叶片主体(上)和机舱后部(下)图；
[0045]
图10是实际风机巡检作业中的风机定向结果图。
具体实施方式
[0046]
下面结合实施例描述本发明具体实施方式：
[0047]
需要说明的是，本说明书所示意的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
[0048]
同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0049]
实施例一：
[0050]
本发明提供了一种用于无人机风机叶片自动巡检的风机定向方法，该方法主要应用于无人机风机叶片巡检的前端数据采集端，前端整理的作业流程如图1所示。从流程图中可以看到，本发明关注的风机定向方法是后续应用的基础，该方法的输入是无人机在风机
正上方采集的俯视图，输出是经过算法估算得到的风机朝向角，算法内部则采用简洁的图像处理手段，利用风机主体显著的颜色信息进行前背景分离，然后使用霍夫变换直线检测拟合得到投票数最高的直线，再对朝向的正反进行判断，最终得到风机朝向角。
[0051]
本发明所采用的无人机平台为大疆m300，搭载了禅思p1全画幅相机，从而为安全飞行和数据采集提供了可靠保障。具体地，首先对输入的风机正上方采集的俯视图进行俯仰角判断，如果与垂直方向的偏差在
±
10度以内，则判定为可用的俯视图，进入后续处理，否则退出；然后对图像进行颜色空间转换，将其从rgb空间转换至hsv空间，抽取其中的亮度通道并统计该通道下灰度图的均值和标准差；接着利用滑动窗等步长的对灰度图进行滤波，保留超过两个标准差的局部窗口，实现图像中风机主体与周围环境的前背景分离；随后使用大津法对滤波后的灰度图进行二值化，并使用形态学开闭运算滤除存在的噪声；然后利用霍夫变换直线检测方法对图像中的直线进行拟合，并将最大投票数对应的直线作为风机叶片主体的连线，此时就能求得风机平面在图像中的旋转角度；随后利用该旋转角度对图像进行欧式变换，裁剪得到风机叶片主体部分；最后对叶片主体利用前景占比大小判断风机朝向的正反，输出最终的朝向角度值，整个风机定向流程结束。
[0052]
实施例二：
[0053]
本发明提供了一种用于无人机风机叶片自动巡检的风机定向方法，其在整个风机巡检业务中处于极其重要的位置，如图1所示，自动航线规划算法需要根据风机定向和风叶定位技术得到准确航线，而风机定位技术更是直接决定了无人机能否精确飞行至风机平面正前方进行风机前视图拍摄。因此，寻求一种简洁可靠的风机定向方法是本发明要解决的主要问题。
[0054]
如图2所示，整个风机定向流程包含七个主要部分：提取输入图像亮度通道并统计其均值和标准差、利用滑动窗滤波实现前背景分离、对二值化图像进行形态学开闭运算、通过霍夫变换直线检测拟合最大投票数对应的直线、对图像进行欧式变换并裁剪目标区域、判断风机朝向正反、输出最终朝向角度值。作业时，使用大疆m300无人机挂载禅思p1全画幅相机在风机正上方拍摄风机俯视图，如图3所示，其图像xmp属性中包含了云台俯仰、滚转、偏航等三个姿态角，如果俯仰角与垂直方向的偏差在
±
10度以内，则判定为可用的俯视图，进入后续处理。随后，记录云台偏航角，即可读取图像正方向与地理正北方向的夹角α，但由于风机朝向与图像正方向还存在夹角β，因此需要根据夹角α和夹角β来求得到风机朝向与地理正北方向的夹角γ，即风机定向结果。由于夹角α已知，而夹角β未知，因此风机定向的主体工作是估算角度β，各角度示意图如图4所示。
[0055]
在确保输入图像的基本信息后，所述方法的具体实施步骤如下：
[0056]
具体地，如步骤s1：提取输入图像亮度通道并统计其均值和标准差。将输入图像从rgb颜色空间转换到hsv颜色空间(色度hue、饱和度saturation、亮度value)，抽取其中的亮度通道，该通道描述的是图像的明暗变化，能够较好的反映风机主体和周边环境的差异。随后，统计该通道下灰度图的均值和标准差，以反映图像整体的灰度变化情况。
[0057]
具体地，如步骤s2：利用滑动窗滤波实现前背景分离。由于标准差反映的是数据的离散程度，因此对于亮度特征更为显著的风机主体，可通过滑动窗的方式筛选局部区域亮度较大的图像块来实现对图像中风机区域的筛选。具体地，选择大小为n*n的窗口作为滑动窗，水平和垂直方向的滑动步长同样为n，其中n为原始图像高度的1/200。对于每个窗口区
域，统计该区域的像素均值，若其小于步骤s1中灰度图均值与两倍标准差之和，则将该窗口区域置零。最终循环遍历整张图像后，保留下来的即为待选的风机主体，从而初步实现风机主体与周围环境的前背景分离，如图5所示。
[0058]
具体地，如步骤s3：对二值化图像进行形态学开闭运算。由于滤波后的灰度图可能存在噪声，因此需要对这些噪声进行剔除，以保证后续计算结果的准确性。具体地，使用大津法对灰度图进行二值化处理，随后依次使用形态学开运算对较小的离散区域进行剔除，使用闭运算进一步对较大区域的缺口进行补齐。经过该步处理，噪声点可以被较好的剔除，如图6所示。
[0059]
具体地，如步骤s4：利用霍夫变换直线检测拟合最大投票数对应的直线。经过噪点剔除后的二值化图像中风机叶片主体最为突出，且对于风机俯视图，其主体朝向与叶片连线呈垂直关系，因此可以通过确定叶片连线的偏转角来反推风机朝向角。由于叶片普遍较长且基本呈直线分布，能够拟合的长直线理论上也是最多的，根据该特点，可利用霍夫变换拟合二值图中可能存在的直线，在设定极坐标分辨率后，对整张二值图进行遍历，即可获得所有满足长度要求的直线。接着，选取相同极坐标出现次数最多(即最大投票数)的直线作为风机叶片的主体连线，从而根据直线斜率求得风机平面在图像中的旋转角度，如图7所示。
[0060]
具体地，如步骤s5：对图像进行欧式变换并裁剪目标区域。虽然经过步骤s4能够得到叶片主体在图像中的旋转角，但依旧无法判断其朝向的正反，因此该步骤的作用是为后续判断风机朝向做准备。具体地，以图像中心作为旋转中心，以上述步骤中直线斜率求得的旋转角作为待旋转量，可以轻易地计算出对应的旋转矩阵；随后，在旋转矩阵的作用下，对二值图进行欧式变换即可将图像中的风机主体由倾斜旋转为水平。为了进一步规避风机主体以外的影响，对旋转后的二值图求取轮廓，并将最大轮廓对应矩形的全部水平区域进行裁剪并保存，即可完成风机主体部分的切分，如图8所示。
[0061]
具体地，如步骤s6：判断风机朝向正反。由于风机朝向的正反会给最终结果带来180度的偏差，因此基于步骤s5保存的风机主体二值图，可将其等分为上半部分和下半部分，此时即可将机舱后部和叶片主体区分开，如图9所示；分别统计上下区域中的前景个数总和，若上半区域更大，则认为叶片在上机舱在下，反之则叶片在下机舱在上，从而完成风机朝向正反的判断。
[0062]
具体地，如步骤s7：输出最终朝向角度值。经过风机朝向正反判断后，可根据不同的指向决定是否加入180度的补偿，从而得到风机朝向与图像正方向的夹角β。由于图像正方向与地理正北方向的夹角α可直接从图像属性中的云台偏航角读取，因此最终轮毂正方向相对于地理正北方向的夹角γ即为夹角α和夹角β之和。考虑到最终朝向角隶属于(-180度～ 180度)区间，故需要对其结果进行修正，因此最终朝向角γ满足如下公式：
[0063][0064]
综上，经过上述七个步骤，风机的真实朝向角可以得到快速准确的估算，整个风机定向方法具有较强的场景适应性，能够适用于任意的风机朝向及叶片位置。相比于现有的基于激光雷达的风机定向方法，本发明具有操作简便、处理快速等优势。
[0065]
特别地，如图10所示，在实际的场景验证中，本发明提出的风机定向方法已经应用于沽源、定边等多个风电场的无人机巡检作业中，其估算精度可达到1度以内，具有较强的实际应用价值。
[0066]
上面对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
[0067]
不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。