基于神经网络的风机叶片缺陷检测方法与流程

1.本发明涉及风机叶片缺陷检测领域，尤其涉及一种基于神经网络的风机叶片缺陷检测方法。


背景技术：

2.风能是一种清洁的可再生资源，其储量大，分布面广。风电对于缓解能源供应、改善能源结结构、保护环境等方面意义重大。风力发电机是将风能转换为机械功，机械功带动转子旋转，最终输出交流电的电力设备。由于风力发电机组通常处于野外，环境条件恶劣，容易出现故障，电站运维团队需要定期对风力发电机进行巡检，以保证风力发电机组的可靠运行，提高设备可利用率。但发电机多地处偏远地区，且排布分散，人工巡检不仅存在安全性差、工作量大、效率低等问题，而且受观测角度影响，不能全面及时的发现问题。
3.为解决上述问题，近年来，风电场通过利用无人机和监控摄像头，拍摄大量高分辨率的风机叶片图像，通过计算机自动处理无人机和监控摄像头拍摄的图像并生成分析结果，实现了远程实时监控风机的运行状况，特别是风机叶片表面损伤，极大提高了风机的维护和运行效率。但是现有的计算机自动处理方法存在着缺陷漏判、误判率高的问题，存在较大的安全隐患。


技术实现要素：

4.基于上述现状，本发明的主要目的在于提供一种能够有效降低缺陷漏判、误判率的基于神经网络的风机叶片缺陷检测方法。
5.为实现上述目的，第一方面，本发明采用的技术方案如下：
6.一种基于神经网络的风机叶片缺陷检测方法，所述方法包括如下步骤：
7.s10、控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行，并在绕飞过程中在多个第一预定拍照位置对叶片进行拍照，得到多个待检测图像；
8.s20、将所述待检测图像输入预先训练的目标叶片缺陷检测模型，输出所述待检测图像的缺陷检测信息，所述缺陷信息包括缺陷在所述待检测图像中的位置以及所述缺陷的类别；
9.其中，所述目标叶片缺陷检测模型经由如下步骤训练得到：
10.s100、获取样本图像集合，所述样本图像集合中的各样本图像由无人机以第二轨迹绕处于检修状态的样本风机的各个叶片的轴线飞行时在多个第二预定拍照位置拍照得到；
11.s200、识别所述样本图像集合中有叶片缺陷的样本图像，将所述样本图像中缺陷的位置和类别作为样本标签，标记所述样本图像；
12.s300、将标记后的样本图像输入预先构建的初始叶片缺陷检测模型，将标记后的样本图像的样本标签作为期望输出，训练所述初始叶片缺陷检测模型，得到所述目标叶片缺陷检测模型。
13.优选地，按照叶片的延伸方向，将所述待检测风机的各个叶片划分为多个待检测叶片段，所述第一轨迹包括第一预设数量个第一子轨迹，所述第一子轨迹与所述待检测叶片段一一对应，所述第一子轨迹表征所述无人机在相应的待检测叶片段内绕该待检测叶片段的轴线飞行；
14.按照叶片的延伸方向，将所述样本风机的各个叶片划分为多个样本叶片段，所述第二轨迹包括第二预设数量个第二子轨迹，所述第二子轨迹与所述样本叶片段一一对应，所述第二子轨迹表征所述无人机在相应的样本叶片段内绕该样本叶片段的轴线飞行。
15.优选地，每个所述第二子轨迹均具有多个周向位置，每个周向位置包括多个不同径向的第二预定拍照位置。
16.优选地，所述第一轨迹至少与所述第二轨迹的部分轨迹相同。
17.优选地，所述方法还包括步骤s30、基于所述缺陷在所述待检测图像中的位置，确定所述缺陷在所述待检测风机的实际位置。
18.优选地，所述方法还包括步骤s40、基于所述缺陷在所述待检测风机的实际位置以及所述缺陷的类别生成缺陷描述。
19.优选地，所述步骤s30具体为：
20.s31、采集所述待检测图像的相机内参和相机外参；
21.s32、根据所述相机内参、相机外参、缺陷在待检测图像中的位置确定缺陷在世界坐标系下的位置；
22.s33、根据缺陷在世界坐标系下的位置以及风机在世界坐标系下的位置，确定出缺陷在待检测风机中的实际位置。
23.优选地，所述步骤s20具体包括：
24.采用特征提取网络提取所述待检测图像的特征，生成特征图；
25.将所述特征图输入预测网络，输出预测向量；
26.根据所述预测向量确定所述特征图中缺陷的位置和缺陷的类别。
27.本技术提供的基于神经网络的风机叶片缺陷检测方法中，在目标叶片缺陷检测模型的训练过程中，在控制无人机绕飞叶片进行取样以构建样本库时，采用绕叶片的轴线飞行的方式，如此，无论是叶片的两部分面积比较大的表面，还是连接两个表面的边部曲面，均能够获得正对角度的图片，从而提高训练出的目标叶片缺陷检测模型的精度，降低缺陷漏判率和误判率。另外，在拍摄训练用照片和拍摄检测用照片时，均将风机调整至检修状态，从而进一步提高目标叶片缺陷检测模型的检测精度。
28.本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
29.以下将参照附图对根据本发明的基于神经网络的风机叶片缺陷检测方法的优选实施方式进行描述。图中：
30.图1为本发明具体实施方式提供的基于神经网络的风机叶片缺陷检测方法的流程图之一；
31.图2为本发明具体实施方式提供的基于神经网络的风机叶片缺陷检测方法的流程图之二；
32.图3为框选出缺陷的待检测图像；
33.图4为本发明具体实施方式提供的基于神经网络的风机叶片缺陷检测方法中，一个第二子轨迹的多个第二预定拍照位置的示意图。
具体实施方式
34.以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分，为了避免混淆本发明的实质，公知的方法、过程、流程、元件并没有详细叙述。
35.此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
36.除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
37.在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
38.针对现有的计算机自动处理方法存在的缺陷漏判、误判率高的问题，本发明发现，现有的叶片照片取样时，无人机通常是面对风机绕风机的轴线(即各个叶片的旋转轴)在风机的一侧和另一侧各绕一圈，并在绕行过程中进行照片的拍摄，由于现有的镜头技术已非常成熟，拍摄的图像分辨率能够达到很高，因此通常认为这样即可完整的反映出叶片的表面情况，但实际上当损伤发生在叶片的边缘时，计算机很容易发生漏判，以及在叶片边缘未发生损伤时，计算机也容易将边缘轮廓线误判为损伤。
39.基于此，本技术提供了一种基于神经网络的风机叶片缺陷检测方法，如图1所示，该方法包括如下步骤：
40.s10、控制无人机以第一轨迹分别绕处于检修状态的待检测风机的各个叶片的轴线飞行，并在绕飞过程中在多个第一预定拍照位置对叶片进行拍照，得到多个待检测图像；
41.s20、将所述待检测图像输入预先训练的目标叶片缺陷检测模型，输出所述待检测图像的缺陷检测信息，所述缺陷信息包括缺陷在所述待检测图像中的位置以及所述缺陷的类别。
42.其中，目标叶片缺陷检测模型由如下步骤训练得到：
43.s100、获取样本图像集合，所述样本图像集合中的各样本图像由无人机以第二轨迹绕处于检修状态的样本风机的各个叶片的轴线飞行时在多个第二预定拍照位置拍照得到；
44.s200、识别所述样本图像集合中有叶片缺陷的样本图像，将所述样本图像中缺陷的位置和类别作为样本标签，标记所述样本图像；
45.s300、将标记后的样本图像输入预先构建的初始叶片缺陷检测模型，将标记后的样本图像的样本标签作为期望输出，训练所述初始叶片缺陷检测模型，得到所述目标叶片
缺陷检测模型。
46.其中，步骤s10和s100中，叶片的轴线指的是叶片根部的中心位置与叶片尖部之间的连线所在的直线。将叶片的两部分较大的表面定义为侧面，连接两侧面的曲面定义为边部曲面。多个第一预定拍照位置至少包括正对待检测风机的叶片的两个侧面的照片以及正对叶片的两个边部曲面的照片，多个第二预定拍照位置至少包括正对样本风机的叶片的两个侧面的照片以及正对叶片的两个边部曲面的照片。
47.本技术提供的基于神经网络的风机叶片缺陷检测方法中，在目标叶片缺陷检测模型的训练过程中，在控制无人机绕飞叶片进行取样以构建样本库时，采用绕叶片的轴线飞行的方式，如此，无论是叶片的两部分面积比较大的表面，还是连接两个表面的边部曲面，均能够获得正对角度的图片，从而提高训练出的目标叶片缺陷检测模型的精度，而在对降低缺陷漏判率和误判率。另外，在拍摄训练用照片和拍摄检测用照片时，均将风机调整至检修状态，即，在拍摄训练用照片和拍摄检测用照片时，风机的叶片均处于相同的位置和角度状态，从而进一步提高目标叶片缺陷检测模型的检测精度。
48.其中缺陷在待检测图像中的位置可如图3所示通过框选的方式示出。缺陷的类别可参照下表所示。
[0049][0050]
其中，第一轨迹可以为沿叶片的延伸方向螺旋绕飞叶片，为了方便无人机的飞行路线的控制以及保证无人机拍摄的照片能够完整反映叶片的表面情况，在一个优选的实施例中，按照叶片的延伸方向，将待检测风机的各个叶片划分为多个待检测叶片段，第一轨迹包括第一预设数量个第一子轨迹，第一子轨迹与待检测叶片段一一对应，第一子轨迹表征无人机在相应的待检测叶片段内绕该待检测叶片段的轴线飞行，即，无人机先绕一个待检测叶片段的轴线飞行，绕飞一圈后再飞行至下一个待检测叶片段，并绕下一个待检测叶片段的轴线飞行，直至将所有的待检测叶片段均绕飞一遍。待检测叶片段的数量可根据叶片
的长度、无人机上的相机的焦距等进行具体设置，能够完整反映待检测叶片的表面情况即可，例如可以为两个、三个甚至更多。
[0051]
同样类似地，第二轨迹可以为沿叶片的延伸方向螺旋绕飞叶片，为了方便无人机的飞行路线的控制以及保证无人机拍摄的照片能够完整反映叶片的表面情况，在一个优选的实施例中，按照叶片的延伸方向，将样本风机的各个叶片划分为多个样本叶片段，第二轨迹包括第二预设数量个第二子轨迹，第二子轨迹与样本叶片段一一对应，第二子轨迹表征无人机在相应的样本叶片段内绕该样本叶片段的轴线飞行，即，无人机先绕一个样本叶片段的轴线飞行，绕飞一圈后再飞行至下一个样本叶片段，并绕下一个样本叶片段的轴线飞行，直至将所有的样本叶片段均绕飞一遍。样本叶片段的数量可根据叶片的长度、无人机上的相机的焦距等进行具体设置，能够完整反映样本叶片的表面情况即可，例如可以为两个、三个甚至更多。
[0052]
由于在无人机对叶片的表面进行拍照时受外界环境因素(例如风)、自身飞行精度等的影响，无法保证其上的镜头与叶片之间的距离始终一致，即在采样阶段无人机拍照时镜头与叶片之间是一个距离，而在检测阶段无人机拍照时镜头与叶片之间是另一个距离，这样会导致目标叶片缺陷检测模型对缺陷的类别判断不准确，尤其在采用上表作为缺陷类别标准的实施例中，由上表可知，有些缺陷是按面积大小来划分类别的，例如，表面涂料脱落面积在20cm*20cm以下为2级
‑
表面损伤，而面积在20cm*20cm以上则为3级
‑
一般性损伤，同样的玻纤和起鼓分层面积也存在相同的问题，若采样时的拍照距离与检测时的拍照距离不同，则会影响判断缺陷类别的准确性，而由上表可知，不同级别的损伤，处理方式是不同的，因此，对于缺陷类别的误判会造成对存在缺陷的叶片的误处理，从而耽误工作人员对叶片的及时处理。
[0053]
针对上述问题，在一个实施例中，将检测时的第一预定拍照位置设置为与采样时的第二预定拍照位置相同，在采样时，无人机上的摄像头在拍照的同时记录拍照时与叶片之间的距离，每一张照片均对应一个拍照距离，即在样本数据库中存储的是各个样本图像与拍照距离的映射，在检测时，每拍一张照片也记录一次与叶片之间的距离，即每一张待检测图像对应一个拍照距离，在将待检测图像输入目标叶片缺陷检测模型之前，首先对待检测图像进行距离校正，即根据待检测图像对应的拍照距离以及与拍摄该待检测图像的第一预定拍照位置对应的第二预定拍照所拍摄的样本图像即其对应的拍照距离对待检测图像进行距离校正，将其校正为拍照距离与样本图像的拍照距离一致，之后再将校正后的图像输入目标叶片缺陷检测模型。为了降低运算量，提高检测效率，在另一个优选地实施例中，每个第二子轨迹均具有多个周向位置，每个周向位置包括多个不同径向的第二预定拍照位置，此处所述的周向即围绕叶片轴线的方向，径向即叶片的中心指向外周的方向，具体可参照图4，在一个第二子轨迹中，周向位置的数量具体不限，能够完整反映叶片的表面特征为准，优选为四个以上，同一周向位置的不同径向的第二预定拍照位置的数量不限，可以为三个、四个甚至更多，例如，如图4所示，中部的长形结构为叶片的横截面，圆圈代表第二预定拍照位置，即在每个圆圈位置均进行一次拍照，第二子轨迹具有四个周向位置，每个周向位置可对应三个不同径向的第二预定拍照位置，如此，对于同一个缺陷位置会有多个拍照距离的样本照片输入至初始叶片缺陷检测模型中进行训练，使得神经网络将拍照距离也纳入缺陷类别的判断因素，如此，无需再对照片进行拍照距离的校正即可保证缺陷类别的判断
准确性。
[0054]
第二轨迹可以与第一轨迹相同，在每个周向位置包括多个不同径向的第二预定拍照位置的实施例中，在检测阶段无需再就各个不同径向位置进行拍照，因此，此时第一轨迹为第二轨迹的一部分，即，在检测阶段，无人机无需调整与叶片之间的距离，直接在沿周向绕飞时拍摄各个待检测图像即可。
[0055]
进一步第，步骤s20具体包括：
[0056]
采用特征提取网络提取所述待检测图像的特征，生成特征图；
[0057]
将所述特征图输入预测网络，输出预测向量；
[0058]
根据所述预测向量确定所述特征图中缺陷的位置和缺陷的类别。
[0059]
在一个优选地实施例中，首先，将待检测图像压缩为预设维度(例如415x415)，然后根据预设的预测图的维度，将待检测图像划分成对应的网格，例如待检测图像维度为415x415，则32倍下采样的特征图维度为13x13，因而可以将待检测图像划分为13x13个单元格。之后将压缩后的图像输入特征提取网络(例如darknet
‑
53)进行特征提取，然后输出特征图。由于叶片上的损伤形状大小差别很大，若仅输出一个尺度的特征图，有可能会存在较大的损伤或者较小的损伤识别不准确的情况，基于此，优选地，通过32倍下采样、15倍下采样和8倍下采样输出3个尺度的特征图。然后，将特征图输入预测层(1x1卷积层)，得到预测图，预测图中的每一个单元格可以预测出3个边界框(边界框参数包括：位置参数、物体得分和类别概率)，则每一个单元格对3个尺度的特征图可以预测出9个边界框，然后基于物体得分和非极大值抑制原则，从中确定出得分最高的目标边界框，该边界框即为目标叶片缺陷检测模型的输出结果，其中，边界框的位置参数可以作为缺陷的位置，边界框的类别即为缺陷的类别。
[0060]
为了进一步方便工作人员查看存在缺陷的叶片，优选地，还可向工作人员输出缺陷在待检测风机上的实际位置，例如，由于无人机的绕飞轨迹是确定的，因此对于无人机拍摄的各个待检测图像，均可确定是无人机的哪个叶片上的哪个位置的照片，如此，可在无人机拍照时对照片进行标记，根据照片标记以及无人机的绕飞路线即可得到缺陷在风机上的大致位置。为了能够向工作人员输出精确的缺陷位置，在一个优选实施例中，该方法还包括如下步骤：
[0061]
s30、基于缺陷在待检测图像中的位置，确定缺陷在待检测风机的实际位置。
[0062]
例如，在一个具体的实施例中，步骤s30具体为：
[0063]
s31、采集所述待检测图像的相机内参和相机外参；
[0064]
在本实施例中，相机内参表征相机采集到的图像中缺陷的位置信息(例如缺陷的像素坐标)与相机在真实世界中的相对位置(例如缺陷在相机坐标系中的坐标)。相机内参例如可以包括畸变参数、相机的焦点位置、相机的焦距等。
[0065]
相机外参用于表征相机在真实世界中的位置和姿态，其中，可以用3个平移参数表征相机的位置，可以用3个旋转参数表征相机的姿态。
[0066]
实践中，无人机通常配置有gps(global positioning system，全球定位系统)模块以及姿态传感器(例如陀螺仪)，可以获取无人机的实时位置和姿态。如此，当无人机采集待检测图像时，可以同时记录无人机的实时位置和姿态，以此作为待检测图像的相机外参。
[0067]
s32、根据所述相机内参、相机外参、缺陷在待检测图像中的位置确定缺陷在世界
坐标系下的位置；
[0068]
在本实施例中，可以结合缺陷在待检测图像中的像素坐标和相机内参，通过坐标变换，确定出缺陷在相机坐标系中的坐标(即缺陷与相机在真实世界中的相对位置)，之后，结合缺陷在相机坐标系中的坐标和相机外参，再次通过坐标变换，确定出缺陷在世界坐标系中的坐标(即位置)。
[0069]
可以理解的是，坐标变换为图像处理领域的广泛应用的成熟技术，本技术在此不再赘述。
[0070]
s33、根据缺陷在世界坐标系下的位置以及风机在世界坐标系下的位置，确定出缺陷在待检测风机中的实际位置。
[0071]
为了便于工作人员更加直观的获取缺陷信息以及便于存档及后续的查找，进一步优选地，所述方法还包括如下步骤：
[0072]
s40、基于缺陷在待检测风机的实际位置以及缺陷的类别生成缺陷描述。缺陷描述例如为“缺陷位于叶片的尖端位置，缺陷类别为前缘腐蚀(未损伤玻纤)”。
[0073]
在本实施例的一个优选实现方式中，该方法还可以进一步包括：
[0074]
步骤s10中，将无人机拍摄的照片上传至服务器；服务器对上传的照片进行归类，并将归类后的照片作为待检测图像；
[0075]
步骤s20中，将所述待检测图像输入训练后的目标叶片缺陷检测模型，输出待检测图像的缺陷检测信息后，根据缺陷检测信息以及待检测图像的采集信息生成缺陷列表，其中，所述采集信息包括所述待检测风机的身份标识、所述待检测风机所属风场的身份标识以及采集时间。
[0076]
在一个具体的示例中，待检测风机的身份标识可以是风机的编号，风场的身份标识可以是风场的名称。具体的采集过程包括如下步骤：在将无人机拍摄的照片上传至服务器时，将风场名称作为根目录的名称，然后将每个风场中包含的各个风机作为一级子目录名称，再将每个风机中的各个叶片作为二级子目录名称，最后可以将待检测图像的采集时间作为三级子目录，从而可以将待检测图像的采集信息映射至待检测图像的存储位置。如此一来，只需确定待检测图像的存储路径，即可确定待检测图像的采集信息，例如待检测图像的存储路径为：a风场/风机3/叶片2/2020
‑
12
‑
31，则可以确定其采集信息为：a风场的3号风机的2号叶片，采集时间为2020年12月31日。
[0077]
基于存在缺陷的待检测图像的缺陷描述和采集信息，生成各风场的检测结果。
[0078]
在本实现方式中，风场的检测结果可以表征该风场中所有待检测风机存在的缺陷。
[0079]
作为示例，可以根据采集信息中的风场的身份标识对存在缺陷的待检测图像分类，每个风场对应一个存在缺陷的待检测图像的集合，然后根据每个集合中的待检测图像对应的待检测风机的身份标识、采集时间和缺陷描述，生成该风场的检测结果，例如可以采用页面的形式呈现该检测结果。
[0080]
更进一步地，目标叶片缺陷检测模型可以输出标记了缺陷信息的图像，然后将该图像的存储路径以超链接的形式嵌入检测结果中，以便于用户查看。
[0081]
为进一步提高目标叶片缺陷检测模型的精度，在使用过程中还可利用人工对其输出的结果进行复核，若其输出结果有误，则人工将结果修改为正确的结果作为标签输入目
标叶片缺陷检测模型进行再次学习，从而对目标叶片缺陷检测模型进行修正。
[0082]
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。