一种风电机组变桨轴承裂纹监测方法、计算机程序产品与流程

1.本发明属于裂纹监测方法，具体涉及一种风电机组变桨轴承裂纹监测方法、计算机程序产品。


背景技术：

2.近年来，全球环境问题日益突出，化石原料的价格也一路上涨，风电作为一种可再生清洁能源，越来越受到重视，风电产业发展迅猛，风电机组也朝着低风速高功率的方向发展。变桨系统是风电机组功率输出的调节器，其安全可靠性直接影响到风电机组的运行效率和寿命。
3.变桨轴承是变桨系统的核心部件，由于长期工作在温度和湿度变化大的野外环境，且承受频繁变化的径向和轴向交变作用力和旋转离心力，易出现裂纹等故障，如果发现不及时，一旦出现断裂，引起叶片坠毁，将会给业主和风电企业带来严重损失和恶劣影响。当前，主要通过实时采集变桨轴承的运行状态数据来保证变桨轴承的健康安全，在裂纹出现早期提供告警，进行停机整修，保证变桨轴承的安全可靠。
4.基于采集数据的不同，目前，变桨轴承监测方法主要包括：基于振动信号的监测方法，基于转速、电流、振动等多传感器信号的监测方法，以及基于视频的监测方法。基于振动信号及多传感器信号的监测方法，需要在多个位置安装传感器采集信号，收到告警信号后需要运维人员亲自到现场确认是否为真裂纹，难以部署，费时费力，成本高。而基于视频的监测方法，易部署，结果可视，运维人员可通过前端相机采集的图像直接确认裂纹，该类产品越来越受欢迎。但目前基于视频的监测方法还主要通过人力筛选相机采集的图像，分析的准确率不高，也无法实时给出裂纹的尺寸信息。


技术实现要素：

5.本发明为解决目前的变桨轴承监测方法中，基于振动信号及多传感器信号的监测方法部署难、费时费力、成本高，基于视频的监测方法分析准确率不高，无法实时给出裂纹尺寸信息的技术问题，提供一种风电机组变桨轴承裂纹监测方法、计算机程序产品。
6.为达到上述目的，本发明采用以下技术方案予以实现：
7.一种风电机组变桨轴承裂纹监测方法，其特殊之处在于，包括以下步骤：
8.s1，识别裂纹
9.通过目标检测网络模型从变桨轴承的图像中判断变桨轴承是否存在裂纹，若存在，则通过目标检测网络模型得到裂纹的目标检测框；
10.s2，通过裂纹的目标检测框，确定裂纹感兴趣区域；
11.s3，通过分割网络模型对裂纹感兴趣区域进行处理，得到与分割网络模型尺寸相同的裂纹标记掩码，再将裂纹标记掩码转换为与裂纹感兴趣区域尺寸相同的二值图；
12.s4，通过二值图，计算裂纹的实际像素尺寸和裂纹宽度；
13.s5，通过监测裂纹的实际像素尺寸和裂纹宽度，对风电机组变桨轴承裂纹进行监
测。
14.进一步地，步骤s1之前，还包括步骤s0，目标检测网络模型训练和分割网络模型训练；
15.s0.1，目标检测网络模型训练
16.s0.1.1，搜集多个风场变桨轴承的多个裂纹数据和多个正常数据；所述裂纹数据为具有裂纹的变桨轴承图像，所述正常数据为不具有裂纹的变桨轴承图像；
17.s0.1.2，标注各裂纹数据上的裂纹；
18.s0.1.3，对于每个风机抽取至少一张正常数据，随机取经步骤s0.1.2标注出的裂纹，将裂纹以随机位置的方式放入正常数据中，形成生成的裂纹数据；
19.s0.1.4，通过正常数据、裂纹数据和生成的裂纹数据对目标检测网络模型进行训练，得到能够从变桨轴承的图像数据中判断变桨轴承是否存在裂纹的目标检测网络模型；
20.s0.2，分割网络模型训练
21.s0.2.1，搭建unet家族类深度学习图像分割网络；
22.s0.2.2，在多个裂纹标记区域中标出裂纹轮廓，将裂纹轮廓处记作1，其他区域记作0，将裂纹标记区域转换为二值图，对unet家族类深度学习图像分割网络进行训练，得到分割网络模型。
23.进一步地，步骤s0.1.4中，所述通过正常数据、裂纹数据和生成的裂纹数据对目标检测网络模型进行训练具体为，将正常数据、裂纹数据和生成的裂纹数据分别按照等比例分为三份，三份正常数据、裂纹数据和生成的裂纹数据分别组成训练集、测试集和验证集，依次将训练集、测试集和验证集输入目标检测网络模型进行训练测试和验证。
24.进一步地，所述目标检测网络模型为支持mosaic数据增强的yolov4网络模型。
25.进一步地，步骤s2具体为：
26.s2.1，通过下式得到裂纹感兴趣区域的宽度roi_w和裂纹感兴趣区域的高度roi_h：
27.roi_w＝roi_h＝max(recth，rectw)
28.其中，recth为目标检测框的高度，rectw为目标检测框的宽度；
29.s2.2，计算裂纹感兴趣区域与目标检测框的高度差δh，以及裂纹感兴趣区域与目标检测框的宽度差δw；
30.s2.3，通过下式得到裂纹感兴趣区域roi：
31.roi＝img[rect
top-δh/2：rect
top
roi_h-δh/2，rect
left-δw/2：rect
left
roi_w-δw/2]；
[0032]
其中，以变桨轴承图像的左上角为坐标原点，rect
left
为目标检测框左上角坐标的横坐标，rect
top
为目标检测框左上角坐标的纵坐标，img为变桨轴承图像。
[0033]
进一步地，步骤s3具体为，通过分割网络模型将裂纹感兴趣区域转换为与分割网络模型尺寸相同的裂纹标记掩码，设定置信度阈值，将大于等于置信度阈值的部分置为1，小于置信度阈值的部分置为0，置为1的部分作为裂纹的点，得到与分割网络模型尺寸相同的二值图，再经过缩放，得到与裂纹感兴趣区域尺寸相同的二值图。
[0034]
进一步地，步骤s4具体为：
[0035]
s4.1，统计二值图中表示裂纹的数值总个数mask
area
；
[0036]
s4.2，逐行分别从左向右、从右向左扫描二值图，分别记录从左向右扫描获得的第一个二值图中表示裂纹的数字，对应的点记作mask
i，left
，以及从右向左扫描获得的第一个二值图中表示裂纹的数字，对应的点记作mask
i，right
；其中i＝1，2，3，......n，n为二值图的总行数；
[0037]
s4.3，通过各行的点mask
i，left
和点mask
i，right
，得到裂纹的最大行宽度mask
w_r
；
[0038]
s4.4，逐行列分别从上向下、从下向上扫描二值图，分别记录从上向下扫描获得的第一个二值图中表示裂纹的数字，对应的点记作mask
j，top
，以及从下向上扫描获得的第一个二值图中表示裂纹的数字，对应的点记作mask
j，bottom
；其中j＝1，2，3，......m，m为二值图的总列数；
[0039]
s4.5，通过各列的点mask
j，top
和点mask
j，bottom
，得到裂纹的最大列高度mask
h_c
；
[0040]
s4.6，通过下式得到裂纹的实际像素尺寸crack
area
：
[0041]
crack
area
＝mask
area
×
(roi_w
÷
model_w)
×
(roi_h
÷
model_h)
[0042]
其中，model_w为分割网络模型输入宽，model_h为分割网络模型输入高；
[0043]
s4.7，通过下式得到裂纹宽度crack
width
：
[0044]
crack
width
＝max(crack
h_c
，crack
w_r
)
[0045]
crack
w_r
＝mask
w_r
×
(roi_w
÷
model_w)
[0046]
crack
h_c
＝mask
h_c
×
(roi_h
÷
model_h)。
[0047]
进一步地，步骤s5中，所述通过监测裂纹的实际像素尺寸和裂纹宽度具体为，设置告警门限，若裂纹的实际像素尺寸和裂纹宽度中任一个超出告警门限，则告警；
[0048]
步骤s1中，所述通过目标检测网络模型得到裂纹的目标检测框之后还包括，同时告警出现裂纹。
[0049]
本发明还提供了一种计算机程序产品，包括计算机程序，其特殊之处在于，该程序被处理器执行时实现上述一种风电机组变桨轴承裂纹监测方法的步骤。
[0050]
与现有技术相比，本发明具有以下有益效果：
[0051]
1.本发明风电机组变桨轴承裂纹监测方法，运用目标检测、图像分割等技术，实现风电机组变桨轴承裂纹的监测，能够及时发现裂纹并实时监测裂纹的变化情况，为运维人员保运提供技术支持，保障了风电机组的安全运行，降低了风场的运维成本，降低了机组失效损失。本发明的监测结果可直接反映裂纹尺寸，结果可视，容易部署，且监测成本低，可实现机组保运，与智能视频安防系统结合，可实现风电场的全天候无人值守，具有较高的推广应用价值。
[0052]
2.本发明中通过各个风场变桨轴承的正常数据和裂纹数据对目标检测网络模型和分割网络模型进行训练，得到识别准确率较高的模型。另外，在对目标检测网络模型进行训练时，通过人为生成的裂纹数据，有效扩充了裂纹数据的规模。
[0053]
3.本发明在对目标检测网络模型进行训练时，正常数据、裂纹数据和生成的裂纹数据等比例分配后，依次对模型进行训练、测试和验证，有效提高了模型的准确性。
[0054]
4.本发明的目标检测网络模型采用yolov4网络模型，能够降低了裂纹这种小目标的检测难度。
[0055]
5.本发明的监测方法，可根据监测结果设置不同等级的告警，出现裂纹时可先行告警，裂纹尺寸超出告警门限时，可再次进行告警，监测实用性更强，可根据现场需要进行
更准确的监测。
附图说明
[0056]
图1为本发明风电机组变桨轴承裂纹监测方法的流程示意图；
[0057]
图2为本发明中unet家族类深度学习图像分割网络的示意图。
具体实施方式
[0058]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0059]
如图1所示，本发明的监测方法，首先通过深度学习目标检测方法确定变桨轴承是否存在裂纹，若检测到裂纹，则获取裂纹的感兴趣区域(roi)。然后，使用深度学习图像分割方法，分割标记出roi中的裂纹。再通过行/列扫描方法获取裂纹的尺寸信息，实现变桨轴承裂纹的实时监测，如下是详细的监测过程：
[0060]
1.变桨轴承裂纹检测
[0061]
风机的变桨轴承尺寸较大，通常需要2-3台相机覆盖整个轴承，而裂纹在整个拍摄画面中所占区域较小，通常无法直接标记裂纹，尤其是前期裂纹刚出现的时候。因此，本发明使用深度学习目标检测的方法，先检测图像中是否有裂纹，若有裂纹，则获取裂纹的roi，再对roi中的裂纹进行标记。
[0062]
本发明中的深度学习目标检测方法主要包括数据集整理、目标检测网络搭建、目标检测网络模型训练和目标检测网络模型部署几个步骤。对于本发明中变桨轴承裂纹检测主要面临的问题是：(1)裂纹数据不易获取，数据量不足；(2)裂纹目标较小，不易检测。
[0063]
对于裂纹数据量不足，本发明使用了基于裂纹样本生成数据的方法，即：首先，搜集各风场变桨轴承的裂纹数据和正常数据，且尽可能搜集到已知所有风机变桨轴承的数据；然后，对搜集到的所有裂纹数据进行标注，通过矩形框标注变桨轴承图像上的裂纹；每个风机抽取一到两张正常数据，并遍历抽取的正常数据，随机且有放回地从标记的裂纹数据中获取一个裂纹，以随机位置的方式将该裂纹放入任一正常数据中，形成生成的裂纹数据且该生成的裂纹数据以标注出裂纹，用这样的方法扩充裂纹数据，通过正常数据、裂纹数据和生成的裂纹数据对目标检测网络模型进行训练。为保证训练的效果，在数据划分时保持同等比例，分别对原始裂纹数据和生成的裂纹数据进行数据集划分，保持训练集、测试集、验证集中原始裂纹数据和生成的裂纹数据的比例一致。使用预训练模型迁移训练检测网络模型，能够保证在小数据集下训练出检测效果好、泛化性强的检测网络模型，从而快速部署应用。
[0064]
对于小目标不易检测的问题，选择支持mosaic数据增强的yolov4网络。该数据增强方法，一方面通过对图像进行翻转、缩放、色域变化丰富图像数据，还进一步地对图像进行随机裁剪、随机排布的拼接，可有效地扩充数据集，提升小目标的检出率。
[0065]
2.裂纹分割标记
[0066]
裂纹图片经过目标检测网络模型得到裂纹的目标检测框，因为分割网络的输入通
常宽高相等，故以目标检测框中宽和高的最大值设定为最终获取的roi的宽高，可以得到roi，即：
[0067]
roi_w＝roi_h＝max(recth，rectw)
[0068]
δh＝roi_h-recth[0069]
δw＝roi_w-rectw[0070]
roi＝img[rect
top-δh/2：rect
top
roi_h-δh/2，rect
left-δw/2：rect
left
roi_w-δt
[0071]
上式中，roi为获取的裂纹感兴趣区域，img为含有裂纹的原始变桨轴承图像，(rect
left
，rect
top
)为目标检测框的左上方点坐标，recth和rectw分别为目标检测框的高和宽，roi_w和roi_h分别为裂纹感兴趣区域的宽和高。
[0072]
通过分割网络模型对该roi进行标注，得到裂纹标记区域(mask)。搭建结构如图2所示的unet家族类深度学习图像分割网络，其中，卷积conv3*3，池化窗口maxpool2*2，上采样和卷积upsample and conv3*3，skip connection为跳跃式传递，训练得到分割网络模型，训练的过程是从裂纹感兴趣区域中标出裂纹的轮廓，再将数据转换为二值图。分割网络模型部署后，裂纹感兴趣区域可经过该分割网络模型推理得到与模型输入尺寸相同的裂纹置信度矩阵，，如式(1)所示。
[0073][0074]
式中，model_w和model_h分别为分割网络模型输入的宽和高。此时，设定置信度阈值为(conf_thr)，不小于该置信度阈值的置为1，认为是属于裂纹的点，否则置为0，认为是不属于裂纹的点，得到裂纹标记掩码(mask)。
[0075][0076]
其中，mask(i，j)表示像素位置(i，j)处的裂纹标记掩码，p
i，j
表示像素位置(i，j)处的置信度。
[0077]
具体为，裂纹感兴趣区域送入分割网络模型前一般先进行预处理，包括缩放、颜色空间转换等，得到与模型尺寸一样的图像，送入分割网络模型，经分割网络模型处理后，分割网络模型输出与模型输入大小一样的掩码，在经过后处理，将裂纹标记掩码转换为二值图(0/1图)，该二值图的尺寸与模型输入尺寸相同，在进行缩放，得到与裂纹感兴趣区域尺寸一样的二值图。
[0078]
3.裂纹尺寸计算
[0079]
首先，统计出二值图中值为1的个数，记为mask
area
，即：
[0080][0081]
其中，mask(i，j)表示像素位置(i，j)处的掩码。
[0082]
然后，逐行从左往右扫描，得到左侧第一个不为0的点，记为mask
i，left
，从右往左扫描获取右侧第一个不为0的点，记为mask
i，right
，其中i代表行号，得到裂纹的最大行宽度
mask
w_r
为：
[0083]
mask
w_r
＝max(mask
i，right-mask
i，left
)0≤i≤model_h
[0084]
同理，逐列从上往下扫描，得到上面第一个不为0的点，记为mask
j，top
，从下往上扫描获取下面第一个不为0的点，记为mask
j，bottom
，其中j代表列号，得到裂纹的最大列高度mask
h_c
为：
[0085]
mask
h_c
＝max(mask
j，bottom-mask
j，top
)0＜j＜model_w
[0086]
裂纹roi的宽高为roi_w和roi_h，则裂纹的实际像素尺寸为：
[0087]
crack
area
＝mask
area
×
(roi_w
÷
model_w)
×
(roi_h
÷
model_h)
[0088]
crack
w_r
＝mask
w_r
×
(roi_w
÷
model_w)
[0089]
crack
h_c
＝mask
h_c
×
(roi_h
÷
model_h)
[0090]
把crack
h_c
和crack
w_r
中的较大者作为裂纹宽度crack
width
，即：
[0091]
crack
width
＝max(crack
h_c
，crack
w_r
)
[0092]
最后，可以分别设置crack
area
和crack
width
的告警门限，实现变桨轴承裂纹的实时监测及告警。根据实际应用告警门限可分等级，如只要出现裂纹就先告警；裂纹宽度或裂纹的实际像素尺寸大于对应门限时，可人为复检，进行变桨轴承维修或更换。
[0093]
4.裂纹监测算法部署
[0094]
一台风机通常有三支叶片，对应的有三组变桨轴承，若两台相机监测一组变桨轴承，则通过6台相机可实现一台风机变桨轴承的监测。如果采用中心服务器的方式部署，每台相机数据都传送到中心ai服务器，则场站带宽压力大，且影响分析的实时性，所以本发明方法采用at边缘设备的方式进行部署。即可通过一台边缘设备处理6台相机的数据，将判定为存在裂纹故障的数据和定时需要采样的数据发送至中心服务器，以减轻带宽压力，满足风电机组变桨轴承实时监测及风场智能视频安防监控的需要，实现风电场的全天候无人值守。
[0095]
如下是采用本发明监测方法的一个实例：
[0096]
步骤一，检测模型训练：
[0097]
依据前述步骤1中的方法搜集、标注和生成变桨轴承数据素材，得到裂纹检测数据集，使用yolov4预训练模型训练得到裂纹检测yolov4模型，作为目标检测网络模型。
[0098]
步骤二，裂纹roi获取：
[0099]
裂纹图片经过目标检测网络模型，得到裂纹的矩形检测框，获取裂纹感兴趣区域。
[0100]
步骤三，分割网络模型训练：
[0101]
仅使用真实的裂纹数据对分割网络模型进行训练，即依据步骤2中方法对获取的真实裂纹图片中的裂纹感兴趣区域进行标注，训练图2所示的unet家族类深度学习图像分割网络模型，得到分割网络模型。
[0102]
步骤四，裂纹标记图(mask)获取：
[0103]
裂纹感兴趣区域经过分割网络模型推理后，设置置信度阈值(conf_thr)为0.5，得到裂纹标记掩码，再将其转换为二值图，在二值图中，1表示裂纹区域。
[0104]
步骤五，裂纹尺寸计算：
[0105]
获取裂纹对应的二值图后，依据前述公式计算得到裂纹尺寸crack
area
和crack
width
，crack
area
＝42，crack
width
＝5。
[0106]
步骤六，变桨轴承监测部署：
[0107]
本机型风电机组用6台相机监测对应的三个变桨轴承，采用性能较高的nvidia jetson agx xavier边缘设备部署本发明变桨轴承裂纹监测算法。裂纹宽度和总像素数门限设置为：crack
area
＝25，crack
width
＝3。告警策略设置为：只要出现裂纹就进行一般告警；一旦裂纹宽度或总像素数大于对应门限，则进行严重告警。从而实现变桨轴承的实时监测和故障告警，为运维人员保运提供技术支持，保障风电机组的安全运行。
[0108]
本发明的风电机组变桨轴承裂纹监测方法还可以形成一种计算机程序产品，该程序产品包括计算机程序，该程序被处理器执行时实现风电机组变桨轴承裂纹监测方法的步骤。
[0109]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。