一种基于PP-YOLO的风机叶片图像识别方法与流程

一种基于pp-yolo的风机叶片图像识别方法
技术领域
1.本发明涉及图像识别技术领域，更具体的说是涉及一种基于pp-yolo的风机叶片图像识别方法。


背景技术：

2.目前，已经有较多的叶片图像识别方法，基于全卷积神经网络的风机叶片表面损伤检测，通过全卷积神经网络进行语义分割，然后通过对裂纹像素点提取计算出损伤区域和损伤级别，进而进行风机叶片表面损伤识别。
3.但是，并未对图像进行精确定位，粗略估计，图片干扰因素太多；基于mask r-cnn的风机叶片缺陷分类及定位，以resnet101为骨干网络，先在coco数据集上对模型进行预训练，后通过迁移学习对模型进行微调，将模型应用在风机叶片的缺陷分类、缺陷区域矩形框回归和缺陷区域mask生成等，形成最终的风机叶片缺陷识别模型，采用“两步走”策略，先确定候选区域，然后再对候选区域进行分类并预测目标物体位置，计算上比较耗时；基于yolo v3的风机叶片状态检测与分析，通过labelimg工具对图像进行多分类标注，并通过在voc数据集上的预训练模型进行训练和微调，最终输出叶片图像识别结果，虽然是采用“一步走”策略，但是在整体性能上略逊于yolo v4。
4.因此，如何预测框是否包含风机、风机位置坐标以及风机损伤类别，进而完成风机叶片损伤的图像识别是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于pp-yolo的风机叶片图像识别方法；选用resnet为骨干网络，并且综合较好的训练技巧配置pp-yolo网络，在保证精准性的同时降低模型对硬件和时间需求，来计算预测框是否包含风机、风机位置坐标以及风机损伤类别，进而完成风机叶片损伤的图像识别。
6.为了实现上述目的，本发明采用如下技术方案：
7.一种基于pp-yolo的风机叶片图像识别方法，包括以下步骤：
8.s1、获取风机叶片图像数据并进行预处理；
9.s2、构建pp-yolo网络模型，具体的：
10.所述pp-yolo网络模型包括骨干网络、检测neck和检测head，所述骨干网络通过检测neck与所述检测head连接，所述骨干网络中采用resnet50-vd模型替代darknet-53，并加入可变卷积层，所述检测head由两个卷积层构成，具体为3*3卷积层和1*1卷积层，所述检测head用于输出预测结果，每个预测结果的输出频道是3(k 5)，k为分类类别数量；
11.s3、对构建的模型进行训练；
12.s4、对训练都的模型进行评估，并识别叶片异常。
13.优选的，所述步骤s1具体包括：
14.获取风机叶片在静止和转动状态下的图像数据，对于静止状态下的图像数据，进
行间隔取样，对于旋转状态下的图像数据，首先进行切图处理，然后选取多张有效图像数据进行数据增广，将静止状态的图像数据和旋转状态下增广后的图像数据合并为数据集，作为训练样本，随机改变训练样本用以降低模型对属性的依赖性。
15.优选的，所述步骤s2还包括：
16.所述输出频道3(k 5)表示为：每个预测位置为3个anchor，每个ancheor依次包括k个分类类别，4个预测框和1个目标预测得分。
17.优选的，所述步骤s3具体包括：
18.s31、提高每轮训练的参数个数，调整学习率；
19.s32、在检测neck时，以一定的几率随机地临时丢弃一部分神经元节点，减少隐藏层的神经元个数，提高模型的拟合度；
20.s33、引入iou aware loss，增加位置准确率信息进行得分计算。
21.优选的，所述步骤s4具体包括：
22.以召回率和准确率为行纵坐标，得到二维曲线，即pr曲线，将pr曲线下的面积作为衡量尺度，得到ap值，公式为：
[0023][0024]
其中，qr为验证集的个数，ap为每个验证集，即pr曲线下的面积。
[0025]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于pp-yolo的风机叶片图像识别方法；选用resnet为骨干网络，并且综合较好的训练技巧配置pp-yolo网络，在保证精准性的同时降低模型对硬件和时间需求，来计算预测框是否包含风机、风机位置坐标以及风机损伤类别，进而完成风机叶片损伤的图像识别。
附图说明
[0026]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0027]
图1附图为本发明提供的基于pp-yolo的风机叶片图像识别流程结构示意图。
[0028]
图2附图为本发明提供的风机叶片预处理示意图。
[0029]
图3附图为本发明提供的目标检测模型评估效果示意图。
[0030]
图4附图为本发明提供的pp-yolo网络模型结构示意图。
具体实施方式
[0031]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
本发明实施例公开了一种基于pp-yolo的风机叶片图像识别方法，包括以下步骤：
[0033]
s1、获取风机叶片图像数据并进行预处理；
[0034]
s2、构建pp-yolo网络模型，具体的：
[0035]
所述pp-yolo网络模型包括骨干网络、检测neck和检测head，所述骨干网络通过检测neck与所述检测head连接，所述骨干网络中采用resnet50-vd模型替代darknet-53，并加入可变卷积层，所述检测head由两个卷积层构成，具体为3*3卷积层和1*1卷积层，所述检测head用于输出预测结果，每个预测结果的输出频道是3(k 5)，k为分类类别数量；骨干网络输入是图片，输出是提取的图像特征，检测neck利用骨干网络提取出来的特征数据，通过特征金字塔网络进行多尺度融合，生成具有强语义信息的特征金字塔；
[0036]
s3、对构建的模型进行训练；
[0037]
s4、对训练都的模型进行评估，并识别叶片异常。
[0038]
为进一步优化上述技术方案，步骤s1具体包括：
[0039]
获取风机叶片在静止和转动状态下的图像数据，对于静止状态下的图像数据，进行间隔取样，对于旋转状态下的图像数据，首先进行切图处理，然后选取多张有效图像数据进行数据增广，将静止状态的图像数据和旋转状态下增广后的图像数据合并为数据集，作为训练样本，随机改变训练样本用以降低模型对属性的依赖性。
[0040]
为进一步优化上述技术方案，步骤s2还包括：
[0041]
所述输出频道3(k 5)表示为：每个预测位置为3个anchor，每个ancheor依次包括k个分类类别，4个预测框和1个目标预测得分。
[0042]
为进一步优化上述技术方案，步骤s3具体包括：
[0043]
s31、提高每轮训练的参数个数，调整学习率；
[0044]
s32、在检测neck时，以一定的几率随机地临时丢弃一部分神经元节点，减少隐藏层的神经元个数，提高模型的拟合度；
[0045]
s33、引入iou aware loss，增加位置准确率信息进行得分计算。
[0046]
为进一步优化上述技术方案，步骤s4具体包括：
[0047]
以召回率和准确率为行纵坐标，得到二维曲线，即pr曲线，将pr曲线下的面积作为衡量尺度，得到ap值，公式为：
[0048][0049]
其中，qr为验证集的个数，ap为每个验证集，即pr曲线下的面积。
[0050]
(1)硬件选取
[0051]
风机叶片图像识别模型进行单机单卡训练，gpu选用的是英伟达tesla v100。
[0052]
(2)数据预处理
[0053]
选用labelimg对出现表面纹裂、砂眼、表面腐蚀等异常的风机叶片位置进行标注，生成包含图片路径、图片大小、真实框位置、叶片损伤类别等关键性信息的xml文件，记录模型训练需要的各项信息。然后再对选取的有效图片增加数据增广手段,即见图2。
[0054]
(3)参数设置
[0055]
将风机叶片数据集按照6、2、2划分训练集、验证集和测试集，加入到模型中训练。下载配置文件和参数文件，将训练数据的batch_size设置为64，测试数据集的batch_size
设置为1，以及相应地调整其他超参数。
[0056]
(3)输出结果
[0057]
模型经过多轮训练和策略调整，并通过多个p-r曲线下的面积均值map进行评估，可以看到模型结果见图3。
[0058]
骨干网络、neck、head都是卷积神经网络构成，骨干网络是resnet50-vd(残差网络)，检测neck是fpn网络(特征图金字塔网络)，解决图片中的多尺度问题，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能，检测head用于输出预测结果，每个预测结果的输出频道是3(k 5)，k为分类类别数量；
[0059]
学习率调整策略包括：有序调整(包络：等间隔调整、按需调整学习、指数衰减等)，自适应调整，自定义调整；模型训练时选用的是自定义调整
[0060]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0061]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。