一种改进FasterR-CNN的太阳能电池片表面缺陷检测方法

一种改进faster r-cnn的太阳能电池片表面缺陷检测方法
技术领域
1.本发明属于深度学习的表面缺陷检测的技术领域，具体涉及一种改进 faster r-cnn的太阳能电池片表面缺陷检测方法。


背景技术：

2.太阳能作为可再生的清洁能源近年来受到了广泛关注，太阳能电池片作为太阳能发电的核心部件其产量也在快速增加，在工业生产中对太阳能电池片进行表面缺陷检测具有很重要的现实意义。在工业生产中，太阳能电池片的生产工艺可以分为硅片检测、表面制绒及酸洗、扩散制结、去磷硅玻璃、等离子刻蚀及酸洗、镀减反射膜、丝网印刷、快速烧结等，常见的表面缺陷有划痕、破损、污渍和断栅等，这些表面缺陷都会影响电池片的使用寿命和转化效率。
3.常见的太阳能电池片缺陷检测方法主要为人工检测方法、物理检测方法和机器视觉的检测方法，人工检测方法效率低，具有很强的主观因素，利用声波、激光扫描等物理方法能够有效检测出裂纹但对划痕、断栅和污渍等缺陷效果不佳，基于频域和均值漂移技术的检测方法都能有效的检测部分缺陷，但前者对较为集中的划痕等缺陷能力不足，后者对小目标缺陷识别率不高。常见的太阳能电池片表面缺陷种类较多，缺陷目标较少，特征不明显，常见的检测方法对于小目标缺陷的检测率不高。因此，根据太阳能电池片表面缺陷的特点，需要设计一种合理有效的检测方法。


技术实现要素：

4.基于现有的检测方法中，检测精度不够，泛化能力不足，小目标缺陷检测效果差的问题，本发明提出了一种改进faster r-cnn的太阳能电池片表面缺陷检测方法，该方法能够很好的检测出太阳能电池片表面的划痕、破损、污渍和断栅的缺陷。
5.为解决上述太阳能电池片表面缺陷检测的技术问题，本发明以faster r-cnn 为模型框架，以resnet50为网络主干，采用ga-rpn结构，减少大量的锚点框，融入resnet残差块结构，解决深度网络梯度消失的问题，采用深度可分离卷积和倒置残差块对特征层进行改进，使检测模型更加轻便，并融入了特征金字塔的多尺度检测网络，提高对电池片的小目标缺陷检测精度。
6.本发明所采用的技术方案是：一种改进faster r-cnn的太阳能电池片表面缺陷检测方法，用于对太阳能电池片表面缺陷的检测，解决太阳能电池片表面缺陷检测精度不高，泛化能力不足，小目标检测效果差的问题，其特征在于，包括以下步骤：
7.步骤1：通过工业相机对含有缺陷的太阳能电池片进行图像采集得到多幅太阳能电池片图像，将每幅太阳能电池片图像依次通过图像裁剪、图像旋转、色彩增强、图像锐化得到每幅预处理后太阳能电池片图像，人工标记每幅预处理后太阳能电池片图像的多个缺陷位置框，人工标记每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别；
8.步骤2：构建改进faster r-cnn的太阳能电池片表面缺陷检测网络模型，将每幅预
处理后太阳能电池片图像输入至改进faster r-cnn的太阳能电池片表面缺陷检测网络模型进行预测，得到每幅预处理后太阳能电池片图像预测的多个缺陷位置框、每幅预处理后太阳能电池片图像预测每个缺陷位置框预测的缺陷类别，结合每幅预处理后太阳能电池片图像的多个缺陷位置框、每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别构建损失函数模型，通过反向传播算法进行优化训练，得到优化后改进faster r-cnn的太阳能电池片表面缺陷检测网络模型；
9.步骤3：工业相机实时采集太阳能电池片图像，将实时采集的太阳能电池片图像通过优化后改进faster r-cnn的太阳能电池片表面缺陷检测网络模型进行预测，得到实时采集的太阳能电池片图像的缺陷类别；
10.作为优选，步骤2所述改进faster r-cnn的太阳能电池片表面缺陷检测网络模型包括：特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层；
11.所述的特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层依次级联；
12.所述特征提取网络，用于将训练集中每幅预处理后太阳能电池片图像经过特征提取得到训练集中每幅预处理后太阳能电池片图像的特征向量，并输出至所述特征金字塔。
13.所述特征金字塔，将训练集中每幅预处理后太阳能电池片图像的特征向量通过特征融合处理得到训练集中每幅预处理后太阳能电池片图像的特征图，将训练集中每幅预处理后太阳能电池片图像的特征图输出至所述引导锚点框区域生成网络；
14.所述引导锚点框区域生成网络，将训练集中每幅预处理后太阳能电池片图像的特征图根据不同的尺寸和长宽比通过网络生成每幅预处理后太阳能电池片图像的的多个候选框，并将每幅预处理后太阳能电池片图像的的多个候选框投影到每幅预处理后太阳能电池片图像的的多个候选框的特征图上，得到每幅预处理后太阳能电池片图像的的多个特征矩阵，通过二分类方法判断候选框内为前景或后景，通过坐标回归方法得到边界框中心点的坐标、宽和高，每幅预处理后太阳能电池片图像的的特征图、每幅预处理后太阳能电池片图像的的多个候选框输入到感兴趣区域池化层。
15.所述感兴趣区域池化层，将前述每幅预处理后太阳能电池片图像的特征图通过统一缩放得到每幅预处理后太阳能电池片图像的尺寸缩放后特征图，并将每幅预处理后太阳能电池片图像的尺寸缩放后特征图输入到分类回归层。
16.所述分类回归层，将每幅预处理后太阳能电池片图像的尺寸缩放后特征图进行展平处理，得到能够拟合全连接层的一维向量，将该向量通过多个级联的全连接层，最后由两个并联的输出分别得到每幅预处理后太阳能电池片图像的缺陷类别和每幅预处理后太阳能电池片图像的缺陷坐标，前述所得结果分别通过一个由 softmax函数计算目标预测概率，另一个由bbox regressor函数计算边界框回归参数，通过目标预测概率的大小得到目标缺陷类别，通过回归参数得到缺陷边界框的位置；-17.步骤2所述损失函数模型由分类损失函数模型、边界框回归损失函数模型构成；
18.所述分类损失函数模型，定义为：
19.20.其中，代表正负的标志位，其中为正样本时值为1，为负样本时值为0； pi为第i个锚点预测为真实标签的概率。
21.所述边界框回归损失函数模型，定义为：
[0022][0023][0024]
其中，x、y、w、h分别为窗口中心点坐标、宽和高，ti为第i个候选框边界修正值，为一组与正样本锚点相关的真实目标框坐标。
[0025]
步骤2所述损失函数模型为：
[0026][0027]
式中，lcis为分类损失函数模型，lreg为回归损失函数模型，λ为分类损失函数和边界框回归损失之间的平衡权重，pi为第i个锚点预测为真实标签的概率，代表正负样本，其中为正样本时值为1，为负样本时值为0，ti为第i个候选框的边界修正值，为一组与正样本锚点相关的真实目标框坐标，n
cls
为图片中的所有样本数量，n
reg
为锚点位置的个数。
[0028]
本发明一种改进faster r-cnn的太阳能电池片表面缺陷检测方法的主要优点体现在：
[0029]
本发明对太阳能电池片的表面缺陷检测速度快，且检测速度精度高。
附图说明
[0030]
图1：为本发明方法流程图；
[0031]
图2：为本发明所建立的数据集；
[0032]
图3：为本发明的网络结构图；
[0033]
图4：为本发明的测试结果图。
具体实施方式
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，便于本领域普通技术人员理解，将结合上述附图对本发明作进一步介绍，附图中包含本发明的整体算法框架，以及一些实施例。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下获得的所有其他实施例，都属于本发明保护的范围。
[0035]
本发明第一实施例如图1所示，为一种改进faster r-cnn的太阳能电池片表面缺陷检测方法，包括以下步骤：
[0036]
步骤1：通过工业相机对含有缺陷的太阳能电池片进行图像采集得到多幅太阳能电池片图像，将每幅太阳能电池片图像依次通过图像裁剪、图像旋转、色彩增强、图像锐化得到每幅预处理后太阳能电池片图像，人工标记每幅预处理后太阳能电池片图像的多个缺
陷位置框，人工标记每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别；
[0037]
步骤2：构建改进faster r-cnn的太阳能电池片表面缺陷检测网络模型，将每幅预处理后太阳能电池片图像输入至改进faster r-cnn的太阳能电池片表面缺陷检测网络模型进行预测，得到每幅预处理后太阳能电池片图像预测的多个缺陷位置框、每幅预处理后太阳能电池片图像预测每个缺陷位置框预测的缺陷类别，结合每幅预处理后太阳能电池片图像的多个缺陷位置框、每幅预处理后太阳能电池片图像的每个缺陷位置框的缺陷类别构建损失函数模型，通过反向传播算法进行优化训练，得到优化后改进faster r-cnn的太阳能电池片表面缺陷检测网络模型；
[0038]
步骤2所述改进faster r-cnn的太阳能电池片表面缺陷检测网络模型包括：特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层；
[0039]
所述的特征提取网络、特征金字塔、引导锚点框区域生成网络、感兴趣区域池化层、分类回归层依次级联；
[0040]
所述特征提取网络，用于将训练集中每幅预处理后太阳能电池片图像经过特征提取得到训练集中每幅预处理后太阳能电池片图像的特征向量，并输出至所述特征金字塔。
[0041]
所述特征金字塔，将训练集中每幅预处理后太阳能电池片图像的特征向量通过特征融合处理得到训练集中每幅预处理后太阳能电池片图像的特征图，将训练集中每幅预处理后太阳能电池片图像的特征图输出至所述引导锚点框区域生成网络；
[0042]
所述引导锚点框区域生成网络，将训练集中每幅预处理后太阳能电池片图像的特征图根据不同的尺寸和长宽比通过网络生成每幅预处理后太阳能电池片图像的的多个候选框，并将每幅预处理后太阳能电池片图像的的多个候选框投影到每幅预处理后太阳能电池片图像的的多个候选框的特征图上，得到每幅预处理后太阳能电池片图像的的多个特征矩阵，通过二分类方法判断候选框内为前景或后景，通过坐标回归方法得到边界框中心点的坐标、宽和高，每幅预处理后太阳能电池片图像的的特征图、每幅预处理后太阳能电池片图像的的多个候选框输入到感兴趣区域池化层。
[0043]
所述感兴趣区域池化层，将前述每幅预处理后太阳能电池片图像的特征图通过统一缩放得到每幅预处理后太阳能电池片图像的尺寸缩放后特征图，并将每幅预处理后太阳能电池片图像的尺寸缩放后特征图输入到分类回归层。
[0044]
所述分类回归层，将每幅预处理后太阳能电池片图像的尺寸缩放后特征图进行展平处理，得到能够拟合全连接层的一维向量，将该向量通过多个级联的全连接层，最后由两个并联的输出分别得到每幅预处理后太阳能电池片图像的缺陷类别和每幅预处理后太阳能电池片图像的缺陷坐标，前述所得结果分别通过一个由 softmax函数计算目标预测概率，另一个由bbox regressor函数计算边界框回归参数，通过目标预测概率的大小得到目标缺陷类别，通过回归参数得到缺陷边界框的位置；-[0045]
步骤2所述损失函数模型由分类损失函数模型、边界框回归损失函数模型构成；
[0046]
所述分类损失函数模型，定义为：
[0047][0048]
其中，代表正负的标志位，其中为正样本时值为1，为负样本时值为0； pi为第i个锚点预测为真实标签的概率。
[0049]
所述边界框回归损失函数模型，定义为：
[0050][0051][0052]
其中，x、y、w、h分别为窗口中心点坐标、宽和高，ti为第i个候选框边界修正值，为一组与正样本锚点相关的真实目标框坐标。
[0053]
步骤2所述损失函数模型为：
[0054][0055]
式中，lcis为分类损失函数模型，lreg为回归损失函数模型，λ为分类损失函数和边界框回归损失之间的平衡权重，pi为第i个锚点预测为真实标签的概率，代表正负样本，其中为正样本时值为1，为负样本时值为0，ti为第i个候选框的边界修正值，为一组与正样本锚点相关的真实目标框坐标，n
cls
为图片中的所有样本数量，n
reg
为锚点位置的个数。
[0056]
步骤3：工业相机实时采集太阳能电池片图像，将实时采集的太阳能电池片图像通过优化后改进faster r-cnn的太阳能电池片表面缺陷检测网络模型进行预测，得到实时采集的太阳能电池片图像的缺陷类别；
[0057]
本发明第二实施例具体如下：
[0058]
步骤1，利用工业相机对含有缺陷的太阳能电池片进行数据采集工作，建立丰富的太阳能电池片的数据集；
[0059]
步骤2，对所建立的数据样本集进行数据预处理，起到扩充数据集的作用并达到抑制噪声、提高局部特征的目的；
[0060]
步骤3，在pytorch下构建改进faster r-cnn的太阳能电池片表面缺陷检测网络模型；
[0061]
步骤4，通过labellmg对采集的数据集按照不同的缺陷种类进行数据标注，将各个标签的数据放于不同的文件夹中并统计各个标签的数目；
[0062]
步骤5，搭建网络环境，通过反向传播算法对网络进行训练，得到训练好的权重和参数；
[0063]
步骤6，将训练好的深度置信网络运用到太阳能电池片的表面缺陷检测和识别中，得到检测和识别结果。
[0064]
步骤1中，利用工业相机对含有缺陷的太阳能电池片进行数据采集工作，所建立的数据集包含了划痕、破损、污渍、断栅这些工业生产中比较常见的表面缺陷，其中，每张图片可包含以上一种或多种缺陷；其中包含划痕缺陷类图片1550 张，破损缺陷类图片1280张，污渍缺陷类图片1200张，断栅缺陷类图片960 张，其中包含单晶硅太阳能电池片125
×
125、单晶硅太阳能点此片156
×
156、多晶硅156
×
156和多晶硅156
×
156四种不同种类的电池片。所拍数据集都是自主拍摄，电池片种类多样，数据集数量丰富，缺陷种类齐全。
[0065]
如图2所示为利用工业相机所采集的太阳能电池片表面缺陷数据集，表1为本发明
所建立的太阳能电池片各种缺陷的数据集。
[0066]
表1所建立的太阳能电池片各种缺陷的数据集
[0067][0068]
步骤2中，对所建立的数据样本集进行数据预处理所包含的方法包括裁剪和旋转、色彩增强和锐化，图片预处理可以扩充数据集，提高网络训练的精度。
[0069]
其中，裁剪是将所拍数据集的大面积背景进行去除的工作，减少了网络在工作中的大量不必要计算量；旋转是将图片进行90
°
、180
°
和270
°
不同角度的旋转，可以丰富数据集，增加数据集的数量，同时增强模型的泛化能力；
[0070]
其中，色彩增强是利用opencv对hsv空间的v值进行重新量化，使得图像的色彩调整到合适的程度，避免因拍摄过程中色彩的问题影响检测效果；
[0071]
其中，锐化使用的是opencv锐化滤波器进行，锐化滤波器使用领域的微分作为算子，增大领域间像素的差值，使图像的突变部分变的更加明显，加强图像的边沿和轮廓，使得缺陷的特征更加明显。
[0072]
如图3所示为一种改进faster r-cnn的太阳能电池片表面缺陷检测方法的网络结构图；本发明以faster r-cnn为模型框架，以resnet50为网络主干，采用ga-rpn结构，减少大量的锚点框，融入resnet残差块结构，解决深度网络梯度消失的问题，采用深度可分离卷积和倒置残差块对特征层进行改进，使检测模型更加轻便，并融入了特征金字塔的多尺度检测网络，提高对电池片的小目标缺陷检测精度。
[0073]
步骤3中，所建立的太阳能电池片表面缺陷检测模型以faster r-cnn为模型框架，以resnet50为网络主干，首先将ga(guided anchoring)与faster r-cnn 中的区域生成网络相结合构成ga-rpn结构，从而减少大量的锚点框，提高网络的检测速度；其次，本发明融入基于特征金字塔的多尺度检测网络，得到语义信息更加丰富的特征图，提高对小目标缺陷的检测精度；其次，本发明融入了 resnet残差块结构解决网络梯度消失的问题，并采用深度可分离卷积和倒置残差块对特征提取层进行改进，使模型结构更加轻便。
[0074]
该网络的工作过程主要为四个部分，首先是输入的太阳能电池片图片经过层层卷积的下采样，由卷积的最后一层构建特征图；其次是通过合适的内插值法扩大原始图像的尺寸，得到和下采样相同尺寸的特征图；再次是由前两部分的特征图通过特征融合得到新的特征图，然后在区域生成网络中，对新的特征图形成具有预设的锚点框，最后是经过池化层和全连接层，进行分类和边界框回归，得到缺陷的具体位置和形状大小。
[0075]
其中，太阳能电池片表面缺陷检测训练的损失函数表示为：
[0076]
[0077]
式中，lcis为分类损失，lreg为回归损失，λ为分类损失函数和边界框回归损失之间的平衡权重，pi为第i个锚点预测为真实标签的概率，为正负样本， ti为索引值为i的候选框的边界修正值，为一组与正样本锚点相关的真实目标框坐标，n
cls
为图片中的所有样本数量，n
reg
为锚点位置的个数。
[0078]
其中，分类损失为：
[0079][0080]
其中，边界框回归损失为：
[0081][0082]
smooth
l1
(x)计算公式为：
[0083][0084]
式中，ti＝[t
x
，ty，tw，th]为第i个锚点的边界框回归参数，为第i个锚点对应的真实框的边界框回归参数。
[0085]
其中，ga-rpn结构的作用是利用语义特征预测缺陷可能出现的位置及形状大小，有指导性的生成候选框，常用(x，y，w，h)来表示，其在图片i中出现的概率公式可表示为：
[0086]
p(x，y，ww，h|i)＝p(x，y|i)*p(w，h|i，x，y)
ꢀꢀꢀꢀ
(5)
[0087]
式中，x、y、w、h为前景物体在图像中出现的空间位置中心点坐标以及它的宽和高，p(x，yi)为给定图像特征之后锚点的中心点概率分布，p(w，h|i，x，y)为给定图像特征和中心点之后的形状概率分布。
[0088]
表2为改进faster r-cnn缺陷检测网络与原始网络的性能对比。
[0089]
表2改进faster r-cnn缺陷检测网络与原始网络的性能对比
[0090][0091]
步骤4中，通过labellmg对采集的数据集进行数据标注，每标注一张图片将生成一个xml文件，其与图片一一对应，每个xml文件内包含了缺陷边界框的坐标位置和绝缘子种类，标注完以后将数据集划分为训练集与测试集。
[0092]
步骤5中，深度学习库为python3.7.4、pytorch 1.9、cuda 10.2、cudnn 7.6.5 的配置环境下搭建并训练模型。设置初始的训练和测试参数，iou值设置为0.5，初始学习率设
置为0.0001，迭代次数为5000，通过反向传播算法得到训练好的权重和参数。
[0093]
步骤6中，将测试集放到网络中进行测试，即可进行太阳能电池片表面缺陷的检测，将各种缺陷进行划痕、破损、污渍和断栅的分类。
[0094]
如图4所示为一种改进faster r-cnn的太阳能电池片表面缺陷检测方法的检测结果图，分别为划痕、破损、污渍和断栅的检测结果。
[0095]
以上实施例只是为了说明本发明的技术构思及特点，便于让本领域内的普通技术人员理解，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的变化或修饰，都应涵盖在本发明的保护范围内。