基于改进YOLOv3的卫浴陶瓷缺陷检测方法与流程

基于改进yolov3的卫浴陶瓷缺陷检测方法
技术领域
1.本发明涉及一种卫浴陶瓷缺陷检测技术，特别涉及一种基于改进yolov3的卫浴陶瓷缺陷检测方法。


背景技术：

2.中国是世界上最大的卫浴陶瓷生产国，卫陶行业生产企业众多，整个行业的自动化程度偏低，尤其是在成品卫陶缺陷检测环节，基本依靠人工手持眼看完成，并且人工记录缺陷的种类，效率低且鲁棒性差。除此之外，工厂培养一名熟练的检测工人需要花费少则半年多则几年的时间，大幅增加了生产成本问题，难以满足现代化工业生产的需求。
3.因此，如何设计一种卫浴陶瓷缺陷检测方法，使其可以克服现有人工缺陷检测中准确率和效率都偏低的缺陷，即成为本领域技术人员亟待解决的问题。


技术实现要素：

4.本发明的目的在于提供一种基于改进yolov3的卫浴陶瓷缺陷检测方法，以解决现有人工缺陷检测中准确率和效率都偏低的问题。
5.为实现上述目的，本发明提供一种基于改进yolov3的卫浴陶瓷缺陷检测方法，用于对卫浴陶瓷成品工件进行缺陷检测，所述检测方法包括以下步骤：
6.步骤1)对卫浴陶瓷成品工件进行批量拍摄，采集卫浴陶瓷表面原始缺陷图像数据；
7.步骤2)采用数据增强技术对所述卫浴陶瓷表面原始缺陷图像数据进行数据量扩充，之后对扩充后的所有缺陷图像数据进行缺陷特征标注，将标注后的缺陷图像数据制作成数据集；
8.步骤3)将所述数据集分批次送入改进的yolov3网络模型中，进行迭代训练，得到卫浴陶瓷表面缺陷检测模型；以及
9.步骤4)将待检测的卫浴陶瓷表面图像输入到所述卫浴陶瓷表面缺陷检测模型中，输出所述待检测的卫浴陶瓷表面图像中缺陷的类别和位置信息。
10.其中，于步骤1)中，卫浴陶瓷表面原始缺陷包括缩釉圆孔、小裂纹、硬裂、锈斑、白粉和脱釉。
11.其中，于步骤1)中，直接在卫浴陶瓷生产基地搭建拍摄设备，真实采集卫浴陶瓷表面缺陷图像数据。
12.其中，于步骤2)中，所述数据增强技术为利用旋转、翻转、镜像、缩放、平移的图像处理方法处理表面原始缺陷图像数据，达到数据量扩充的目的。
13.其中，在步骤1)采集的卫浴陶瓷表面原始缺陷图像数据包含3046张图像，并且各类别缺陷数量分布不均衡，在步骤2)中以数据增强技术进行数据量扩充处理，数据增加后的数据集包含7796张图像，并且各类别缺陷数量分布均衡。
14.其中，于步骤2)中，所述缺陷特征标注，是将每一张缺陷图像数据中的缺陷打上标
签，所述标签包括缺陷的种类以及缺陷在图像中的位置信息。
15.其中，于步骤2)中，所述缺陷特征标注，是利用labelimg开源辅助图像标定软件对每张缺陷图像中的缺陷打标签。
16.其中，于步骤2)中，将标注后的缺陷图像数据按照voc 2007数据集的格式制作成数据集。
17.其中，于步骤2)中，将标注后的缺陷图像数据进行划分，按照8:1:1的比例随机划分为训练集、验证集和测试集。
18.其中，于步骤3)中，利用tensorflow和keras开源深度学习框架构建所述改进的yolov3网络模型。
19.其中，于步骤3)中，所述改进的yolov3网络模型包括骨干网络和检测网络，所述骨干网络采用darknet-62网络，所述darknet-62网络中包含62个卷积层，没有池化层和全连接层；从所述骨干网络中的不同层级提取出5个不同尺寸的初始特征图，输入到所述检测网络，在所述检测网络中经过特征融合操作，产生5个最终特征图，所述5个最终特征图与通过k-means聚类算法在所述数据集上重新生成的15个先验框结合起来，负责检测图像中的缺陷。
20.其中，于步骤3)中，从所述骨干网络中提取出的初始特征图的尺寸与所述检测网络中输出的最终特征图的尺寸一致；所述初始特征图的尺寸分别为(6
×
6)、(13
×
13)、(26
×
26)、(52
×
52)、(102
×
102)；所述最终特征图的尺寸分别为(6
×
6)、(13
×
13)、(26
×
26)、(52
×
52)、(102
×
102)；所述先验框的尺寸分别为：(27
×
26)、(42
×
40)、(52
×
62)、(57
×
172)、(76
×
77)、(87
×
427)、(104
×
42)、(122
×
103)、(147
×
132)、(189
×
797)、(228
×
195)、(296
×
62)、(352
×
1127)、(465
×
272)、(725
×
787)。
21.其中，于步骤3)中，所述特征融合操作为，输入到检测网络中的小尺寸的底层特征图经过上采样操作增大尺寸，然后经过一系列的卷积操作后，与上层特征图进行拼接，以此进行特征融合，之后再经过一系列的卷积操作，得到5个最终特征图，所述5个最终特征图负责结果的预测，结果包含了图像中缺陷的类别信息、位置信息以及对预测结果的信心分数。
22.其中，于步骤3)中，大尺寸的最终特征图感受野较小，与小尺寸的先验框结合起来，负责图像中小尺寸的目标检测任务；而小尺寸的最终特征图感受野较大，与大尺寸的先验框结合起来，负责图像中大尺寸的目标检测任务。
23.其中，于步骤3)中，改进的yolov3网络模型的训练通过降低模型的损失函数来完成，yolov3模型的损失函数loss包含3个部分：分类损失、定位损失以及置信度损失，以l
box
代表目标的定位损失，l
obj
代表目标置信度损失，l
cls
代表目标分类损失，相应的数学公式如下所示：
24.loss＝l
box
l
obj
l
cls
[0025][0026]
[0027][0028]
其中，于步骤3)中，改进的yolov3网络模型的激活函数为prelu，prelu的优势在于负半轴区域的斜率ai是一个能够进行学习的参数，并非预先设定的，是在网络模型训练过程中从数据中学习得到的，并且斜率ai在模型训练完成时固定，在之后的测试过程也保持不变，prelu的数学表达式如下所示：
[0029][0030]
其中，于步骤3)中，改进的yolov3网络模型训练时采用迁移学习，分两阶段训练，第一阶段冻结除最后3层外的所有网络层，先采用0.001的学习率训练200个轮次，第二阶段解冻所有网络层，采用0.0001的学习率训练400个轮次，并且在第二阶段训练时采用学习率下降策略和提前终止训练策略。
[0031]
近些年来，随着计算机技术的飞速发展，深度学习技术也取得了巨大的进步，国内外许多科研机构和高校开始将深度学习技术应用于工业缺陷检测。深度学习中的多层卷积神经网络结构可以提取原始图像中的抽象特征，之后再用于缺陷检测，这保证了缺陷检测的结果的准确率。
[0032]
本发明应用了深度学习中的多层卷积神经网络结构，提出一种基于改进yolov3的卫浴陶瓷缺陷检测方法，该方法的有益效果在于：
[0033]
1.方法简单，易于实施：本发明针对原始yolov3目标检测网络模型做出相应的改进，完美契合卫浴陶瓷表面缺陷检测的需求，算法简单，无需精密仪器设备，方法简单实用。
[0034]
2.准确率高：本发明利用深度学习技术，从大量数据中学到了目标缺陷特征，从而保证方法在实施时可以准确检测出图像中的缺陷，相比于人工方法和传统方法，本发明的检测精度更高。
[0035]
3.检测速度快：本发明选用了一种检测速度较快的网络模型，并且进行针对性改进，在保证准确率的情况下，也有较快的检测速度，具备较高的检测速度，能够实现实时检测。
[0036]
4.效果好：本发明对于典型的卫浴陶瓷表面缺陷都有较好的缺陷检测效果。
[0037]
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
[0038]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1为本发明基于改进yolov3的卫浴陶瓷缺陷检测方法的框架流程图。
[0040]
图2为本发明的改进yolov3网络模型结构图。
[0041]
图3为本发明的骨干网络darknet-62的网络结构图。
具体实施方式
[0042]
为能说清楚本实用新型的技术特点，以使得本领域技术人员可以清楚的了解本实用新型的结构、特点、使用方式及技术效果，下面通过具体实施方式，并结合附图，对本实用新型的方案进行阐述。但以下所述仅为例示说明之用，并不作为本实用新型保护范围的限制。
[0043]
请参考图1-图3。本发明提供一种基于改进yolov3的卫浴陶瓷缺陷检测方法，用于对卫浴陶瓷成品工件进行缺陷检测，所述检测方法主要包括以下步骤：
[0044]
步骤1)对卫浴陶瓷成品工件进行批量拍摄，采集卫浴陶瓷表面原始缺陷图像数据。
[0045]
具体而言，在本步骤中，直接在卫浴陶瓷生产基地搭建拍摄设备，真实采集大批量卫浴陶瓷表面缺陷图像数据。卫浴陶瓷表面原始缺陷包括缩釉圆孔、小裂纹、硬裂、锈斑、白粉和脱釉。
[0046]
在本步骤采集的卫浴陶瓷表面原始缺陷图像数据包含3046张图像，但是各类别缺陷数量分布不均衡(缩釉圆孔、小裂纹、硬裂、锈斑、白粉和脱釉的图像数据数量分布不均衡)，需要进一步进行处理。
[0047]
步骤2)采用数据增强技术对所述卫浴陶瓷表面原始缺陷图像数据进行数据量扩充，之后对扩充后的所有缺陷图像数据进行缺陷特征标注，将标注后的缺陷图像数据制作成数据集。
[0048]
具体而言，由于在步骤1)采集的原始缺陷图像数据缺陷数量分布不均衡，因此在步骤2)中首先以数据增强技术进行数据量扩充处理。所述数据增强技术为利用旋转、翻转、镜像、缩放、平移的图像处理方法处理表面原始缺陷图像数据，达到数据量扩充的目的。上述旋转、翻转、镜像、缩放、平移为数据增强技术具体实施方式的举例，本领域技术人员也可以采用其他图像处理方法扩充数据量。数据增加后的数据集包含7796张图像，并且各类别缺陷数量分布均衡(缩釉圆孔、小裂纹、硬裂、锈斑、白粉和脱釉的图像数据数量分布均衡)。
[0049]
在数据量扩充之后，本步骤进一步进行缺陷特征标注操作。所述缺陷特征标注，是利用labelimg开源辅助图像标定软件，将每一张缺陷图像数据中的缺陷打上标签，所述标签包括缺陷的种类以及缺陷在图像中的位置信息。
[0050]
最后，本步骤将标注后的缺陷图像数据按照voc 2007数据集的格式制作成数据集。具体为将标注后的缺陷图像数据进行划分，按照8:1:1的比例随机划分为训练集、验证集和测试集。
[0051]
步骤3)将所述数据集分批次送入改进的yolov3网络模型中，进行迭代训练，得到卫浴陶瓷表面缺陷检测模型。
[0052]
具体而言，在本步骤中，首先利用tensorflow和keras开源深度学习框架构建改进的yolov3网络模型(图2所示为网络模型整体结构示意图)。所述改进的yolov3网络模型包括骨干网络和检测网络。
[0053]
所述骨干网络采用darknet-62网络(网络结构如图3所示，所述骨干网络为特征提取网络，负责输入图像的特征提取工作)，所述darknet-62网络中包含62个卷积层，没有池化层和全连接层。
[0054]
将数据集送入骨干网络，从所述骨干网络中的不同层级提取出5个不同尺寸的初
始特征图，输入到所述检测网络，所述初始特征图的尺寸分别为(6
×
6)、(13
×
13)、(26
×
26)、(52
×
52)、(102
×
102)。
[0055]
输入到所述检测网络的初始特征图，在所述检测网络中经过特征融合操作，产生5个最终特征图，所述最终特征图的尺寸分别为(6
×
6)、(13
×
13)、(26
×
26)、(52
×
52)、(102
×
102)，与所述骨干网络中提取出的初始特征图的尺寸一致。前述特征融合操作为，输入到检测网络中的小尺寸的底层特征图经过上采样操作增大尺寸，然后经过一系列的卷积操作后，与上层特征图进行拼接，以此进行特征融合，之后再经过一系列的卷积操作，得到5个最终特征图，所述5个最终特征图负责结果的预测，结果包含了图像中缺陷的类别信息、位置信息以及对预测结果的信心分数。
[0056]
通过k-means聚类算法在所述数据集上重新生成15个先验框，所述先验框的尺寸分别为：(27
×
26)、(42
×
40)、(52
×
62)、(57
×
172)、(76
×
77)、(87
×
427)、(104
×
42)、(122
×
103)、(147
×
132)、(189
×
797)、(228
×
195)、(296
×
62)、(352
×
1127)、(465
×
272)、(725
×
787)。
[0057]
所述5个最终特征图与15个先验框结合起来，负责检测图像中的缺陷。大尺寸的最终特征图感受野较小，与小尺寸的先验框结合起来，负责图像中小尺寸的目标检测任务；而小尺寸的最终特征图感受野较大，与大尺寸的先验框结合起来，负责图像中大尺寸的目标检测任务。
[0058]
并且，在本步骤中，改进的yolov3网络模型的训练通过降低模型的损失函数来完成，yolov3模型的损失函数loss包含3个部分：分类损失、定位损失以及置信度损失，以l
box
代表目标的定位损失，l
obj
代表目标置信度损失，l
cls
代表目标分类损失，相应的数学公式如下所示：
[0059]
loss＝l
box
l
obj
l
cls
[0060][0061][0062][0063]
改进的yolov3网络模型的激活函数为prelu，prelu的优势在于负半轴区域的斜率ai是一个能够进行学习的参数，并非预先设定的，是在网络模型训练过程中从数据中学习得到的，并且斜率ai在模型训练完成时固定，在之后的测试过程也保持不变，prelu的数学表达式如下所示：
[0064][0065]
改进的yolov3网络模型训练时采用迁移学习，分两阶段训练，第一阶段冻结除最
后3层外的所有网络层，先采用0.001的学习率训练200个轮次，第二阶段解冻所有网络层，采用0.0001的学习率训练400个轮次，并且在第二阶段训练时采用学习率下降策略和提前终止训练策略。
[0066]
具体而言，模型训练时，第一阶段利用原作者提供的参数作为模型初始化参数，冻结除最后3层外的所有网络层，仅训练最后3层的网络层，选用采用adam模型优化器，训练轮次设定为200轮，学习率设定为0.001，批大小设定为16，规定每次从训练集中随机挑选16张图像输入网络中进行训练。
[0067]
在完成第一阶段的训练任务后，直接开启第二阶段训练，采用第一阶段的模型参数作为网络的初始参数，解冻所有隐藏层参与网络模型的训练，选用采用adam模型优化器，训练轮次设定为400轮，学习率设定为0.0001，批大小设定为8，并且训练时采用学习率下降策略和提前终止训练策略。
[0068]
学习率下降策略是网络模型经过一定轮次的训练后，网络的损失函数不再发生变化，就降低学习率，以获得更好的训练效果。
[0069]
提前终止训练策略是当经过一定轮次的训练后，网络的损失函数不再发生变化，认为此时网络已经收敛，提前终止训练。
[0070]
在本发明中，学习率下降策略的耐心值设定为3，动量参数为0.1，提前终止训练策略的耐心值设定为10。表示当经过3个轮次的训练，模型损失函数不下降，学习率就降为之前的十分之一。当经过10个轮次的训练，模型损失函数不下降，认为此时模型已经达到收敛状态，提前终止训练。
[0071]
本发明提出的改进yolov3算法与原始yolov3算法的实施结果进行比较，得到两种算法的检测精度与检测速度如下表所示。
[0072][0073]
可以看出改进模型的检测精度更高，并且检测速度为25fps，也可以满足实时检测的需求。
[0074]
步骤4)将待检测的卫浴陶瓷表面图像输入到所述卫浴陶瓷表面缺陷检测模型中，输出所述待检测的卫浴陶瓷表面图像中缺陷的类别和位置信息。
[0075]
本发明应用了深度学习中的多层卷积神经网络结构，提出一种基于改进yolov3的卫浴陶瓷缺陷检测方法，该方法的有益效果在于：
[0076]
1.方法简单，易于实施：本发明针对原始yolov3目标检测网络模型做出相应的改进，完美契合卫浴陶瓷表面缺陷检测的需求，算法简单，无需精密仪器设备，方法简单实用。
[0077]
2.准确率高：本发明利用深度学习技术，从大量数据中学到了目标缺陷特征，从而保证方法在实施时可以准确检测出图像中的缺陷，相比于人工方法和传统方法，本发明的检测精度更高。
[0078]
3.检测速度快：本发明选用了一种检测速度较快的网络模型，并且进行针对性改进，在保证准确率的情况下，也有较快的检测速度，具备较高的检测速度，能够实现实时检
测。
[0079]
4.效果好：本发明对于典型的卫浴陶瓷表面缺陷都有较好的缺陷检测效果。
[0080]
上述实施例为本发明效果较好的实施方式，但本发明的实施方式并不受上述实施例的限制。当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变、变形、修饰、替代、组合、简化，但这些相应的改变和变形均应为等效的置换方式，都应属于本发明权利要求的保护范围。