基于机器视觉的全自动空心杯电机绕线机产品缺陷检测方法

1.本发明涉及绕线机产品的缺陷检测技术领域，具体公开了一种基于机器视觉的全自动空心杯电机绕线机产品缺陷检测方法。


背景技术：

2.近年来，为了适应高效率、高产量的生产要求，全自动绕线机逐渐替代传统绕线机，全自动机种一般采用多头联动设计，采用可编程控制器作为设备的控制核心，配合机械手、气动控制元件和执行附件来完成自动排线、自动缠脚、自动剪线、自动装卸骨架等功能，这种机型的生产效率极高，大大的降低了对人工的依赖，生产品质比较稳定，非常适合产量要求高的加工场合。
3.空心杯电机采用无铁芯转子，可消除由于铁芯形成涡流而造成的电能损耗，由于体积小、散热效果好、效率高等优点被应用于各个领域。电枢部件的质量对空心杯电机驱动性能好坏有重要影响，全自动空心杯电机绕线机为生产空心杯型转子的主要部件，因此本发明就此全自动空心杯电机绕线机产品表面缺陷检测展开研究。由于全自动空心杯电机绕线机漆包线绕制时因导针和骨架旋转之间的配合误差，震动等原因不可避免地会产生缺陷，如漆包线间距过大、厚薄不均、凸起、飞出、断线、跨线等，这些缺陷会导致线圈产生的磁场不均匀，影响产品的使用性能。
4.线圈的缺陷可以通过外观直接辨别，行业中以人工检测为主，但人工检测效率低、成本高，不利于生产线自动化。
5.目前线圈的常用检测方法有ct检测和超声波检测，但其对工作环境的要求较高，较难实现自动化检测，不能被广泛应用。
6.还有用工业相机直接代替人眼的检测，虽然该方法安全可靠、无辐射、准确性及灵活性较人工检测有显著提升，但其成本高。
7.为了克服上述问题，可利用深度学习技术，实现深度学习目标检测，目前目标检测领域的深度学习算法主要分为两大类：两阶段式(two-stage)目标检测算法和单阶段式(one-stage)目标检测算法。yolo深度学习检测算法是一种典型的one-stage算法模型，其网络结构主要由三个主要部件组成：主干特征提取网络、加强特征提取网络和预测网络，而yolov4-tiny是一种轻量化yolo网络，具有执行效率高，便于应用的特点。
8.因此本技术从实际应用角度出发，根据yolov4-tiny的特点，引入kmeans方法和cbam注意力机制，对其进行改进，应用到绕线机产品的缺陷检测中，及时发现绕线机运行中的问题，提高生产线的效率和智能化水平。


技术实现要素：

9.本发明针对全自动空心杯电机绕线机产品缺陷问题，提出了一种基于机器视觉的产品缺陷检测方法。以全自动空心杯电机绕线机产品线圈为研究对象，对其线圈外观合格性检测，结合深度学习目标检测的缺陷检测方法，解决现有方法的不足，从而对线圈表面缺
陷进行精确的视觉检测。
10.为实现上述目的，本发明提供了一种基于机器视觉的全自动空心杯电机绕线机产品缺陷检测方法，具体包括如下步骤：
11.步骤s1：选取全自动空心杯电机绕线机不同缺陷产品图像数据，构建全自动空心杯电机绕线机产品缺陷数据集；
12.步骤s2：将数据集划分为训练集、测试集和验证集，并对其进行预处理，将数据集通过kmeans方法进行聚类，得到对应于当前数据集训练所需的特征锚框；
13.步骤s3：构建注意力机制改进的yolov4-tiny缺陷检测网络，网络使用mish激活函数，在网络输出之后添加注意力机制模块，在网络的head输出部分添加输出头；
14.步骤s4：使用聚类后的数据集对改进的yolov4-tiny缺陷检测网络进行训练；
15.步骤s5：将全自动空心杯电机绕线机产品的实时图像数据输入缺陷检测网络，得到所述产品的缺陷检测结果。
16.进一步的，所述步骤s1中选取的全自动空心杯电机绕线机产品常见的缺陷图像，包括但不局限于线圈间距过大缺陷、厚薄不均缺陷、凸起缺陷、飞出缺陷、断线缺陷、跨线缺陷。
17.进一步的，所述步骤s2对缺陷数据集进行预处理，具体包括以下步骤：
18.(1)图片筛选，对采集的缺陷图片进行筛选，保留与输入尺寸要求相近的缺陷图片；
19.(2)缺陷标注，对筛选后的缺陷图片使用labelimg软件进行缺陷标签标注：凸起、飞出、断线、跨线等；
20.(3)数据集划分，将标注后的缺陷数据集按照voc数据格式进行划分，得到可用于输入所述缺陷检测网络的数据集；
21.(4)数据集聚类：将缺陷图片的训练输入数据集通过kmeans方法进行聚类，得到缺陷图片的特征锚框。
22.图像数据集过小会使训练的深度学习神经网络模型出现过拟合现象。为了避免这种情况发生，需要对采集的图像集采取数据增强的方法提高模型的鲁棒性和泛化能力。常用数据扩充发对缺陷图像进行数据增强，例如：更改图像曝光度、饱和度、色度以及位置旋转变换等。
23.进一步的，所述步骤s3构建注意力机制改进的yolov4-tiny缺陷检测网络，具体为：在yolov4-tiny网络的特征提取部分之后添加注意力机制模块，将relu激活函数替换为mish激活函数，并对在整个网络的输出部分添加head输出头。
24.优选的，将特征提取网络中的relu激活函数替换为mish激活函数，mish激活函数是光滑函数，具有较好的泛化能力和结果的有效优化能力，可以提高结果的质量，公式如下：
25.mish＝x*tanh(ln(1 e
x
))
ꢀꢀꢀ
(1)
26.其导数为：
[0027][0028]
ω＝4(x 1) 4e
2x
e
3x
e
x
(4x 6)
ꢀꢀꢀ
(3)
[0029]
δ＝2e
x
e
2x
2
ꢀꢀꢀ
(4)
[0030]
优选的，在特征提取网络的输出部分添加结合了空间注意力机制和通道注意力机制的cbam注意力机制模块，相比于传统的只关注通道的注意力机制可以取得更好的效果。
[0031]
其中，通道注意力机制是将输入的特征图经过全局最大池化和全局平均池化后，分别经过多层感知机mlp，再将两个池化对应得到的结果相加后，经过sigmoid函数得到对应权重与原输入特征图相乘后输出结果，公式为：
[0032]
mc(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f))
ꢀꢀꢀ
(5)
[0033]
式中，f为输入特征图，mlp()为多层感知机，avgpool()为均值池化，maxpool()为全局池化，σ为sigmoid操作。
[0034]
其中，空间注意力机制将通道注意力机制模块的输出特征图作为其输入特征图。首先进行基于通道数的全局最大池化和全局平均池化，然后将两个结果基于通道数进行连接，接着经过一个卷积操作，降为一个通道，最后将结果经过sigmoid函数生成通道注意力特征并将其输入特征图相乘得到最终生成的特征，公式如下：
[0035]ms
(f)＝σ(f
7*7
([avgpool(f)；maxpool(f)]))
ꢀꢀꢀ
(6)
[0036]
式中，σ为sigmoid操作，7*7表示卷积核大小。
[0037]
优选的，在特征提取部分resblock(26,26,256)层的特征和darknetconv2d_bn_mish(13,13,512)提取出来通过cbam注意力机制模块，再将后者经过卷积和采样后与前者进行特征融合并输出。
[0038]
进一步的，所述步骤s4使用聚类后的数据集对改进的yolov4-tiny缺陷检测网络进行训练，具体包括以下步骤：
[0039]
(1)采用训练集中数据训练注意力机制改进的yolov4-tiny网络，得到全自动空心杯电机绕线机产品缺陷检测网络；
[0040]
(2)采用测试集中数据评估全自动空心杯电机绕线机产品缺陷检测网络模型的性能；
[0041]
(3)采用验证集中数据对全自动空心杯电机绕线机产品缺陷检测网络模型的参数进行调整。
[0042]
进一步的，所述步骤s5中将全自动空心杯电机绕线机产品的实时图像数据输入缺陷检测网络，得到所述产品的缺陷检测结果，具体包括以下步骤：
[0043]
(1)通过机器视觉摄像头获取全自动空心杯电机绕线机产品的实时图像数据；
[0044]
(2)将实时图像数据输入缺陷检测网络，首先经过主干特征提取网络中cspdarknet53-tiny网络提取图像特征，经过cbam注意力机制模块获得不同权重的图像特征，接着通过加强特征提取网络将图像传递到预测层；
[0045]
(3)最终通过新增的输出头部分输出图片特征进行缺陷检测，得到产品缺陷检测结果。
[0046]
对比现有技术，本发明具有如下的有益效果：
[0047]
(1)本发明将深度学习目标检测网络引入线圈缺陷检测中，解决了人为检测时缺失的实时性及准确性问题，有效提高全自动空心杯电机绕线机产品线圈缺陷的检测效率和成功率；
[0048]
(2)本发明在yolov4-tiny的主干特征提取网络cspdarknet53-tiny之后添加了注
意力机制模块，大幅度提高特征提取效果，在不影响网络检测速度的情况下提升网络检测的精度；
[0049]
(3)本发明将在特征提取网络部分将多个特征进行融合，大幅提高特征深度，从而提升检测网络精度；
[0050]
(4)本发明将relu激活函数替换为mish激活函数，提升了模型泛化能力和结果的有效优化能力，可以提高检测结果的质量；
[0051]
(5)本发明采用drsn模型进行缺陷检测，很好地解决了检测中噪声的误差问题，不仅提高了检测的准确率，也加强了深度学习网络从含噪图像中提取特征的能力。
附图说明
[0052]
图1为本发明一种基于机器视觉的全自动空心杯电机绕线机产品缺陷检测方法步骤图；
[0053]
图2为全自动空心杯电机绕线机的产品典型缺陷图；
[0054]
图3为改进的yolov4-tiny缺陷检测网络的结构图；
[0055]
图4为改进的yolov4-tiny网络cbam模块中通道注意力机制结构图；
[0056]
图5为改进的yolov4-tiny网络cbam模块中空间注意力机制结构图；
[0057]
图6为改进的yolov4-tiny网络cbam注意力机制模块整体结构图。
具体实施方式
[0058]
下面结合说明书附图对本发明的具体实施方法做进一步详细的说明。实施本发明的过程、条件、实验条件等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
[0059]
为了对全自动绕线机产品线圈的表面绕线缺陷进行精确的视觉检测，本发明实施例提供一种基于机器视觉的全自动空心杯绕线机缺陷检测方法，结合深度学习目标检测中一种典型的one-stage算法模型——yolov4-tiny，并对其进行添加聚类算法和注意力机制进行改进。如图1所示，本发明基于机器视觉的全自动空心杯电机绕线机产品缺陷检测方法主要包括以下步骤：
[0060]
步骤s1：选取全自动空心杯电机绕线机不同缺陷产品图像数据，构建全自动空心杯电机绕线机产品缺陷数据集；
[0061]
步骤s2：将数据集分为训练集、测试集和验证集，并对其进行预处理；
[0062]
步骤s3：使用mish激活函数，在主干特征提取网络输出之后添加注意力机制模块，在head输出部分添加输出头，构建注意力机制改进的yolov4-tiny网络；
[0063]
步骤s4：使用数据集对改进的yolov4-tiny网络进行训练；
[0064]
步骤s5：将全自动空心杯电机绕线机产品数据输入缺陷检测网络，得到所述产品的缺陷检测结果。
[0065]
对于步骤s1：选取全自动空心杯电机绕线机不同缺陷产品图像数据，包括但不局限于间距过大、厚薄不均、凸起、飞出、断线、跨线等，构建全自动空心杯电机绕线机产品缺陷数据集。
[0066]
选取如图2所示的众多图像数据构成缺陷数据集。如图2(a)所示，选取的图像为全
自动空心杯电机绕线机中叠绕组(lap winding)合格品图像用于与缺陷图像进行比较；图2(b)所示，选取的图像为叠绕组缺陷图片，缺陷为绕制过程中骨架旋转角度有偏差，导致线圈出现厚薄不均现象；如图2(c)所示，选取的图像为全自动空心杯电机绕线机中斜绕组(skew winding)缺陷图片，缺陷为线圈绕制时因导针和骨架旋转之间的配合误差，震动等原因，致使线圈间距过大；图2(d)所示，选取的图像也为斜绕组缺陷图片，缺陷为偏离设定绕线距离，发生跨线。
[0067]
对于步骤s2：对步骤s1中选取的缺陷数据集划分为训练集、测试集和验证集，并对其进行预处理，具体包括以下步骤：
[0068]
(1)图片筛选，对采集的缺陷图片进行筛选，保留与输入尺寸要求相近的缺陷图片；
[0069]
(2)缺陷标注，对筛选后的缺陷图片使用labelimg软件进行缺陷标签标注：间距过大、厚薄不均、凸起、断线、跨线等；
[0070]
(3)数据集划分，将标注后的缺陷数据集按照voc数据格式进行划分，得到可用于输入所述缺陷网络的数据集；
[0071]
(4)数据集聚类：将缺陷图片的训练输入数据集通过kmeans方法进行聚类，得到缺陷图片的特征锚框。
[0072]
图像数据集过小会使训练的深度学习神经网络模型出现过拟合现象。为了避免这种情况发生，需要对采集的图像集采取数据增强的方法提高模型的鲁棒性和泛化能力。常用数据扩充发对缺陷图像进行数据增强，例如：更改图像曝光度、饱和度、色度以及位置旋转变换等。
[0073]
对于步骤s3：构建添加注意力机制改进的yolov4-tiny网络，如图3所示，为了便于理解本发明的实施例，首先对图3的缺陷检测网络模型进行介绍，按箭头顺序依次包括输入模块、kmeans聚类模块、主干特征提取网络(cspdarknet53-tiny)、注意力机制模块(cbam)、加强特征提取网络(fpn)和预测网络(head)、输出模块。
[0074]
kmeans聚类模块为使用kmeans聚类方法将图片中groundtruth的位置信息进行聚类，cspdarknet53-tiny为不同图像细粒度上聚合并形成图像特征的卷积神经网络，fpn为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层，head用于对图像特征进行预测，生成边界框和预测类别。
[0075]
为了减少计算量，提升检测网络速度，主干特征提取网络采用cspdarknet53-tiny网络。cspdarknet53-tiny优势在于可大幅度降低网络参数，从而减少计算量，提升检测网络速度。
[0076]
在特征提取网络的输出部分添加结合了空间注意力机制和通道注意力机制的cbam注意力机制模块。cbam相比于传统的只关注通道的注意力机制可以取得更好的效果。
[0077]
其中，通道注意力机制是将输入的特征图经过全局最大池化和全局平均池化后，分别经过多层感知机mlp，再将两个池化对应得到的结果相加后经过sigmoid函数得到对应权重与原输入特征图相乘后输出结果，公式为：
[0078]
mc(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f))
ꢀꢀꢀ
(1)
[0079]
式中，f为输入特征图，mlp()为多层感知机，avgpool()为均值池化，maxpool()为全局池化，σ为sigmoid操作。
[0080]
其中，空间注意力机制是将通道注意力机制模块输出的特征图作为输入特征图。首先是进行基于通道数的全局最大池化和全局平均池化，然后将两个结果基于通道数进行连接，然后经过一个卷积操作，变为一个通道，再将结果经过sigmoid生成通道注意力特征并于输入特征图相乘得到最终生成的特征，公式为：
[0081]ms
(f)＝σ(f
7*7
([avgpool(f)；maxpool(f)]))
ꢀꢀꢀ
(2)
[0082]
式中，σ为sigmoid操作，7*7表示卷积核大小。
[0083]
mish激活函数相较于relu激活函数的优点在于：在负值时并非完全截断，更好的保证信息流入；以上无边界避免了由于封顶而导致的饱和；最重要的一点在于梯度下降效果更好，从而保证曲线的平滑。平滑的激活函数允许更好的信息深入神经网络，确保模型有更高的准确性和泛化，因此本发明网络中激活函数使用mish激活函数，mish激活函数公式如下：
[0084]
mish＝x*tanh(ln(1 e
x
))
ꢀꢀꢀ
(3)
[0085]
其导数为：
[0086][0087]
ω＝4(x 1) 4e
2x
e
3x
e
x
(4x 6)
ꢀꢀꢀ
(5)
[0088]
δ＝2e
x
e
2x
2
ꢀꢀꢀ
(6)
[0089]
在cspdarknet53-tiny中通道大小为(13，13，512)的特征图与经过darknetconv2d_bn_leaky卷积后的特征相融合输出，以获得更多样的特征信息。
[0090]
对于步骤s4：使用数据集对注意力机制改进的yolov4-tiny网络进行训练，具体包括以下步骤：
[0091]
(1)采用训练集中数据训练注意力机制改进的yolov4-tiny网络，得到全自动空心杯电机绕线机产品缺陷检测网络；
[0092]
(2)采用测试集中数据评估全自动空心杯电机绕线机产品缺陷检测网络模型的性能；
[0093]
(3)采用验证集中数据对全自动空心杯电机绕线机产品缺陷检测网络模型的参数进行调整。
[0094]
对于步骤s5：将全自动空心杯电机绕线机产品图像数据输入缺陷检测网络，得到所述产品的缺陷检测结果。将图2所示全自动空心杯电机绕线机产品缺陷图像输入缺陷检测网络，经过主干特征提取网络中的cspdarknet53-tiny网络中的获得图像特征；通过网络中的注意力机制模块注意到全自动绕线机产品重要的特征，将他们保留下来；接着进入加强特征提取网络，在最后输出时通过新增的输出头部分可以输出更多图片特征，在原有基础上在增加极少计算量的情况下，大幅提升网络计算精度，使预测网络产生的检测结果更加的高效、精准。
[0095]
综上所述，本发明实施例提出的基于机器视觉的全自动空心杯电机绕线机产品缺陷检测方法，首先将数据集通过kmeans方法进行聚类，得到对应于当前数据集训练所需的特征锚框，将yolov4-tiny的主干特征提取网络为cspdarknet53-tiny网络，在特征提取网络之后添加cbam注意力机制模块，在整个网络的输出部分增加输出头。经过以上改进，不仅节约了参数量，提高了检测的速度与准确率，也加强了深度学习网络从含噪图像中提取特
征的能力，解决了人为检测时缺失的实时性及准确性问题。
[0096]
虽然本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种变动与修改，因此本发明的保护范围应当以权力要求所限定的范围为准。