一种用于磁簧开关的异物缺陷检测方法与流程

1.本发明涉及图像检测技术领域，具体涉及一种用于磁簧开关的异物缺陷检测方法。


背景技术：

2.缺陷检测是在磁簧开关生产过程中为保证产品质量的一个重要环节。表面含有缺陷的次品磁簧开关一旦流入市场，轻则影响用户体验，损害厂商信誉，重则酿成安全事故，造成不可挽回的严重后果。通过缺陷检测可以及时阻止不良品流入市场，并对产品质量的把控，还可以及时指出生产工艺或机器中需要改进的节点，形成生产与质量把控的闭环控制。
3.传统的缺陷检测方式主要依靠人工目视检测，然而由于磁簧管体积小、密闭性强等特点，质量检测工作人员往往需要通过显微镜才能对磁簧开关管元件进行肉眼检测。同时，人工目视检测存在检测精度不佳、检测结果主观性强、效率低下等缺点。因此传统的人工目视检测已经无法满足生产企业对高精度高速度缺陷检测的要求。
4.近年来，随着机器视觉技术的不断发展，将基于深度学习的目标检测技术应用于工业生产成为了各大厂家的研究热点。基于深度学习的目标检测算法在近年来取得许多重大突破。其中，r-cnn算法是利用深度学习进行目标检测的开山之作，通过在输入图像上进行选择性搜索获得候选区域并通过神经网络中进行特征提取，再利用svm对特征进行分类。spp-net算法将特征金字塔池化引入特征提取网络以实现任意图像大小的输入。fast r-cnn算法通过先提取特征图再将候选区域在最后一层映射的方式，避免了特征的重复运算。faster r-cnn算法将特征提取、候选区域提取、边界框的位置回归和分类都结合到了一个统一网络，解决了计算瓶颈。同时，进行目标框类别和位置回归的单阶段检测器应运而生。yolo算法开创性地将目标检测转化为单阶段的回归问题，采用一个统一网络同时进行边界框位置坐标和类别的回归，大大缓解了之前两阶段检测速度低下的问题。yolov2、yolov3和yolov4算法，通过设计更深更鲁棒的网络，并融入了一系列目标检测前沿的优化技巧，达到了检测精度和速度平衡的最优解。基于深度学习的目标检测技术可以自主学习缺陷特征，学习到的特征鲁棒性强、适应性高，因此检测精度高。并且检测速度快，可以实现实时处理。因此基于深度学习的目标检测在速度、精度、适应性等方面有很大的发展空间。
5.但是，目前工业生产中应用深度学习进行缺陷检测的研究较少，目前尚不存在针对磁簧开关管异物缺陷专门设计并优化的缺陷检测方法和系统。现有的一些通用目标检测算法应用在尺寸差异大、特征复杂的缺陷检测任务中性能不够理想。磁簧开关管异物缺陷检测任务存在诸多难点。首先异物缺陷尺寸差异大，并且大部分为小尺度目标。其次异物缺陷特征较单一，易与玻璃管壁污渍、簧片上压痕等良品样本混淆，容易造成大量误检。并且接点内异物和接点外异物对产品使用的危害程度差距较大，需要设置不同的检测标准，此外实际生产中对精度和速度的严苛要求也对检测方法的设计带来了更大的挑战。目前已有的目标检测模型在效率、鲁棒性等方面存在一定局限，不能在磁簧管缺陷检测任务中直接
应用。
6.因此，如何解决目前缺陷检测方法的不足，并构建出一套完整的系统和装置，来高效可靠地实现工业生产中的磁簧管异物缺陷检测，具有极高的研究价值和现实意义。


技术实现要素：

7.针对弹簧开关生产过程中对于异物缺陷检测中存在的问题，本发明提出了一种用于磁簧开关的异物缺陷检测方法，包括步骤：
8.s1：获取待检测磁簧开关的采样图像，并通过簧片目标检测模型提取采样图像中簧片区域的目标图像；
9.s2：通过锚框优化后的多尺度目标检测模型进行目标图像内簧片接点内预设尺寸内异物缺陷检测，若检测到异物缺陷，进入步骤s5，否则进入步骤s3；
10.s3：通过异物目标检测模型进行目标图像内簧片接点外预设尺寸外异物缺陷检测，若检测到异物缺陷，进入步骤s4,若否，进入步骤s5；
11.s4：根据检测出的异物缺陷进行基于形态学的误检滤除；
12.s5：根据异物缺陷检测结果，进行磁簧开关质检分类。
13.进一步地，所述s2步骤中，多尺度目标检测模型基于yolov4模型构建，yolov4模型初始状态下包含依次连接的骨干网络、下采样层、颈部网络和头部网络，所述下采样层包括三个尺度的下采样层，分别为8倍下采样层、16倍下采样层和32倍下采样层；
14.所述多尺度目标检测模型在yolov4模型原有下采样层设置的基础上增设4倍下采样层这一尺度的下采样层，并在颈部网络和头部网络之间根据各下采样层的深度分别设置感受野增强模块。
15.进一步地，所述感受野增强模块用于通过将空洞卷积层与颈部网络输出的特征图进行级联来获得四个不同尺度感受野的特征图，并将四个特征图进行拼接获取感受野融合增强后的特征图。
16.进一步地，所述颈部网络中内含双向特征金字塔结构，用于通过其中的卷积层将四个尺度下采样层的输出进行融合；所述四个不同尺度感受野的特征图，其感受野分别为1
×
1、3
×
3、7
×
7、11
×
11。
17.进一步地，所述多尺度目标检测模型的训练方法为：
18.采集并标注磁簧开关处预设尺寸内异物缺陷的样本图像，并根据样本图像构建缺陷数据集；
19.基于缺陷数据集获取数据增强后的增广数据集；
20.根据增广数据集，通过k均值聚类算法提取预设排名内的聚类中心作为多尺度目标检测模型的锚框设定；
21.根据增广数据集和锚框设定对多尺度目标检测模型进行预设尺寸内异物缺陷检测的训练。
22.进一步地，所述数据增强包括图像变换处理、马赛克处理和复制粘贴处理。
23.进一步地，所述簧片目标检测模型和异物目标检测模型均基于yolov4模型构建，提取的目标图像大小为预设尺寸。
24.进一步地，所述s4步骤中，异物缺陷由检出框根据检测结果框选，对于异物缺陷的
滤除具体方法为：
25.s41：滤除检出框预设区域外的区域图像；
26.s42：将滤除后预设区域内的区域图像进行二值化以及平滑处理；
27.s43：判断处理后区域图像的前景比例是否大于预设阈值，若是，判断该异物缺陷检测无误，若否，判断该异物缺陷检测有误并滤除。
28.与现有技术相比，本发明至少含有以下有益效果：
29.(1)本发明所述的一种用于磁簧开关的异物缺陷检测方法，通过对数据集进行聚类得到优化后的锚框，提高了模型的学习效率，通过对yolov4进行改进，提高了模型对于小体积异物缺陷的检测效果，提高异物检出率；
30.(2)通过先检测簧片区域再检测簧片接点内预设尺寸内异物缺陷的二级检测结构，在检测初期就减少检测所需要处理的数据量，提高了检出效率；
31.(3)通过将簧片接点内预设尺寸内异物缺陷与簧片接点外预设尺寸外异物缺陷的区分检测，使得二者可以设置不同的检出标准，并可对预设尺寸外异物缺陷进行滤除处理，以滤除明错误，降低误检率；
32.(4)满足工业自动化生产的需求，在一定程度上可以代替人力劳动，节省了人力成本。
附图说明
33.图1为一种用于磁簧开关的异物缺陷检测方法的方法步骤图；
34.图2为改进后yolov4模型结构示意图；
35.图3为感受野增强模块的功效示意图。
具体实施方式
36.以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
37.实施例一
38.针对于现有磁簧开关生产检测中需要依靠人力进行异物缺陷检测，存在主观性判定和效率低的问题，同时，不同区域有不同检测标准的问题，如图1所示，一种用于磁簧开关的异物缺陷检测方法，包括步骤：
39.s1：获取待检测磁簧开关的采样图像，并通过簧片目标检测模型提取采样图像中簧片区域的目标图像；
40.s2：通过锚框优化后的多尺度目标检测模型进行目标图像内簧片接点内预设尺寸内异物缺陷检测，若检测到异物缺陷，进入步骤s5，否则进入步骤s3；
41.s3：通过异物目标检测模型进行目标图像内簧片接点外预设尺寸外异物缺陷检测，若检测到异物缺陷，进入步骤s4,若否，进入步骤s5；
42.s4：根据检测出的异物缺陷进行基于形态学的误检滤除；
43.s5：根据异物缺陷检测结果，进行磁簧开关质检分类。
44.需要注意的是，预设尺寸的大小设定，实际是根据簧片接点内外相应的安全规格限定参数设定的。在实际生产中，簧片接点内外，根据安全规格参数其预设尺寸的设定可能
并不相同。
45.本发明在数据数据获取伊始就通过二级结构进行图像筛选，先筛选出簧片区域再进行簧片接点内外的异物缺陷的检测，并根据簧片接点内外对异物缺陷的不同检测标准进行细化检测，有利于提高缺陷的检出率，降低误检率，从而满足大批量自动化工业生产中的缺陷检测要求，节省人力成本。
46.同时，为了更好的提取目标图像中的细粒级异物缺陷，本发明在yolov4模型的基础上，对其进行改进从而获得多尺度目标检测模型，以使其能更好的识别细粒级异物缺陷。在对本发明的改进点进行说明前，需要对yolov4模型进行说明。
47.yolov4模型初始状态下包含依次连接的骨干网络、下采样层、颈部网络和头部网络，所述下采样层包括三个尺度的下采样层，分别为8倍下采样层、16倍下采样层和32倍下采样层。初始状态下的yolov4模型，在输入目标图像后，目标图像经过其骨干网络(cspdarknet53)对输入图像提取多个尺度下的尺度特征图，也即是由8倍下采样层输出的第一尺度特征图(从骨干网络第53层卷积层引出)，由16倍下采样层输出的第二尺度特征图(从骨干网络第104层卷积层引出)和由32倍下采样层输出的第三尺度特征图(从骨干网络第104层引出)。而后骨干网络输出的各个尺度特征图，经由颈部网络中的双向特征金字塔结构(内含若干卷积层)进行多尺度特征图的融合。而后将融合后的特征图经由头部网络进行1
×
1的卷积操作后与输入的目标图像相加，并通过激活函数激活(leaky rule)后即可得到增强后的特征图。
48.而本发明基于yolov4模型的改进(如图2)具体包括：在yolov4模型原有下采样层设置的基础上增设4倍下采样层这一尺度的下采样层，并在颈部网络和头部网络之间根据各下采样层的分别设置感受野增强模块。其中，感受野增强模块用于通过将空洞卷积层与颈部网络输出的特征图进行级联来获得四个不同尺度感受野的特征图，并将四个特征图进行拼接实现特征图的感受野融合增强，各感受野大小的特征图其获取方法具体为：
49.如图3所示，将四个尺度的下采样层(4倍、8倍、16倍、32倍)经颈部网络中双向特征金字塔结构融合后的特征图分别经过一个感受野增强模块。感受野模块通过1
×
1的卷积层(conv)、5
×
5的卷积层和3
×
3扩张率(rate)为3的空洞卷积层的级联实现感受野(rf)为11
×
11的特征图；通过1
×
1的卷积层、3
×
3的卷积层和3
×
3扩张率为2的空洞卷积层的级联实现感受野为7
×
7的特征图；通过1
×
1的卷积层和3
×
3的卷积层的级联实现感受野为3
×
3的特征图(相当于级联3
×
3扩张率为1的空洞卷积层)；通过1
×
1的卷积层实现感受野为1
×
1的特征图(相当于级联3
×
3扩张率为0的空洞卷积层)。
50.接着将四个尺度感受野的特征图拼接起来，并通过1
×
1的卷积操作后与输入特征图相加后，通过激活函数后输出增强后的特征图。
51.本发明通过对yolov4模型进行四尺度检测结构和嵌入感受野增强模块等改进，从而提高模型对小目标的检测效果，增加小异物检出率。
52.上述说明中，虽然对异物缺陷的检测进行了目标检测模型的选取和适应性改进，但是如何训练该模型使其获得更好的训练效果也是本发明需要解决的，因此本发明在对yolov4模型进行改进的基础上还对其训练方法进行了改进，具体步骤如下：
53.a1:采集并标注磁簧开关处预设尺寸内异物缺陷的样本图像，并根据样本图像构建缺陷数据集；
54.a2：基于缺陷数据集获取数据增强后的增广数据集；
55.a3：根据增广数据集，通过k均值聚类算法(k-means )提取预设排名内的聚类中心作为多尺度目标检测模型的锚框设定；
56.a4：根据增广数据集和锚框设定对多尺度目标检测模型进行预设尺寸内异物缺陷检测的训练。
57.其中，为了增强样本的多样性，抑制过拟合，提高模型的泛华能力，本发明在步骤a2中对缺陷数据集进行数据增强，所述数据增强包括：图像变换处理、马赛克处理和复制粘贴处理等多种数据增强方法，获得增广后的小异物缺陷数据集，并划分训练集和测试集。其中，图像变换处理包括随机翻转、裁剪和缩放等几何变换，以及模糊、锐化、噪声和色彩抖动等色彩变换。马赛克处理是通过随机取四张样本进行常规数据增强后分别组合拼接在一张图的四个方向，并对超出边界的部分进行裁剪。复制粘贴处理通过随机将标注的缺陷目标矩形框从背景中裁剪出，经过翻转、缩放和旋转等几何变换后，在背景限定的区域内随机进行粘贴，与背景进行泊松融合。
58.而后，通过对缺陷数据集进行k均值聚类算法下的聚类处理，从而得到优化后的锚框，从而提高模型的学习效率。在一优选实施例中，为了更好的进行模型学习，将预设排名的数额设定为9。
59.当然，在实际生产中，会存在大量与异物缺陷成像相似，但不属于缺陷的良品样本，比如磁簧开关管玻璃壁上的污渍和磁簧开关管簧片上的压痕等等。这些处于接点分布区域外的样本将导致大量的接点外大异物误检，因此需要通过后处理模块来进行滤除。其中基于形态学的误检滤除方法就是很好的一种解决方法。而在其他实施例中，也可以采用其他后处理方法，并不限于形态学后处理方法。在本发明中，基于形态学的滤除方法具体为：
60.s41：滤除检出框预设区域外的区域图像(用以滤除接点外不属于异物缺陷该存在位置处的区域)；
61.s42：将滤除后预设区域内的区域图像进行二值化以及平滑(开操作)处理(用以滤除检出框前景比例分布不符合接点外预设尺寸外异物的检出框，从而滤除明显的玻璃管壁污渍、簧片压痕引起的误检)；
62.s43：判断处理后区域图像的前景比例是否大于预设阈值，若是，判断该异物缺陷检测无误，若否，判断该异物缺陷检测有误并滤除。
63.同时，本实施例中簧片目标检测模型和异物目标检测模型均是基于yolov4模型构建的(其中，簧片目标检测模型可选用体量更小、帧率更高的yolov4-tiny模型)，利用yolov4模型检测精度高、速度快等特点提高模型的检测效率和质量。同时，提取的目标图像大小也选取的是预设尺寸(288
×
288)，一方面可以提高检测速度，另一方面通过降低检测图像分辨率，使模型忽略无需检出的极小异物，降低接点外大异物的误检率。当然，在其他实施例中，也可以采用其他的检测模型，并不限于yolov4模型。
64.综上所述，本发明所述的一种用于磁簧开关的异物缺陷检测方法，通过对数据集进行聚类得到优化后的锚框，提高了模型的学习效率，通过对yolov4进行改进，提高了模型对于小体积异物缺陷的检测效果，提高异物检出率；通过先检测簧片区域再检测簧片接点内预设尺寸内异物缺陷的二级检测结构，在检测初期就减少检测所需要处理的数据量，提
高了检出效率。
65.通过将簧片接点内预设尺寸内异物缺陷与簧片接点外预设尺寸外异物缺陷的区分检测，使得二者可以设置不同的检出标准，并可对预设尺寸外异物缺陷进行滤除处理，以滤除明错误，降低误检率。同时满足工业自动化生产的需求，在一定程度上可以代替人力劳动，节省了人力成本。
66.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
67.另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
68.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
69.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。