基于目标检测的缺陷提取算法的制作方法

1.本发明涉及图像视觉检测技术领域，尤其是一种基于目标检测的缺陷提取算法。


背景技术：

2.缺陷检测是现代工业中关键的一环，对提高产品的出厂质量以及组件成品的好坏有决定性的作用。但是以往的人工检测繁琐，且标准不统一，受人的主观影响较大，在人力成本越来越高的时代，显得力不从心；而后期的机器检测则具有标准统一，人力成本低，检测速度快等优点。因此，视觉检测方案已成为各大检测公司的首选，常用的算法包括以传统视觉算法为基准的缺陷检测算法以及以深度学习算法为基础的缺陷检测算法。
3.但是，上述视觉检测方案具有以下缺点：
4.1.以传统视觉算法为基准的缺陷检测算法，它的缺点是需要定制化，十分依赖算法工程师的个人能力，并且定制算法的繁泛化性较差，十分依赖打光，机构运动等硬件条件，单张图像的检测ct较长；
5.2.以深度学习算法为基础的缺陷检测算法，它的缺点是虽然缺陷的检出能力尚可，但是过检十分严重，复杂背景下的缺陷检测能力减弱，对于缺陷的整体性把控较弱，同时检测的时间也相对较长。


技术实现要素：

6.本发明要解决的技术问题是：提供一种基于目标检测的缺陷提取算法，解决工业缺陷检测的过检测问题以及大尺寸图像的检测速度问题。
7.本发明解决其技术问题所采用的技术方案是：一种基于目标检测的缺陷提取算法，包括以下步骤，
8.s1、以标注工具为基础，对缺陷进行像素级标注和/或矩形框标注；
9.s2、以缺陷为中心，根据设定的窗口尺寸，在原始大图上切出小图切片并保存至对应的类别文件夹中；
10.s3、对各文件夹内样本的数量进行平衡；
11.s4、以coco数据集的数据格式对样本进行处理，得到txt标签文件；所述的标签文件包括缺陷的类别、缺陷的中心的坐标以及缺陷的外接矩形的长宽的归一化信息；
12.s5、对样本进行后道推理处理。
13.进一步的说，本发明所述的步骤s1中，所述的像素级标注涵盖所有缺陷像素，不标注非缺陷区域。
14.进一步的说，本发明所述的步骤s1中，对于缺陷相对离散且集中的，先进行像素级标注，在进行矩形框标注。
15.进一步的说，本发明所述的步骤s2中，若缺陷为同一类别且相对距离较近，则将小图切片保存至同一文件夹内；若缺陷相对距离较远，则将小图切片保存至不同的文件夹内。
16.进一步的说，本发明所述的步骤s2中，先对矩形框标注进行切图处理；切出的小矩
形框内包含像素级标注，不包含像素级标注的小矩形框丢弃。
17.再进一步的说，本发明所述的步骤s2中，处理完矩形框标注后，矩形框标注内的不同类别的像素级标注保留，并进入后续的像素级标注处理。
18.进一步的说，本发明所述的步骤s3中，通过复制的方法保持样本内间平衡或通过造缺陷的方法进行样本内间平衡。
19.进一步的说，本发明所述的步骤s4中，若缺陷的外接矩形的宽w大于高h*2，则认为该缺陷是较长的横向缺陷，则将缺陷分成宽为2*h，高为h的若干个小缺陷；若高h大于宽w*2，则认为是较长的竖向缺陷，则将该缺陷分成宽为w，高为2*w的若干个小缺陷。
20.本发明的有益效果是，解决了背景技术中存在的缺陷，通过基于目标检测对于目标物体整体检测的能力，避免了传统的像素级检测算法的过检测问题；通过裁剪图片以及gpu的多批次处理，降低大尺寸图像检测速度问题；不仅减少了缺陷检测的过杀问题，降低了后处理算法的难度；而且减少了单张图像的检测时间，大大提高了机器的运行效率。
附图说明
21.图1是本发明的整体流程示意图。
具体实施方式
22.现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
23.如图1所示的一种基于目标检测的缺陷提取算法，包括以下步骤：
24.1、标注策略
25.以标注工具为基础，对缺陷进行像素级标注以及矩形框标注，标注的情况大致分为以下两类。
26.1.1像素级标注
27.像素级的标注对所有缺陷有效，标注的原则是完整，清晰，涵盖所有缺陷像素，不标注非缺陷区域；
28.1.2矩形框标注 像素级标注
29.对于缺陷相对离散，且较集中的，采用像素级标注 矩形框标注的原则进行标注；缺陷相对较离散，必须先采用像素级标注，如果认为此类缺陷是作为整体存在的，则需要补充一个矩形框(注，框标注的框的尺寸不做限制，以缺陷实际边缘为准)。
30.2、样本切图 平衡策略
31.2.1样本切图
32.遍历所有的缺陷，以缺陷为中心，模型尺寸640*640为窗口大小，在原始大图上画出一个小切片，放入对应的类别文件夹；若原图小于640*640，则padding至640*640大小；如，两个缺陷都是一个类别且靠的较近，则会产生两个切片到同一个文件夹内；如，两个缺陷相对比较远，则会产生两个切片，分别到两个不同的文件夹内。
33.2.2样本切图优先级
34.样本切图中，可能存在矩形框标注以及像素级标注，在切图处理中，优先处理矩形框标注，在矩形框满足切断处理中，必须以像素级标注为准；
35.若满足切断的条件，切出的小矩形框内需包含像素级标注，不包含像素级标注的小矩形框则丢弃；
36.若不满足切断条件，则按原始框处理；
37.矩形框和像素级标注不重复，矩形框内的像素级标注一律不进入下一步的像素级标注切图处理。
38.当矩形框的标注出现不同类别的标注的时候，当处理完矩形框后，矩形框内的不同类别的像素级标注要得到保留，并进入后续的像素级标注处理。
39.2.3样本类间平衡
40.经过上述的样本切图，可以得到一系列的类别的样本文件夹；
41.由于样本的天然不平衡，各个文件夹内的样本切片数量大小不一，所以需要针对文件夹内样本的数量进行平衡，既可以通过复制的方法保持数量的平衡，也可以通过造缺陷的方法进行数量的平衡，以下以复制的方法来说明如何保持数量的平衡。
42.根据输入的样本数量，如5000，假设有5个缺陷类别，即为每类有5000/5＝1000张样本，根据切下来的情况，
43.若每一类均小于1000，则通过复制的方式，每类文件夹内数量补足到1000；
44.若某一类大于1000，如有1500，则以1500为基准，其余类通过复制的方式补足到1500，最终样本的总数量为1500*5＝7500。
45.3、长宽比处理
46.经过上诉处理，可以得到从原图上切片的小图和label图，目标检测中的标签是框的位置的格式，所以需要对label图进行处理，得到一个coco数据格式的txt标签文件。
47.3.1标注数据格式
48.数据格式以coco数据集的数据格式进行处理，
49.如，原图中仅有一个缺陷，所以标签中只有一行，分别为类别，缺陷的中心的x，y坐标以及缺陷的长宽w，h的归一化信息，归一化的方法为坐标(或长宽)/图片的尺寸，如，缺陷中心坐标为(320，350)，w＝7，h＝8.5。所以x＝320/640＝0.500000，y＝350/640＝0.547266，w＝7/640＝0.010937，h＝8.5/640＝0.013281。
50.若图中有多个缺陷则包含多行类似的信息。
51.3.2极大长宽比处理
52.如果标签图中含有较大长宽比的缺陷，则需要进行一步打断的处理，总体如下：
53.遍历所有的label图中的缺陷，得到缺陷的外接矩形的宽w，以及高h，若w》2*h，则认为该缺陷是较长的横向缺陷，则将缺陷分成宽为2*h，高为h的若干个小缺陷；
54.若h》2*w，则认为是较长的竖向缺陷，则将该缺陷分成宽为w，高为2*w的若干个小缺陷；
55.其余的则保留不进行切断处理。
56.对所有的缺陷的x，y，w，h，进行归一化处理，并写入txt格式的label的每一行，一行中包含5个数据，分别为类别(检测模型中只为0)，x，y，w，h。
57.原图的缺陷长宽比较长，经过处理后能为一个一个相连接的缺陷。
58.3.3物理尺寸较大但长宽比正常处理
59.如果标注的缺陷长宽比正常，小于1：2，但是实际尺寸较大，则根据开放的参数，按
照参数对缺陷进行截断处理。
60.最后，对样本的后处理作推理处理。
61.对于本实施例使用的检测网络，可设置目标的置信度参数，可认为是常规意义上的过滤阈值，为了尽可能的保证不漏检，推荐值设置为0.3。
62.4.1单一尺度的推理
63.当原始图像长宽不大于640*(2～3)时，并且标注缺陷大部分集中在600以下，推荐使用单一尺度的推理，完整推理流程如下：
64.1)将原始图像通过划窗切图的方式，切片成小片，并记录每一小片的坐标，以便复原使用。划窗需要overlap，推荐值为模型输入大小的一半。
65.2)每一张图像推理出的框合并，合并的依据为上下左右各增加3个像素，然后通过二值图映射的逻辑，得到包含缺陷的二值图；
66.3)一张原始图像推理结束后，根据切片记录的坐标信息，还原得到原始图像的推理结果图。
67.4.2多尺度的推理
68.当原始图像的长宽大于640*3的时候，可以在单一尺度的推理结果上进行一次补充，完整流程如下：
69.1)切片在单一尺度的基础上，增加640*n的窗口大小的切片，同时将这类切片resize到模型的输入大小640；
70.2)推理同单一尺度的推理；
71.还原同上，不同尺度的切片推理后得到的二值图，经过还原后，映射到原始的图像上，最终得到结果。
72.本方案是以卷积神经网络为基础的算法，通过对样本标签的学习，经过一定的迭代，能形成一个稳定的模型，从而不需要工程师去手动干预模型，并且该模型具有一定的泛化性，即使成像环境发生轻微的变化，该模型也能很好的适应这种变化，而非传统工业领域，一旦成像环境发生变化，算法工程师就需要对算法模型进行相应的调整。并且卷积神经网络算法在gpu的加持下，大大提高了模型的运行效率，相较于传统算法在cpu上运行有很大的提升。
73.同时，相较于现有技术中采用深度学习算法进行的缺陷检测，他们采取的是分割算法对缺陷进行像素级提取，虽然对于缺陷本身的检测能力尚可，但是对于一些正常的像素，过检现象比较严重，这是因为分割模型弱化了缺陷本身作为一个整体的信息，而本方案提出的缺陷检测模型，通过结合缺陷的不同尺寸的信息，达到不仅能更好的检测出缺陷，而且也能大大减少缺陷的过杀程度。
74.以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。