缺陷检测模型训练方法和缺陷检测方法及装置和设备与流程

1.本公开涉及缺陷检测领域，尤其涉及一种缺陷检测模型训练方法和缺陷检测方法及装置和设备。


背景技术：

2.缺陷检测是工业上非常重要的一个应用，由于缺陷多种多样，传统的机器视觉算法很难做到对缺陷特征完整的建模和迁移，复用性不大，要求区分工况，这会浪费大量的人力成本。为了减少人力资源的浪费，将发展非常迅速的机器视觉和人工智能引入缺陷检测领域。ai(人工智能)缺陷检测算法是，通过输入大量的图像，对搭建的智能神经网络进行不断地训练以及反馈式调整，从而得到一个比较稳定的网络。传统用于缺陷检测的输入图像，是图像扫描设备对多个同一试件的同一位置进行扫描，存成图像。用这种图像作为输入图像对神经网络进行训练也带来了很多挑战：图像扫描设备在扫描多个同一试件的同一位置时，由于设备的旋转，平移等原因造成扫描图像的平移和旋转，将这样的图像传入神经网络进行训练和学习会对神经网络造成干扰，降低神经网络的缺陷检测准确率。


技术实现要素：

3.有鉴于此，本公开提出了一种缺陷检测模型训练方法，包括：
4.获取第一参考图像、第二参考图像和测试图像；
5.依据所述第一参考图像、所述第二参考图像和所述测试图像进行校准得到校准图像；
6.将所述校准图像和所述测试图像进行合成得到输入图像；
7.将所述输入图像传入神经网络进行缺陷检测模型训练。
8.在一种可能的实现方式中，所述第一参考图像、所述第二参考图像和所述测试图像分别为不同图像的同一位置。
9.在一种可能的实现方式中，还包括对所述第一参考图像、所述第二参考图像和所述测试图像进行预处理的步骤；
10.对所述第一参考图像、所述第二参考图像和所述测试图像进行预处理包括：
11.对所述第一参考图像、所述第二参考图像和所述测试图像进行滤波操作。
12.在一种可能的实现方式中，依据所述第一参考图像、所述第二参考图像和所述测试图像进行校准得到校准图像包括：
13.将所述第一参考图像与所述测试图像进行校准得到第一校准图像；
14.将所述第二参考图像与所述测试图像进行校准得到第二校准图像。
15.在一种可能的实现方式中，将所述校准图像和所述测试图像进行合成得到输入图像包括：
16.将所述第一校准图像、所述第二校准图像和所述测试图像合成为rgb图像；
17.其中，所述rgb图像中的各通道分别和所述第一校准图像、所述第二校准图像和所
述测试图像一一对应。
18.在一种可能的实现方式中，所述rgb图像的g通道存放所述第一校准图像的灰度值；
19.所述rgb图像的b通道存放所述第二校准图像的灰度值；
20.所述rgb图像的r通道存放所述测试图像的灰度值。
21.在一种可能的实现方式中，所述神经网络为卷积神经网络。
22.根据本公开的另一方面，提供了一种缺陷检测方法，包括：
23.获取第一图像、第二图像和第一测试图像；
24.依据所述第一图像、所述第二图像和所述第一测试图像进行校准得到校准参考图像；
25.将所述校准参考图像和所述第一测试图像进行合成得到待检测图像；
26.将所述待检测图像传入前面所述的任一所述的方法得到的缺陷检测模型进行缺陷检测。
27.根据本公开的另一方面，提供了一种缺陷检测模型训练装置，其特征在于，包括数据获取模块、图像校准模块、图像合成模块和神经网络模块；
28.所述数据获取模块，被配置为获取第一参考图像、第二参考图像和测试图像；
29.所述图像校准模块，被配置依据所述第一参考图像、所述第二参考图像和所述测试图像进行校准得到校准图像；
30.所述图像合成模块，被配置将所述校准图像和所述测试图像进行合成得到输入图像；
31.所述神经网络模块，被配置将所述输入图像传入神经网络进行缺陷检测模型训练。
32.根据本公开的另一方面，提供了一种缺陷检测模型训练设备，其特征在于，包括：
33.处理器；
34.用于存储处理器可执行指令的存储器；
35.其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
36.根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现前面任一所述的方法。
37.通过获取第一参考图像、第二参考图像和测试图像，依据第一参考图像、第二参考图像和测试图像进行校准得到校准图像，将校准图像和测试图像进行合成得到输入图像，将输入图像传入神经网络进行缺陷检测模型训练。如果第一参考图像、第二参考图像和测试图像中的一张图像的某个位置有缺陷，能清晰的凸显出来，从而使神经网络能训练更加具有鲁棒性的模型，从而提高缺陷检测的准确率。
38.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
39.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的
示例性实施例、特征和方面，并且用于解释本公开的原理。
40.图1示出本公开实施例的缺陷检测模型训练方法的流程图；
41.图2示出本公开实施例的缺陷检测模型训练方法的原理图；
42.图3示出本公开实施例的缺陷检测模型训练装置的框图；
43.图4示出本公开实施例的缺陷检测模型训练设备的框图。
具体实施方式
44.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
45.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
46.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
47.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
48.图1示出根据本公开一实施例的缺陷检测模型训练方法的流程图。如图1所示，该缺陷检测模型训练方法包括：
49.步骤s100，获取第一参考图像、第二参考图像和测试图像，步骤s200，依据第一参考图像、第二参考图像和测试图像进行校准得到校准图像，步骤s300，将校准图像和测试图像进行合成得到输入图像，步骤s400，将输入图像传入神经网络进行缺陷检测模型训练。
50.通过获取第一参考图像、第二参考图像和测试图像，依据第一参考图像、第二参考图像和测试图像进行校准得到校准图像，将校准图像和测试图像进行合成得到输入图像，将输入图像传入神经网络进行缺陷检测模型训练。如果第一参考图像、第二参考图像和测试图像中的一张图像的某个位置有缺陷，能清晰的凸显出来，从而使神经网络能训练更加具有鲁棒性的模型，从而提高缺陷检测的准确率。
51.具体的，参见图1，执行步骤s100，获取第一参考图像、第二参考图像和测试图像。
52.在一种可能的实现方式中，第一参考图像、第二参考图像和测试图像均为第一参考图像、第二参考图像和测试图像，且第一参考图像、第二参考图像和测试图像分别为不同图像的同一位置。举例来说，图像扫描设备在三个试件的同一特定位置扫描产生三张灰度图像，即分别为第一参考图像、第二参考图像和测试图像，即获取到这三张灰度图像。
53.进一步的，在一种可能的实现方式中，在获取了第一参考图像、第二参考图像和测试图像后，还包括对第一参考图像、第二参考图像和测试图像进行预处理的步骤，对第一参考图像、第二参考图像和测试图像进行预处理包括：对第一参考图像、第二参考图像和测试图像进行滤波操作。举例来说，使用滤波器对第一参考图像、第二参考图像和测试图像进行滤波以去除噪声。其中，滤波器包括高斯滤波器、均值滤波器和中值滤波器中的任意一种。
示例性的，图像扫描设备在三个试件的同一特定位置扫描产生三张灰度图像，分别为第一参考图像、第二参考图像和测试图像，将第一参考图像、第二参考图像和测试图像分别通过高斯滤波器进行滤波，也就是去噪。对图像进行噪声去除为本领域的常规技术手段，此处不再进行赘述。
54.进一步的，参见图1，执行步骤s200，依据第一参考图像、第二参考图像和测试图像进行校准得到校准图像。
55.在一种可能的实现方式中，依据第一参考图像、第二参考图像和测试图像进行校准得到校准图像包括：将第一参考图像与测试图像进行校准得到第一校准图像，将第二参考图像与测试图像进行校准得到第二校准图像。举例来说，使用图像扫描设备在三个试件的同一特定位置扫描产生三张灰度图像，即分别为第一参考图像、第二参考图像和测试图像，在获取到第一参考图像、第二参考图像和测试图像之后，将第一参考图像、第二参考图像和测试图像分别通过高斯滤波器进行滤波，然后将第一参考图像与测试图像进行校准，得到第一校准图像，将第二参考图像与测试图像进行校准，得到第二校准图像。这样，也就完成了图像的校准。
56.进一步的，参见图1，在图像校准完成后，执行步骤s300，将校准图像和测试图像进行合成得到输入图像。
57.在一种可能的实现方式中，将校准图像和测试图像进行合成得到输入图像包括：将第一校准图像、第二校准图像和测试图像合成为rgb图像，其中，rgb图像中的各通道分别和第一校准图像、第二校准图像和测试图像一一对应。举例来说，使用图像扫描设备在三个试件的同一特定位置扫描产生三张灰度图像，即分别为第一参考图像、第二参考图像和测试图像，在获取到第一参考图像、第二参考图像和测试图像之后，将第一参考图像、第二参考图像和测试图像分别通过高斯滤波器进行滤波，然后将第一参考图像与测试图像进行校准，得到第一校准图像，将第二参考图像与测试图像进行校准，得到第二校准图像，接着将第一校准图像和第二校准图像以及测试图像合成为rgb图像，具体的合成方法为，将第一校准图像和第二校准图像以及测试图像分别放入rgb图像的一个通道，示例性的，rgb图像的g通道存放第一校准图像的灰度值，rgb图像的b通道存放第二校准图像的灰度值，rgb图像的r通道存放测试图像的灰度值。这样，也就完成了图像的合成。
58.进一步的，参见图1，在得到合成图像后即可执行步骤s400，将输入图像传入神经网络进行缺陷检测模型训练。
59.在一种可能的实现方式中，神经网络为卷积神经网络。举例来说，在获取到第一参考图像、第二参考图像和测试图像之后，将第一参考图像、第二参考图像和测试图像分别通过高斯滤波器进行滤波，然后将第一参考图像与测试图像进行校准，得到第一校准图像，将第二参考图像与测试图像进行校准，得到第二校准图像，接着将第一校准图像和第二校准图像以及测试图像合成为rgb图像，rgb图像的g通道存放第一校准图像的灰度值，rgb图像的b通道存放第二校准图像的灰度值，rgb图像的r通道存放测试图像的灰度值。参见图2，将这张rgb图像输入卷积神经网络进行训练，该卷积神经网络包括输入层，第一卷积层，第一采样层，第二卷积层，第二采样层，全连接层以及输出层，其中，全连接层可以为一个，也可以为多个。示例性的，可以采用lenet-5模型。在经过训练之后，使用训练好的模型进行缺陷检测。由于将三张校准之后的灰度图像(第一参考图像、第二参考图像和测试图像)合成一
张rgb图像作为神经网络的输入图像，该rgb图像具有丰富的图像信息，如果其中一张图像的某个位置有缺陷，在该rgb图像中，能清晰的凸显出来，从而使神经网络能训练更加具有鲁棒性的模型，从而提高缺陷检测的准确率。
60.需要说明的是，尽管以上述各个实施例作为示例介绍了本公开的缺陷检测模型训练方法如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定缺陷检测模型训练方法，只要达到所需功能即可。
61.这样，通过获取第一参考图像、第二参考图像和测试图像，依据第一参考图像、第二参考图像和测试图像进行校准得到校准图像，将校准图像和测试图像进行合成得到输入图像，将输入图像传入神经网络进行缺陷检测模型训练。如果第一参考图像、第二参考图像和测试图像中的一张图像的某个位置有缺陷，能清晰的凸显出来，从而使神经网络能训练更加具有鲁棒性的模型，从而提高缺陷检测的准确率。
62.根据本公开的另一方面，提供了一种缺陷检测方法，包括：获取第一图像、第二图像和第一测试图像，依据第一图像、第二图像和第一测试图像进行校准得到校准参考图像，将校准参考图像和第一测试图像进行合成得到待检测图像，将待检测图像传入前面的任一的方法得到的缺陷检测模型进行缺陷检测。从而使得缺陷检测的准确率提高。
63.在一种可能实现的方式中，使用图像扫描设备在三个试件的同一特定位置扫描产生三张灰度图像，分别为第一图像、第二图像和第一测试图像，在获取到第一图像、第二图像和第一测试图像之后，将第一图像、第二图像和第一测试图像分别通过高斯滤波器进行滤波，然后将第一图像与第一测试图像进行校准，得到第一校准参考图像，将第二图像与第一测试图像进行校准，得到第二校准参考图像，接着将第一校准参考图像和第二校准参考图像以及第一测试图像合成为rgb图像，即为待检测图像，其中，rgb图像的g通道存放第一校准参考图像的灰度值，rgb图像的b通道存放第二校准参考图像的灰度值，rgb图像的r通道存放第一测试图像的灰度值，将这张待检测图像输入之前使用缺陷检测模型训练方法得到的缺陷检测模型进行缺陷检测。
64.进一步的，根据本公开的另一方面，还提供了一种缺陷检测模型训练装置100。由于本公开实施例的缺陷检测模型训练装置100的工作原理与本公开实施例的缺陷检测模型训练方法的原理相同或相似，因此重复之处不再赘述。参见图3，本公开实施例的缺陷检测模型训练装置100包括数据获取模块110、图像校准模块120、图像合成模块130和神经网络模块140；
65.数据获取模块110，被配置为获取第一参考图像、第二参考图像和测试图像；
66.图像校准模块120，被配置依据第一参考图像、第二参考图像和测试图像进行校准得到校准图像；
67.图像合成模块130，被配置将校准图像和测试图像进行合成得到输入图像；
68.神经网络模块140，被配置将输入图像传入神经网络进行缺陷检测模型训练。
69.更进一步地，根据本公开的另一方面，还提供了一种缺陷检测模型训练设备200。参阅图4，本公开实施例缺陷检测模型训练设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的缺陷检测模型训练方法。
70.此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例
的缺陷检测模型训练设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
71.存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的缺陷检测模型训练方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行缺陷检测模型训练设备200的各种功能应用及数据处理。
72.输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
73.根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的缺陷检测模型训练方法。
74.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。