基于特征融合的缺陷检测方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质。


背景技术：

2.在工业缺陷的检测中，通过采集图像来对需要检测的产品进行缺陷检测。在实际使用过程中，对同一个待检测物体，会采用多种打光方式组合的方法，获取待检测物体的成像信息，这种方式可以获得不同成像下的缺陷形态，更好的处理多种缺陷的检测。但是，目前基于图像的缺陷检测方法，都是单独的对单个打光方式下的图像进行检测，没有考虑到多个成像下的图像，检测精度不高，误判和漏检过高。


技术实现要素：

3.基于此，在本发明实施例中，提供了一种基于特征融合的缺陷检测的方法、装置、设备以及计算机可读存储介质，可以提高基于图像识别的缺陷检测的准确率。
4.在本发明的第一部分，提供了一种基于特征融合的缺陷检测方法，包括：获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
5.可选的，所述按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征的步骤，还包括：对于每一个第一缺陷特征：对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征；基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征；基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征；基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征。
6.可选的，所述对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征的步骤，还包括：对于第i个第一缺陷特征，通过如下公式计算第一缺陷特征的第一映射特征：其中，所述map1为第一map函数，所述第一map函数为卷积函数或全连接函数；所述第一缺陷特征的映射特征包括。
7.可选的，所述基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征的步骤，还包括：对于第i个第一缺陷特征，通过如下公式计算第j个第一缺陷特征对第一缺陷特征产生的第一更新幅度特征，其中，：其中，avgpool表示自适应平均池化操作，f表示全连接或者是卷积操作，sigmoid为sigmoid激活函数，softmax为激活函数；reshape函数将矩阵进行维度变换的操作，以使得的维度与一致，c为的特征维度大小。
8.可选的，所述基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征的步骤，还包括：通过公式计算第i个第一缺陷特征的第一更新特征，其中，包括concat操作、维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
9.可选的，所述基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征的步骤，还包括：通过公式计算第i个第一缺陷特征的第一融合特征，其中，map2为第二map函数，map函数包括1*1的卷积层或全连接层函数；reshape函数为将矩阵进行维度变换的操作，将map函数处理后的结果转换成与维度相同的特征。
10.可选的，所述按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征的步骤，还包括：
对于每一个第一融合特征：对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征；基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征；基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征。
11.可选的，所述对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征的步骤，还包括：对于第i个第一融合特征，通过如下公式计算第一融合特征的第二映射特征：其中，所述map3为第三map函数，所述第三map函数1*1的卷积层或者是全连接层函数；所述第二映射特征包括。
12.可选的，所述基于计算得到的第二映射特征，计算该第一融合特征的第二更新幅度特征的步骤，还包括：对于第i个第一融合特征，通过如下公式计算第一融合特征的第二更新幅度特征：：其中，表示其他第一融合特征对第i个第一融合特征进行更新得到的特征，，softmax为激活函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
13.可选的，所述基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征的步骤，还包括：通过公式计算第i个第一融合特征的第二融合特征，其中，reshape函数为将矩阵进行维度变换的操作，将与的维度保持一致，f函数可以是卷积操作或者是全连接操作函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
14.可选的，所述根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果的步骤，还包括：将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
15.可选的，所述将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果的步骤，还包括：
通过预设的缺陷分类网络，获取与所述待检测产品对应的一个或多个分类标签、以及每一个分类标签对应的置信度；根据置信度，在所述一个或多个分类标签中确定一个分类标签作为所述缺陷检测结果。
16.在本发明的第二部分，提供了一种基于特征融合的缺陷检测装置，包括：单场图像获取模块，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；特征提取模块，用于按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；单场特征增强模块，用于按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；多场特征融合模块，用于按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；分类模块，用于根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
17.在本发明的第三部分，提供了一种计算机设备，所述计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序；所述处理器用于根据所述计算机程序执行如上述第一方面所述的基于特征融合的缺陷检测方法的步骤。
18.在本发明的第四部分，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行如上述第一方面所述的基于特征融合的缺陷检测方法的步骤。
19.采用本发明实施例，具有如下有益效果：采用了上述基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，在工业场景中，在对待检测产品进行缺陷检测时，首先需要获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；然后分别提取每张目标检测图像的缺陷特征，然后对提取到的每个视场下的缺陷特征进行融合处理，得到融合之后的缺陷特征，然后基于融合之后的缺陷特征以及卷积神经网络模型来进行缺陷的检测和分类；其中，对于单场图像的缺陷特征，需要首先基于单场特征增强算法进行单场图像特征的特征增加处理，然后再进行基于多场特征融合算法进行多场图像特征的融合处理，以充分利用每一个视场下采集到的图像特征的相关信息，从而可以提高缺陷分类的精度。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.其中：
图1为一个实施例中一种基于特征融合的缺陷检测方法的流程示意图；图2为一个实施例中一种单场及多场特征融合处理的流程示意图；图3为一个实施例中一种基于特征融合的缺陷检测装置的结构示意图；图4为一个实施例中运行上述基于特征融合的缺陷检测方法的计算机设备的结构示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.在本实施例中，提供了一种基于特征融合的缺陷检测方法，该方法的执行可以是在工业场景，例如在产品线，通过在产品线上设置摄像头来采集产品线上的产品的图像，然后基于图像识别来对相应的产品是否存在缺陷来完成对产品的缺陷检测和分类，以将良品与次品进行区分。
25.在本实施例中，基于特征融合的缺陷检测方法的实现可以是基于与采集待检测产品的图像的摄像头连接的计算机设备，该计算机设备可以是产品线的控制设备，也可以是与产品线连接的服务器，在本实施例中不做限定。
26.其中，为了深入的利用各场的信息，提高缺陷分类的准确率，本技术实施例提出的基于特征融合的缺陷检测方法基于单场与多场特征融合算法，对待检测产品采集多张单场的检测图像，然后对于单场的检测图像的缺陷特征，分别进行单场的特征增加以及多场的特征交互融合处理，以充分利用每个视场下的缺陷特征，从而提高基于图像处理的缺陷检测的分类精度。
27.具体的，请参见图1，图1给出了基于特征融合的缺陷检测方法的流程示意图。具体的，上述基于特征融合的缺陷检测方法包括如图1所示的步骤：步骤s101：获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像。
28.待检测产品可以是产品线上或者其他工业应用场景下需要进行缺陷检测的产品。在本实施例中，对产品缺陷的检测，是基于多视场、多角度、多维度的图像采集进行的，也就是说，产品缺陷的检测不止是基于单一的图像进行检测的，而是多个视场下分别采集的待检测产品的图像。其中，多个视场可以是从待检测产品的不同视场或不同角度，也可以是摄像头采集图像时的不同的打光方式。待检测产品的多张目标检测图像可以是通过背光打
光、正面打光、低角度打光等各种不同的打光方式获取到的不同视场的待检测产品的多张目标检测图像。
29.需要说明的是，每一张目标检测图像，均是在一个视场下采集到的单张的图像，也就是说，每一张目标检测图像均为单视场下采集到的单场图像。在本实施例中，对采集到的检测图像的处理，均是基于单场图像进行的。
30.步骤s102：按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征。
31.针对每张目标检测图像，在进行缺陷检测时，首先需要提取图像中的图像特征，在本实施例中，从目标检测图像中提取的图像特征为缺陷特征，用于表征目标检测图像对应的待检测产品是否存在缺陷。在一个具体的实施例中，从目标检测图像中提取缺陷特征可以是通过任意的特征提取算法实现的，也可以是通过预先训练好的卷积神经网络或该网络的一层或多层实现的，在本实施例中不做限定。
32.对于多张目标检测图像，其中，，也就是说，n为目标检测图像的数量，也为多个视场中视场（或者称为场）的数量。在本步骤中，针对n个视场的目标检测图像集合为，将每一个目标检测图像分别输入到每一个视场特征提取算法中，其中，获取每一个目标检测图像的第一缺陷特征，分别记为，因此，基于第一缺陷特征的特征集合为。
33.步骤s103：按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法。
34.需要说明的是，在本实施例中，第一特征增强算法为单场特征增强算法，可以是卷积神经网络或分类网络的一层，或者是缺陷分类算法的一个模块（例如，单场特征增强模块）。
35.具体的，单场特征增强模块对第一缺陷特征的处理如下：对于每一个第一缺陷特征：对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征；基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征；基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征；基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征。
36.具体的，将n个场的第一缺陷特征输入到单场特征增强模块，并具体执行如下操作。
37.对于第i个第一缺陷特征，通过如下公式计算第一缺陷特征的第一映射特征：其中，所述map1为第一map函数，所述第一map函数为卷积函数或全连接函数；所述第一缺陷特征的映射特征包括。这里，需要对n个第一缺陷特征分别执行上述步骤，以得到每一个缺陷特征对应的第一映射特征。
38.然后，进一步的，对于第i个第一缺陷特征，通过如下公式计算第j个第一缺陷特征对第一缺陷特征产生的第一更新幅度特征，其中，：其中，avgpool表示自适应平均池化操作，f表示全连接或者是卷积操作，sigmoid为sigmoid激活函数，softmax为激活函数；reshape函数将矩阵进行维度变换的操作，以使得的维度与一致，c为的特征维度大小。也就是说，对于每一个第一缺陷特征，分别计算每一个其他第一缺陷特征对第一缺陷特征所产生的第一更新幅度特征。也就是说，这里会得到个第一更新幅度特征。
39.进一步的，利用自身之外的所有其他场第一缺陷特征对当前的第i个第一缺陷特征进行更新，得到第i个第一缺陷特征的第一更新特征，更新计算如下所示：其中，包括concat操作、维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
40.最后，由更新后的第一更新特征得到单场特征增强模块的输出特征（第一融合特征），具体计算公式如下所示：其中，map2为第二map函数，map函数包括1*1的卷积层或全连接层函数；reshape函数为将矩阵进行维度变换的操作，将map函数处理后的结果转换成与维度相同的特征。
41.通过上述步骤，可以通过单场特征增强模块，得到每一个第一缺陷特征对应的第一融合特征。从而完成本发明实施例提供的缺陷检测方法的特征融合处理模块中的单场特征增强处理，从而实现了对单场图像的缺陷特征的增强融合处理，以充分利用单场图像的缺陷特征，从而提高后续基于该缺陷特征的缺陷分类精度。
42.步骤s104：按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法。
43.需要说明的是，在本实施例中，第二特征融合算法为多场特征融合算法，可以是卷积神经网络或分类网络的一层，或者是缺陷分类算法的一个模块（例如，多场特征融合模块）。
44.具体的，多场特征融合模块对第一融合特征的处理如下：对于每一个第一融合特征：对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征；基于计算得到的第二映射特征，计算该第一融合特征的第二更新
幅度特征；基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征。
45.具体的，将第一融合特征输入到多场特征融合模块，并执行如下操作。
46.对于第i个第一融合特征，通过如下公式计算第一融合特征的第二映射特征：其中，所述map3为第三map函数，所述第三map函数1*1的卷积层或者是全连接层函数；所述第二映射特征包括。
47.然后对于第i个第一融合特征，通过如下公式计算第一融合特征的第二更新幅度特征：其中，表示其他第一融合特征对第i个第一融合特征进行更新得到的特征，，softmax为激活函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
48.最后，利用更新，得到多场特征融合模块的输出第二融合特征，更新计算如下所示：其中，reshape函数为将矩阵进行维度变换的操作，将与的维度保持一致，f函数可以是卷积操作或者是全连接操作函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
49.通过上述操作，可以通过上述多场特征融合模块，计算第一融合特征的第二融合特征，从而充分利用多个视场下的单场图像的缺陷特征，并对单场特征增强之后的缺陷特征进行交互融合处理，以进一步充分利用缺陷特征，提高后续基于第二融合特征对应的缺陷检测分类精度。
50.步骤s105：根据第二融合特征对所述待检测产品进行缺陷检测，得到与所述待检测产品对应的缺陷检测结果。
51.在通过步骤s103、s104中对单场的目标检测图像的特征进行单场特征增加、以及多场特征融合之后，即可进一步的基于得到的第二融合特征进行缺陷分类检测，以得到待检测产品对应的缺陷检测结果。
52.基于前述步骤提取了多张目标检测图像的基于单场特征增强以及多场特征融合的第二融合特征，然后就可以基于预设的缺陷分类网络，通过该缺陷分类网络来对第二融
合特征进行计算，以得到待检测产品的缺陷检测结果。也就是说，将所述缺陷分类网络的输出作为所述待检测产品的缺陷检测结果。其中，所述缺陷分类网络为卷积神经网络。
53.在本步骤中，可以是根据第二融合特征，获取待检测产品对应于所有缺陷类别（即为分类标签）的置信度，然后根据置信度来确定缺陷检测结果，以完成对待检测产品的缺陷检测的分类。在一个具体的实施例中，可以是将第二融合特征输入预设的缺陷分类网络，输出待检测产品对应于所有分类标签的置信度；然后根据置信度在每一个分类标签中确定目标分类标签，将目标分类标签作为所述缺陷检测结果。
54.需要说明的是，上述单场特征增强模块和多场特征融合模块，可以是一个即插即用的模块，加入到现有的对缺陷特征进行分类的分类模型网络框架中，也就是说，可以在网络中间插入一次或多次，也可以只是在分类之前插入进行使用。
55.在一个具体的实施例中，在上述缺陷分类网络的训练过程中，最终的缺陷分类结果的悬链，需要将多个第二融合特征进行contact操作或者融合操作（例如元素级的加法、乘法操作）之后，输入到缺陷分类网络中进行训练，从而得到分类标签以及对应的置信度信息，并最终根据置信度得到最终的缺陷分类结果。
56.在一个具体的实施例中，上述基于缺陷融合的缺陷检测方法中，首先需要获取训练数据集和测试数据集：根据实际的应用场景，收集各类缺陷所对应的在多场下的单场图像数据，对各类缺陷建立标签数据，形成训练数据集和测试数据集；然后，构建缺陷分类网络的结构，将单场特征增加模块和多场特征融合模块连接到缺陷分类网络中，紧接着设计缺陷分类网络的分类抱歉，搭建完整的缺陷分类网络框架；并设置卷积神经网络训练超参数，训练模型；在测试数据集上测试模型分类精度，从而完成缺陷分类网络的训练过程。然后在实际的缺陷检测过程中，对于待检测产品采集到的目标检测图像，通过上述连接了单场特征增加模块和多场特征融合模块的缺陷分类网络进行特征融合处理和缺陷分类检测，以获取待检测产品对应的缺陷分类结果。
57.具体的，请参见图2所示，对于n个视场的特征，通过单场特征增强模块、和多场特征融合模块，获取对应的融合特征，然后基于该融合特征进行缺陷检测，得到缺陷分类结果。
58.在本发明的另一个实施例中，如图3所示，还提出了一种基于特征融合的缺陷检测装置，单场图像获取模块101，用于获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；特征提取模块102，用于按照预设的特征提取算法，分别获取每张目标检测图像的第一缺陷特征；单场特征增强模块103，用于按照预设的第一特征增强算法，对每张目标检测图像的第一缺陷特征进行第一特征增强融合处理，得到与所述待检测产品对应的第一融合特征；其中，所述第一特征增强算法为单场特征增强算法；多场特征融合模块104，用于按照预设的第二特征融合算法，对所述第一融合特征进行第二特征融合处理，得到与所述待检测产品对应的第二融合特征；其中，所述第二特征融合算法为多场特征融合算法；分类模块105，用于根据第二融合特征对所述待检测产品进行缺陷检测，得到与所
述待检测产品对应的缺陷检测结果。
59.在一个可选的实施例中，单场特征增强模块103还用于对于每一个第一缺陷特征：对第一缺陷特征进行映射处理，得到与该第一缺陷特征对应的第一映射特征；基于计算得到的第一映射特征，计算其他第一缺陷特征与该第一缺陷特征之间的第一更新幅度特征；基于计算得到的第一更新幅度特征，并利用其它第一缺陷特征对该第一缺陷特征进行更新操作，以得到更新之后的第一更新特征；基于得到的第一更新特征，得到与所述第一缺陷特征对应的第一融合特征。
60.在一个可选的实施例中，单场特征增强模块103还用于对于第i个第一缺陷特征，通过如下公式计算第一缺陷特征的第一映射特征：其中，所述map1为第一map函数，所述第一map函数为卷积函数或全连接函数；所述第一缺陷特征的映射特征包括。
61.在一个可选的实施例中，单场特征增强模块103还用于对于第i个第一缺陷特征，通过如下公式计算第j个第一缺陷特征对第一缺陷特征产生的第一更新幅度特征，其中，：其中，avgpool表示自适应平均池化操作，f表示全连接或者是卷积操作，sigmoid为sigmoid激活函数，softmax为激活函数；reshape函数将矩阵进行维度变换的操作，以使得的维度与一致，c为的特征维度大小。
62.在一个可选的实施例中，单场特征增强模块103还用于通过公式在一个可选的实施例中，单场特征增强模块103还用于通过公式计算第i个第一缺陷特征的第一更新特征，其中，包括concat操作、维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
63.在一个可选的实施例中，单场特征增强模块103还用于通过公式计算第i个第一缺陷特征的第一融合特征，其中，map2为第二map函数，map函数包括1*1的卷积层或全连接层函数；reshape函数为将矩阵进行维度变换的操作，将map函数处理后的结果转换成与维度相同的特征。
64.在一个可选的实施例中，多场特征融合模块104还用于对于每一个第一融合特征：对第一融合特征进行映射处理，得到与该第一融合特征对应的第二映射特征；基于计算得
到的第二映射特征，计算该第一融合特征的第二更新幅度特征；基于计算得到的第二更新幅度特征，计算与第一融合特征对应的第二融合特征。
65.在一个可选的实施例中，多场特征融合模块104还用于对于第i个第一融合特征，通过如下公式计算第一融合特征的第二映射特征：其中，所述map3为第三map函数，所述第三map函数1*1的卷积层或者是全连接层函数；所述第二映射特征包括。
66.在一个可选的实施例中，多场特征融合模块104还用于对于第i个第一融合特征，通过如下公式计算第一融合特征的第二更新幅度特征：其中，表示其他第一融合特征对第i个第一融合特征进行更新得到的特征，，softmax为激活函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
67.在一个可选的实施例中，多场特征融合模块104还用于通过公式在一个可选的实施例中，多场特征融合模块104还用于通过公式计算第i个第一融合特征的第二融合特征，其中，reshape函数为将矩阵进行维度变换的操作，将与的维度保持一致，f函数可以是卷积操作或者是全连接操作函数，contact为特征拼接函数，所述contact函数包括维度拼接操作、元素级别的加法操作、元素级别的乘法操作中的一个或多个。
68.在一个可选的实施例中，分类模块还用于将第一融合特征输入预设的缺陷分类网络，得到与待检测产品对应的缺陷检测结果，其中，所述缺陷分类网络为卷积神经网络。
69.在一个可选的实施例中，分类模块还用于通过预设的缺陷分类网络，获取与所述待检测产品对应的一个或多个分类标签、以及每一个分类标签对应的置信度；根据置信度，在所述一个或多个分类标签中确定一个分类标签作为所述缺陷检测结果。
70.图4示出了一个实施例中实现上述基于特征融合的缺陷检测方法的计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更
少的部件，或者组合某些部件，或者具有不同的部件布置。
71.采用了上述基于特征融合的缺陷检测方法、装置、计算机设备及计算机可读存储介质之后，在工业场景中，在对待检测产品进行缺陷检测时，首先需要获取待检测产品的多张目标检测图像，所述多张目标检测图像为待检测产品在不同视场下采集的单场图像；然后分别提取每张目标检测图像的缺陷特征，然后对提取到的每个视场下的缺陷特征进行融合处理，得到融合之后的缺陷特征，然后基于融合之后的缺陷特征以及卷积神经网络模型来进行缺陷的检测和分类；其中，对于单场图像的缺陷特征，需要首先基于单场特征增强算法进行单场图像特征的特征增加处理，然后再进行基于多场特征融合算法进行多场图像特征的融合处理，以充分利用每一个视场下采集到的图像特征的相关信息，从而可以提高缺陷分类的精度。
72.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink) dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
73.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
74.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。