工业缺陷检测方法和装置与流程

1.本发明涉及缺陷检测技术领域，具体涉及一种工业缺陷检测方法和一种工业缺陷检测装置。


背景技术：

2.在工业质检领域中，产品外观上的缺陷存在尺度变化多样、细微缺陷多、容易受到产品固有纹理的干扰等特点，往往很难提取出有效的特征对缺陷进行检测，导致缺陷的漏检率和误检率偏高；此外，在实际的工业生产现场需要采用时间复杂度低的算法来提高质检机器的检测效率。
3.然而，目前常用的目标检测算法，一方面难以对不同尺度的特征图未能有效地融合，网络提取的特征信息不足，对工业产品外观缺陷检测存在缺陷的漏检率和误检率偏高的问题；另一方面往往采用深度卷积神经网络进行特征提取，导致模型参数量大，从而影响生产效率。


技术实现要素：

4.本发明为解决上述技术问题，提供了一种工业缺陷检测方法，能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率，此外，还能够在保证各项缺陷检测性能指标保持不变的情况下，大幅减少模型的参数量，从而能够提高质检的效率。
5.本发明采用的技术方案如下：一种工业缺陷检测方法，包括以下步骤：构建缺陷检测模型，其中，所述缺陷检测模型包括融入注意力机制的双向特征金字塔网络；获取待测工件的图像数据；标注增强所述图像数据；根据标注增强后的所述图像数据剪枝处理所述缺陷检测模型得到最终缺陷检测模型；根据所述最终缺陷检测模型检测所述待测工件。
6.根据本发明的一个实施例，所述缺陷检测模型为改进的yolox网络模型，所述改进的yolox网络模型的backbone网络为darknet53网络，所述改进的yolox网络模型的neck网络为融入注意力机制的双向特征金字塔网络，所述改进的yolox网络模型的yolo head网络为decoupled head网络。
7.根据本发明的一个实施例，所述融入注意力机制的双向特征金字塔网络，包括第一se（squeeze-and-excitation，通道注意力机制）模块、第二se模块、第三se模块、第四se模块、第五se模块、第一se upsample模块、第二se upsample模块、第一se conv模块和第二se conv模块，其中，所述第一se upsample模块的特征输入端与所述darknet53网络的第一特征输出端相连；所述第一se模块的特征输入端与所述darknet53网络的第二特征输出端相连，并且所述第一se模块的特征输出端与所述第一se upsample模块的特征输出端相连；所述第二se upsample模块的特征输入端与所述第一se模块的特征输出端相连；所述第二se模块的特征输入端与所述darknet53网络的第三特征输出端相连，并且所述第二se模块
的特征输出端与所述第二se upsample模块的特征输出端相连，以用于输出第一输出特征图；所述第三se模块的特征输入端与所述darknet53网络的第二特征输出端相连；所述第四se模块的特征输入端与所述第一se模块的特征输出端相连；所述第一se conv模块的特征输入端用于输入所述第一特征输出图，并且所述第一se conv模块的特征输出端还分别与所述第三se模块的特征输出端和所述第四se模块的特征输出端相连，以用于输出第二输出特征图；所述第五se模块的特征输入端与所述darknet53网络的第一特征输出端相连；所述第二se conv模块的特征输入端用于输入所述第二特征输出图，并且所述第二se conv模块的特征输出端与所述第五se模块的特征输出端相连，以用于输出第三特征输出图。
8.根据本发明的一个实施例，所述根据标注增强后的所述图像数据剪枝处理所述缺陷检测模型得到最终缺陷检测模型，具体包括以下步骤：根据标注增强后的所述图像数据剪枝处理所述缺陷检测模型以得到所述缺陷检测模型的网络权重；采用范数正则化所述缺陷检测模型的损失函数以改进所述缺陷检测模型的损失函数；根据所述网络权重对改进损失函数后的所述缺陷检测模型进行稀疏训练直至模型收敛；根据稀疏训练后的所述缺陷检测模型的通道权值进行通道剪枝以得到所述最终缺陷检测模型。
9.根据本发明的一个实施例，所述根据稀疏训练后的所述缺陷检测模型的通道权值进行通道剪枝以得到最终缺陷检测模型，具体包括以下步骤：判断稀疏训练后的所述缺陷检测模型的各个通道的权值是否小于参考阈值；若是，则剪除对应通道；根据标注增强后的所述图像数据训练通道剪枝后的所述缺陷检测模型直至模型收敛，从而得到所述最终缺陷检测模型。
10.根据本发明的一个实施例，所述缺陷检测模型改进的损失函数为：其中，x为训练输入数据，y为训练输入数据的标签，w为所述缺陷检测模型的待训练参数，f为所述缺陷检测模型的预测函数，l为所述缺陷检测模型的原损失函数，g(.)为所述缺陷检测模型的缩放因子的惩罚项，其中，所述缺陷检测模型的缩放因子为所述缺陷检测模型中bn（batch normalization，批归一化）层的γ参数，λ为所述惩罚项的平衡因子。
11.一种工业缺陷检测装置，包括：建模模块，所述建模模块用于构建缺陷检测模型，其中，所述缺陷检测模型包括融入注意力机制的双向特征金字塔网络；获取模块，所述获取模块用于获取待测工件的图像数据；处理模块，所述处理模块用于标注增强所述图像数据；训练模块，所述训练模块用于根据标注增强后的所述图像数据剪枝处理所述缺陷检测模型得到最终缺陷检测模型；检测模块，所述检测模块用于根据所述最终缺陷检测模型检测所述待测工件。
12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述实施例所述的工业缺陷检测方法。
13.一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所述的工业缺陷检测方法。
14.本发明的有益效果如下：1）、本发明能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还
能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率；2）、本发明能够在保证各项缺陷检测性能指标保持不变的情况下，大幅减少模型的参数量，从而能够提高模型的推理速度，进而能够提高质检的效率。
附图说明
15.图1为本发明实施例的工业缺陷检测方法的流程图；图2为本发明一个实施例的缺陷检测模型的结构示意图；图3为本发明一个实施例的融入注意力机制的双向特征金字塔网络的结构示意图；图4为本发明一个实施例的通道注意力机制网络结构示意图；图5为本发明一个实施例的通道剪枝过程示意图；图6为本发明实施例的工业缺陷检测装置的方框示意图。
具体实施方式
16.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.图1为本发明实施例的工业缺陷检测方法的流程图。
18.如图1所示，本发明实施例的工业缺陷检测方法，包括以下步骤：s1，构建缺陷检测模型，其中，缺陷检测模型包括融入注意力机制的双向特征金字塔网络。
19.具体地，如图2所示，缺陷检测模型可为改进的yolox网络模型，并且改进的yolox网络模型的backbone（骨干）网络为darknet53网络，改进的yolox网络模型的neck（特征融合层）网络为融入注意力机制的双向特征金字塔网络，改进的yolox网络模型的yolo head（检测头）网络可为decoupled head（解耦合检测头）网络。通过设置融入注意力机制的双向特征金字塔网络，能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率。
20.更具体地，如图3所示，融入注意力机制的双向特征金字塔网络可包括第一se模块、第二se模块、第三se模块、第四se模块、第五se模块、第一se upsample模块、第二se upsample模块、第一se conv模块和第二se conv模块。
21.其中，参照图2和图3，第一se upsample模块的特征输入端可与darknet53网络的第一特征输出端相连；第一se模块的特征输入端可与darknet53网络的第二特征输出端相连，并且第一se模块的特征输出端可与第一se upsample模块的特征输出端相连；第二se upsample模块的特征输入端可与第一se模块的特征输出端相连；第二se模块的特征输入端可与darknet53网络的第三特征输出端相连，并且第二se模块的特征输出端可与第二se upsample模块的特征输出端相连，以用于输出第一输出特征图；第三se模块的特征输入端
可与darknet53网络的第二特征输出端相连；第四se模块的特征输入端可与第一se模块的特征输出端相连；第一se conv模块的特征输入端可用于输入第一特征输出图，并且第一se conv模块的特征输出端还可分别与第三se模块的特征输出端和第四se模块的特征输出端相连，以用于输出第二输出特征图；第五se模块的特征输入端与darknet53网络的第一特征输出端相连；第二se conv模块的特征输入端可用于输入第二特征输出图，并且第二se conv模块的特征输出端可与第五se模块的特征输出端相连，以用于输出第三特征输出图。
22.下面将结合图2和图3进一步说明本发明实施例的缺陷检测模型的工作过程。
23.参照图2和图3，本发明实施例的缺陷检测模型，可通过darknet53网络对输入图像数据下采样5次得到第一输入特征图c5，并可对输入图像数据下采样4次得到第二输入特征图c4，此外还可对输入图像数据下采样3次得到第三输入特征图c3；进一步地，可通过darknet53网络的第一特征输出端、第二特征输出端、第三特征输出端分别向融入注意力机制的双向特征金字塔网络输入第一输入特征图c5、第二输入特征图c4、第三输入特征图c3。
24.进一步地，如图3所示，第一输入特征图c5经过第一se upsample模块后的特征图，可与第二输入特征图c4经过第一se模块后的特征图进行特征值相加得到特征图m4；第三输入特征图c3经过第二se模块后的特征图，可与特征图m4经过第二se upsample模块后的特征图进行特征值相加以得到第一输出特征图p3。
25.进一步地，如图3所示，第二输入特征图c4经过第三se模块后的特征图、和特征图m4经过第四se模块后的特征图，可与第一输出特征图p3经过第一se conv模块后的特征图进行特征值相加以得到第二输出特征图p4。
26.进一步地，如图3所示，第一输入特征图c5经过第五se模块后的特征图，可与第二输出特征图p4经过第二se conv模块后的特征图进行特征值相加以得到第三输出特征图p5。
27.进一步地，如图2和图3所示，第一输出特征图p3、第二输出特征图p4、第三输出特征图p5可输入decoupled head网络进行缺陷检测。
28.下面将结合图4进一步说明本发明实施例的融入注意力机制的双向特征金字塔网络中融入的通道注意力机制，即se模块的工作过程。
29.如图4所示，se模块可对输入的w*h*c维度的特征图x进行压缩处理，即全局信息嵌入，具体可根据空间维度对输入的w*h*c维度的特征图x进行特征压缩，也就是（w，h）两个通道数转变成（1，1），以将每个二维的特征通道转变成一个实数。通过对应实数能够具有特征图x全局的感受野，并且输出的维度和输入的特征通道数相匹配。
30.其中，压缩处理具体公式为：其中，uc表示每个通道的特征图，i表示特征图上的像素纵坐标，j表示特征图上的像素横坐标。
31.进一步地，如图4所示，可对压缩处理，即全局信息嵌入后得到的1*1*c特征图进行激励操作，由此，能够使得网络利用全局信息有选择的增强有益通道，并抑制无用通道，从而能够实现通道的自适应校准。
32.其中，激励操作的具体公式为：其中，relu为线性整流函数，c为输入特征图的通道数，r为降维的比例。
33.进一步地，参照图4，可对激励操作后得到的输出特征图通过sigmoid激活函数，以给每个通道特征图生成一个通道权值，从而得到每个通道特征图的通道注意力向量；进一步可利用softmax对得到的通道注意力向量进行特征重新标定，从而得到通道交互之后的注意力权重。
34.进一步地，参照图4，可将输入的w*h*c维度的特征图x与通道交互之后的注意力权重进行scale操作，例如channel-wise级别的相乘，以得到通道注意力加权之后的特征图，并可对该通道注意力加权之后的特征图进行维度拼接从而输出w*h*c维度的特征图f，其中，特征图f可作为下一层的输入。
35.s2，获取待测工件的图像数据。
36.具体地，可通过工业相机获取待测工件的图像数据。
37.s3，标注增强图像数据。
38.具体地，可对获得的图像数据进行缺陷标注以得到第一图像数据，其中，第一图像数据为图像标注数据；并可对第一图像数据进行数据增强以得到第二图像数据，其中，第二图像数据为标注增强后的图像数据。更具体地，可采用图像去噪、图像增强、图像裁剪、旋转、缩放、翻转对第一图像数据进行扩充以得到第二图像数据，并可将第二图像数据划分为训练数据集和验证数据集，例如可将第二图像数据的80%划分为训练数据集、20%划分为验证数据集。
39.s4，根据标注增强后的图像数据剪枝处理缺陷检测模型得到最终缺陷检测模型。
40.具体地，可根据标注增强后的图像数据剪枝处理缺陷检测模型以得到缺陷检测模型的网络权重，并可采用范数正则化缺陷检测模型的损失函数以改进缺陷检测模型的损失函数，进而可根据网络权重对改进损失函数后的缺陷检测模型进行稀疏训练直至模型收敛，然后可根据稀疏训练后的缺陷检测模型的通道权值进行通道剪枝以得到最终缺陷检测模型。
41.更具体地，可采用训练数据集对缺陷检测模型进行训练，并获取训练后的缺陷检测模型的网络权重；此外，还可采用l1范数正则化缺陷检测模型中的损失函数。其中，缺陷检测模型改进的损失函数为：其中，x为训练输入数据，y为训练输入数据的标签，w为缺陷检测模型的待训练参数，f为所述缺陷检测模型的预测函数，l为缺陷检测模型的原损失函数，g(.)为缺陷检测模
型的缩放因子的惩罚项，其中，所述缺陷检测模型的缩放因子为所述缺陷检测模型中bn层的γ参数，λ为惩罚项的平衡因子。
42.进一步地，可将得到的网络权重作为预训练权重，并可设置平衡因子=0.0001，然后可对改进损失函数后的缺陷检测模型进行稀疏训练直至模型收敛。
43.进一步地，可判断稀疏训练后的缺陷检测模型的各个通道的权值是否小于参考阈值，若是，则剪除对应通道，并根据标注增强后的图像数据训练通道剪枝后的缺陷检测模型直至模型收敛，从而得到最终缺陷检测模型。举例而言，参照图5，可稀疏训练缺陷检测模型，即缺陷检测模型中的骨干网络，即darknet53网络、融入注意力机制的双向特征金字塔网络、解耦合检测头网络，即decoupled head网络的各个通道的权值，其中，darknet53网络各个通道的权值分别为0.82、0.14、0.72、0.02、0.92，融入注意力机制的双向特征金字塔网络各个通道的权值分别为0.68、0.96、0.86、0.24、0.10，decoupled head网络各个通道的权值分别为0.22、0.85、0.08、0.79、0.04。
44.进一步地，可设置参考阈值为0.3，可将图5中通道权值小于0.3的通道进行剪除，可保留darknet53网络中通道权值为0.82、0.72、0.92的通道、融入注意力机制的双向特征金字塔网络中通道权值为0.68、0.96、0.86的通道、decoupled head网络中通道权值为0.85、0.79的通道。由此，通道剪枝处理后的缺陷检测模型的参数量可减少85%，通道剪枝处理后的缺陷检测模型的大小可变为原模型的14%，通道剪枝处理后的缺陷检测模型的处理时间可减少50%，从而能够大幅减少模型的参数量，使得模型在推理时只需要进行少量的浮点运算，并且能够保证通道剪枝处理后的缺陷检测模型各项性能指标保持不变。
45.进一步地，可采用训练数据集训练通道剪枝后的缺陷检测模型直至模型收敛，并可将训练得到的缺陷检测模型在验证集上计算mpa指标，mpa为计算每一类分类正确的像素点数和该类的所有像素点数的比例然后求平均，mpa公式为：其中，k为图像分割任务总缺陷类别数。如果mpa大于实际生产需要的值，则模型训练完成得到最终缺陷检测模型。
46.s5，根据最终缺陷检测模型检测待测工件。
47.具体地，可将待测工件的图像数据输入最终缺陷检测模型以对待测工件的产品表面缺陷进行检测。
48.本发明的有益效果如下：1）、本发明能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率；2）、本发明能够在保证各项缺陷检测性能指标保持不变的情况下，大幅减少模型的参数量，从而能够提高模型的推理速度，进而能够提高质检的效率。
49.对应上述实施例的工业缺陷检测方法，本发明还提出了一种工业缺陷检测装置。
50.如图6所示，本发明实施例的工业缺陷检测装置，包括建模模块10、获取模块20、处
理模块30、训练模块40和检测模块50。其中，建模模块10用于构建缺陷检测模型，其中，缺陷检测模型包括融入注意力机制的双向特征金字塔网络；获取模块20用于获取待测工件的图像数据；处理模块30用于标注增强图像数据；训练模块40用于根据标注增强后的图像数据剪枝处理缺陷检测模型得到最终缺陷检测模型；检测模块50用于根据最终缺陷检测模型检测待测工件。
51.在本发明的一个实施例中，如图2所示，缺陷检测模型可为改进的yolox网络模型，并且改进的yolox网络模型的backbone（骨干）网络为darknet53网络，改进的yolox网络模型的neck（特征融合层）网络为融入注意力机制的双向特征金字塔网络，改进的yolox网络模型的yolo head（检测头）网络可为decoupled head（解耦合检测头）网络。通过设置融入注意力机制的双向特征金字塔网络，能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率。
52.更具体地，如图3所示，融入注意力机制的双向特征金字塔网络可包括第一se模块、第二se模块、第三se模块、第四se模块、第五se模块、第一se upsample模块、第二se upsample模块、第一se conv模块和第二se conv模块。
53.其中，参照图2和图3，第一se upsample模块的特征输入端可与darknet53网络的第一特征输出端相连；第一se模块的特征输入端可与darknet53网络的第二特征输出端相连，并且第一se模块的特征输出端可与第一se upsample模块的特征输出端相连；第二se upsample模块的特征输入端可与第一se模块的特征输出端相连；第二se模块的特征输入端可与darknet53网络的第三特征输出端相连，并且第二se模块的特征输出端可与第二se upsample模块的特征输出端相连，以用于输出第一输出特征图；第三se模块的特征输入端可与darknet53网络的第二特征输出端相连；第四se模块的特征输入端可与第一se模块的特征输出端相连；第一se conv模块的特征输入端可用于输入第一特征输出图，并且第一se conv模块的特征输出端还可分别与第三se模块的特征输出端和第四se模块的特征输出端相连，以用于输出第二输出特征图；第五se模块的特征输入端与darknet53网络的第一特征输出端相连；第二se conv模块的特征输入端可用于输入第二特征输出图，并且第二se conv模块的特征输出端可与第五se模块的特征输出端相连，以用于输出第三特征输出图。
54.下面将结合图2和图3进一步说明本发明实施例的缺陷检测模型的工作过程。
55.参照图2和图3，本发明实施例的缺陷检测模型，可通过darknet53网络对输入图像数据下采样5次得到第一输入特征图c5，并可对输入图像数据下采样4次得到第二输入特征图c4，此外还可对输入图像数据下采样3次得到第三输入特征图c3；进一步地，可通过darknet53网络的第一特征输出端、第二特征输出端、第三特征输出端分别向融入注意力机制的双向特征金字塔网络输入第一输入特征图c5、第二输入特征图c4、第三输入特征图c3。
56.进一步地，如图3所示，第一输入特征图c5经过第一se upsample模块后的特征图，可与第二输入特征图c4经过第一se模块后的特征图进行特征值相加得到特征图m4；第三输入特征图c3经过第二se模块后的特征图，可与特征图m4经过第二se upsample模块后的特征图进行特征值相加以得到第一输出特征图p3。
57.进一步地，如图3所示，第二输入特征图c4经过第三se模块后的特征图、和特征图m4经过第四se模块后的特征图，可与第一输出特征图p3经过第一se conv模块后的特征图
进行特征值相加以得到第二输出特征图p4。
58.进一步地，如图3所示，第一输入特征图c5经过第五se模块后的特征图，可与第二输出特征图p4经过第二se conv模块后的特征图进行特征值相加以得到第三输出特征图p5。
59.进一步地，如图2和图3所示，第一输出特征图p3、第二输出特征图p4、第三输出特征图p5可输入decoupled head网络进行缺陷检测。
60.下面将结合图4进一步说明本发明实施例的融入注意力机制的双向特征金字塔网络中融入的注意力机制，即se模块的工作过程。
61.如图4所示，se模块可对输入的w*h*c维度的特征图x进行压缩处理，即全局信息嵌入，具体可根据空间维度对输入的w*h*c维度的特征图x进行特征压缩，也就是（w，h）两个通道数转变成（1，1），以将每个二维的特征通道转变成一个实数。通过对应实数能够具有特征图x全局的感受野，并且输出的维度和输入的特征通道数相匹配。
62.其中，压缩处理具体公式为：其中，uc表示每个通道的特征图，i表示特征图上的像素纵坐标，j表示特征图上的像素横坐标。
63.进一步地，如图4所示，可对压缩处理，即全局信息嵌入后得到的1*1*c特征图进行激励操作，由此，能够使得网络利用全局信息有选择的增强有益通道，并抑制无用通道，从而能够实现通道的自适应校准。
64.其中，激励操作的具体公式为：其中，relu为线性整流函数，c为输入特征图的通道数，r为降维的比例。
65.进一步地，参照图4，可对激励操作后得到的输出特征图通过sigmoid激活函数，以给每个通道特征图生成一个通道权值，从而得到每个通道特征图的通道注意力向量；进一步可利用softmax对得到的通道注意力向量进行特征重新标定，从而得到通道交互之后的注意力权重。
66.进一步地，参照图4，可将输入的w*h*c维度的特征图x与通道交互之后的注意力权重进行scale操作，例如channel-wise级别的相乘，以得到通道注意力加权之后的特征图，并可对该通道注意力加权之后的特征图进行维度拼接从而输出w*h*c维度的特征图f，其中，特征图f可作为下一层的输入。
67.在本发明的一个实施例中，获取模块20可通过工业相机获取待测工件的图像数
据。
68.在本发明的一个实施例中，处理模块30可具体用于对获得的图像数据进行缺陷标注以得到第一图像数据，其中，第一图像数据为图像标注数据，并可对第一图像数据进行数据增强以得到第二图像数据，其中，第二图像数据为标注增强后的图像数据。更具体地，可采用图像去噪、图像增强、图像裁剪、旋转、缩放、翻转对第一图像数据进行扩充以得到第二图像数据，并可将第二图像数据划分为训练数据集和验证数据集，例如可将第二图像数据的80%划分为训练数据集、20%划分为验证数据集。
69.在本发明的一个实施例中，训练模块40可具体用于根据标注增强后的图像数据剪枝处理缺陷检测模型以得到缺陷检测模型的网络权重，并可采用范数正则化缺陷检测模型的损失函数以改进缺陷检测模型的损失函数，进而可根据网络权重对改进损失函数后的缺陷检测模型进行稀疏训练直至模型收敛，然后可根据稀疏训练后的缺陷检测模型的通道权值进行通道剪枝以得到最终缺陷检测模型。
70.更具体地，可采用训练数据集对缺陷检测模型进行训练，并获取训练后的缺陷检测模型的网络权重；此外，还可采用l1范数正则化缺陷检测模型中的损失函数。其中，缺陷检测模型改进的损失函数为：其中，x为训练输入数据，y为训练输入数据的标签，w为缺陷检测模型的待训练参数，f为所述缺陷检测模型的预测函数，l为缺陷检测模型的原损失函数，g(.)为缺陷检测模型的缩放因子的惩罚项，其中，所述缺陷检测模型的缩放因子为所述缺陷检测模型中bn层的γ参数，λ为惩罚项的平衡因子。
71.进一步地，可将得到的网络权重作为预训练权重，并可设置平衡因子=0.0001，然后可对改进损失函数后的缺陷检测模型进行稀疏训练直至模型收敛。
72.进一步地，可判断稀疏训练后的缺陷检测模型的各个通道的权值是否小于参考阈值，若是，则剪除对应通道，并根据标注增强后的图像数据训练通道剪枝后的缺陷检测模型直至模型收敛，从而得到最终缺陷检测模型。举例而言，参照图5，可稀疏训练缺陷检测模型，即缺陷检测模型中的骨干网络，即darknet53网络、融入注意力机制的双向特征金字塔网络、解耦合检测头网络，即decoupled head网络的各个通道的权值，其中，darknet53网络各个通道的权值分别为0.82、0.14、0.72、0.02、0.92，融入注意力机制的双向特征金字塔网络各个通道的权值分别为0.68、0.96、0.86、0.24、0.10，decoupled head网络各个通道的权值分别为0.22、0.85、0.08、0.79、0.04。
73.进一步地，可设置参考阈值为0.3，可将图5中通道权值小于0.3的通道进行剪除，可保留darknet53网络中通道权值为0.82、0.72、0.92的通道、融入注意力机制的双向特征金字塔网络中通道权值为0.68、0.96、0.86的通道、decoupled head网络中通道权值为0.85、0.79的通道。由此，通道剪枝处理后的缺陷检测模型的参数量可减少85%，通道剪枝处理后的缺陷检测模型的大小可变为原模型的14%，通道剪枝处理后的缺陷检测模型的处理时间可减少50%，从而能够大幅减少模型的参数量，使得模型在推理时只需要进行少量的浮点运算，并且能够保证通道剪枝处理后的缺陷检测模型各项性能指标保持不变。
74.进一步地，可采用训练数据集训练通道剪枝后的缺陷检测模型直至模型收敛，并可将训练得到的缺陷检测模型在验证集上计算mpa指标，mpa为计算每一类分类正确的像素点数和该类的所有像素点数的比例然后求平均，mpa公式为：其中，k为图像分割任务总缺陷类别数。如果mpa大于实际生产需要的值，则模型训练完成得到最终缺陷检测模型。
75.在本发明的一个实施例中，检测模块50可具体用于将待测工件的图像数据输入最终缺陷检测模型以对待测工件的产品表面缺陷进行检测。
76.本发明的有益效果如下：1）、本发明能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率；2）、本发明能够在保证各项缺陷检测性能指标保持不变的情况下，大幅减少模型的参数量，从而能够提高模型的推理速度，进而能够提高质检的效率。
77.对应上述实施例，本发明还提出一种计算机设备。
78.本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述实施例的工业缺陷检测方法。
79.根据本发明实施例的计算机设备，能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率，此外，还能够在保证各项缺陷检测性能指标保持不变的情况下，大幅减少模型的参数量，从而能够提高质检的效率。
80.对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
81.本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例的工业缺陷检测方法。
82.根据本发明实施例的非临时性计算机可读存储介质，能够同时对多尺度的特征进行双向融合，不仅能够提高特征利用率，还能够充分提取特征信息，从而能够提高缺陷检测性能，并能够降低缺陷检测的漏检率和误检率，此外，还能够在保证各项缺陷检测性能指标保持不变的情况下，大幅减少模型的参数量，从而能够提高质检的效率。
83.在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
84.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
85.在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
86.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
87.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
88.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
89.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
90.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
91.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
92.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。