一种轻量化工业表面缺陷检测方法

本发明涉及计算机技术和工业图像检测，具体涉及一种轻量化工业表面缺陷检测方法。

背景技术：

1、在当前智能制造高速发展的背景下，工业产品的质量监控一直是生产制造的一大挑战。以电子制造业为例，印刷电路板（pcb）的质量可直接影响电子产品的最终性能。然而，在实际工况中，pcb表面缺陷如鼠咬、开路、短路、毛刺等，以及钢铁等金属表面缺陷，通常尺寸微小、形态高度多变、且与复杂的工业背景对比度极低，给传统的检测方法带来了巨大的治理瓶颈。

2、传统的人工目测检测方式在面对大规模生产时，显得效率低下，且极易受疲劳及主观因素干扰而产生人为误检或漏检。随着传统图像处理与传统机器学习算法（如图像差分法、基于sift或纹理特征编码的方法）的引入，虽然在一定程度上摆脱了部分人工限制，但在实际应用中仍面临巨大挑战。这类传统算法通常对工业光源和图像预处理有极高的环境要求，核心算子参数的设定高度依赖专家经验，导致算法的灵活性、鲁棒性与泛化能力极其受限。

3、近年来，得益于神经网络与计算机视觉技术的突破，利用卷积神经网络（cnn）和transformer的目标检测方法在工业表面缺陷识别中得到了广泛应用。物体的目标检测方法按照处理步骤划分，大致可分为两阶段（如faster r-cnn）与单阶段（如yolo系列、rt-detr等端到端实时检测框架）算法两类。两阶段算法精度较高但计算复杂度过大、速度较慢，难以满足工业实时性要求；而传统的单阶段算法虽然速度优势明显，但在处理频繁下采样的高分辨率工业图像时，微小缺陷的局部高频特征极易在深层特征网络中丢失或被低频背景语义所淹没，造成严重的小目标定位模糊和漏检现象。

4、此外，现有的大多数深度学习改进方案往往通过一味增加模型复杂度和深度来片面提高缺陷检测精度，严重忽略了模型的实时性、计算开销和参数量冗余问题。如何在保证极高缺陷检测精度的同时，显著减少计算资源开销，提升对微小尺寸和不规则缺陷的泛化验证能力，是当前工业现场自动化质检领域亟待解决的制约因素。

技术实现思路

1、本发明旨在提供一种轻量化工业表面缺陷检测方法，该方法能够在显著降低计算量与参数量的同时，全面增强微小缺陷与复杂背景下的特征建模与表征能力。

2、所述的轻量化工业表面缺陷检测方法，包括以下步骤：

3、a、构建改进rt-detr网络模型，改进rt-detr网络模型包括：backbone网络、encoder网络、decoder网络；

4、b、对改进rt-detr网络模型进行训练，得到训练好的rt-detr网络模型；

5、c、将待检测图像输入训练好的rt-detr网络模型中，先进入backbone网络中进行处理；

6、所述的backbone网络中处理过程如下：

7、待检测图像依次经过卷积、卷积、特征提取模块cspdrbnelan、adown算子、特征提取模块cspdrbnelan、adown算子、特征提取模块cspdrbnelan、adown算子、特征提取模块cspdrbnelan处理后，得到的处理结果输入encoder网络中；其中，特征提取模块cspdrbnelan中融合了重参数化机制；

8、d、encoder网络将输入结果进行编码处理后，输入decoder网络处理，输出包含缺陷类别和位置的检测结果。

9、所述的特征提取模块cspdrbnelan中处理过程如下：

10、输入结果经过split函数处理，在通道纬度上划分为两个等分特征，其中一个等分特征依次经过cspdrbn模块、3×3卷积、cspdrbn模块处理，得到第一等分处理特征；

11、第一等分处理特征经过3×3卷积处理后，所得结果与第一等分处理特征、另一个等分特征、输入结果共同经过concat函数拼接后，所得结果经过1×1卷积处理，得到输出结果。

12、所述的cspdrbn模块中处理过程如下：

13、输入结果分为两个分支，第一分支依次经过1×1卷积、多个drbnbottleneck模块处理后，得到第一分支结果；第二分支经过1×1卷积处理后，得到第二分支结果；第一分支结果和第二分支结果经过concat函数拼接后，经过1×1卷积处理，得到输出结果。

14、所述的drbnbottleneck模块中处理过程如下：

15、输入结果依次经过dreparamblock算子计算后，所得计算结果经过1×1卷积处理后，所得结果与输入结果相加后，得到输出结果；

16、所述的dreparamblock算子中计算过程如下：

17、输入结果分为四路，第一路依次经过膨胀系数为1的7×7空洞卷积、bn函数处理，得到第一路结果；第二路依次经过膨胀系数为1的5×5空洞卷积、bn函数处理，得到第二路结果；第三路依次经过膨胀系数为2的3×3空洞卷积、bn函数处理，得到第三路结果；第四路依次经过膨胀系数为3的3×3空洞卷积、bn函数处理，得到第四路结果；

18、第一路结果、第二路结果、第三路结果、第四路结果在通道维度上进行逐像素相加，得到输出结果。

19、所述的encoder网络中处理过程如下：

20、输入结果经过aifi模块处理后，所得结果经过卷积处理后，得到第一卷积结果；第一卷积结果经过上采样后，与输入结果经过concat函数拼接后，然后经过repc3模块处理，得到第一repc3模块处理结果；第一repc3模块处理结果经过卷积处理，得到第二卷积结果；第二卷积结果经过上采用后，与输入结果经过concat函数拼接，然后经过repc3模块处理，得到第二repc3模块处理结果；第二repc3模块处理结果经过mbrd模块处理，所得结果与第二卷积结果经过concat函数拼接，然后经过repc3模块处理，得到第三repc3模块处理结果；第三repc3模块处理结果经过mbrd模块处理，所得结果与第一卷积结果经过concat函数拼接，然后经过repc3模块处理，得到第四repc3模块处理结果；

21、输入结果经过1×1卷积处理后，得到第三卷积结果；第三卷积结果和第二repc3模块处理结果输入hlfi模块中处理，得到第一hlfi模块处理结果；第三卷积结果和第三repc3模块处理结果输入hlfi模块中处理，得到第二hlfi模块处理结果；第三卷积结果和第四repc3模块处理结果输入hlfi模块中处理，得到第三hlfi模块处理结果；

22、第一hlfi模块处理结果、第二hlfi模块处理结果、第三hlfi模块处理结果经过concat函数拼接后，得到输出结果，输入decoder模块中。

23、所述的mbrd模块中处理过程如下：

24、输入结果分为四个分支，第一分支经过3×3深度可分离卷积层处理后，经过空洞率为2的3×3分组扩张卷积处理，得到第一分支结果；

25、第二分支中分为两个支路，第一支路经过2×2平均池化处理，第二支路经过2×2最大池化，两个支路处理结果经过concat函数拼接后，依次经过逐点卷积、bn函数处理，得到第二分支结果；

26、第三分支经过2×2的网格划分为四个右上、右下、左上、左下四个初始子特征图，每个子特征图包括左上、左下、右上、右下四个位置特征；抽取每个子特征图中对应的位置特征，按初始子特征图位置顺序拼接，组成四个新的子特征图；四个新的子特征图经过concat函数拼接后，经过逐点卷积处理，得到第三分支结果；

27、第四分支经过步长为2的3×3卷积卷积处理，得到第四分支结果；

28、第一分支结果、第二分支结果、第三分支结果经过concat函数拼接后，经过第一权重生成器生成权重，权重分别与第一分支结果、第二分支结果、第三分支结果自适应加权相乘融合，所得的三个融合结果相加后，经过逐点卷积处理，所得结果与第四分支结果相加后，经过gelu函数处理，得到输出结果。

29、所述的第一权重生成器中处理过程如下：

30、输入结果经过依次经过全局平均池化、两层点卷积、softmax函数处理，得到输出结果。

31、所述的hlfi模块中处理过程如下：

32、两个输入结果中第三卷积结果作为低频特征，另外一个输入结果作为高频特征；

33、高频特征和低频特征经过concat函数拼接后，分别经过全局平均池化、全局最大池化、局部平均池化模块处理，三个池化处理结果经过concat函数拼接后，经过第二权重生成器生成权重，权重分别与高频特征和低频特征自适应加权相乘融合；然后高频特征融合结果与低频特征相加，得到第一相加结果；低频特征融合结果与高频特征相加，得到第二相加结果；两个相加结果经过concat函数拼接，所得结果经过混合注意力模块处理，然后经过sigmoid函数处理，得到复合门控权重；

34、第一相加结果与权重（1-）自适应加权相乘融合，第二相加结果与权重自适应加权相乘融合，两个融合结果相加后，得到输出结果。

35、所述的局部平均池化模块中处理过程如下：输入结果依次经过平均池化模块、深度可分离卷积处理后，得到输出结果；

36、所述的第二权重生成器中处理过程如下：输入结果依次经过两个逐点卷积、sigmoid函数处理后，得到输出结果；

37、所述的混合注意力模块中处理过程如下：输入结果经过逐点卷积处理，将通道数变为输入结果的1/2后，分为两路处理；

38、第一路经过逐点卷积处理将通道数变为1/r后，再经过逐点卷积处理将通道数恢复为第一路输入时的通道数，得到第一路处理结果；其中，r为2、4、8或16；

39、第二路依次经过全局平均池化、两次逐点卷积处理后，得到第二路处理结果；

40、第一路处理结果与第二路处理结果相乘后，得到输出结果。

41、所述的步骤b中，改进rt-detr网络模型的训练过程包括以下步骤：

42、从缺陷数据集获取不同工业表面缺陷图像，对获取的图像进行多维度的几何变换数据增强预处理，将图像按7:1:2的比例随机划分为训练集、验证集和测试集；

43、利用训练集和验证集的数据对改进rt-detr网络模型进行有监督训练与超参数调优，得到训练后的改进rt-detr网络模型权重；

44、利用测试集的数据对训练好的改进rt-detr网络模型进行性能测试，得到多指标评估结果。

45、本发明的有益效果如下：

46、本发明的方法在显著压缩网络结构的同时大幅提升了模型在工业复杂背景下的质检表现。

47、本发明设计的改进rt-detr网络模型采用了cspdrbnelan模块以及dreparamblock算子，利用重参数化技术成功模拟了大感受野的多尺度信息表征，在确保浅层细节与深层语义充分交融的前提下，大幅削减了推理阶段的模型冗余和计算耗时。该网络模型还提出了下采样模块mbrd，这颠覆了传统的步长卷积降维法，通过解构出极值感知、混合池化以及cut像素切片三大互补路径，成功解决了高空间倍率压缩过程中微小缺陷特征 permanent丢失以及混叠走样的缺陷，使网络在嘈杂的现场噪声中依然能精准锁定超微小目标的判别信息。

48、本发明改进rt-detr网络模型中提出的hlfi模块则建立了跨维度的频率交互门控机制，有效遏制了高频边缘纹理被低频背景语义永久湮没的现象，利用自适应的空间与通道校准，精准提升了模型对低对比度缺陷、形状不规则缺陷及跨领域道路缺陷的特征分离与泛化迁移能力，为在资源有限的嵌入式边缘设备部署高精度的缺陷自动化质检体系提供了全新的轻量化高效方案。

49、本发明的方法在显著压缩网络结构的同时大幅提升了模型在工业复杂背景下的质检表现，具有良好的应用前景。