基于多尺度先验调制的双分支增强配对工业缺陷检测方法

本技术的实施例涉及计算机视觉，特别涉及一种基于多尺度先验调制的双分支增强配对工业缺陷检测方法。

背景技术：

1、工业缺陷检测是现代工业制造系统中的关键环节。生产线上的产品表面可能出现气孔、裂纹、破损、磨损、划痕、不均匀纹理等缺陷，准确识别缺陷的位置、类别和区域范围，对于避免后续的质量问题、降低生产成本、提升产品良率和实现自动化质量控制具有重要意义。随着计算机视觉技术和深度学习技术的飞速发展，基于数据驱动的缺陷检测方法逐渐替代人工目视检查和传统的图像处理方法，成为工业视觉检测的重要技术路线。

2、现有的工业缺陷检测方法大体可以分为监督式缺陷检测和无监督异常检测两类。监督式缺陷检测方法通常依赖带像素级标注的缺陷样本训练分割网络或检测网络，能够输出较精细的缺陷位置和类别信息，但在实际工业生产早期，生产工艺趋于稳定，正常样本容易大量采集，而缺陷样本的出现概率低、类别多样且形态不确定，导致带标注缺陷数据通常稀缺。样本极度不平衡会使监督模型出现监督信号不足、特征学习不稳定、对少数缺陷类别过拟合以及泛化能力下降等问题。无监督异常检测方法通常只使用正常样本进行训练，通过重构学习、特征分布建模、记忆库匹配或正常原型建模等方式学习正常样本的表示，在推理阶段将偏离正常分布的区域视为潜在异常区域。该类方法降低了对缺陷标注的依赖，适合缺陷样本难以收集的工业场景。然而，无监督方法通常输出粗糙的异常响应图或异常得分图，难以直接提供像素级语义标签，也难以区分不同缺陷类别，在缺陷边界精细定位、类别级质量判定和后续工艺分析中存在不足。

技术实现思路

1、为了解决上述技术问题，本技术的实施例提出了一种基于多尺度先验调制的双分支增强配对工业缺陷检测方法，利用无监督异常检测模型从正常样本中学习空间异常先验，将该空间异常先验注入监督分割网络的多尺度特征学习过程，以提高其在缺陷样本稀缺、类别分布极不平衡情况下的检测精度。

2、为了实现上述目的，本技术的实施例提出了一种基于多尺度先验调制的双分支增强配对工业缺陷检测方法，所述方法包括：获取工业检测图像数据集，工业检测图像数据集中的训练样本包含正常样本和缺陷样本，只有少量的缺陷样本带有缺陷标注；基于正常样本对无监督异常检测模型进行第一阶段的训练，在训练完成后冻结其模型参数，得到冻结的无监督异常检测模型，同时基于正常样本和带有缺陷标注的缺陷样本对监督分割模型进行第一阶段的训练，得到预训练的监督分割模型；其中，监督分割模型由多尺度特征提取模块、多尺度先验调制模块、双分支增强特征金字塔、尺度级配对融合模块和预测头组成；将训练样本输入至冻结的无监督异常检测模型，获得冻结的无监督异常检测模型输出的空间异常先验，并将同一训练样本输入至预训练的监督分割模型，通过多尺度特征提取模块进行多尺度特征提取，得到多尺度特征；通过多尺度先验调制模块基于空间异常先验对多尺度特征进行多尺度先验调制，得到多尺度先验调制特征，通过双分支增强特征金字塔分别对多尺度特征和多尺度先验调制特征进行跨尺度增强，再通过尺度级配对融合模块进行尺度级配对融合，得到多尺度融合特征，最后通过预测头对多尺度融合特征进行逐级上采样和融合，输出像素级缺陷分割结果；基于像素级缺陷分割结果，结合对应的损失函数对预训练的监督分割模型进行第二阶段的训练，最终得到训练完成的监督分割模型；在推理阶段，将待检测的工业图像输入至冻结的无监督异常检测模型以获得空间异常先验，再将待检测的工业图像和空间异常先验输入至训练完成的监督分割模型进行工业缺陷检测，得到像素级缺陷分割结果。

3、为了实现上述目的，本技术的实施例还提出了一种电子设备，包括：处理器和存储器，所述存储器中存储有所述处理器能够执行的指令，所述处理器被配置为执行所述指令时，使得所述电子设备能够实现如上述所述的一种基于多尺度先验调制的双分支增强配对工业缺陷检测方法。

4、为了实现上述目的，本技术的实施例还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，能够实现如上述所述的一种基于多尺度先验调制的双分支增强配对工业缺陷检测方法。

5、可选地，无监督异常检测模型采用基于正常原型、特征重构或记忆库匹配的能够产生异常响应图的模型，基于正常样本对无监督异常检测模型进行第一阶段的训练，在训练完成后冻结其模型参数，在第二阶段的训练和推理阶段均不对其模型参数进行改变，得到冻结的无监督异常检测模型；

6、监督分割模型采用pdpnet监督分割网络，基于正常样本和带有缺陷标注的缺陷样本对监督分割模型进行第一阶段的训练，使其快速获得基础的分割能力，得到预训练的监督分割模型。

7、可选地，将训练样本输入至冻结的无监督异常检测模型，获得冻结的无监督异常检测模型输出的空间异常先验，通过以下公式表示：

8、；

9、其中，表示输入的训练样本，表示冻结的无监督异常检测模型，为冻结的无监督异常检测模型的模型参数，表示空间异常先验；

10、监督分割模型采用resnet-50作为多尺度特征提取模块，将同一训练样本输入至预训练的监督分割模型，通过多尺度特征提取模块进行多尺度特征提取，得到多尺度特征，包括：

11、将同一训练样本输入至预训练的监督分割模型的多尺度特征提取模块，由多尺度特征提取模块的不同的特征层输出不同分辨率和语义层次的多尺度特征；

12、第个尺度的特征记为，，；其中，表示多尺度特征提取模块的第个特征层，前三个特征层又称为早期特征层，后两个特征层又称为晚期特征层。

13、可选地，所述基于空间异常先验对多尺度特征进行多尺度先验调制，得到多尺度先验调制特征，包括：

14、获取冻结的无监督异常检测模型输出的空间异常先验，并获取多尺度特征提取模块输出的多尺度特征；

15、对空间异常先验进行阈值变换，得到用于调制的先验图；其中，用于调制的先验图为二值先验或软权重先验；

16、根据各早期特征层的空间分辨率，对先验图进行池化尺度对齐，并将对齐后的先验图作为门控权重，作用于各早期特征层，得到多尺度先验调制特征；

17、对于第个早期特征层，其对齐过程表示为：

18、，；

19、其中，表示阈值变换操作，表示与第个早期特征层的尺度对应的池化尺度对齐操作，表示与第个早期特征层的尺度对应的对齐后的先验图；

20、与第个早期特征层的尺度对应的先验调制特征表示为：

21、；

22、其中，表示与第个早期特征层的尺度对应的先验调制特征，表示进行逐元素相乘，为预设的平衡因子，。

23、可选地，双分支增强特征金字塔包含两个结构相同的跨尺度注意力重分布特征金字塔分支，均由多个跨尺度注意力重分配节点构成，分别为原始特征分支和先验调制特征分支；

24、跨尺度注意力重分配节点将来自不同尺度或前序节点的特征通过上采样或下采样对齐至目标空间分辨率，再利用增强注意力模块对各对齐特征进行重校准，然后沿通道维度拼接和卷积操作进行跨尺度信息融合，最后利用通道特征重组模块进行处理，进一步提升特征多样性；

25、原始特征分支的第个跨尺度注意力重分配节点输出的特征表示为：

26、；

27、其中，和分别表示原始特征分支的第个跨尺度注意力重分配节点和第个跨尺度注意力重分配节点输出的特征，，，表示上采样或下采样对齐操作，表示增强注意力模块，表示沿通道维度拼接操作，表示卷积操作，表示通道特征重组模块；

28、先验调制特征分支的第个跨尺度注意力重分配节点输出的特征表示为：

29、；

30、其中，和分别表示先验调制特征分支的第个跨尺度注意力重分配节点和第个跨尺度注意力重分配节点输出的特征，，。

31、可选地，通过尺度级配对融合模块进行尺度级配对融合，得到多尺度融合特征，按照如下公式实现：

32、；

33、其中，表示原始特征分支输出的第个尺度的增强特征，表示先验调制特征分支输出的第个尺度的增强先验调制特征，表示可学习的融合映射，由卷积操作、归一化操作和非线性激活函数组合实现，表示第个尺度的融合特征。

34、可选地，对于二分类缺陷分割任务，采用由二元交叉熵损失和dice损失组成的二分类联合损失函数对预训练的监督分割模型进行第二阶段的训练，二分类联合损失函数通过公式表示为：

35、；

36、其中，表示预测缺陷掩码，表示真实缺陷掩码，表示二元交叉熵损失，表示dice损失，和均为损失平衡系数；

37、定义为：

38、；

39、其中，表示像素索引，表示第个像素的预测值，表示第个像素的真实值，为用于防止除零的极小常数。

40、可选地，对于多类别缺陷分割任务，采用由多类别交叉熵损失和lovasz-softmax损失组成的多分类联合损失函数对预训练的监督分割模型进行第二阶段的训练，多分类联合损失函数通过公式表示为：

41、；

42、；

43、其中，表示预测logits，表示真实类别标签图，表示类别概率图，表示多类别交叉熵损失，

表示lovasz-softmax损失；

44、定义为：

45、；

46、其中，表示有效像素集合，表示有效像素数量，表示第个像素被预测为真是类别的概率。

47、本技术的实施例提出的一种基于多尺度先验调制的双分支增强配对工业缺陷检测方法，与传统的工业缺陷检测方法相比实现了以下提升。

48、第一，本技术将无监督异常检测模型产生的异常响应图作为空间先验，而不是直接作为最终预测或伪标签使用，这使得该先验能够在监督网络中间特征学习阶段发挥引导作用，在缺陷标注样本不足时，该空间先验能够提示潜在缺陷区域，改善监督信号稀缺导致的特征学习不稳定问题。

49、第二，本技术提出的多尺度先验调制模块将空间先验与早期的多尺度特征进行对齐，并通过门控方式增强潜在缺陷区域响应，使网络在保留原始图像特征的同时减少无关背景区域干扰。由于调制仅作用于空间细节较丰富的早期特征层，因此能够更好地利用无监督先验的空间定位能力，并通过原始特征分支和先验调制特征分支分别进行跨尺度增强，避免将表征差异较大的特征直接混合造成信息冲突。car节点中的跨尺度对齐、注意力重校准和通道特征重组能够进一步提升特征多样性和多尺度表达能力。

50、第三，本技术提出的尺度级配对融合机制在相同尺度上显式融合原始特征和先验调制特征，使二者在对应语义层级上进行互补建模，提高缺陷边界、弱缺陷区域和多尺度缺陷的分割精度。

51、总而言之，相较于单纯的监督方法，本技术更适用于缺陷样本稀缺的早期部署场景，相较于单纯的无监督方法，本技术能够提供更准确的像素级缺陷分割和类别级缺陷语义判别结果。