一种工业图像异常检测方法

本发明涉及计算机视觉与智能工业检测，具体涉及一种工业图像异常检测方法。

背景技术：

1、在工业视觉检测领域，现有的异常检测方法通常依赖大量的正常样本或真实异常样本进行模型训练。然而，在实际的工业生产中，往往面临异常样本稀缺、新产品不断涌现以及新缺陷类型多变等问题，导致传统有监督检测方法的泛化能力极为有限。

2、近年来，随着视觉语言模型（如clip模型）的发展，基于此类大模型的零样本或弱监督异常检测方法逐渐兴起。这类方法能够利用图文对齐能力，通过输入“正常”或“异常”的文本提示来生成异常响应图。但在实际的复杂工业检测场景中，现有方法仍存在以下明显的技术缺陷：

3、第一，单纯依赖文本语义提示时，图像中的正常高光、结构边缘、背景纹理变化以及孔洞等区域极易被误判为异常，导致误报率较高。

4、第二，单纯依赖批内样本间的一致性比较或参照校验时，虽然能在一定程度上提高定位效果，但其缺少语义解释性，且容易受到同批次样本分布偏差的影响。

5、第三，目前融合多源证据（如语义特征与图像参照特征）的方法多采用固定加权融合，无法根据图像不同空间区域处各类证据的可靠性进行动态调整。

6、第四，对于面积微小的缺陷，现有的粗粒度图像块（patch）表征容易导致预测的异常区域过度扩散，造成异常热图定位不够精细。

7、因此，亟需一种能够同时兼顾语义可解释性、批内参照鲁棒性以及具备自适应融合机制的工业异常检测方法。

技术实现思路

1、本发明的目的在于提供一种工业图像异常检测方法，以解决现有工业图像异常检测方法在异常样本稀缺条件下，单纯依赖语义提示易产生背景误报，单纯依靠参照校验缺乏语义解释性，以及现有固定权重融合机制无法根据空间位置动态调整多源特征可靠性，进而导致异常定位精度差、检测鲁棒性不足的技术问题。

2、为了解决上述的问题，本发明采取的技术方案如下：

3、一种工业图像异常检测方法，包括如下步骤：

4、s1，获取待检测工业图像，并对所述待检测工业图像进行局部区域划分，得到多个局部图像区域；

5、s2，将所述待检测工业图像及其局部图像区域输入预训练视觉语言模型的图像编码器，提取全局图像特征和局部视觉特征；

6、s3，构建与目标类别正常状态对应的正常文本提示集合，与异常状态对应的异常文本提示集合以及异常基元提示集合，并通过所述预训练视觉语言模型的文本编码器获得正常文本特征和异常文本特征；

7、s4，基于所述局部视觉特征与所述正常文本特征、异常文本特征之间的相似度差异，生成语义异常响应图，所述语义异常响应图用于表示待检测工业图像中各局部区域的语义异常程度；

8、s5，基于与所述待检测工业图像属于同类别、同批次或同工况条件的参照图像，计算待检测工业图像中各局部区域与参照图像中局部区域之间的特征匹配一致性，并根据所述特征匹配一致性生成批内参照稀有性响应图，所述批内参照稀有性响应图用于表示各局部区域在参照图像集合中的稀有性或不一致性；

9、s6，将所述语义异常响应图、所述批内参照稀有性响应图以及由二者构造的交互特征输入特征学习融合模块，由所述特征学习融合模块生成空间自适应融合权重和融合修正结果；

10、s7，根据所述空间自适应融合权重和融合修正结果生成最终异常热图，并基于所述最终异常热图计算图像级异常分数，输出异常定位结果和异常检测结果。

11、进一步地，在所述s2中，所述局部区域划分包括滑动窗口裁剪、重叠patch划分、视觉transformer patch token提取或多尺度局部区域提取中的至少一种；所述局部视觉特征在计算相似度前进行归一化处理；

12、设所述待检测工业图像被划分为n个局部图像区域，第i个局部图像区域的归一化后的局部视觉特征表示为：

13、

14、其中，表示第i个局部图像区域，表示预训练视觉语言模型的图像编码器，为归一化后的局部视觉特征。

15、进一步地，在所述s3中，所述正常文本提示集合包括描述目标类别正常、完整、无损或良好状态的文本模板；所述异常文本提示集合包括描述目标类别异常、缺陷、破损、污染、变形或异常纹理状态的文本模板；所述正常文本特征和所述异常文本特征分别采用多个文本模板编码后的平均表示，分别定义为：

16、

17、

18、其中，为预训练视觉语言模型的文本编码器，为第k个正常状态文本提示，为第k个异常状态文本提示，和分别表示正常状态文本提示和异常状态文本提示的数量，表示所述正常文本特征，表示粗粒度异常文本特征作为所述异常文本特征。

19、进一步地，在所述s4中，基于所述局部视觉特征与正常文本特征、粗粒度异常文本特征之间的相似度差异生成局部语义异常响应，计算方式为：

20、

21、

22、

23、其中，表示第i个局部图像区域的局部视觉特征与正常文本特征的相似度，表示第个局部图像区域的局部视觉特征与粗粒度异常文本特征的相似度，表示sigmoid函数，表示温度系数，表示第i个局部图像区域的语义异常响应。

24、进一步地，在所述s3中，所述异常基元提示集合包括由裂纹、划痕、污渍、凹陷、变形、边缘破损、缺失、孔洞、变色、污染、异常纹理或结构缺陷中的至少一种异常基元提示词与目标类别名称组合形成的类别条件化异常提示集合，并通过所述文本编码器得到细粒度异常基元特征；

25、在所述s4中，基于局部视觉特征与细粒度异常基元特征之间的相似度差异，得到窗口级语义异常响应结果，设第k个异常基元的细粒度异常基元特征为，则第i个局部图像区域相对于第k个异常基元的语义margin表示为：

26、

27、当采用top-k异常基元响应时，组合式语义异常响应作为所述窗口级语义异常响应结果，其计算方式为：

28、

29、其中，k表示异常基元提示数量，表示选取响应最大的k个异常基元margin。

30、进一步地，在所述s4中，将各局部图像区域的局部语义异常响应和窗口级语义异常响应结果按照在原图中的空间位置映射回图像坐标系，并对重叠区域进行聚合，分别得到与待检测工业图像空间对齐的patch级语义异常响应图和窗口级语义异常响应图，并将二者融合得到所述语义异常响应图，融合表达式为：

31、

32、其中，表示两类响应的融合系数，表示像素空间坐标。

33、进一步地，在所述s5中，所述批内参照稀有性响应图通过如下方式生成：

34、采用与所述待检测工业图像相同的区域划分策略，将所述参照图像划分为多个局部区域，并提取局部区域的视觉特征构建批内参照特征库

35、

36、其中，表示第j张参照图像中第k个局部区域的视觉特征，n为参照图像的总数，表示第j张参照图像所包含的局部区域数量；

37、对于所述待检测工业图像中的第i个局部图像区域，其局部视觉特征与所述批内参照特征库中各视觉特征之间的余弦相似度计算为：

38、

39、选取相似度最高的前个视觉特征，计算平均相似度作为批内一致性分数：

40、

41、将所述批内一致性分数转换为批内参照稀有性响应：；

42、将各局部图像区域的批内参照稀有性响应按照对应窗口在原图中的空间位置映射回图像坐标系，并对重叠区域进行聚合，得到所述批内参照稀有性响应图c：

43、

44、其中，表示第i个局部图像区域在原图中的窗口坐标，表示待检测工业图像所包含的局部区域数量，表示基于窗口位置的空间聚合操作。

45、进一步地，在所述s6中，所述交互特征包括语义引导参照增强图、所述语义异常响应图与所述批内参照稀有性响应图的差值、绝对差值、乘积、最大值、最小值、平方项以及局部梯度特征；

46、其中，所述语义引导参照增强图记为，用于对批内参照稀有性响应图进行受限增强，其表达式为：

47、

48、其中，表示所述批内参照稀有性响应图，表示所述语义异常响应图，表示语义增强系数；

49、所述特征学习融合模块的多通道证据输入张量特征构造为：

50、

51、其中，和分别表示对应响应图的局部梯度特征。

52、进一步地，在所述s6和s7中，所述特征学习融合模块为可学习空间门控融合模块，所述可学习空间门控融合模块根据所述多通道证据输入张量特征，输出逐像素语义门控权重、逐像素批内参照门控权重以及残差修正项，并据此生成所述最终异常热图，其计算方式为：

53、

54、

55、

56、

57、其中，表示可学习空间门控融合模块，和分别表示语义分支和批内参照分支的门控logit，和分别表示所述逐像素语义门控权重和所述逐像素批内参照门控权重，表示所述残差修正项，表示门控温度系数，表示基础融合结果，表示所述最终异常热图。

58、进一步地，在所述s7中，所述图像级异常分数由所述最终异常热图计算得到，计算方式为：

59、

60、

61、其中，表示最终异常热图s中分数最高的k个像素区域，表示top-k比例，和分别表示最终异常热图的高度和宽度，表示所述图像级异常分数；

62、所述可学习空间门控融合模块通过良品图像及其伪异常样本进行训练，训练过程中所述预训练视觉语言模型的图像编码器和文本编码器参数保持冻结，训练损失函数l表示为：

63、

64、

65、

66、

67、

68、其中，表示伪异常掩码，表示图像级正常或异常标签，表示像素级异常区域监督损失，表示图像级异常判别损失，表示多尺度辅助监督损失，表示空间平滑正则项，表示门控熵正则项，、、、为对应的损失权重，指代所述逐像素语义门控权重和所述逐像素批内参照门控权重。

69、与现有技术相比，本发明的有益效果是：

70、（1）本发明通过将预训练视觉语言模型提取的语义先验与同批次/同工况样本的批内参照校验相结合，并引入特征学习融合模块，有效打破了单一检测手段的局限性。该方法能够综合利用图文语义信息和样本间的外观共性，在零样本或目标类别异常样本缺失的弱监督条件下，大幅提升了异常检测的鲁棒性和定位精度。

71、（2）本发明引入了多层次的双分支文本提示（正常状态提示与粗略异常状态提示），并特别构建了细粒度的异常基元提示（如包含划痕、破损、污染等具体缺陷描述）。这不仅赋予了异常响应图明确的语义来源和可解释性（不再是传统的黑盒分数），还能敏锐地捕捉细粒度的缺陷特征，有效防止了小微缺陷响应区域的扩散问题。

72、（3）本发明通过构建批内参照特征库并计算局部区域的特征匹配一致性，充分利用了同批次或同工况样本正常区域的外观共性对候选异常进行二次校验。该机制能够精准识别并过滤由光照变化、局部高光、背景噪声或正常结构纹理波动引起的语义误报，显著降低了系统的误检率。

73、（4）本发明构建了多通道交互特征输入张量，并创新性地采用了可学习空间门控融合模块。该模块突破了传统人工固定权重的限制，能够基于像素级的空间位置，自适应地判断并分配语义分支和批内参照分支的置信度权重。当两分支存在预测冲突时，该门控机制可动态抑制不可靠分支，结合受限增强与残差修正，进一步保障了最终异常热图的可信度和精准度。

74、（5）本发明在模型训练阶段保持预训练视觉语言模型的主干参数完全冻结，仅利用易于获取的良品图像和模拟生成的伪异常样本对轻量的门控融合模块进行训练。该策略既保留了大模型强大的泛化感知能力，又免去了对真实异常样本的依赖和高昂的算力开销，使得本发明能够以极低的训练成本快速部署于各种实际工业场景中。

75、为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。