基于CLIP语义协同引导的DRAEM工件表面异常检测方法

本发明涉及工业视觉检测与无监督异常检测，具体为基于clip语义协同引导的draem工件表面异常检测方法。

背景技术：

1、工业表面异常检测旨在从大量正常样本中学习目标的正常分布，并在测试阶段识别偏离正常外观的局部区域。与自然场景中的通用目标识别任务不同，工业缺陷通常具有区域小、形态多样、类别不平衡、标注昂贵等特点，尤其在无监督或弱监督场景下，模型往往只能利用正常样本进行训练，这使得异常检测与定位成为工业视觉领域中的关键问题。

2、近年来，基于重建的异常检测方法因其无需真实异常标注而受到广泛关注。draem是其中具有代表性的框架之一，其通过重建子网络和判别子网络的双分支结构，将表面异常检测建模为重建偏差与判别分割的联合学习过程：重建网络负责将含异常输入恢复为更接近正常分布的图像，判别网络则对输入图与重建图的联合表示进行建模，从而实现像素级异常定位。

3、然而，原始draem仍存在两方面局限。

4、其一，在异常模拟阶段，原方法通过perlin噪声、随机纹理与透明度混合等方式生成异常区域，这种全局随机扰动虽然能够产生足够多的异常样本，但并未显式约束异常应优先分布于工件主体及其关键结构区域，因此在特定工业场景中可能出现噪声落入背景区域或非关键区域的问题，削弱了合成异常与真实缺陷分布之间的一致性。

5、其二，在异常判别阶段，原方法主要依赖输入图与重建图之间的视觉差异进行定位，对于局部纹理偏差较为敏感，但对高层结构异常、关键部位缺损以及语义不协调异常的感知能力仍然有限。

6、现有技术中缺乏区域约束的异常合成会生成大量脱离真实分布的伪异常，导致模型对无关噪声过于敏感，进而削弱判别网络在测试阶段识别真实异常的泛化能力。

7、同时，仅依赖像素级的重建使得模型难以建立高层抽象的结构映射，往往只习得将人工合成的异常机械地平滑为周围正常像素的浅层修复效果。

8、因此需要对以上问题提出一种新的解决方案。

技术实现思路

1、本发明的目的在于提供基于clip语义协同引导的draem工件表面异常检测方法，以解决背景技术中提出的技术问题。

2、为实现上述目的，本发明提供如下技术方案：基于clip语义协同引导的draem工件表面异常检测方法，包括以下步骤：

3、s1：clip语义引导的区域约束异常生成，输入正常工件图像，通过clip跨模态语义匹配提取工件主体及关键结构区域的区域先验掩码，将模拟异常约束于所述区域先验掩码对应的目标区域内，生成带合成异常的训练图像及对应的异常真值掩码；

4、s2：异常图像重建，将带合成异常的训练图像输入重建子网络，输出恢复为正常外观的重建图像；

5、s3：重建感知的全局-局部语义差分先验计算，将带合成异常的训练图像与重建图像分别输入冻结的clip视觉编码器，在clip跨模态语义空间中计算二者的全局语义差分分数与局部语义差分先验图；

6、s4：语义引导的异常判别定位，将带合成异常的训练图像与重建图像输入判别子网络，将所述局部语义差分先验图与判别子网络的中间特征进行语义门控融合，基于融合特征输出像素级异常预测图；

7、s5：多目标联合优化训练，构建包含重建损失、分割损失、区域约束损失与语义一致性损失的总损失函数，对重建子网络与判别子网络进行端到端联合训练；

8、s6：工件表面异常检测，将待检测工件图像输入训练完成的网络，输出图像级异常检测结果与像素级异常定位结果。

9、进一步地，所述s1中区域先验掩码的提取过程具体为：

10、预设描述工件主体、头部区域、腰部区域的文本提示词集合，通过clip图像编码器与文本编码器的相似度匹配，得到工件主体的粗粒度语义响应图；

11、结合图像几何形态对粗粒度语义响应图进行细化，得到工件主体掩码；

12、根据工件主体掩码的最小外接框高度，按预设归一化位置参数从工件主体掩码中划分出头部区域掩码与腰部区域掩码；

13、所述区域先验掩码包括工件主体掩码、头部区域掩码与腰部区域掩码。

14、进一步地，所述s1中模拟异常的约束与生成过程具体为：

15、通过perlin噪声生成原始异常形状掩码；

16、按预设采样概率从区域先验掩码中采样得到目标区域掩码，将原始异常形状掩码与目标区域掩码进行逐像素相乘，得到区域受限的异常真值掩码；

17、选取外部纹理库中的异常纹理图像，通过透明度系数将异常纹理与正常工件图像在异常真值掩码对应的区域内进行混合，生成带合成异常的训练图像。

18、进一步地，所述区域约束损失由背景抑制项与关键区域偏置项加权构成：

19、所述背景抑制项为异常真值掩码与背景区域的交集的l1范数，用于抑制异常落入工件主体以外的背景区域；

20、所述关键区域偏置项基于异常真值掩码与头部、腰部区域的交集占比构建，用于引导异常优先分布于头部与腰部关键结构区域。

21、进一步地，所述s3中全局语义差分分数的计算过程具体为：

22、分别构建描述工件正常状态的正常提示词集合与描述工件异常状态的异常提示词集合；

23、分别计算带合成异常的训练图像、重建图像的全局特征与两类提示词特征的最大相似度，得到异常输入图像的异常语义得分与重建图像的异常语义得分；

24、将两类图像的异常语义得分相减，得到重建感知的全局语义差分分数，作为图像级异常语义分数。

25、进一步地，所述s3中局部语义差分先验图的计算过程具体为：

26、从clip视觉编码器的transformer层中提取带合成异常的训练图像与重建图像的patchtoken特征；

27、分别计算每个patchtoken特征与正常提示词集合、异常提示词集合的最大语义差值，得到异常输入图像与重建图像各自的局部异常语义响应图；

28、将两幅局部异常语义响应图逐位置相减，得到局部语义差分图，经上采样至原图尺寸后得到局部语义差分先验图。

29、进一步地，所述s4中的语义门控融合具体为：

30、将局部语义差分先验图上采样至与判别子网络中间特征相同的尺寸；

31、以作为语义注意力增益系数，与判别子网络的中间特征进行逐像素相乘，得到语义增强融合特征；其中，α为控制语义先验引导强度的权重参数。

32、进一步地，所述总损失函数的表达式为：

33、

34、其中，为重建损失，用于约束重建图像与原始正常图像的像素一致性；为分割损失，用于监督异常预测图与异常真值掩码的一致性；为区域约束损失；、、为权重系数；所述语义一致性损失为经sigmoid归一化的异常预测图与经归一化的局部语义差分先验图之间的l1距离，用于约束预测结果与clip语义先验的趋势一致性。

35、进一步地，所述s6具体为：

36、将待检测工件图像输入训练完成的重建子网络得到待检测重建图，再输入判别子网络得到像素级异常分数图，同时通过clip计算待检测图像与待检测重建图的全局语义差分分数；

37、基于像素级异常分数图得到像素级异常定位结果，结合像素级异常分数图的统计值与全局语义差分分数得到图像级异常检测结果。

38、与现有技术相比，本发明的有益效果是：

39、1、本发明提升合成异常的真实分布匹配度，通过clip语义先验约束异常生成区域，使合成异常集中于工件主体及关键结构部位，与真实工业缺陷的空间分布高度一致，减少背景伪异常对模型的干扰，显著提升模型对真实缺陷的泛化能力。

40、2、本发明增强高层异常感知能力，通过重建感知的全局-局部语义差分建模，突破了传统draem仅依赖像素视觉差异的局限，能够有效捕捉结构性缺损、语义不协调等高层异常，提升复杂缺陷的检测与定位精度。

41、3、本发明兼顾细粒度定位与语义引导，采用语义门控的融合方式，clip先验仅作为高层补充引导，不替代draem原生的细粒度视觉判别能力，在提升语义感知的同时保留了重建式方法的像素级定位优势。

42、4、本发明统一高效的训练框架，通过多损失联合优化实现端到端训练，无需复杂的多阶段训练流程，兼具draem的高效性与clip的语义表达能力，易于工业场景落地部署。