一种基于图文对称提示协同的零样本异常检测方法

本发明涉及计算机视觉与工业异常检测，尤其涉及一种基于图文对称提示协同的零样本异常检测方法。

背景技术：

1、视觉异常检测在工业质量检测和医学图像分析中发挥着核心作用。在工业场景中，产品表面缺陷（如划痕、凹坑、污染、错位等）种类繁多、形态各异且难以预知；在医学场景中，病变区域的形态和纹理同样表现出极大的多样性。这些应用场景要求模型能够同时完成两项任务：一是判别整幅图像是否包含异常（图像级异常分类），二是精确勾画出异常区域的轮廓（像素级异常定位）。

2、现有主流异常检测方法大多假设在部署前可获得充足的目标域正常训练样本，通过学习正常样本的特征分布来识别偏离的异常。然而，这一假设在实际中经常被违反：新上线产品在部署前可能没有任何训练数据，医学数据因隐私限制往往难以获取。此外，为每个新产品或新场景单独训练一个专用模型的方式，在标注成本、训练时间和维护开销上都不可接受。为应对上述挑战，近年来基于clip（contrastive language-image pre-training）的零样本异常检测方法逐渐兴起。这类方法在辅助源域上利用图像级标签和像素级掩码进行训练，随后直接部署至未见过的目标域，无需任何目标域图像、标签或测试时参数更新。通过将正常/异常状态的文本描述与多层视觉特征进行对齐，这些方法将图像级评分和像素级定位统一在单一流水线中，并借助参数高效的可学习提示（learnable prompt）技术保留了clip的跨域迁移先验。

3、然而，现有clip基零样本异常检测方法在跨域迁移时仍存在四个尚未被充分探索的核心问题：

4、（一）文本侧异常语义表征单一：现有方法通常仅学习一个通用异常文本提示（如「damaged object」），将「异常」视为单一的语义类别。但实际上，同一正常语义类别下的异常模式极为丰富——例如「金属表面」可能同时存在划痕（纹理异常）、凹陷（几何形变）、色差（颜色异常）、毛刺（边缘异常）等多种形态各异的缺陷。单个异常提示无法覆盖这种多粒度的异常语义空间，导致对不同类型异常的检测灵敏度显著不足。部分方法试图通过手工设计多个提示模板或启发式拼接规则来扩充异常描述，但这种非学习式的规则生成难以保证覆盖的完备性和互补性，且各提示之间可能高度冗余而非真正互补。

5、（二）缺乏样本级动态自适应与跨模态双向交互：现有方法的异常提示在训练完成后固定不变，无法根据不同测试样本自身的视觉特征进行个性化调整，难以适应测试样本间差异显著的异常模式变化。更关键的是，现有方法的信息流向为单向——仅从视觉特征计算与文本特征的相似度（视觉→文本），缺少文本→视觉的反向引导通道，且完全忽视了视觉空间中也存在可学习的异常表征。事实上，文本侧学习异常提示（文本空间）与视觉侧学习异常表征（视觉空间）应是对称互补的两个过程，文本特征与视觉特征之间应当建立双向的信息交互，才能充分利用跨模态互补信息增强异常判别。

6、（三）视觉编码器中通用特征与异常特征混杂：现有方法在视觉编码器中维持标准的自注意力机制，所有patch token通过统一的q-k-v注意力进行交互。这导致通用语义特征与异常特异性特征在同一特征空间中混合，异常敏感特征被大量正常区域特征淹没，不利于后续异常判别。同时，标准vit输出的patch特征缺乏显式的局部空间归纳偏置，对需要精确空间定位的像素级异常检测不利——单个patch的感受野受限于固定的网格划分，难以捕获不同空间尺度的异常模式。

7、综上所述，现有技术在以下方面存在明显不足：（a）文本侧异常语义维度单一，缺乏将异常语义分解为多个互补细粒度子模式的可学习机制；（b）缺乏样本级动态自适应能力与视觉侧对称的异常表征，且跨模态信息流为单向；（c）视觉编码器中通用与异常特征混杂，缺乏有效的特征分离与多尺度空间增强机制；（d）未见任何方法将文本异常提示分解、视觉异常提示生成、跨模态双向适配和双流特征解耦进行有机整合。

技术实现思路

1、本发明提供一种基于图文对称提示协同的零样本异常检测方法，以克服现有技术中文本侧异常语义单一、缺乏样本级动态自适应与视觉对称表征、跨模态信息流单向、以及视觉特征混杂且缺乏多尺度空间增强的问题。

2、为了实现上述目的，本发明的技术方案是：

3、一种基于图文对称提示协同的零样本异常检测方法，具体包括以下步骤：

4、s1：获取用于零样本异常检测的文本输入序列与输入图像样本；

5、且所述文本输入序列包括一个正常语义提示与若干个异常语义提示；所述输入图像样本包括但不仅限于工业产品表面缺陷图或医学影像；

6、s2：构建基于图文对称提示协同的零样本异常检测模型；

7、且所述零样本异常检测模型包括图像编码器模块、文本编码器模块、视觉异常提示生成模块、图像驱动文本适配模块、文本驱动视觉适配模块以及双模态融合与异常判定模块；

8、所述图像编码器模块用于基于clip视觉编码器通过多头自注意力机制与双流注意力机制，根据各输入图像样本获取空间增强的patch特征与图像全局特征；所述文本编码器模块用于基于clip文本编码器，根据文本输入序列获取正常文本特征与若干异常文本特征；根据若干异常文本特征获取聚合异常文本特征；根据聚合异常文本特征与patch特征获取各粗检测文本异常图；

9、所述视觉异常提示生成模块用于根据图像全局特征获取视觉正常token与视觉异常token；所述图像驱动文本适配模块用于根据粗检测文本异常图，获取精检测文本异常图；所述文本驱动视觉适配模块用于根据聚合异常文本特征与视觉异常token以及正常文本特征，获取适配后的视觉异常token；根据所述视觉正常token与适配后的视觉异常token，以获取视觉异常图；所述双模态融合与异常判定模块用于根据设定的视觉融合权重，对粗检测文本异常图、精检测文本异常图以及视觉异常图进行融合获取融合异常图，并对所述融合异常图施加高斯滤波平滑后，输出最终异常热力图与对应的图像级异常分类结果；

10、s3：根据文本输入序列与输入图像样本，以最小化设定的联合训练目标函数的损失值，对构建零样本异常检测模型进行训练，获取最优异常检测模型；根据最优异常检测模型实现基于图文对称提示协同的零样本异常检测。

11、进一步的，s2中空间增强的patch特征与图像全局特征的获取方法为：

12、将所述输入图像样本输入至预置的clip视觉编码器；且所述clip视觉编码器包括依次连接核参数不同的24层编码层；将1至19层编码层定义为编码器浅层，将20至24编码层定义为编码器深层；所述编码器浅层用于基于标准多头自注意力提取输入图像样本中的通用视觉特征，且通用视觉特征包括但不仅限于纹理、边缘及颜色特征；所述编码器深层用于基于双流注意力机制，根据编码器浅层的输出，获取通用语义特征与异常特异性特征，对应的公式为：

13、

14、

15、式中：表示通用语义特征；表示异常特异性特征；表示查询向量、键向量以及值向量；表示特征维度；表示转置；

16、基于设定的层索引集合，从clip视觉编码器中对应的各编码层的输出中提取多层patch特征；以设定的不同尺寸的高斯核分别对每个patch特征的空间邻域进行通道级加权聚合，以获取空间增强的patch特征与图像全局特征；所述通道级加权聚合的方法为：先将patch特征重塑为二维空间网格，再通过unfold操作提取二维空间网格的邻域窗口，并将所述邻域窗口通过预置的归一化高斯权重进行逐元素加权求和。

17、进一步的，s2中所述粗检测文本异常图的获取方法为：

18、将所述文本输入序列输入至预置的clip文本编码器，分别提取所述正常语义提示与若干个所述异常语义提示的文本语义特征，获取正常文本特征与若干异常文本特征；

19、根据若干异常文本特征获取聚合异常文本特征为：

20、

21、式中：表示聚合异常文本特征；表示异常文本特征的总数量；表示第个异常文本特征；

22、根据聚合异常文本特征与patch特征获取粗检测文本异常图，即通过计算patch特征与聚合异常文本特征的余弦相似度后，再经函数输出得到粗检测文本异常图。

23、进一步的，s2中所述视觉异常提示生成模块包括输入层、图像条件生成网络；所述输入层用于将所述图像全局特征传输至图像条件生成网络；所述图像条件生成网络包括共享骨干网络、正常头部以及异常头部；

24、所述共享骨干网络包括依次连接的批归一化层、线性层以及激活函数层；所述批归一化层用于对图像全局特征执行归一化操作；所述线性层用于对批归一化层的输出执行线性操作；所述激活函数层用于对线性层的输出执行激活操作；所述正常头部用于通过预置的第一全连接层，对所述激活函数层执行全连接映射操作，获取正常token增量以得到视觉正常token；所述异常头部用于通过预置的第二全连接层，对所述激活函数层执行全连接映射操作，获取个异常token增量以得到个视觉异常token，其表达式为：

25、

26、

27、式中：表示l2正则化；表示视觉正常token；,表示可学习的基底向量；表示可学习门控因子；表示第个视觉异常token。

28、进一步的，s2中所述精检测文本异常图的获取方法为：

29、获取各粗检测文本异常图中异常得分最高的k个patch位置；且所述异常得分的分值由patch特征与聚合异常文本特征的余弦相似度的大小所决定，余弦相似度越大异常得分的分值越高；

30、通过特征-偏置映射网络根据k个patch位置获取偏置向量为：

31、

32、式中：表示偏置向量；表示向量拼接操作；表示多层感知机；表示粗检测异常图中异常得分第k高的patch空间索引且；

33、将偏置向量以加性方式添加至各异常语义提示的异常语义token参数上，并重新通过所述文本编码器模块获取精检测文本异常图。

34、进一步的，s2中所述视觉异常图的获取方法为：

35、根据聚合异常文本特征与视觉异常token，获取适配后的视觉异常token为：

36、

37、

38、式中：表示适配后的视觉异常token；表示异常token的精炼增量；表示第个异常token的精炼增量且；表示预置的先验映射网络；表示聚合异常文本特征；表示异常-正常文本差异特征；表示可学习的缩放因子；表示第个视觉异常token；

39、根据所述视觉正常token与适配后的视觉异常token，以获取视觉异常图为：

40、

41、式中：表示视觉异常图；表示第个patch特征；表示温度系数；表示视觉正常token。

42、进一步的，s2中通过双模态融合与异常判定模块，输出最终异常热力图与对应的图像级异常分类结果的方法为：

43、根据设定的视觉融合权重，对粗检测文本异常图、精检测文本异常图以及视觉异常图进行融合获取融合异常图为：

44、

45、

46、式中：表示融合异常图；表示视觉融合权重；表示粗检测文本异常图；表示精检测文本异常图；表示中间参量；表示的简写形式；

47、根据所述融合异常图与文本分类异常概率，获取图像级异常分数为：

48、

49、

50、式中：表示图像级异常分数；表示文本分类异常概率；表示融合异常图中得分最高的k个patch位置索引集合；表示的简写形式；

51、对所述融合异常图施加高斯滤波平滑后，并结合图像级异常分数输出最终异常热力图与对应的图像级异常分类结果。

52、进一步的，s3中所述联合训练目标函数即基于设定的权重系数，得到的若干损失项之和；且所述损失项包括文本异常图损失、视觉异常图损失、图像级分类损失、正交约束损失、偏置正则化损失、视觉-文本对齐损失、视觉token多样性损失以及文本驱动视觉适配的先验残差正则化损失。

53、本发明提供了一种基于图文对称提示协同的零样本异常检测方法，有益效果如下：

54、（1）通过图文对称的提示解耦架构：通过文本编码器模块基于clip文本编码器，在文本空间将异常语义提示分解为若干个正交约束的细粒度提示即异常文本特征；通过视觉异常提示生成模块在视觉空间将输入图像样本的异常表征分解若干各图像条件的视觉异常token；两个模块构成跨模态提示解耦对，实现了文本与视觉双侧的对称异常语义分解，相比现有技术仅文本侧单一提示的方案，多粒度解耦能够使得模型能够同时响应纹理类、结构类、颜色类、边缘类等多种异常子模式，检测覆盖率显著提升；

55、（2）双向跨模态先验适配：通过图像驱动文本适配模块与文本驱动视觉适配模块构成跨模态先验适配对，突破了现有技术仅单向信息流的局限，实现了真正的图文双向协同，双向适配的增益大于任一单向适配；

56、（3）双流特征分离与多尺度增强：通过双流注意力机制即多头自注意力机制与双流注意力机制，在视觉编码器深层将通用语义特征与异常特异性特征有效分离，异常敏感特征不再被大量正常区域特征淹没，配合参数无关的多尺度高斯邻域聚合，以零额外参数扩大密集预测的有效感受野，显著提升了异常定位的精度和空间一致性。

57、（4）极轻量级与高效部署：训练后的模型能够直接部署至任意未见目标域，无需任何目标域侧的适配操作或数据访问，在工业缺陷检测和医学影像筛查等跨域场景中具有极高的实用价值。