一种多尺度视觉-文本协同异常检测方法

本发明涉及计算机视觉与自然语言处理，特别是一种多尺度视觉-文本协同异常检测方法。

背景技术：

1、基于视觉-语言预训练模型的异常检测方法已广泛应用于工业质检、医疗影像分析、表面缺陷识别及智能监控等场景。这类方法通常利用图像编码器提取视觉特征，在文本端输入无缺陷、有缺陷等提示语，再通过视觉特征与文本特征之间的余弦相似度完成图像级判别和像素级定位，典型的零样本异常检测方法包括基于clip模型的winclip、anomalyclip、af-clip等，均取得了较好的检测效果。

2、围绕该方向，现有技术还存在多种实现路线：一类方法基于扩散模型与文本嵌入进行异常检测，利用图文生成模型提取图像或视频帧的文本信息，再通过文本编码器得到语义特征，并借助扩散模型重构图像特征与文本特征，从而完成异常判别；另一类方法基于图神经网络与语言特征指导进行异常检测，将图像分割为多个图像块并构建图结构，通过图神经网络分层聚合局部与全局特征，再以特征记忆库存储正常样本特征，以测试特征与记忆库的最小距离作为异常判据。

3、但是，上述方法仍存在明显不足：其一，多尺度特征融合大多采用固定权重或简单拼接策略，难以根据不同样本动态调整各尺度贡献，导致对细小裂纹、边缘破损与大面积污渍等尺度差异较大的异常响应不稳定；其二，视觉与文本的对齐多停留于特征级直接相似度计算，跨模态交互深度不足，异常语义表达偏弱；其三，不少方法仅以正常特征作为单侧参照，或者仅构建单一记忆库，缺乏对异常原型分布的显式建模，当正常纹理与异常纹理高度相似或异常形态复杂多变时，模型容易出现误检与漏检，整体判别边界不够清晰；其四，记忆库式异常检测方法多依赖训练阶段预先构建的固定参考特征，难以依据当前待检测场景的纹理分布与异常模式自适应更新，在目标域发生分布偏移时，固定记忆库对当前异常模式的表征能力不足，检测鲁棒性下降。

技术实现思路

1、本发明的目的是提出一种多尺度视觉-文本协同异常检测方法，解决现有异常检测方法难以适配目标域分布偏移、多尺度响应不稳定、跨模态交互不足、缺少异常原型显式建模等问题，提升异常检测的定位与判别精度。

2、为实现上述目的，本发明提出了一种多尺度视觉-文本协同异常检测方法，具体步骤如下：

3、步骤s1、获取带正常类别或异常类别标注的训练图像样本，并构建包括视觉编码器、文本编码器和可学习检索对比融合评分网络的基础视觉-文本模型，利用带标注的训练样本建立临时正常记忆库和临时异常记忆库；

4、步骤s2、基于临时正常记忆库和临时异常记忆库对基础视觉-文本打分模型和可学习检索对比融合评分网络进行联合训练；

5、步骤s3、将待检测图像集合输入训练后的基础视觉-文本打分模型，得到每幅待检测图像的初始正常或异常置信度；

6、步骤s4、根据初始正常或异常置信度将待检测图像集合划分为疑似正常图像和疑似异常图像，并分别从疑似正常图像和疑似异常图像中动态构建目标域正常记忆库和目标域异常记忆库；

7、步骤s5、通过视觉编码器提取当前待检测图像的视觉特征，利用多尺度自适应融合模块对视觉特征在不同尺度窗口下并行提取的多尺度特征进行自适应加权融合，得到查询特征；

8、步骤s6、将查询特征分别与目标域正常记忆库和目标域异常记忆库中的原型进行前

k个最相关原型检索，得到候选原型集合；

9、步骤s7、基于候选原型集合，利用可学习检索对比融合评分网络对查询特征进行关系编码、注意力聚合、正常重建或异常增强以及对比融合处理，生成记忆分支像素级异常热图和记忆分支图像级异常得分；

10、步骤s8、利用文本编码器将正常提示语和异常提示语映射为语义向量，生成语义分支像素级异常热图和语义分支图像级异常得分；

11、步骤s9、将记忆分支像素级异常热图与语义分支像素级异常热图加权融合得到最终像素级异常热图，将记忆分支图像级异常得分与语义分支图像级异常得分加权融合得到最终图像级异常得分。

12、优选的，步骤s2中，基于临时正常记忆库和临时异常记忆库对基础视觉-文本打分模型和可学习检索对比融合评分网络进行联合训练的总损失函数如下：

13、；

14、其中，为总损失函数值，为像素级分割损失，为图像级分类损失，为视觉-文本对齐损失，、、为权重系数；

15、像素级分割损失计算公式如下：

16、；

17、其中，为焦点损失，为骰子损失，为平衡系数；

18、图像级分类损失计算公式如下：

19、；

20、其中，为样本标签，=0表示正常样本，=1表示异常样本，为模型预测图像为异常的概率，为自然对数函数；

21、视觉-文本对齐损失计算公式如下：

22、；

23、其中，为图像特征，为正常文本嵌入，为异常文本嵌入，为与当前样本真实类别相对应的文本嵌入，为相似度函数，为温度系数，为自然指数函数。

24、优选的，步骤s4中，从疑似正常图像和疑似异常图像中动态构建目标域正常记忆库和目标域异常记忆库，包括：从疑似正常图像中筛选低异常响应图块作为正常候选图块，从疑似异常图像中筛选高异常响应图块作为异常候选图块，提取正常候选图块的特征和异常候选图块的特征，分别对正常候选图块的特征和异常候选图块的特征进行相似度去冗余处理和聚类压缩处理，形成目标域正常记忆库的原型集合和目标域异常记忆库的原型集合。

25、优选的，步骤s5中，利用多尺度自适应融合模块对视觉特征在不同尺度窗口下并行提取的多尺度特征进行自适应加权融合，具体如下：

26、步骤s51、通过多个不同尺寸的尺度窗口对视觉特征进行并行特征提取，得到各尺度对应的多尺度视觉表示，公式如下：

27、；

28、其中，为多尺度视觉表示，为尺度

s对应的特征提取函数，为视觉特征，为尺度窗口大小；

29、步骤s52、通过可学习权重生成分支对多尺度视觉表示进行处理并经softmax归一化，得到各尺度对应的自适应权重，公式如下：

30、；

31、其中，为尺度

s的自适应权重，为尺度

s对应的可学习权重生成函数，为尺度

r对应的可学习权重生成函数；

32、步骤s53、按照自适应权重对多尺度视觉表示进行动态加权融合，并对融合结果进行归一化处理，得到查询特征，公式如下：

33、；

34、其中，为查询特征，为归一化操作，为逐元素乘法。

35、优选的，步骤s6中，将查询特征分别与目标域正常记忆库和目标域异常记忆库中的原型进行前

k个最相关原型检索，具体如下：

36、步骤s61、分别计算查询特征与目标域正常记忆库中的各原型特征以及目标域异常记忆库中的各原型特征之间的余弦相似度，公式如下：

37、；

38、其中，为第

i个查询图块特征，为记忆库中的原型特征，为正常分支或异常分支，为二范数，

i为查询图块下标，

i=1,2,…,p，p为待检测图像包含的查询图块数量；

39、步骤s62、分别选取相似度最高的前

k个正常原型和异常原型：

40、；

41、其中，为查询图块对应的原型检索集合；当时，为查询图块对应的正常原型检索集合；当时，为查询图块对应的异常原型检索集合，为预设的检索原型数量；

42、将检索得到的第个原型记为。

43、优选的，步骤s7中，利用可学习检索对比融合评分网络对查询特征进行关系编码，具体如下：

44、对于查询图块及检索得到的原型，将查询特征、原型特征、二者的差异特征以及逐元素交互特征进行拼接，得到关系输入：

45、；

46、关系编码结果为：

47、；

48、其中，表示特征拼接，表示逐元素乘法，表示由全连接层、归一化层和非线性激活层组成的关系编码网络，为查询图块与原型的关系编码结果。

49、优选的，步骤s7中，利用可学习检索对比融合评分网络对查询特征进行注意力聚合，具体如下：

50、根据关系编码结果，通过可学习的注意力权重生成函数得到各检索原型对应的注意力权重，公式如下：

51、；

52、其中，为检索原型对应的注意力权重，为可学习的注意力权重生成函数，为注意力权重归一化的求和下标；

53、按照注意力权重对正常原型检索集合中的正常原型进行加权聚合，得到正常参照表示：

54、；

55、按照注意力权重对异常原型检索集合中的异常原型进行加权聚合，得到异常参照表示：

56、；

57、其中，为正常参照表示，为正常分支的注意力权重，为检索到的第

j个正常原型，为异常参照表示，为异常分支的注意力权重，为检索到的第

j个异常原型。

58、优选的，步骤s7中，利用可学习检索对比融合评分网络对查询特征进行正常重建或异常增强，具体如下：

59、利用可学习的正常重建网络，基于正常参照表示对查询特征进行正常模式重建，得到正常重建特征：

60、；

61、根据查询特征与正常重建特征得到正常偏离特征：

62、；

63、其中，为正常重建特征，为可学习的正常重建网络，为查询特征偏离正常模式的程度；

64、根据查询特征与异常参照表示生成异常增强门控权重：

65、；

66、按照异常增强门控权重对查询特征进行异常增强，得到异常增强特征：

67、；

68、对应的异常增强响应为：

69、；

70、其中，为异常增强门控权重，为异常增强门控生成函数，为sigmoid激活函数，为异常增强特征，为异常增强响应。

71、优选的，步骤s7中，利用可学习检索对比融合评分网络对查询特征进行对比融合处理并生成记忆分支像素级异常热图和记忆分支图像级异常得分，具体如下：

72、将正常偏离特征、异常增强特征以及正常参照表示与异常参照表示之间的差异特征进行拼接，得到对比融合输入：

73、；

74、将对比融合特征输入多层感知机进行对比融合，得到记忆分支融合特征：

75、；

76、将全部图块对应的记忆分支融合特征恢复为空间特征图，通过卷积解码头对空间特征图进行解码，得到记忆分支像素级异常热图：

77、；

78、对记忆分支像素级异常热图进行池化处理，得到记忆分支图像级异常得分：

79、；

80、其中，为对比融合特征，为记忆分支融合特征，为对比融合多层感知机，为卷积解码头，为特征恢复操作，为记忆分支像素级异常热图，为池化操作，为记忆分支图像级异常得分。

81、优选的，步骤s9中，将记忆分支像素级异常热图与语义分支像素级异常热图加权融合，且将记忆分支图像级异常得分与语义分支图像级异常得分加权融合，具体如下：

82、按照融合权重系数和语义分支调节系数对记忆分支输出与语义分支输出进行加权，得到最终像素级异常热图和最终图像级异常得分：

83、；

84、；

85、其中，、为融合权重系数，为语义分支调节系数，为记忆分支像素级异常热图，为语义分支像素级异常热图，为记忆分支图像级异常得分，为语义分支图像级异常得分。

86、因此，本发明提出了一种多尺度视觉-文本协同异常检测方法，其有益效果如下：

87、（1）本发明通过多尺度自适应融合模块按样本内容自动调整局部细节与全局上下文的贡献比例，能够提升模型对不同尺寸异常、不同空间扩散范围异常的感知能力，有利于稳定不同尺度异常的检测响应。

88、（2）本发明通过可学习的关系编码、注意力聚合、正常重建与异常增强及对比融合，对查询特征与正常、异常原型之间的关系进行深度建模，能够显式刻画正常模式与异常模式的双侧分布，有利于清晰划分正常与异常判别边界，降低正常纹理与异常纹理高度相似或异常形态复杂多变时的误检与漏检。

89、（3）本发明通过文本端语义分支与记忆分支联合判别，能够强化视觉与文本的跨模态协同，丰富异常语义表达，有利于提升图像级判别与像素级定位的准确度。

90、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。