一种基于视觉语言模型的图像异常检测方法、装置及电子设备

摘要: 本发明属于计算机视觉与工业异常检测,具体涉及一种基于视觉语言模型的图像异常检测方法、装置及电子设备。背景技术:1、视觉异常检测在工业质量检测和医学图像分析中发挥...
一种基于视觉语言模型的图像异常检测方法、装置及电子设备

本发明属于计算机视觉与工业异常检测,具体涉及一种基于视觉语言模型的图像异常检测方法、装置及电子设备。

背景技术:

1、视觉异常检测在工业质量检测和医学图像分析中发挥核心作用——工业场景中产品表面缺陷(划痕、凹坑、污染等)种类繁多,要求模型能同时完成图像级异常判别和像素级异常定位。

2、现有主流异常检测方法(padim、patchcore、draem、simplenet 等)大多假设部署前可获得充足的目标域正常训练样本。近年来基于 clip 的零样本异常检测方法(winclip、anomalyclip、adaclip、aa-clip、af-clip、promptmoe 等)在辅助源域上利用图像级标签和像素级掩码训练,随后直接部署至未见目标域,无需目标域数据。如图1所示,现有方法在视觉侧使用统一层无关适配处理异构多层特征,文本侧将相同锚点共享于图像级和像素级任务,忽视层级特征差异和任务特定锚点需求。

3、由此可知,现有clip基方法存在两个关键适配问题尚未得到解决:

4、在视觉侧,对预训练模型输出的多层视觉特征采用层无关的统一适配策略,忽视了浅层特征(侧重局部纹理)与深层特征(侧重全局语义)在语义抽象程度及跨域偏移特性上的异构性,导致统一适配时出现深层特征欠适配或浅层特征过适配的现象,引发语义漂移。

5、在文本侧,相同锚点被共享于图像级分类和像素级定位,忽视两任务对锚点特性的不对称需求:图像级分类受益于实例自适应决策边界,像素级定位依赖跨补丁一致的稳定参考。单一文本基准难以同时兼顾两者,导致检测精度与定位一致性无法同步提升。

技术实现思路

1、本发明针对现有基于视觉语言模型的异常检测方法中存在的视觉多层特征统一适配导致的异构冲突以及单一文本锚点无法满足多粒度任务需求问题,提出了一种基于视觉语言模型的图像异常检测方法、装置及电子设备,实现视觉特征精准校准与文本参考基准的任务感知解耦,从而提升跨域异常检测的综合性能。

2、本发明采用的技术手段如下:

3、一种基于视觉语言模型的图像异常检测方法,包括以下步骤:

4、获取输入图像经预训练视觉语言模型提取的多层视觉特征,所述多层视觉特征包括类别词元和补丁词元;

5、对所述多层视觉特征进行分解式适配处理,得到校准后的多层视觉特征,所述分解式适配处理包括跨层共享对齐和层特异性残差补偿;

6、构建文本参考基准,所述文本参考基准包括基于所述多层视觉特征动态生成的第一参考基准,以及不随所述输入图像动态变化的第二参考基准;

7、基于所述校准后的多层视觉特征与所述第一参考基准进行图像级异常分类,并基于所述校准后的多层视觉特征与所述第二参考基准进行像素级异常定位。

8、进一步地,对所述多层视觉特征进行分解式适配处理,得到校准后的多层视觉特征,包括:

9、采用固定深度可分离高斯核对所述多层视觉特征中的补丁词元进行通道级邻域聚合,得到层-尺度特征;

10、通过所有层和尺度共享的可学习适配器及预训练视觉语言模型的投影层对所述层-尺度特征进行所述统一对齐变换,得到对齐特征;

11、采用零初始化的瓶颈投影层对所述对齐特征进行残差计算,并将计算结果叠加至所述对齐特征,得到所述校准后的多层视觉特征。

12、进一步地,所述层-尺度特征根据以下公式获取:

13、

14、其中,表示层-尺度特征,表示类别词元,表示使用固定深度可分离高斯核对补丁词元进行通道级高斯邻域聚合;

15、所述对齐特征根据以下公式获取:

16、

17、其中,表示对齐特征,表示所有层和尺度共享的可学习适配器,表示层归一化操作,表示预训练视觉语言模型的视觉投影层处理;

18、所述校准后的多层视觉特征根据以下公式获取:

19、

20、其中,表示施加第 l 层特定的瓶颈残差矫正的对齐特征,和为层特定瓶颈投影矩阵,为缩减比,表示层参数。

21、进一步地,构建文本参考基准,包括:

22、基于包含可学习上下文词元的提示模板进行编码,得到所述第二参考基准

23、基于所述多层视觉特征聚合的路由信号,通过专家混合网络生成图像条件残差,并将所述图像条件残差叠加至所述第二参考基准,得到所述第一参考基准;

24、基于所述校准后的多层视觉特征与所述第一参考基准进行图像级异常分类,并基于所述校准后的多层视觉特征与所述第二参考基准进行像素级异常定位。

25、进一步地,所述基于所述多层视觉特征聚合的路由信号,通过专家混合网络生成图像条件残差,包括:

26、对所述多层视觉特征中的补丁词元进行聚合,得到所述路由信号;

27、通过两层多层感知机结合top-k筛选对所述路由信号进行处理,保留最大的k个逻辑值,根据以下公式得到门控权重:

28、

29、

30、其中,表示门控权重,为路由温度,表示在专家维度k上进行指数归一化操作,为保留最大k'个logit值并将其余置为的操作,为门控网络,表示路由信号,表示层归一化操作;

31、基于所述门控权重对正常专家库和异常专家库中的专家特征进行加权混合,生成所述图像条件残差:

32、

33、其中,表示正常基础文本特征条件残差,表示异常基础文本特征条件残差,分别表示正常专家库和异常专家库,和分别表示正常专家库和异常专家库中的第k个专家特征向量;

34、根据以下公式更新图像条件残差:

35、

36、其中,表示正常基础文本特征条件残差更新值,表示异常基础文本特征条件残差更新值,表示标量界。

37、进一步地,所述基于所述校准后的多层视觉特征与所述第一参考基准进行图像级异常分类,并基于所述校准后的多层视觉特征与所述第二参考基准进行像素级异常定位,包括:

38、将所述校准后的多层视觉特征中各层的类别词元进行池化处理后,与所述第一参考基准进行相似度计算,得到图像级异常分类结果;

39、将所述校准后的多层视觉特征中各层的补丁词元与所述第二参考基准进行相似度计算,生成各层的异常图,并对所有层的异常图进行融合,得到像素级异常定位结果。

40、进一步地,所述将所述校准后的多层视觉特征中各层的类别词元进行池化处理后,与所述第一参考基准进行相似度计算,包括:

41、对所述类别词元进行平均池化,并与所述第一参考基准进行点积运算,经softmax函数输出分类概率;

42、所述将所述校准后的多层视觉特征中各层的补丁词元与所述第二参考基准进行相似度计算,生成各层的异常图,并对所有层的异常图进行融合,包括:

43、将所述补丁词元与所述第二参考基准进行点积运算,计算密集异常图,并对所有层的所述密集异常图采用平均池化得到最终异常图。

44、进一步地,所述方法还包括:

45、冻结所述预训练视觉语言模型的骨架参数;

46、基于图像级分类损失、像素级分割损失和成对补丁对齐损失,对所述可学习适配器、层特定瓶颈投影矩阵、所述专家混合网络、门控网络、专家库以及所述可学习上下文词元进行参数更新;联合目标函数为:

47、

48、其中,l表示联合目标函数;表示图像级分类概率向量;y表示图像级真实标签;表示焦点损失函数;表示像素级分割损失,表示模型输出的像素级异常图;g表示像素级异常标注图;表示预测异常图与标注图之间的l1距离;表示成对补丁对齐损失,用于约束补丁级视觉特征与文本参考基准之间的局部一致性;表示成对补丁对齐损失的权重系数。

49、本发明还公开了一种基于视觉语言模型的图像异常检测装置,用于实现上述任意一项所述的方法,包括:

50、特征提取模块,用于获取输入图像经预训练视觉语言模型提取的多层视觉特征;

51、分解式适配模块,用于对所述多层视觉特征进行分解式适配处理,得到校准后的多层视觉特征,所述分解式适配处理包括跨层共享对齐和层特异性残差补偿;

52、参考基准构建模块,用于构建文本参考基准,所述文本参考基准包括基于所述多层视觉特征动态生成的第一参考基准,以及独立于所述输入图像的第二参考基准;

53、多粒度预测模块,用于基于所述校准后的多层视觉特征与所述第一参考基准进行图像级异常分类,并基于所述校准后的多层视觉特征与所述第二参考基准进行像素级异常定位。

54、本发明还公开了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的一种基于视觉语言模型的图像异常检测方法。

55、较现有技术相比,本发明具有以下优点:

56、本技术提供的技术方案,通过视觉侧分解式适配与文本侧双基准解耦的协同机制,有效解决了现有技术中特征异构冲突与多粒度任务需求不匹配的问题。

57、首先,在视觉特征处理层面,采用包含跨层共享对齐和层特异性残差补偿的分解式适配策略。对所有层级的特征进行统一对齐变换,保证了不同语义深度特征在统一空间下的基准一致性,防止了各层独立适配导致的语义漂移;在此基础上,通过施加层级特定的瓶颈残差校正,且采用零初始化策略,使得模型在训练初期保持恒等映射,随后仅针对各层特有的异构偏移进行微量补偿。这种分解机制,从根本上消除了统一适配造成的深层欠适配与浅层过适配问题,显著提升了多层视觉特征的跨域表征能力。

58、其次,在文本参考基准构建层面,提出了任务感知的双基准解耦分派机制。针对图像级分类任务,利用多层视觉特征聚合的路由信号,通过专家混合网络动态生成第一参考基准,使其能够根据输入图像的局部模式自适应调整决策边界,增强了全局判别的灵活性;针对像素级定位任务,利用包含可学习上下文词元的提示模板编码生成独立于输入图像的第二参考基准,提供了跨补丁一致的稳定语义参照,避免了动态调整对密集定位一致性的破坏。通过按任务粒度将两类互补基准分别分派至对应预测分支,实现了全局自适应性与局部稳定性的最优平衡,从而在保证像素级高精度定位的同时,进一步提升了图像级异常分类的准确度。