基于异常超类语义引导的零样本异常检测方法及装置

摘要: 本发明涉及通信领域,尤其涉及基于异常超类语义引导的零样本异常检测方法及装置。背景技术:1、随着工业制造、智能巡检、医疗影像等领域的发展,越来越多的场景需要利用计...
基于异常超类语义引导的零样本异常检测方法及装置

本发明涉及通信领域,尤其涉及基于异常超类语义引导的零样本异常检测方法及装置。

背景技术:

1、随着工业制造、智能巡检、医疗影像等领域的发展,越来越多的场景需要利用计算机自动发现产品或设备中的异常。例如,在工业检测中,需要自动识别产品是否存在裂纹、缺口、污染、变形等缺陷;在医学影像分析中,需要自动发现病灶区域。由于异常通常种类繁多、出现概率较低,且新的异常类型不断出现,因此让计算机能够识别未知异常是异常检测领域的重要研究方向。

2、传统异常检测方法通常依赖大量人工标注的数据进行训练,即需要提前收集各种异常样本,并利用这些样本训练模型。当出现新的异常类型时,由于模型没有学习过该类异常,通常需要重新收集数据并重新训练模型。这种方法不仅需要大量的数据采集和标注工作,而且模型对于未知异常的识别能力较弱,在实际应用中存在较大的局限性。

3、随着视觉语言模型的发展,零样本异常检测方法该类方法利用大规模预训练模型(如clip)已经具备的图像与文本理解能力,在目标任务中无需重新收集大量异常样本,即可完成异常检测。因此,零样本异常检测逐渐成为当前异常检测领域的重要研究方向。目前,大多数零样本异常检测方法都是利用文本提示描述正常状态和异常状态,再计算图像特征与文本特征之间的相似度,实现异常识别。例如,winclip方法采用人工设计的文本提示完成异常检测;anomalyclip进一步采用可学习的文本提示,使模型能够自动学习更加适合异常检测任务的语义表示;随后,faprompt又提出学习多个异常文本提示,并利用图像信息动态调整异常文本提示,从而提升模型对于不同异常模式的表达能力。虽然上述方法能够提高零样本异常检测性能,但其主要改进仍集中在文本提示的设计上,并没有充分利用不同异常类别之间存在的语义关系。事实上,在实际工业检测过程中,不同异常之间通常具有明显的层级关系。例如,裂纹、断裂和缺口虽然属于不同的异常类别,但本质上都属于"结构损伤";污渍、颜色变化和表面污染虽然表现不同,但均属于"外观异常";缺件和装配错误则可归属于"组成异常"。也就是说,不同异常类别之间并不是彼此独立,而是存在更高层次的共性语义。

4、然而,现有方法通常直接学习多个异常提示,每个提示仅表示一种异常模式,并没有建立这种异常类别之间的层级关系。同时,在模型推理过程中,也无法根据输入图像自动判断当前图像更适合使用哪一种异常提示,而是采用固定提示或者多个提示共同参与检测,容易引入无关异常语义,影响检测效果。

技术实现思路

1、以下是对本文详细描述的主题的概述。

2、本技术的目的在于至少一定程度上解决相关技术中存在的技术问题之一,本技术实施例提供了基于异常超类语义引导的零样本异常检测方法及装置,能够提高模型对未知异常类别的检测能力和跨数据集泛化能力。

3、本技术的第一方面的实施例,一种基于异常超类语义引导的零样本异常检测方法,包括:

4、获取辅助异常数据集,所述辅助异常数据集包括正常样本和异常样本,所述异常样本具有异常类别标签;

5、根据所述辅助异常数据集统计异常类别,通过大语言模型根据异常类别形成超类异常集合;

6、基于所述超类异常集合构建由正常类别提示词和多个异常超类提示向量组成的超类提示向量池;

7、为每个超类提示向量设置匹配键向量,以建立视觉特征与异常超类之间的对应关系;

8、在模型训练阶段,输入训练样本至异常检测模型,根据所述训练样本的异常类别标签确定所属的异常超类和超类提示向量,将所述超类提示向量作为额外的提示词元插入视觉深度学习层中与当前视觉特征共同进行视觉特征学习以融合异常语义与视觉表示,根据训练输出结果计算损失函数,根据所述损失函数更新所述异常检测模型得到目标异常检测模型;

9、其中,所述损失函数包括提示词分离损失和特征键匹配损失,所述提示词分离损失通过约束不同超类提示向量之间保持较大的语义距离,使各超类提示向量分别学习对应异常超类的语义表示,所述特征键匹配损失用于稳定视觉特征与超类提示向量之间的映射关系。

10、根据本技术的第一方面的某些实施例,所述根据所述辅助异常数据集统计异常类别,通过大语言模型根据异常类别形成超类异常集合,包括:

11、利用大语言模型对所述异常类别进行语义分析,根据不同异常类别之间的语义关联、形成原因以及视觉表现特征,将多个具有相似语义的异常类别划分为若干异常超类。

12、根据本技术的第一方面的某些实施例,基于所述超类异常集合构建由正常类别提示词和多个异常超类提示向量组成的超类提示向量池,包括:

13、基于所述超类异常集合,构建一个对应正常类别的正常类别提示词,多个对应异常超类的异常超类提示向量,由正常类别提示词和多个异常超类提示向量组成超类提示向量池。

14、根据本技术的第一方面的某些实施例,在模型训练阶段,通过视觉特征与键之间的监督学习建立类别特征、匹配键以及超类提示向量之间的对应关系。

15、根据本技术的第一方面的某些实施例,所述损失函数为异常检测任务损失、提示词分离损失和特征键匹配损失之和。

16、根据本技术的第一方面的某些实施例,所述异常类别标签包括裂纹、断裂、缺口、划痕、污染、颜色变化、缺失部件、装配错误和变形中的一种或多种。

17、根据本技术的第一方面的某些实施例,将裂纹、断裂和缺口划分为结构损伤超类,将污渍、颜色变化和表面污染划分为外观异常超类,将缺件和装配错误划分为组成异常超类。

18、根据本技术的第一方面的某些实施例,在模型测试阶段,利用视觉深度学习网络提取对应视觉深度学习层的类别特征,计算所述类别特征与各匹配键之间的相似度,选择相似度最大的键对应的超类提示向量,将所选择的超类提示向量插入视觉深度学习网络对应的视觉深度学习层,与视觉特征共同进行视觉特征提取,在异常语义的引导下进行视觉特征编码,生成图像级异常检测结果和像素级异常定位结果。

19、本技术的第二方面的实施例,一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本技术的第一方面的实施例所述的基于异常超类语义引导的零样本异常检测方法。

20、本技术的第三方面的实施例,一种计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如本技术的第一方面的实施例所述的基于异常超类语义引导的零样本异常检测方法。

21、上述方案至少具有以下的有益效果:

22、通过构建异常超类层级语义结构,建立视觉特征与异常超类之间的动态对应关系,并将异常超类语义引入视觉transformer特征提取过程,在零样本异常检测任务中具有显著的技术效果;

23、利用大语言模型对辅助异常数据集中的具体异常类别进行语义分析和聚合,将具有相似语义特征、视觉表现或形成原因的多个具体异常类别划分为同一异常超类,从而建立异常类别、异常超类与超类提示向量的层级语义结构;

24、充分利用异常类别之间的层级语义关系,使多个具体异常类别能够共享对应异常超类的语义知识,在面对训练阶段未出现的新异常类别时,仍能够借助异常超类语义完成知识迁移,提高模型对未知异常类别的泛化能力;

25、构建由一个正常superclass prompt和多个异常superclass prompt组成的prompt池,使不同异常超类具有独立的语义表示,并通过prompt分离损失约束不同superclass prompt之间保持较大的语义距离,避免多个prompt学习到重复或相似的语义信息,提高不同异常超类语义的区分能力和表达能力,使模型能够覆盖更加丰富的异常模式,提高复杂异常场景下的检测性能;

26、为每一个superclass prompt设置对应的superclass key,并建立视觉特征与superclass key之间的映射关系。测试阶段,根据输入图像cls feature与各superclasskey之间的相似度自动确定对应的superclass prompt,实现异常语义的自适应选择;

27、无需人工指定异常类别,也无需固定使用全部异常prompt,而是能够依据输入图像的视觉特征自动选择最适合当前样本的异常超类语义,从而减少无关语义信息对异常检测的影响,提高异常分类和异常定位的准确性;

28、将动态选择得到的superclass prompt直接引入视觉transformer多个transformer层,使异常超类语义能够持续参与视觉特征提取过程,实现异常语义与视觉特征的深度融合,进一步增强模型对复杂异常模式及未知异常类别的特征表达能力,提高零样本异常检测性能;

29、基于零样本异常检测框架,仅需利用辅助数据集学习异常超类语义关系即可迁移至新的检测任务,无需针对每一种新异常类别重新训练模型,能够有效降低目标领域异常数据采集和人工标注成本,在工业缺陷检测、医学影像分析以及智能制造等领域具有高应用价值;

30、具有良好的可扩展性,异常超类数量、superclass prompt数量以及prompt注入位置均可根据具体任务灵活调整。当出现新的异常类别时,仅需依据其语义特征映射至已有异常超类或增加新的异常超类即可完成模型扩展,具有良好的工程应用前景。