基于语义多模态背景建模的无监督图像异常检测系统及方法与流程

摘要: 本发明涉及计算机视觉与智能工业检测,尤其涉及一种基于语义多模态背景建模的无监督图像异常检测系统及方法。背景技术:1、在工业视觉质检领域,无监督异常检测技术因其无...
基于语义多模态背景建模的无监督图像异常检测系统及方法与流程

本发明涉及计算机视觉与智能工业检测,尤其涉及一种基于语义多模态背景建模的无监督图像异常检测系统及方法。

背景技术:

1、在工业视觉质检领域,无监督异常检测技术因其无需大量异常标注样本的优势,已成为学界和业界的研究热点。该类方法通常通过对大量正常样本进行建模,学习正常图像的分布或表征;在推理阶段,通过计算待测样本与所建正常模型之间的差异,生成一张像素级的原始异常分数图,并采用全局阈值或简单的区域归一化策略从中分割出异常区域。然而,上述技术方案在实际工业应用中仍面临以下缺陷:

2、(1)背景区域自身的多模态特性导致误检:工业产品图像往往包含复杂的背景结构,例如螺孔、接缝、散热齿、反光区域等。这些不同功能区域在视觉纹理、反光特性上存在显著差异,导致同一异常检测模型在不同背景区域上产生的异常分数具有不同的基准水平。例如,反光区域的边缘响应可能天然高于哑光面板区域。在此情况下,若采用单一的全局阈值进行分割,高响应的正常背景区域极易被误判为异常;即便采用简单的分区归一化,若分区依据仅为图像底层特征而非工程语义,也无法从根本上解决不同背景模式间分数尺度不一致的问题。

3、(2)对前景先验的依赖限制了方法的普适性:为提升检测精度,现有一些先进的后处理方法引入了初始前景掩码作为引导,以抑制背景干扰。然而,在真实的产线环境中,尤其是面对新型号产品快速迭代的场景,往往无法预先获得任何标注信息或可靠的前景先验。这种对前景掩码的依赖使得上述方法难以在零标注的纯无监督场景下部署应用。

4、(3)现有建模粒度无法适配背景的内部异质性:主流的无监督异常检测方通常将图像作为一个整体或仅简单区分前景与背景进行建模,未能深入挖掘背景内部不同语义区域的独特分布规律。这种粗粒度的建模方式,使得模型难以准确区分区域内的正常高响应与真正的局部异常,从而制约了检测精度的上限。

5、因此,亟需一种完全无监督、不依赖任何前景先验、且能够对复杂背景内部的多模态特性进行精细化建模的异常检测机制,以在真实工业场景中实现高精度、低误检的缺陷定位与分割。

技术实现思路

1、本发明要解决的技术问题是:为了克服现有技术因忽略背景多模态特性而误检正常高响应区域、且依赖前景先验的缺陷,本发明提供一种基于语义多模态背景建模的无监督图像异常检测系统及方法,在无需任何前景先验和异常标注的条件下,精准建模背景内部不同语义区域的正常模式,实现本地化异常判定,有效避免因背景多模态特性导致的误检问题;同时以轻量化模块化设计,可灵活集成至任意现有检测流程,为真实工业环境提供了一套高精度、低误检、易部署、通用性强的无监督异常检测解决方案。

2、本发明解决其技术问题所采用的技术方案是:一种基于语义多模态背景建模的无监督图像异常检测方法,包括以下步骤:

3、获取输入数据,其包括模板库图和待测图;

4、对待测图进行工件语义区提取,得到背景语义分区掩码集;其中,≥2,每个掩码对应于一个基于工程语义划分的互斥背景子区域,且所有掩码共同覆盖整幅图像;

5、通过异常分割模型对模板库图和待测图进行处理,生成待测图的原始异常分数图;

6、将原始异常分数图和背景语义分区掩码集输入至多模态语义区阈值预测器,所述多模态语义区阈值预测器执行以下操作:

7、对每个背景子区域,基于原始异常分数图和对应的掩码,进行区域感知归一化处理,得到归一化分数图;

8、将归一化分数图及其掩码输入至一个与背景子区域对应的、可训练的区域专属阈值预测子网络,生成一个空间自适应的阈值图,通过可微分软二值化操作,计算背景子区域的异常概率图;

9、融合所有个背景子区域的异常概率图,得到最终的异常概率图;

10、根据最终的异常概率图获取异常掩膜,生成二值化的异常区域掩膜图;

11、从异常区域掩膜图中提取异常位置,输出异常区域的轮廓或定位框信息。

12、通过获取输入数据、提取工件语义区得到背景语义分区掩码集、经异常分割模型生成原始异常分数图、将二者输入语义多模态阈值预测模块依次执行区域感知归一化、区域专属阈值预测、可微分软二值化和异常融合后输出最终异常概率图,再经获取异常掩膜和提取异常位置步骤,实现了一种完整、端到端的、基于背景多模态建模的无监督图像异常检测方法。

13、进一步地,所述背景语义分区掩码集满足互斥且全覆盖的约束:,其中,1为与输入图像同尺寸的全1张量。

14、通过限定背景语义分区掩码集满足互斥且全覆盖的约束条件,实现图像中每个像素被唯一分配至一个背景子区域,为后续精细化建模奠定了规范、无歧义的分区基础。

15、进一步地,所述区域感知归一化处理,具体包括:

16、计算第个背景子区域的局部异常分数均值:

17、,

18、其中,为原始异常分数图在位置的值,为掩码在位置的指示值,为防止除零的小常数;

19、基于局部异常分数均值和可学习的参数,对原始异常分数图进行非线性归一化,得到第个背景子区域的归一化分数图:

20、,

21、其中,。

22、通过计算每个背景子区域的局部异常分数均值,并基于该均值和可学习参数对原始异常分数图进行非线性归一化,实现消除不同背景区域间分数尺度差异的自适应调整。

23、进一步地,所述区域专属阈值预测子网络为轻量级卷积神经网络,其网络结构包括:

24、第一层:卷积核尺寸3×3、输出通道数为64的二维卷积层,后接批归一化和relu激活函数;

25、第二层:卷积核尺寸3×3、输出通道数为32的二维卷积层,后接批归一化和relu激活函数;

26、第三层:卷积核尺寸1×1、输出通道数为1的二维卷积层,后接sigmoid激活函数。

27、通过为每个背景子区域配置由三层卷积构成的轻量级神经网络作为区域专属阈值预测子网络,实现为不同背景区域生成空间自适应阈值图的能力。

28、进一步地,所述区域专属阈值预测子网络的训练是在无监督条件下进行的,仅使用正常样本,训练过程包括:

29、冻结用于生成原始异常分数图的异常分割模型,仅更新区域专属阈值预测子网络及可学习的参数;

30、构建无监督损失函数,用于最小化正常样本所对应的最终的异常概率图的总体响应:

31、,

32、其中,为批量大小,为图像分辨率。

33、通过在无监督训练中冻结异常分割模型、仅更新阈值预测子网络和可学习参数,并构建最小化正常样本最终异常概率图总体响应的损失函数,实现无需任何异常标注或前景掩码的纯无监督训练。

34、进一步地,所述可微分软二值化操作为:

35、,

36、其中,为归一化分数图中的像素值,为空间自适应的阈值图对应位置的阈值,为预设的过渡带宽度;第个背景子区域的异常概率图通过以下式获得:。

37、通过定义包含过渡带的可微分软二值化函数,并基于归一化分数图、阈值图和掩码计算每个子区域的异常概率图,实现端到端可导的软阈值分割,避免硬阈值导致的训练不稳定问题。

38、进一步地,融合所有个背景子区域的异常概率图,具体为逐像素取最大值操作:。

39、通过对所有背景子区域的异常概率图进行逐像素取最大值融合,实现每个像素仅由其所属背景子区域模型独立判定的本地化异常判定逻辑。

40、进一步地,所述异常分割模型包括图像特征提取器和相似度计算器,通过以下方式生成原始异常分数图:

41、将模板库图和待测图分别输入图像特征提取器,得到对应的特征表示和;

42、通过相似度计算器计算和的相似度,生成原始异常分数图。

43、通过采用图像特征提取器提取模板图和待测图的特征表示,并由相似度计算器生成异常度图作为原始异常分数图,实现一种可选的异常分割模型具体实现方式。

44、进一步地,从异常区域掩膜图中提取异常位置,具体包括:

45、对异常区域掩膜图进行连通区域分析;

46、执行轮廓提取算法,获取所有标记为前景的异常区域的封闭轮廓坐标集合;

47、依据轮廓面积或外接矩形尺寸对轮廓进行过滤,滤除噪声引起的微小或无效轮廓;

48、输出有效异常区域的轮廓坐标或由外接矩形定义的定位框信息。

49、通过对异常区域掩膜图进行连通区域分析、轮廓提取和基于几何特征的轮廓过滤,实现将异常概率图转化为可用于质检的缺陷轮廓和定位框信息的完整后处理方案。

50、一种实现上述方案所述基于语义多模态背景建模的无监督图像异常检测方法的系统,包括:

51、语义区提取模块,用于对待测图进行工件语义区提取,得到背景语义分区掩码集;其中,≥2,每个掩码对应于一个基于工程语义划分的互斥背景子区域,且所有掩码共同覆盖整幅图像;

52、异常分割模型,用于对模板库图和待测图进行处理,生成待测图的原始异常分数图;

53、语义多模态阈值预测模块,与语义区提取模块和异常分割模型连接,用于接收原始异常分数图和背景语义分区掩码集,并输出最终的异常概率图;语义多模态阈值预测模块包括:

54、区域感知归一化单元,用于对每个背景子区域,基于原始异常分数图和对应的掩码,进行区域感知归一化处理,得到归一化分数图;

55、个区域专属阈值预测子网络,与区域感知归一化单元连接,每个区域专属阈值预测子网络对应于一个背景子区域,用于接收归一化分数图及其掩码,并输出一个空间自适应的阈值图;

56、可微分软二值化单元,与区域感知归一化单元和个区域专属阈值预测子网络连接,用于根据归一化分数图、空间自适应的阈值图和掩码,通过可微分软二值化操作,计算每个背景子区域的异常概率图;

57、异常融合单元,与可微分软二值化单元连接,用于融合所有个背景子区域的异常概率图,输出最终的异常概率图;

58、后处理模块,与语义多模态阈值预测模块连接,用于根据最终的异常概率图获取异常掩膜,生成二值化的异常区域掩膜图,并从异常区域掩膜图中提取异常位置,输出异常区域的轮廓或定位框信息。

59、还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述方案所述的基于语义多模态背景建模的无监督图像异常检测方法。

60、还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述方案所述的基于语义多模态背景建模的无监督图像异常检测方法。

61、本发明的有益效果是:

62、本发明在训练和推理阶段均不依赖任何前景先验信息或异常样本标注,训练时仅需采集易于获取的正常良品图像,通过构建最小化正常样本异常响应的无监督损失函数,驱动模型自主学习每个背景子区域的正常波动范围与异常判定阈值;推理时直接对任意待测图像进行处理,无需预先估计异常区域或输入前景掩码,使得本发明能够直接部署于真实产线环境,尤其适用于新型号产品快速迭代、异常样本稀缺、零标注数据的严苛场景,大幅缩短数据准备周期,提高开发效率和产线换型响应速度。

63、本发明依据工程语义将图像背景划分为多个互斥的子区域,对每个子区域独立计算局部统计特征,并通过可学习的非线性归一化消除不同区域间固有的分数尺度差异;在此基础上,为每个子区域配置独立的阈值预测网络,生成空间自适应的阈值图,实现对不同纹理模式下正常波动范围的精准刻画,使得模型能够准确区分区域内的正常高响应与真正的局部异常,有效避免因背景多模态特性导致的误检问题。

64、本发明采用本地化异常判定逻辑,最终的异常概率图通过对各子区域异常概率图逐像素取最大值融合获得,即每个像素的异常性仅由其所属背景子区域的正常模式独立判定,不同区域之间不进行跨模式比较,这种本地化判定确保异常定义的上下文相关性,使得检测结果在物理意义上更加合理,显著提升模型在复杂结构工件上的检测可靠性。

65、本发明采用轻量化模块化设计,区域感知归一化单元和区域专属阈值预测子网络参数量极小,计算开销低,可作为即插即用的后处理插件嵌入任意现有的无监督异常检测流程;无论是基于模板比对的方法、基于特征重建的方法、还是基于分布建模的方法,其输出的原始异常分数图均可直接作为本发明的输入,经语义多模态阈值预测模块优化后得到更精准的异常检测结果;这种模块化设计保证方法的通用性和可扩展性,使其能够与不断演进的工业检测技术对接。