基于视觉几何引导循环注意力蒸馏的工业视觉异常检测方法及系统
本发明属于工业视觉检测,具体涉及一种基于视觉几何引导循环注意力蒸馏的工业视觉异常检测方法及系统。
背景技术:
1、随着智能制造和工业自动化的发展,基于机器视觉的质量检测已经成为现代生产系统中的重要环节。工业视觉异常检测的目标是在产品图像中识别并定位划痕、破损、污染、缺件、错位、变形以及纹理损坏等异常区域。与一般目标检测或语义分割不同,工业异常检测在实际部署中通常面临异常样本稀缺、缺陷形态多样以及异常类别无法穷举等限制。生产线上可以较容易积累大量正常样本,但很难提前收集覆盖所有可能缺陷类型的异常样本,因此仅利用正常样本学习稳定视觉表征并在测试阶段发现未知异常,是工业视觉检测中的核心问题。
2、早期的工业异常检测方法主要依赖图像重建误差或手工特征差异。重建类方法通常训练自编码器、生成模型或重建网络学习正常图像分布,并通过输入图像与重建图像之间的差异确定异常区域。这类方法能够在无需异常标签的条件下建立正常样本模型,但当网络具有较强重建能力时,异常区域也可能被较好重建,导致异常响应被削弱。围绕图像复原和重建结构的研究表明,多尺度编码、解码与复原结构可以恢复退化视觉结构,但在工业缺陷检测中,仅依靠像素级或外观级复原误差仍难以稳定区分细微结构破坏和可重建的伪正常区域。
3、随后,基于预训练特征和正常特征分布建模的方法得到广泛应用。现有padim方法,通过预训练网络提取局部补丁特征,并以多元高斯分布建模正常特征空间。现有的patchcore方法,构建正常补丁特征记忆库,并通过最近邻检索实现准确异常检测和定位。cfa方法,围绕正常特征中心优化耦合超球面以适配目标域。这类方法充分利用预训练特征的判别能力,能够取得较强定位效果;然而,它们通常需要存储大量正常特征,或者在推理阶段执行特征统计、特征匹配、检索和距离计算。当工业线上需要高帧率检测、低延迟响应和较低存储开销时,记忆库或复杂匹配机制会增加部署成本。
4、异常合成和判别建模方法从另一条路线增强缺陷敏感表征。如cutpaste通过剪切粘贴构造伪异常,使模型学习局部不规则性判别;draem将重建嵌入与判别分割结合,并利用合成异常提高表面缺陷分割能力;simplenet在特征空间生成扰动并使用轻量判别器区分正常和异常特征;realnet进一步引入真实感异常合成和自适应特征选择。这些方法增强了缺陷判别能力,但其检测效果常受到合成异常与真实工业缺陷之间分布差异的影响,且训练过程依赖异常生成策略的设计质量。
5、归一化流方法尝试显式估计正常特征分布。现有cflow-ad,通过条件归一化流实现实时异常检测和定位;fastflow,将二维归一化流用于空间特征的并行似然估计;cross-scale-flows,以跨尺度流结构建模多层特征依赖;pyramidflow,通过金字塔流架构提升高分辨率缺陷定位能力。这类方法具有显式概率建模能力,但其网络结构、训练稳定性、特征分辨率和推理开销仍需在工业部署中综合权衡。
6、知识蒸馏方法是工业异常检测中的重要分支。该类方法通常使用教师网络提供正常样本的稳定表征,并训练学生网络拟合教师特征响应。测试阶段,异常区域偏离正常分布,学生网络难以复现相应教师特征,由此可通过教师与学生之间的特征差异生成异常图。如uninformed students,通过判别式教师和学生嵌入差异检测异常;stpm,使用多尺度特征金字塔匹配进行异常检测;ast,通过非对称学生-教师结构扩大异常区域的特征差异;reverse distillation,从教师编码器到学生解码器重建多尺度特征;rd++,进一步改进反向蒸馏框架;efficientad,以轻量学生-教师预测机制面向毫秒级视觉异常检测。这些方法相比记忆库检索具有更紧凑的推理路径,更适合实时检测和边缘部署。
7、尽管知识蒸馏方法具有推理效率优势,现有方法仍普遍存在特征度量不足的问题。多数方法直接在多层特征上采用位置对齐的余弦距离或均方误差度量教师与学生差异。对于低层和中层特征,这些点对点指标可以反映纹理、边缘和局部外观变化;但对于高层特征,网络表征逐渐转向抽象语义结构,单个位置上的欧氏距离、余弦距离或均方误差难以描述正常样本语义空间中的邻域关系、分布形状和流形结构。此时,仅依靠点对点距离会削弱模型对组件级结构异常、语义偏移和复杂多实例场景的感知能力。
8、随着视觉transformer的发展,将图像划分为补丁令牌并通过全局建模理解复杂结构已经成为视觉识别的重要方向。如vit,将图像视为令牌序列并通过自注意力建模长距离依赖;dino,证明自监督视觉transformer可以获得具有较强语义聚合能力的视觉特征。uniad,将多类别异常检测统一到一个模型中;diad,探索扩散模型在多类别异常检测中的作用;vitad,系统研究朴素vit特征在多类别无监督视觉异常检测中的表现;dinomaly,强调纯transformer架构在多类别异常检测中的表示潜力;mambaad,引入状态空间模型降低长程依赖建模的计算压力。这些方法说明高层语义和全局结构对于复杂工业场景具有重要意义。
9、然而,当图像被序列化为视觉令牌后,原始二维空间结构可能在融合阶段被削弱。若特征融合模块过于简单,模型难以充分描述规则纹理、重复结构和局部几何变化;若直接使用标准自注意力,又会引入显式两两令牌交互和较高注意力矩阵存储开销。与此同时,高层语义特征并不总是适合在普通欧氏空间中以逐点距离比较。现有关于双曲异常检测的研究也提示,非欧几何和流形结构对异常建模具有重要意义。因此,现有技术仍需要一种能够在保持教师-学生高效推理路径的同时,增强令牌空间结构建模并改进高层语义特征度量的工业视觉异常检测方法。
10、综上,现有工业视觉异常检测方法在准确性、定位能力和部署效率之间仍存在难以同时满足的问题。记忆库匹配和特征检索类方法虽然能够取得较强缺陷定位能力,但需要保存大量正常特征并在推理阶段执行检索或匹配,导致存储成本、计算延迟和部署复杂度增加。对于需要在线检测的工业生产场景,模型不仅需要识别异常,还需要在较低时延下输出像素级异常位置,因此过重的检索、迭代匹配或多阶段恢复流程会限制其实用性。
11、紧凑型教师-学生蒸馏方法虽然降低了推理开销,但其特征融合过程通常较简单,容易将视觉令牌作为弱结构化特征单元处理。工业图像中的缺陷往往不是孤立的语义类别变化,而是规则纹理的细微破坏、重复布局的局部扰动、元器件边界的错位以及局部几何结构异常。如果学生解码器在重建教师特征之前没有获得充分的二维空间位置和全局结构相关信息,异常区域与正常区域之间的教师-学生差异可能不够集中,从而影响微小缺陷和结构型缺陷的定位效果。
12、此外,现有教师-学生方法普遍对低层、中层和高层特征采用相同的余弦距离或均方误差约束。低层和中层特征主要包含纹理、边缘和局部外观信息,点对点距离仍具有较好解释性;但高层特征包含更抽象的语义结构,正常样本在该空间中的分布往往呈现邻域关系和流形结构。若仍使用位置对齐的点对点距离,模型难以利用正常样本高层语义空间的几何分布信息,导致对组件级结构异常、语义偏移和复杂多实例异常的感知不足。
技术实现思路
1、本发明的目的在于解决背景技术存在问题,即在仅使用正常样本训练的工业视觉异常检测任务中,如何在不显著增加推理成本的条件下,同时增强视觉令牌的二维空间结构建模能力、改善高层语义特征的一致性度量方式,并融合局部外观差异与高层几何语义差异生成稳定、集中的异常热力图,因此提供一种基于视觉几何引导循环注意力蒸馏的工业视觉异常检测方法及系统。
2、为实现上述目的,本发明的技术方案是:一种基于视觉几何引导循环注意力蒸馏的工业视觉异常检测方法,包括:
3、获取工业产品的正常样本图像,组成正常样本训练集;
4、将正常样本图像输入冻结的教师编码器,提取第3层、第6层和第9层教师特征作为多层监督信号,并提取第12层教师令牌作为融合输入;
5、将第12层教师令牌输入正弦位置增强循环注意力融合模块,得到结构增强后的融合令牌;其中,正弦位置增强循环注意力融合模块被配置为:根据二维令牌坐标生成正弦位置编码并将其加入输入令牌,将位置增强后的令牌重塑为二维令牌图后通过二维傅里叶变换进入频域,在频域通过可学习的复数域线性投影获得查询、键和值表示,通过复共轭乘法计算循环相关响应,并将循环相关响应与值表示交互后输出结构增强的融合令牌;
6、将结构增强后的融合令牌输入学生解码器,重建第3层、第6层和第9层学生特征;
7、基于正常样本训练集,对第3层和第6层教师特征与学生特征采用余弦距离约束,对第9层教师特征与学生特征采用几何语义流形投影空间中的一致性约束,对学生解码器进行训练;
8、将待测工业图像输入训练完成的教师编码器与学生解码器,分别计算第3层和第6层的余弦距离差异图、以及第9层的几何语义流形投影距离差异图,将各层差异图上采样至原图分辨率后融合,生成最终异常热力图。
9、进一步的,所述对第9层教师特征与学生特征采用几何语义流形投影空间中的一致性约束,包括:
10、从正常样本图像的第9层教师特征中采样m个地标特征,构成地标集合;
11、对每个地标,根据该地标与其他地标之间距离的第k近邻估计局部尺度,并根据局部带宽系数调整局部带宽;
12、根据地标间距离构建相似度矩阵,并获得度矩阵和归一化相似矩阵;
13、对归一化相似矩阵进行特征分解,得到特征值对角矩阵和特征向量矩阵;
14、将第9层教师特征与第9层学生特征分别通过nystrom近似投影到由正常样本构成的几何语义流形,得到各自的几何语义投影;计算两投影之间的l2距离,作为高层几何语义流形一致性损失。
15、进一步的,所述地标数量m为4096,扩散步长τ为2,局部带宽系数为2.0。
16、进一步的,所述正弦位置增强循环注意力融合模块中,将位置增强后的令牌重塑为二维令牌图后通过二维傅里叶变换进入频域,在频域通过可学习的复数域线性投影获得查询、键和值表示,通过复共轭乘法计算循环相关响应,并将循环相关响应与值表示交互后输出结构增强的融合令牌,具体为:
17、对二维令牌图执行二维傅里叶变换,得到频域表示;
18、通过三个可学习的复数域线性投影分别获得查询、键和值;
19、计算查询的复共轭与键的逐元素乘积,经逆傅里叶变换后在令牌维度上归一化,得到循环相关响应;
20、将循环相关响应恢复为二维网格并经二维傅里叶变换后,对其结果取复共轭并与值表示逐元素相乘,再经逆傅里叶变换,得到输出响应;
21、引入门控分支对输出响应进行自适应调节,经输出投影后得到结构增强的融合令牌。
22、进一步的,所述学生解码器的训练损失为:
23、
24、其中,为第9层高层几何语义流形一致性损失,为第3层和第6层低中层余弦距离损失,为平衡系数。
25、进一步的,所述教师编码器为dino预训练的vit-s/16,且在训练阶段保持冻结;所述学生解码器的深度为9,重建第3层、第6层和第9层特征;输入图像归一化前缩放到256×256并进行中心裁剪。
26、进一步的,所述将各层差异图上采样至原图分辨率后融合,生成最终异常热力图之后,还包括:
27、对最终异常热力图使用参数为4的高斯核进行平滑;
28、通过对平滑后的热力图响应进行池化,得到图像级异常分数,用于将待测工业图像判定为异常或正常,以及用于输出像素级缺陷位置。
29、本发明还提供了一种基于视觉几何引导循环注意力蒸馏的工业视觉异常检测系统,执行如上述所述的基于视觉几何引导循环注意力蒸馏的工业视觉异常检测方法,包括:
30、图像获取模块,用于获取工业产品的正常样本图像以及待测工业图像;
31、教师编码模块,为冻结的预训练视觉transformer编码器,用于提取第3层、第6层和第9层教师特征以及第12层教师令牌;
32、正弦位置增强循环注意力融合模块,用于接收第12层教师令牌,输出结构增强的融合令牌,该模块被配置为执行根据二维令牌坐标生成正弦位置编码并加入输入令牌、通过二维傅里叶变换进入频域、在频域通过复数域线性投影与复共轭循环相关计算输出融合令牌的操作;
33、学生解码模块,用于以融合令牌为输入,重建第3层、第6层和第9层学生特征;
34、训练模块,用于基于正常样本训练集,对第3层和第6层采用余弦距离约束、对第9层采用几何语义流形投影空间中的一致性约束,训练学生解码模块;
35、推理模块,用于分别计算第3层和第6层的余弦距离差异图、以及第9层的几何语义流形投影距离差异图,将各层差异图上采样至原图分辨率后融合,生成最终异常热力图。
36、本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,实现如上述所述的基于视觉几何引导循环注意力蒸馏的工业视觉异常检测方法。
37、本发明还提供了一种计算机设备,包括处理器以及存储器,所述存储器用于存储计算机可执行程序,所述处理器从存储器中读取部分或者全部所述计算机可执行程序并执行,所述处理器执行部分或全部计算机可执行程序时能实现如上述所述的基于视觉几何引导循环注意力蒸馏的工业视觉异常检测方法。
38、相较于现有技术,本发明具有以下有益效果:
39、本发明的第一个创新点在于将正弦位置编码和频域循环注意力引入教师-学生重建式异常检测框架。该机制在保持紧凑推理路径的同时,将二维令牌位置信息和全局移位相关结构注入学生重建前的融合令牌中,使模型更容易感知规则纹理破坏、重复布局扰动和细粒度局部结构异常。
40、本发明的第二个创新点在于针对高层抽象语义特征构建正常样本几何语义流形一致性约束。现有教师-学生方法通常用余弦距离或均方误差统一约束多层特征,而本发明区分低中层局部外观特征与高层语义特征,在第9层高层特征上构建基于地标采样、局部尺度估计、扩散图分解和nystrom投影的正常样本几何语义流形,从而在流形投影空间中度量教师与学生的一致性。
41、本发明的第三个创新点在于建立低中层局部外观差异和高层几何语义流形差异的联合异常图生成机制。低中层余弦差异用于捕捉纹理、边缘和局部外观缺陷,高层流形差异用于捕捉复杂组件结构异常、语义偏移和多实例场景中的异常区域。两类差异经上采样和融合后形成像素级异常热力图,使模型在图像级异常识别和像素级定位之间取得更均衡的效果。
42、本发明的第四个创新点在于上述结构能够保持较高推理效率。实验中,本方法在mvtec ad上取得mad 86.25,在visa上取得mad 76.46,在mpdd上取得mad 75.36;效率测试中,模型参数量为39.3m、flops为9.9g、推理速度为106.3fps。该结果表明,本发明能够在较小部署代价下提升工业异常检测和缺陷定位性能,适合工业在线检测场景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com