面向复杂工业产品的无训练样本缺陷视觉检测方法及系统
本发明涉及计算机视觉与工业智能检测领域,具体涉及一种面向复杂工业产品的无训练样本缺陷视觉检测方法及系统。
背景技术:
1、异常检测旨在从正常数据分布中识别出显著偏离的异常样本,在工业产品检验、医学影像分析和自动驾驶等领域具有广泛应用价值。现有研究主要形成无监督学习、半监督学习和零样本学习三条技术路线。
2、无监督方法是早期异常检测研究的重要范式,其核心特点是在无需异常标注的条件下,仅利用正常样本学习目标域的数据分布,并依据测试样本对该分布的偏离程度进行异常判定。早期无监督方法主要依赖重建机制,通过学习正常样本的外观分布,利用输入图像与重建图像之间的差异生成异常得分。此类方法对规则纹理和简单场景具有较好的适应性,但在背景复杂或缺陷细微时,易出现对异常区域的过度重建,导致漏检。为提升特征表达能力,后续研究逐渐转向基于预训练网络的深度特征建模,通过提取正常样本的多层级语义特征并结合记忆匹配来判断测试样本是否偏离正常特征空间。特征蒸馏方法是另一代表性路线,其采用学生-教师网络框架,以预训练网络作为教师模型,让学生网络学习正常样本上的特征响应一致性,并将师生特征差异作为异常依据。该方法在一定程度上缓解了重建过度问题,但当场景变化剧烈或异常形态复杂时,泛化能力仍显不足。总体而言,无监督异常检测方法的性能高度依赖于对正常样本分布的充分建模,在复杂工业环境与跨类别泛化场景下仍存在明显局限。
3、半监督异常检测在无监督框架的基础上引入少量已标注的异常样本,以辅助模型学习更具判别力的异常表征。与纯粹的无监督方法相比,半监督方法能够利用有限的异常信息为模型提供更明确的判别方向,从而在异常边界学习和缺陷模式识别上具有更强的针对性。然而,此类方法的性能仍受限于异常样本的覆盖范围:当测试阶段出现未见异常类型或场景发生显著变化时,模型的泛化能力依然有限,本质上未能摆脱对目标域样本的依赖。
4、零样本异常检测的目标是在完全不接触目标域训练数据的情况下,直接完成对未知缺陷的识别与定位,其核心在于提升模型对开放场景中异常模式的理解与迁移能力,因而更适用于开放工业检测场景。随着视觉-语言预训练模型的发展,基于clip的零样本异常检测方法取得了显著进展。winclip通过局部窗口建模与多尺度特征聚合,增强了对不同尺度异常的感知能力;anomalyclip引入与具体类别解耦的异常提示,弱化目标对象语义对异常建模的干扰;anovl结合自监督适配策略,优化视觉特征与异常语义之间的对应关系。此外,研究者还通过线性投影、动态提示融合以及上下文引导机制等方式调整跨模态特征空间。尽管上述方法从提示设计、特征投影和注意力精炼等角度推动了零样本异常检测的发展,但它们在异构视觉特征的协同建模、多层级特征的自适应融合以及多尺度异常定位的精细化方面仍存在不足。具体而言:不同预训练视觉编码器在语义表达与结构描述上各有侧重,缺乏有效的交互机制导致模型难以构建兼顾全局语义与局部细节的统一表征,制约了对微小或复杂形态异常的准确刻画;现有方法缺少针对不同层级特征贡献的自适应动态建模能力,无法根据输入图像中异常形态的变化灵活调整各层级信息的权重;像素级异常定位多依赖单一尺度的预测,缺乏由粗到细的边界细化机制,导致在复杂背景干扰下异常响应易扩散、边界模糊,难以满足高精度工业质检需求。
技术实现思路
1、本发明的目的在于,提供一种面向复杂工业产品的无训练样本缺陷视觉检测方法及系统。本发明有效提升了复杂工业场景下零样本异常检测的识别精度与定位稳定性。
2、本发明的技术方案:一种面向复杂工业产品的无训练样本缺陷视觉检测方法,包括如下步骤:
3、步骤1、获取待检测工业产品的目标图像;
4、步骤2、通过侧重全局语义的第一视觉编码器和侧重局部结构的第二视觉编码器,分别对目标图像进行多层级特征提取,得到第一多层级特征和第二多层级特征;
5、步骤3、对第一多层级特征和第二多层级特征中对应层级的特征进行方向感知交互,并基于交互结果进行层级间的自适应互补融合,得到统一视觉融合表征;
6、步骤4、基于统一视觉融合表征,在从低分辨率到高分辨率的多个预测阶段进行渐进式结构解析与边界细化,生成目标图像的像素级异常响应图;
7、步骤5、基于预先构建的正常与异常文本语义表示,以及像素级异常响应图,确定目标图像的缺陷检测结果。
8、上述的方法,对所述第一多层级特征和所述第二多层级特征中对应层级的特征进行方向感知交互,包括:
9、针对对应层级的第一层级特征和第二层级特征,通过多种代数运算构造中间表示,并分别沿高度方向和宽度方向进行聚合,提取方向上下文特征;
10、基于突出共同激活区域的中间表示构建查询向量,基于刻画特征偏差的中间表示构建键向量和值向量,计算高度方向和宽度方向的注意力权重,生成统一的空间调制系数;
11、利用空间调制系数对第一层级特征和第二层级特征进行重标定,并基于可学习融合系数进行加权整合,得到对应层级的融合特征。
12、前述的方法,所述提取方向上下文特征包括:针对对应层级的第一层级特征和第二层级特征,首先分别对二者进行线性映射与归一化,然后通过相加、相乘和相减三种运算构造出相加中间特征、相乘中间特征和相减中间特征;再分别将上述三种中间特征沿宽度方向和高度方向进行平均池化,提取出各自的宽度方向上下文聚合特征和高度方向上下文聚合特征。
13、前述的方法,所述提取方向上下文特征包括:
14、构造相加特征、相乘特征和相减特征:
15、;
16、其中,为经过线性映射与归一化后的第二层级特征,为经过线性映射与归一化后的第一层级特征;
17、对相加特征、相乘特征和相减特征分别沿宽度和高度方向进行平均池化,提取方向上下文特征:
18、;
19、;
20、;
21、其中,表示沿宽度方向的平均池化操作,表示沿高度方向的平均池化操作,、、为沿宽度方向聚合后的特征,、、为沿高度方向聚合后的特征。
22、前述的方法,所述生成统一的空间调制系数包括:基于所述相乘中间特征的上下文聚合特征构建查询向量,基于所述相减中间特征的上下文聚合特征构建键向量和值向量;分别在宽度方向和高度方向上计算交叉注意力权重,并将注意力加权聚合后的结果与所述相加中间特征的相应轴向聚合结果相加,作为残差补偿,得到宽度方向增强特征和高度方向增强特征;将所述宽度方向增强特征和高度方向增强特征分别通过非线性变换与激活函数处理,生成宽度方向空间权重图和高度方向空间权重图,再将两者逐元素相乘,得到统一的空间调制系数。
23、前述的方法,所述生成统一的空间调制系数包括:
24、基于相乘特征的方向上下文特征构建查询向量,基于相减特征的方向上下文特征构建键向量和值向量:
25、;
26、;
27、;
28、其中,、、表示线性映射操作;
29、计算两个方向的注意力权重矩阵:
30、;
31、其中,、为高度和宽度方向的查询特征,、为宽度和高度方向的键特征,为投影维度,为归一化函数;
32、将两个方向的注意力权重与对应值加权聚合,并引入相加特征的轴向聚合结果作为残差补偿:
33、;
34、其中,为宽度方向注意力加权聚合后的特征,为高度方向注意力加权聚合后的特征;
35、通过非线性变换和激活函数生成两个方向的权重图,并逐元素相乘融合为统一的空间调制系数:
36、;
37、;
38、其中,为sigmoid激活函数,为高斯误差线性单元激活函数,为自然对数运算,、为线性映射操作,表示逐元素乘法操作;
39、得到对应层级的融合特征如下:
40、;
41、;
42、其中,为重标定后的第二层级特征,为重标定后的第一层级特征,为可学习的融合系数,为输出的融合特征。
43、前述的方法,基于交互结果进行层级间的自适应互补融合,得到统一视觉融合表征,包括:
44、将不同层级的交互结果映射到同一低维表示空间,得到统一维度的层级特征;
45、对于当前层级特征,选取辅助层级特征,将二者拼接后经线性映射与归一化生成查询特征,并将当前层级特征和辅助层级特征分别经独立的线性映射生成键特征;
46、基于查询特征和键特征计算相关性得分,归一化得到动态融合权重,并据此对当前层级特征和辅助层级特征进行加权聚合,得到增强层级表示;
47、将增强层级表示转换为空间-通道联合权重图,对当前层级特征进行逐元素调制,并将各层级的调制结果聚合,得到统一视觉融合表征。
48、前述的方法,所述增强层级表示的获取包括:
49、生成查询特征和键特征、:
50、;
51、;
52、其中,为当前层级特征,为辅助层级特征,为查询映射矩阵,表示特征拼接操作,为层归一化,和分别为对应的键映射矩阵;
53、计算相关性得分并归一化得到动态融合权重:
54、;
55、;
56、其中,为特征通道维度,和分别表示当前层级与辅助层级对联合查询的响应强度,和分别代表当前层级特征与辅助层级特征在融合过程中的贡献占比;
57、加权聚合得到增强层级表示:
58、;
59、其中,表示逐元素乘法;
60、所述统一视觉融合表征的获取如下:
61、;
62、;
63、;
64、其中,为空间-通道联合权重图,为sigmoid激活函数,为输出投影矩阵参数,为偏置项,为增强后的层级表示,为统一视觉融合表征,、、分别为浅层、中层和深层增强特征。
65、前述的方法,生成目标图像的像素级异常响应图的步骤包括:
66、在低分辨率阶段,基于统一视觉融合表征与所述正常与异常文本语义表示的相似度生成初始异常概率图;
67、在中分辨率和高分辨率阶段,利用上一阶段的异常概率图作为先验引导,结合原始图像和上一阶段视觉特征,通过结构解析分支进行结构增强;
68、所述结构解析分支利用方向梯度算子计算多个特定方向上的梯度响应以构建方向梯度图,并计算方向间原始方差图,在像素邻域内进行局部统计得到最终方差图;
69、对所述方向梯度图进行二次边缘提取合成边缘响应,计算所述边缘响应与所述最终方差图的余弦相似度以对当前阶段视觉特征进行结构增强,生成当前阶段的异常概率图。
70、前述的方法,所述最终方差图的获取包括:
71、计算输入特征在四个特定方向上的梯度响应:
72、;
73、其中,为输入特征,为对应方向的卷积核,表示对特征独立施加卷积核的逐通道卷积操作,为对应方向的梯度响应;
74、构建方向梯度和四方向梯度均值:
75、;
76、;
77、其中,为方向梯度,为四方向梯度均值,、、、分别为对应方向的梯度响应;
78、计算方向间原始方差图和最终方差图:
79、;
80、;
81、其中,为方向间原始方差图,为最终方差图,为像素的邻域,为邻域内像素的数量;
82、计算所述边缘响应与所述最终方差图的余弦相似度以对当前阶段视觉特征进行结构增强包括:
83、;
84、;
85、;
86、其中,和分别为水平方向和垂直方向的边缘检测卷积核,和分别表示水平方向和垂直方向的边缘响应,为用于保持数值稳定的常数,为边缘响应幅值,为上一阶段输入的视觉特征,表示边缘响应图与方向梯度方差图之间的余弦相似度计算结果,为经过结构解析分支处理后的最终视觉特征。
87、前述的方法,所述确定目标图像的缺陷检测结果包括:
88、获取基于可学习上下文构建的正常文本语义表示和异常文本语义表示;
89、计算局部视觉特征与所述正常文本语义表示在各空间位置的相似度概率分布;
90、基于所述相似度概率分布对空间域内的局部视觉特征进行加权聚合,生成异常感知表示;
91、将所述异常感知表示与全局语义表征融合,并与正常文本语义表示和异常文本语义表示进行匹配,确定图像级异常分类结果;
92、将图像级异常分类结果与像素级异常响应图结合,得到缺陷检测结果。
93、一种面向复杂工业产品的无训练样本缺陷视觉检测系统,包括:
94、特征提取模块,用于通过侧重全局语义的第一视觉编码器和侧重局部结构的第二视觉编码器,分别对获取的待检测工业产品的目标图像进行多层级特征提取,得到第一多层级特征和第二多层级特征;
95、交互与融合模块,用于对第一多层级特征和第二多层级特征中对应层级的特征进行方向感知交互,并基于交互结果进行层级间的自适应互补融合,得到统一视觉融合表征;
96、细化模块,用于基于统一视觉融合表征,在从低分辨率到高分辨率的多个预测阶段进行渐进式结构解析与边界细化,生成目标图像的像素级异常响应图;
97、结果确定模块,用于基于预先构建的正常与异常文本语义表示,以及像素级异常响应图,确定目标图像的缺陷检测结果。
98、一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如前述的方法。
99、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序由处理器执行时,使所述处理器执行前述的方法。
100、与现有技术相比,本发明通过双分支视觉编码器提取异构特征并进行方向感知交互,利用加法、乘法、减法构造中间表示并结合轴向注意力机制,实现了全局语义与局部结构特征在空间维度上的精准对齐与互补,有效解决了单一特征源在复杂工业场景下表征能力不足的问题;通过自适应层级互补融合模块,基于层级间动态注意力权重进行递进式特征聚合,并根据输入图像内容自适应调整各层级贡献,增强了模型对不同尺度缺陷响应的连续性与完整性;通过渐进式多尺度结构解析与边界细化机制,将低分辨率异常先验逐级传递至高分辨率阶段,并结合方向梯度与局部方差信息持续修正异常边界,实现了从粗定位到精细分割的逐步优化,显著提升了像素级异常定位的精度与边界清晰度;整体方案在不依赖目标域训练样本的条件下,有效克服了现有技术中异构特征协同缺失及多尺度定位模糊的缺陷,为开放工业场景下的零样本异常检测提供了稳定且高精度的技术支撑。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com