一种基于多属性引导与特征增强的工业零件缺陷检测方法及系统

摘要: 本发明属于计算机视觉、多模态深度学习与智能制造缺陷检测,具体涉及一种基于多属性引导与特征增强的工业零件缺陷检测方法、系统及存储介质。背景技术:1、在现代精密制造...
一种基于多属性引导与特征增强的工业零件缺陷检测方法及系统

本发明属于计算机视觉、多模态深度学习与智能制造缺陷检测,具体涉及一种基于多属性引导与特征增强的工业零件缺陷检测方法、系统及存储介质。

背景技术:

1、在现代精密制造领域,高质量的缺陷检测对于保障产品性能、提升产线良率具有至关重要的作用。精密工业零件(如航空叶片、精密齿轮等)在生产过程中可能产生微小的表面裂纹、砂眼或形变,若不及时检出将导致严重的质量事故。传统的工业缺陷检测主要依赖人工质检或基于固定阈值的机器视觉方法。随着深度学习技术的发展,基于计算机视觉的自动化识别已成为主流研究方向,通过提取零件图像的纹理、边缘和几何特征实现缺陷分类,对于实现产线自动化筛查具有重大应用价值。

2、目前,工业缺陷检测方法主要分为基于卷积神经网络(cnn)的方法和基于视觉变换器(transformer)的方法。早期研究多利用 resnet 等主干网络在特定工业数据集(如mvtec ad 等基准模型)上展现了良好的识别性能。然而,针对高精密、高复杂度的零件检测,现有方法仍面临显著挑战:

3、(1)缺陷样本极度稀缺与过拟合难题:在实际工业产线中,合格品占据绝大多数,而特定缺陷(尤其是罕见的新发缺陷)样本极少。在超小样本(ultra-few-shot)场景下,传统的深度学习模型由于参数量庞大,极易在受限的缺陷数据集上发生严重过拟合,导致模型对未知批次零件的泛化能力和鲁棒性不足。

4、(2)多视角检测信息分布不均:为了实现全方位覆盖,产线通常采用多个工业相机从不同角度(如正面、斜侧位、俯视位)拍摄零件。缺陷往往仅隐藏在某些特定视角中,而现有的多视角融合方法通常对各视角赋予同等权重,缺乏针对非刚性形变或复杂几何结构的自适应权重分配能力,导致关键视角特征被平庸化或被环境噪声掩盖。

5、(3)工艺属性与先验知识利用不足:在实际质检中,质检员会结合零件的物理属性(如材质硬度、表面粗糙度、生产批次等结构化信息)主动搜索特定的视觉证据。然而,目前的检测模型多依赖单一的图像模态,忽略了这些结构化属性向量对视觉表征的语义引导作用,导致模型缺乏工艺逻辑的可解释性。

6、(4)类别失衡下的判定边界模糊:良品与次品分布极不平衡,传统的流形正则化技术在冻结特征空间中缺乏针对类中心的原型约束,容易在决策边界附近生成质量不高的干扰特征,导致对重度缺陷(少数类)的召回率较低,存在漏检风险。

7、基于以上局限性,本发明提出一种基于多属性引导与特征增强的工业零件缺陷检测方法,通过预训练视觉语言大模型提取稳健特征,结合视角注意力机制自适应聚合多工位视图,并利用零件物理属性向量生成的通道注意力掩码对视觉表征进行精准校准,最后配合原型锚定的流形混合策略在特征空间生成高质量虚拟样本。本发明不仅可以充分利用工艺先验知识提升检测的灵敏度,也可以显著增强模型在极小样本场景下的缺陷识别精度与工业可解释性。

技术实现思路

1、本发明的内容:

2、一种基于多属性引导与特征增强的工业零件缺陷检测方法及系统,该方法包括:

3、① 提出了基于视觉大模型与小样本学习的精密工业零件缺陷检测方法。该方法首先利用冻结参数的预训练视觉语言大模型(frozen blip)作为特征提取器,通过自适应视角注意力模块聚合零件的多工位/多视角特征;其次设计了属性引导通道注意力(attribute-guided channel attention, agca)机制实现跨模态工艺语义引导;最后提出原型锚定流形混合策略进行特征空间数据增强。本发明不仅能够精准激活关键缺陷表征,提升检测系统的灵敏度与工艺可解释性,还可以有效缓解在罕见缺陷样本极少场景下的过拟合问题。

4、② 首先对零件的多视角图像进行特征提取与聚合。其中包含零件正轴顶视位图像、两个对称的45°斜轴位图像以及两个正交的90°侧轴位图像共五个工位视角拍摄的视觉特征。本方法通过设计自适应视角注意力(view attention)模块,在多视角特征流形中动态分配权重分值。该模块通过计算不同工位视角图像的高维特征向量与学习权重之间的注意力相关性,实现对缺陷关键视图信息的自适应选择,以消除由光照噪声、环境冗余或非关键视角引起的干扰,缓解多视角间的表征冲突,从而获得最具辨别力的聚合缺陷特征。

5、③ 其次,通过零件物理属性引导视觉通道的重校准。本方法设计了属性引导通道注意力(attribute -guided channel attention,agca)模块,模拟资深质检员结合零件工艺属性判定缺陷的逻辑。该模块将离散的零件物理属性向量(如材质脆性、表面粗糙度、表面反射特性等二值化属性)映射为连续的语义门控信号,并通过残差门控机制对聚合后的视觉特征通道进行显式重校准。该过程能够根据特定工艺属性精准激活相关的视觉通道特征,实现工艺先验知识对视觉表征的精确控制与语义对齐。

6、④ 由于原型锚定流形增强策略善于在极小样本下优化特征空间的几何结构,本方法采用原型锚定流形混合(prototype-anchored manifold mixup,pa-mixup)策略在特征流形空间进行数据增强。该策略首先利用动量更新机制维护稳定的缺陷/合格品类别原型(类中心)表示,随后强制待训练样本向其所属类别的原型中心进行线性插值,从而在特征空间生成锚定于类中心的高质量虚拟样本。该机制显著增强了特征分布的类内紧凑性,构建出更具泛化性的分类决策边界,有效提升了模型在工业罕见缺陷样本约束下的识别性能。

7、本发明原理是一种融合多属性语义引导与流形空间增强的工业检测方法。通过view attention 模块实现多工位视觉特征的自适应聚合,利用 agca 模块通过零件属性文本引导视觉特征通道的重校准,并配合 pa-mixup 策略在特征流形空间进行原型锚定的数据增强。从而在解决工业环境下多视角异质性、工艺先验交互缺失以及极端缺陷样本稀缺带来的挑战基础上,提高精密工业零件缺陷检测的准确率与自动化水平。

8、为达到以上发明目的,本发明采用如下的技术方案:

9、一种基于多属性引导与特征增强的工业零件缺陷检测方法,包括:数据采集预处理模块、多工位特征提取与聚合模块、属性引导特征重校准模块、原型锚定流形增强模块、以及缺陷分类判定模块。

10、多工位特征提取与聚合模块:主要利用 view attention组件自适应聚合零件的多视角视觉特征。该组件首先采用冻结参数的预训练视觉语言大模型提取由正轴顶视位、斜轴位及侧轴位组成的五个工位视角的全局特征向量;随后通过非线性注意力得分机制计算每个视角图像对缺陷判定的贡献权重分值;最后通过加权求和的方式聚合多视角信息。该过程能够自动识别包含关键缺陷表征的视角,并有效抑制由工业环境光照不稳定或非关键位姿引起的冗余干扰与表征冲突。

11、属性引导特征重校准模块:主要利用agca组件实现零件物理属性对视觉特征的语义引导。该组件利用轻量级映射网络将包含材质脆性、表面粗糙度、反射特性、涂层状态、几何复杂度及热处理硬化等级在内的六维结构化属性向量映射为与视觉特征维度相同的通道注意力掩码;并结合残差门控机制对视觉特征进行通道级的重校准。该过程模拟质检专家结合工艺参数搜索缺陷证据的逻辑,通过显式驱动病理相关特征通道的激活,提升了模型对细微缺陷的捕捉能力与工艺可解释性。

12、原型锚定流形增强模块:主要利用 pa-mixup策略在特征流形空间进行原型引导的数据增强。具体来说,就是通过动量更新机制实时维护合格品与缺陷品的类别特征原型中心;计算待训练样本的特征向量与其所属类别原型之间的插值关系,在特征流形空间生成锚定于类中心的高质量虚拟样本。该策略通过优化特征空间的几何分布结构,增强了类内紧凑性与类间分离度,有效缓解了产线罕见缺陷样本极其稀缺导致的过拟合问题。

13、本发明通过多工位注意力聚合、物理属性引导的语义校准以及原型锚定的流形增强,实现了对工业零件细微缺陷表征的精准捕捉与空间优化。本发明不仅可以有效整合多视角间的几何互补信息,也可以充分利用生产工艺先验提升缺陷检测的科学性、准确性与产线泛化性能。

14、本发明的有益效果:

15、本发明与现有技术相比,具备如下显著的有益效果:

16、①显著提升了极小样本场景下的检测鲁棒性:本发明通过采用冻结参数的预训练视觉语言大模型作为特征提取主干,有效利用了大模型习得的通用视觉表征能力。这一策略避免了传统微调方法在工业缺陷样本极其稀缺时容易发生的参数漂移与严重过拟合难题,确保了系统在不同生产批次下的特征稳定性。

17、②实现了多工位信息的自适应动态融合:本发明引入的自适应视角注意力机制,能够根据图像内容自动识别并增强包含关键缺陷表征的工位视角。该机制解决了工业环境下由于光照不稳定、遮挡或工位角度偏差引起的多视角信息冲突,有效抑制了冗余视角带来的噪声干扰,显著提升了复杂几何零件检测的精准度。

18、③增强了工艺先验知识对检测过程的语义引导:通过属性引导通道注意力(agca)模块,本发明将材质脆性、粗糙度等离散物理属性映射为视觉通道的重校准掩码。相比于传统的特征简单拼接,该设计实现了工艺逻辑与视觉表征的深度语义对齐,使模型能够模仿质检专家的判定逻辑,显式激活与特定属性关联的视觉通道,极大地增强了检测结果的可解释性。

19、④优化了失衡数据下的决策边界几何结构:针对产线中良品多、缺陷件少的类别失衡问题,本发明提出的原型锚定流形增强(pa-mixup)策略在特征空间施加了向类中心回归的“向心引力”。该策略显著增强了特征空间的类内紧凑性,构建出更具泛化性的分类平面,大幅提升了模型对重度缺陷(少数类)的召回能力(recall),有效降低了工业生产中的漏检风险,具备极高的产业化推广价值。