基于多模态特征融合的座椅过渡连接件外观缺陷检测方法与流程
本申请涉及工业视觉、视觉检测,特别涉及一种基于多模态特征融合的座椅过渡连接件外观缺陷检测方法。
背景技术:
1、数座椅过渡连接件是汽车座椅系统的关键安全部件,其表面缺陷检测依赖2d可见光、3d结构光、偏振及多光谱等多模态融合手段。现有检测系统普遍采用固定角度与强度的光源进行被动式采集,各传感器同步获取数据后,由后端基于注意力机制的融合网络完成缺陷识别。
2、对于金属材质的座椅过渡连接件,被动式固定光场在曲面曲率突变处不可避免产生镜面高光过曝,导致2d图像纹理丢失,偏振与多光谱通道亦无法获取亚表面信息。后端融合算法无法从已过曝的无效像素中恢复真实物理特征,微小划痕与亚表面裂纹极易漏检。
3、同时,现有注意力融合机制仅学习像素级统计相关性,缺乏对制造工艺因果律的利用。金属连接件表面的加工刀纹、油污与冲压裂纹在视觉特征上高度相似,数据驱动的融合方式难以区分与工艺应力场无因果关联的伪缺陷,致使复杂背景下误报率高。上述问题严重制约了高反光复杂曲面金属零部件的外观缺陷检测精度。
技术实现思路
1、本申请实施例提供了一种基于多模态特征融合的座椅过渡连接件外观缺陷检测方法,技术方案如下:
2、一方面,提供了一种基于多模态特征融合的座椅过渡连接件外观缺陷检测方法,所述方法包括:
3、对座椅过渡连接件进行预扫描,依据获取的表面法向信息与相机视角的关系动态调整多光谱光源阵列的发光状态,在消除镜面高光并增强亚表面散射响应的主动光场下,同步采集无高光过曝的可见光图像、偏振态图像和携带亚表面响应信息的多光谱图像;
4、从所述可见光图像、所述偏振态图像和所述多光谱图像中提取多模态视觉特征,利用冲压工艺参数推理得到的理论应力分布对所述多模态视觉特征进行应力因果条件注入,得到事实视觉表征,并以零应力状态对所述多模态视觉特征进行反事实条件注入,得到反事实视觉表征;
5、对所述事实视觉表征与所述反事实视觉表征进行差异提取,得到因果缺陷特征,并以所述因果缺陷特征为查询、以所述多模态视觉特征为键值执行跨模态注意力融合,得到融合缺陷特征;
6、基于所述融合缺陷特征判定所述座椅过渡连接件的缺陷类别。
1.一种基于多模态特征融合的座椅过渡连接件外观缺陷检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对座椅过渡连接件进行预扫描,依据获取的表面法向信息与相机视角的关系动态调整多光谱光源阵列的发光状态,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述镜面反射方向,计算使镜面反射偏离相机接收立体角的逃逸照明方向,以及使亚表面散射响应增强的激发照明方向,包括:
4.根据权利要求1所述的方法,其特征在于,所述利用冲压工艺参数推理得到的理论应力分布对所述多模态视觉特征进行应力因果条件注入,得到事实视觉表征,包括:
5.根据权利要求4所述的方法,其特征在于,所述以所述理论应力分布为条件变量,对所述多模态视觉特征进行空间逐位置的应力归因分解,得到应力因果关联特征图和应力无关特征图,包括:
6.根据权利要求5所述的方法,其特征在于,所述以所述归一化应力分布图为条件,对所述多模态视觉特征中各特征图进行逐位置的条件响应评估,生成应力归因权重图,包括:
7.根据权利要求1所述的方法,其特征在于,所述以零应力状态对所述多模态视觉特征进行反事实条件注入,得到反事实视觉表征,包括:
8.根据权利要求1所述的方法,其特征在于,所述对所述事实视觉表征与所述反事实视觉表征进行差异提取,得到因果缺陷特征,包括:
9.根据权利要求1所述的方法,其特征在于,所述以所述因果缺陷特征为查询、以所述多模态视觉特征为键值执行跨模态注意力融合,得到融合缺陷特征,包括:
10.根据权利要求1所述的方法,其特征在于,所述基于所述融合缺陷特征判定所述座椅过渡连接件的缺陷类别,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com