一种物理约束与跨模态融合的缺陷检测方法及系统与流程

摘要: 本发明涉及焊接质量检测,尤其涉及一种物理约束与跨模态融合的缺陷检测方法及系统。背景技术:1、在激光焊接质量检测的工业实践当中,光谱视觉检测手段逐步被引入高端制造...
一种物理约束与跨模态融合的缺陷检测方法及系统与流程

本发明涉及焊接质量检测,尤其涉及一种物理约束与跨模态融合的缺陷检测方法及系统。

背景技术:

1、在激光焊接质量检测的工业实践当中,光谱视觉检测手段逐步被引入高端制造产线用于焊缝质量评判,现有技术大多分别独立开展焊接过程监测与焊后缺陷检测工作,过程监测依靠高速相机采集熔池等离子体光信号得到时序数据,焊后检测依靠高光谱成像获取焊缝表面的空间光谱信息,两类检测作业各自完成数据采集与特征解析,产线中会分别输出过程监测告警信息以及焊后缺陷检出结果,部分应用场景下也会将两套检测输出结果做简单的结果层面比对,以此辅助工作人员判断焊缝的焊接状态。

2、该类作业模式下过程时序信息与焊后空间光谱信息仅做结果层面的简单对照,两类数据无法完成深度特征层面的相互引导与约束,焊后成像采集得到的光谱特征容易受到弧光残留、材料表面氧等情况带来的特征畸变影响,畸变特征会直接参与缺陷识别的特征运算流程,进而造成内部缺陷识别判断发生偏移,最终导致难以同时兼顾表面缺陷与内部冶金缺陷的稳定检出。

技术实现思路

1、本发明提供一种物理约束与跨模态融合的缺陷检测方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的一种物理约束与跨模态融合的缺陷检测方法,包括:

3、获取焊接过程的多光谱时序信号和焊后检测区域的高光谱图像数据;

4、对多光谱时序信号进行时序特征提取,得到时序动态特征向量;对高光谱图像数据进行空间-光谱特征提取,得到空间-光谱联合特征向量,并根据焊接热循环与熔池流动的物理守恒约束对空间-光谱联合特征向量进行流形校正;

5、以校正后的空间-光谱联合特征向量作为注意力机制的引导向量,对时序动态特征向量进行加权聚合,得到跨模态融合特征;

6、根据跨模态融合特征进行缺陷分类,得到缺陷检测结果。

7、优选地,所述对高光谱图像数据进行空间-光谱特征提取,得到空间-光谱联合特征向量,包括:

8、通过三维卷积核对高光谱图像数据的光谱维度和空间维度进行同步卷积操作,提取每个像素位置在不同光谱波段下的反射率分布特征,并将提取到的所有像素位置的光谱分布特征按原始空间排列组合为空间-光谱联合特征向量。

9、优选地,所述根据焊接热循环与熔池流动的物理守恒约束对空间-光谱联合特征向量进行流形校正,包括:

10、将空间-光谱联合特征向量映射至焊接物理参数空间,得到高光谱图像数据中每个像素位置对应的焊接物理状态表征参数;

11、根据焊接物理状态表征参数在空间分布上的连续性与物理守恒约束之间的偏离程度,识别出偏离程度超出预设容忍范围的特征分量;

12、对识别出的特征分量进行幅值抑制,得到校正后的空间-光谱联合特征向量。

13、优选地,所述识别出偏离程度超出预设容忍范围的特征分量,并对识别出的特征分量进行幅值抑制,包括:

14、将每个像素位置的焊接物理状态表征参数与其邻域内其他像素位置的焊接物理状态表征参数逐一比较,计算各比较结果的差值绝对值之和,作为该像素位置的偏离度;

15、将偏离度大于预设容忍阈值的像素位置判定为异常像素位置,以偏离度为权重对该异常像素位置对应的特征分量数值进行比例衰减,得到校正后的空间-光谱联合特征向量。

16、优选地,所述对多光谱时序信号进行时序特征提取,得到时序动态特征向量,包括:

17、通过时序卷积网络对多光谱时序信号按时间窗口进行滑动卷积操作,提取多光谱时序信号在每个时间窗口内的时序变化模式,并以最后一个时间窗口的时序变化模式作为当前时刻的时序动态特征向量。

18、优选地,所述以校正后的空间-光谱联合特征向量作为注意力机制的引导向量,对时序动态特征向量进行加权聚合,包括:

19、以校正后的空间-光谱联合特征向量中每一个空间位置的特征向量作为查询向量,以时序动态特征向量中的每一个时刻的特征向量作为键向量和值向量;

20、将每个查询向量与各个键向量逐一进行匹配度比较,根据匹配度高低为各个时刻的值向量赋予相应的重视程度;

21、按各时刻在时序上的先后顺序,将赋予重视程度后的各个值向量依次累加,得到该空间位置对应的聚合结果;

22、将各空间位置对应的聚合结果按原始空间排列,作为跨模态融合特征。

23、优选地,所述将每个查询向量与各个键向量逐一进行匹配度比较,包括:

24、将空间-光谱联合特征向量中经幅值抑制后保留的异常像素位置标记为关注区域;

25、对关注区域内的查询向量,仅与时序动态特征向量中缺陷形成敏感时段内的键向量进行匹配度比较,得到该查询向量与敏感时段内键向量的匹配度比较结果集;

26、对关注区域之外的查询向量,与时序动态特征向量中全部时刻的键向量进行匹配度比较,得到该查询向量与全时段键向量的匹配度比较结果集。

27、优选地,缺陷形成敏感时段的确定方式为:

28、从校正后的空间-光谱联合特征向量中,提取关注区域内各个异常像素位置对应的偏离度值,以及多光谱时序信号中与各异常像素位置对应的时序动态变化曲线;

29、将每个异常像素位置的偏离度值映射至该异常像素位置的时序动态变化曲线上,定位时序动态变化曲线中变化速率达到峰值的时刻,作为该异常像素位置对应的参考时刻;

30、以参考时刻为基准,沿多光谱时序信号的时间轴向前取连续时段,作为该异常像素位置对应的缺陷形成敏感时段。

31、优选地,所述根据跨模态融合特征进行缺陷分类,得到缺陷检测结果,包括:

32、将校正后的空间-光谱联合特征向量中幅值被衰减的异常像素位置标记为物理不可信区域,将幅值未被衰减的像素位置标记为物理可信区域;

33、在物理不可信区域中,以时序动态特征向量作为缺陷分类的判断依据,输出该区域的缺陷类别;

34、在物理可信区域中,以跨模态融合特征作为缺陷分类的判断依据,输出该区域的缺陷类别;

35、将各区域的缺陷类别按空间位置合并,作为缺陷检测结果。

36、为了解决上述问题,本发明还提供一种物理约束与跨模态融合的缺陷检测系统,系统包括:

37、多模态数据采集模块,用于获取焊接过程的多光谱时序信号和焊后检测区域的高光谱图像数据;

38、流形校正模块,用于对多光谱时序信号进行时序特征提取,得到时序动态特征向量;对高光谱图像数据进行空间-光谱特征提取,得到空间-光谱联合特征向量,并根据焊接热循环与熔池流动的物理守恒约束对空间-光谱联合特征向量进行流形校正;

39、跨模态融合模块,用于以校正后的空间-光谱联合特征向量作为注意力机制的引导向量,对时序动态特征向量进行加权聚合,得到跨模态融合特征;

40、缺陷分类模块,用于根据跨模态融合特征进行缺陷分类,得到缺陷检测结果。

41、与现有技术相比,本发明具有以下有益效果:

42、1.通过焊接热循环与熔池流动物理守恒约束完成空间-光谱联合特征向量的流形校正,并借助校正后特征引导注意力机制完成时序动态特征向量的跨模态加权聚合,能够对焊后光谱采集产生的畸变特征实现有效抑制,使参与缺陷判定的融合特征融入焊接过程真实演化信息,强化焊缝内部埋藏型缺陷对应的特征表达能力,提升缺陷识别判断的内在合理性。

43、2.依托像素区域划分执行差异化缺陷判定逻辑,物理不可信区域直接采用时序动态特征向量开展类别判定,物理可信区域使用跨模态融合特征完成识别,结合匹配度比较阶段对关注区域设置缺陷形成敏感时段的限定处理,能够针对性适配不同像素位置的特征有效程度,减少失真特征对分类过程的干扰,在保障常规区域识别能力的同时,进一步稳固内部冶金缺陷的识别稳定性。