一种基于多模态视觉融合的机械零件表面缺陷识别方法与流程

摘要: 本发明涉及机械表面检测,尤其涉及一种基于多模态视觉融合的机械零件表面缺陷识别方法。背景技术:1、机械零件表面在加工、装配和使用过程中会形成划痕、裂纹、凹坑、压痕...
一种基于多模态视觉融合的机械零件表面缺陷识别方法与流程

本发明涉及机械表面检测,尤其涉及一种基于多模态视觉融合的机械零件表面缺陷识别方法。

背景技术:

1、机械零件表面在加工、装配和使用过程中会形成划痕、裂纹、凹坑、压痕、毛刺、凸起等缺陷。现有表面缺陷检测多采用可见光图像进行纹理与边缘识别,也有技术引入偏振成像、结构光三维测量辅助判断表面反射状态和几何形貌,并通过深度学习模型完成多模态特征融合与缺陷分类。

2、现有方法对多源数据的空间对应关系、正常加工纹基准和正常表面形貌利用不足,不同模态特征多依赖网络内部相关性直接融合。正常加工纹容易被识别为线状缺陷,浅划痕和细微裂纹又存在高度变化较弱、结构光响应不明显的问题。可见光纹理异常、偏振状态变化和表面高度偏差缺少统一位置关联与融合前校正机制,容易造成正常加工纹误检、浅表缺陷漏检以及不同缺陷类型之间识别边界不清。

3、因此,如何提供一种基于多模态视觉融合的机械零件表面缺陷识别方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于多模态视觉融合的机械零件表面缺陷识别方法,本发明融合可见光、偏振和结构光数据,构建参考表面与参考加工纹,并利用改进cmx模型进行物理偏差驱动的特征校正和缺陷判别,具备误检率低、浅表缺陷识别能力强和检测精度高的优点。

2、根据本发明实施例的一种基于多模态视觉融合的机械零件表面缺陷识别方法,包括如下步骤:

3、采集待检测机械零件及合格机械零件的可见光图像、偏振图像和结构光数据,对同一表面位置对应的数据进行空间对齐,生成对齐多模态数据;

4、基于合格机械零件的对齐多模态数据建立参考表面和参考加工纹,确定参考表面法向,建立参考表面法向与正常偏振状态之间的对应关系;

5、从待检测机械零件的对齐多模态数据中读取结构光数据和偏振图像,根据参考表面法向计算相对参考表面的高度偏差,根据正常偏振状态计算偏振偏差;

6、从待检测机械零件的对齐多模态数据中读取可见光图像,提取线状异常区域,将线状异常区域与参考加工纹进行比较,生成加工纹变化结果;

7、构建改进的cmx模型,提取对齐多模态数据的视觉特征,根据高度偏差、偏振偏差和加工纹变化结果生成特征校正系数,利用特征校正系数校正视觉特征,生成校正特征;

8、融合校正特征进行表面缺陷识别,对识别得到的线状异常区域进行正常加工纹、浅划痕和细微裂纹判别,修正表面缺陷识别结果;

9、根据修正后的表面缺陷识别结果确定缺陷区域、缺陷类别和缺陷位置,生成机械零件表面缺陷识别结果。

10、可选的,所述进行空间对齐的过程包括:

11、根据各采集装置的标定参数确定坐标变换关系,基于结构光数据建立机械零件表面坐标;

12、利用坐标变换关系,将可见光图像和偏振图像中的像素位置转换至机械零件表面坐标,确定各像素位置对应的表面位置;

13、按照机械零件表面坐标,将可见光图像、偏振图像和结构光数据中对应同一表面位置的数据建立关联,生成对齐多模态数据。

14、可选的,所述建立参考表面和参考加工纹的过程包括:

15、选取若干个型号及表面加工方式相同且检测合格的机械零件;

16、按照机械零件表面坐标,对各合格机械零件相同表面位置的结构光三维坐标进行异常值剔除和中位值计算,根据各表面位置的坐标中位值建立参考表面;

17、基于各合格机械零件对应的可见光图像提取加工纹边缘,根据加工纹边缘的延伸方向及相邻加工纹边缘的排列位置,筛选重复出现的加工纹边缘,生成参考加工纹;

18、按照机械零件表面坐标,将参考加工纹与参考表面中对应的表面位置关联。

19、可选的,所述建立参考表面法向与正常偏振状态之间的对应关系的过程包括:

20、按照机械零件表面坐标,在参考表面选取目标表面位置,提取目标表面位置周围的坐标中位值作为邻域点;

21、对邻域点进行局部平面拟合,根据拟合平面的法向方向确定目标表面位置的参考表面法向,按照机械零件表面坐标统一参考表面法向的朝向;

22、从各合格机械零件的对齐多模态数据中读取目标表面位置对应的偏振图像,提取0°、45°、90°和135°偏振方向对应的光强值,计算各合格机械零件在目标表面位置的线偏振度和偏振角;

23、分别对各合格机械零件对应的线偏振度和偏振角进行异常值剔除和中位值计算,根据计算结果确定目标表面位置的正常偏振状态;

24、以目标表面位置的参考表面法向作为索引,将参考表面法向与目标表面位置的正常偏振状态建立对应关系,依次处理参考表面的各表面位置。

25、可选的,所述计算相对参考表面的高度偏差的过程包括:

26、在参考表面中查找与当前表面点对应的参考表面点,读取参考表面点对应的参考表面法向;

27、计算当前表面点与参考表面点之间的位置差向量,将位置差向量投影至参考表面法向,生成当前表面点的初始高度偏差;

28、按照机械零件表面坐标读取当前表面点相邻表面位置的初始高度偏差,将与相邻表面位置保持连续且符号一致的初始高度偏差保留,剔除孤立分布的初始高度偏差;

29、将保留的初始高度偏差确定为高度偏差,将沿参考表面法向方向的高度偏差确定为正向高度偏差,将沿参考表面法向反方向的高度偏差确定为负向高度偏差。

30、可选的,所述根据正常偏振状态计算偏振偏差的过程包括:

31、获取各表面位置的当前线偏振度和当前偏振角,作为当前偏振状态;

32、按照机械零件表面坐标匹配当前偏振状态与正常偏振状态,计算当前线偏振度与正常线偏振度的差值,按照180°周期确定当前偏振角与正常偏振角之间的最小角度差;

33、将差值和最小角度差关联至对应表面位置,生成偏振偏差。

34、可选的,所述加工纹变化结果的生成过程包括:

35、从待检测机械零件的可见光图像中提取边缘连通区域,将长度与宽度之比达到预设条件的边缘连通区域确定为线状异常区域;

36、按照机械零件表面坐标,从参考加工纹中读取线状异常区域及相邻表面位置对应的参考加工纹边缘;

37、计算线状异常区域内加工纹边缘与对应参考加工纹边缘之间的延伸方向差,生成方向比较结果;

38、计算线状异常区域两侧相邻加工纹边缘之间的间距,与对应参考加工纹边缘之间的间距进行比较,生成间距比较结果;

39、沿参考加工纹边缘的延伸方向检查线状异常区域内加工纹边缘的连接状态,确定加工纹边缘的中断、错位和缺失位置,生成连续状态比较结果;

40、将方向比较结果、间距比较结果和连续状态比较结果按照机械零件表面坐标关联至对应线状异常区域,生成加工纹变化结果。

41、可选的,所述改进的cmx模型包括可见光特征提取分支、偏振特征提取分支、结构光特征提取分支、特征校正单元、特征融合单元、缺陷识别分支和线状缺陷分支;

42、可见光特征提取分支读取对齐多模态数据中的可见光图像,提取可见光特征;

43、偏振特征提取分支读取对齐多模态数据中的偏振图像,提取偏振特征;

44、结构光特征提取分支读取对齐多模态数据中的结构光数据,提取结构光特征;

45、特征校正单元接收可见光特征、偏振特征和结构光特征,接收高度偏差、偏振偏差和加工纹变化结果,生成校正特征;

46、特征融合单元融合校正特征,生成融合缺陷特征;

47、缺陷识别分支根据融合缺陷特征生成表面缺陷识别结果;

48、线状缺陷分支读取线状异常区域对应的融合缺陷特征,对线状异常区域进行正常加工纹、浅划痕和细微裂纹判别,根据判别结果修正表面缺陷识别结果。

49、可选的,所述生成校正特征的过程包括:

50、当加工纹变化结果未达到对应预设变化阈值,且偏振偏差和高度偏差均未达到对应预设阈值时,根据可见光特征对应的加工纹变化程度设置小于1的可见光特征校正系数;

51、当加工纹变化结果达到对应预设变化阈值且偏振偏差达到预设偏振阈值时,根据加工纹变化程度和偏振偏差分别设置大于1的可见光特征校正系数和偏振特征校正系数;

52、当高度偏差达到预设高度阈值时,根据高度偏差设置大于1的结构光特征校正系数;

53、将可见光特征、偏振特征和结构光特征分别与对应的特征校正系数相乘,生成校正特征。

54、可选的,所述修正表面缺陷识别结果的过程包括:

55、将加工纹变化结果和偏振偏差均未达到对应预设阈值的线状异常区域判定为正常加工纹;

56、将加工纹变化结果和偏振偏差达到对应预设阈值的线状异常区域输入线状缺陷分支,高度偏差未达到预设高度阈值时保留线状异常区域继续判别;

57、判断线状异常区域内边缘是否连续连接,判断同一表面位置是否存在两条以上沿不同方向延伸的边缘,结合加工纹变化结果、偏振偏差和高度偏差,生成浅划痕判别结果和细微裂纹判别结果;

58、根据正常加工纹、浅划痕和细微裂纹判别结果替换对应表面位置的初步识别结果,生成修正后的表面缺陷识别结果。

59、本发明的有益效果是:

60、(1)本发明将可见光图像、偏振图像和结构光数据映射至统一机械零件表面坐标,建立参考表面、参考加工纹和正常偏振状态,使不同模态检测信息在同一表面位置准确对应,降低数据错位和正常加工纹引起的误检。

61、(2)本发明利用高度偏差、偏振偏差和加工纹变化结果直接生成特征校正系数,在特征融合前抑制正常加工纹干扰,增强浅表异常和形貌异常对应的视觉特征,提高浅划痕、细微裂纹、凹坑、压痕、毛刺和凸起的识别能力。

62、(3)本发明设置线状缺陷分支,对线状异常区域进行二次判别,在高度变化不明显时保留具有加工纹变化和偏振异常的线状区域,完成正常加工纹、浅划痕和细微裂纹区分,提高表面缺陷识别准确性和稳定性。