基于二维语义分割与三维点云投影配准的腰型孔焊缝提取方法及系统与流程

摘要: 本技术属于工业视觉检测,尤其涉及一种基于二维语义分割与三维点云投影配准的腰型孔焊缝提取方法及系统。背景技术:1、汽车配件焊接是汽车零部件制造过程中的重要工序,钣...
基于二维语义分割与三维点云投影配准的腰型孔焊缝提取方法及系统与流程

本技术属于工业视觉检测,尤其涉及一种基于二维语义分割与三维点云投影配准的腰型孔焊缝提取方法及系统。

背景技术:

1、汽车配件焊接是汽车零部件制造过程中的重要工序,钣金支架、连接基座、加强构件等配件通常由底板、加强筋等结构装配形成,其表面常设置有腰型孔。腰型孔通常具有两端圆弧、中部条形延伸的轮廓特征,可作为焊接定位孔、塞焊孔或其他工艺孔使用。对于自动化焊接产线而言,腰型孔两端位置可作为机器人执行焊接作业的重要定位基准,焊缝点位提取结果直接影响焊接路径规划、焊枪定位精度以及焊接成品质量。如何在汽车配件存在非标结构、冲压变形、表面毛刺及装夹偏差的情况下,稳定、批量地获取腰型孔焊缝的空间定位信息,是机器人焊接视觉定位中的重要问题。

2、现有腰型孔焊缝识别方式主要包括三维模型导入识别、纯三维点云检测和纯二维机器视觉分割等类型。三维模型导入识别方式通常需要预先建立标准三维数模并人工标注焊缝坐标,但汽车配件多为非标冲压件,工件表面可能存在非平面变形,标准数模获取和人工标注成本较高,难以适配多品类自动化产线。纯三维点云检测方式通常依赖全局点云中的平面拟合、直线拟合、欧式聚类等几何处理过程,但点云中容易混入冲压毛刺、锈蚀、划痕等形成的杂散点,若对全局点云进行下采样或统计滤波,又可能丢失腰型孔边缘的原始点位,影响焊缝定位精度。纯二维机器视觉分割方式能够获得孔洞在图像中的像素区域,但缺少深度信息,无法直接输出机器人焊接所需的三维焊缝坐标。此外,部分现有方案中二维图像处理与三维点云处理相互独立,需要人工中转数据或分段操作,自动化连续性不足,并且缺少针对批量腰型孔场景中微小毛刺簇、杂散噪声簇的有效过滤机制,容易产生虚假焊点坐标。

3、因此,如何在不依赖标准三维数模和人工焊点标注的情况下,准确提取腰型孔对应的三维孔洞点云,并进一步稳定确定腰型孔两端焊缝坐标,成为了亟待解决的技术问题。

技术实现思路

1、为解决上述至少一个技术问题,在不依赖标准三维数模和人工焊点标注的情况下,准确提取腰型孔对应的三维孔洞点云,并进一步稳定确定腰型孔两端焊缝坐标,本技术提出一种基于二维语义分割与三维点云投影配准的腰型孔焊缝提取方法及系统。

2、第一方面,本技术提供了一种基于二维语义分割与三维点云投影配准的腰型孔焊缝提取方法,所述方法包括:

3、s1,获取待焊接工件的二维图像、初始三维点云及二维图像采集相机的标定参数;所述初始三维点云中的各空间点位于所述二维图像采集相机坐标系下,或已通过坐标配准转换至所述二维图像采集相机坐标系中;

4、s2,将所述二维图像输入二维语义分割模型,得到用于表征腰型孔区域的二值掩码;

5、s3,基于所述二维图像采集相机的标定参数,将所述初始三维点云中的空间点投影至所述二维图像对应的像素坐标系,并基于所述二值掩码从所述初始三维点云中筛选得到腰型孔点云;

6、s4,对所述腰型孔点云进行聚类处理,得到多个候选腰型孔点云簇,基于聚类结果确定各三维点与所述候选腰型孔点云簇之间的归属关系,并结合各候选腰型孔点云簇中的三维点数量对所述候选腰型孔点云簇进行筛选,得到至少一个有效腰型孔点云簇;

7、s5,对每个所述有效腰型孔点云簇进行主轴拟合,将所述有效腰型孔点云簇中的三维点投影至拟合得到的主轴直线,并基于最大主轴投影值和最小主轴投影值对应的两个主轴投影点,确定腰型孔两端焊缝点的三维坐标。

8、在一种可能的实现方式中,步骤s2,包括:

9、s21,对所述二维图像进行尺寸缩放和像素标准化处理,得到模型输入图像;

10、s22,将所述模型输入图像输入u-net语义分割网络,得到包含腰型孔类别概率和工件背景类别概率的像素分类概率图,并将所述像素分类概率图还原至所述二维图像的原始分辨率;

11、s23,针对还原后的像素分类概率图中的每个像素位置,比较腰型孔类别概率与工件背景类别概率,将概率较大的类别确定为对应像素位置的预测类别;

12、s24,基于各像素位置的预测类别生成所述二值掩码;其中,所述二值掩码中的第一像素值用于表征腰型孔区域,第二像素值用于表征工件背景区域。

13、在一种可能的实现方式中,步骤s3,包括:

14、s31,遍历所述初始三维点云中的各空间点,选取在所述二维图像采集相机坐标系下z轴坐标大于零的空间点,并基于所述二维图像采集相机的标定参数,计算所选取空间点在所述二维图像中的对应投影像素坐标;所述标定参数包括水平方向有效焦距、竖直方向有效焦距、主点横坐标及主点纵坐标;

15、s32,基于所选取空间点的对应投影像素坐标和所述二维图像的尺寸信息,对所选取空间点进行筛选,剔除投影像素坐标超出二维图像边界的所选取空间点;

16、s33,对于筛选后保留的空间点,判断其对应投影像素坐标处的二值掩码像素值是否表征腰型孔区域;若是,则将对应空间点确定为所述腰型孔点云中的点,得到所述腰型孔点云。

17、在一种可能的实现方式中,所述投影像素坐标的计算公式为:

18、,;

19、其中,x、y、z为空间点在所述二维图像采集相机坐标系下的三维坐标,u、v分别为投影像素横坐标和投影像素纵坐标,为水平方向有效焦距,为竖直方向有效焦距,为主点横坐标,为主点纵坐标。

20、在一种可能的实现方式中,步骤s4,包括:

21、s41,在所述二维图像采集相机坐标系下确定用于限定目标工件区域的三维空间裁剪区域,并基于所述三维空间裁剪区域对所述腰型孔点云进行裁剪,得到位于所述目标工件区域内的腰型孔点云;

22、s42,以位于所述目标工件区域内的腰型孔点云中各三维点在所述二维图像采集相机坐标系下的x轴坐标和y轴坐标作为二维聚类坐标,对所述二维聚类坐标进行密度聚类,得到多个候选腰型孔点云簇;

23、s43,基于聚类结果确定各三维点与所述候选腰型孔点云簇之间的归属关系,并剔除未归属于任一候选腰型孔点云簇的三维点;

24、s44,基于相机工作距离和三维点云分辨率,确定在所述相机工作距离下的点云采样密度;基于所述点云采样密度和预设的单个腰型孔理论面积,确定单个腰型孔对应的预期三维点数量,并基于所述预期三维点数量确定点数筛选阈值;

25、s45,统计各候选腰型孔点云簇中的实际三维点数量,并将实际三维点数量不低于所述点数筛选阈值的候选腰型孔点云簇确定为所述有效腰型孔点云簇。

26、在一种可能的实现方式中,步骤s4,还包括:

27、s46,将各所述有效腰型孔点云簇中的三维点沿所述二维图像采集相机坐标系的z轴方向正投影至由x轴和y轴限定的聚类平面,得到对应的二维投影区域,并确定各二维投影区域的最小面积外接矩形的长边长度和短边长度;

28、s47,将各所述有效腰型孔点云簇对应的最小面积外接矩形的长边长度与预设的单个腰型孔长度上限进行比较,并将所述短边长度与预设的单个腰型孔宽度上限进行比较;当所述长边长度不大于所述长度上限且所述短边长度不大于所述宽度上限时,将对应的有效腰型孔点云簇确定为最终有效腰型孔点云簇;当所述长边长度大于所述长度上限和/或所述短边长度大于所述宽度上限时,将对应的有效腰型孔点云簇确定为多孔合并点云簇;

29、s48,基于所述多孔合并点云簇中各三维点在所述聚类平面内的投影坐标,对所述多孔合并点云簇再次进行密度聚类,得到多个二次候选腰型孔点云簇;

30、s49,统计各二次候选腰型孔点云簇中的实际三维点数量,并将实际三维点数量不低于所述点数筛选阈值的二次候选腰型孔点云簇,确定为最终有效腰型孔点云簇。

31、在一种可能的实现方式中,步骤s41,包括:

32、s411,通过点云分割将所述初始三维点云划分为工件本体点云和非工件点云;

33、s412,对所述工件本体点云进行主成分分析,确定所述工件本体点云的质心以及三个相互正交的主方向,并以所述质心为原点、基于所述三个主方向建立工件局部坐标系,确定用于将所述工件局部坐标系下的坐标转换至所述二维图像采集相机坐标系下的旋转矩阵和位移向量;

34、s413,在所述工件局部坐标系下,基于所述待焊接工件的预设工件尺寸,确定由各坐标轴的坐标范围限定的局部三维空间裁剪区域;

35、s414,基于所述旋转矩阵和所述位移向量,将所述局部三维空间裁剪区域的八个角点转换至所述二维图像采集相机坐标系,并由转换后的八个角点确定定向三维空间裁剪区域;

36、s415,基于所述定向三维空间裁剪区域对所述腰型孔点云进行裁剪,得到位于所述目标工件区域内的腰型孔点云。

37、在一种可能的实现方式中,步骤s4中,对所述腰型孔点云进行聚类处理,包括:

38、以所述腰型孔点云中各三维点在所述二维图像采集相机坐标系下的x轴坐标、y轴坐标及z轴坐标作为三维聚类坐标;

39、基于各三维点在所述三维聚类坐标下的空间邻域关系,对所述腰型孔点云进行三维密度聚类,得到多个候选腰型孔点云簇,以区分在z轴方向空间位置不同的腰型孔。

40、在一种可能的实现方式中,步骤s5,包括:

41、s51,计算每个所述有效腰型孔点云簇的质心,并将各三维点的坐标减去所述质心的坐标,得到各三维点的去中心化坐标,基于所述去中心化坐标构建协方差矩阵;

42、s52,对所述协方差矩阵进行特征值分解,将最大特征值对应的单位特征向量确定为所述有效腰型孔点云簇的长度方向向量;

43、s53,基于所述质心和所述长度方向向量构建主轴直线,并计算各三维点到所述主轴直线的垂直距离;

44、s54,将所述垂直距离不大于预设距离阈值的三维点确定为主轴内点;

45、s55,针对各所述主轴内点,将其相对于所述质心的坐标差与所述长度方向向量的内积确定为主轴投影值,并根据所述质心、所述长度方向向量及所述主轴投影值确定对应的主轴投影点;

46、s56,将主轴投影值最大和最小的两个主轴投影点的三维坐标,确定为对应腰型孔两端焊缝点的三维坐标。

47、另一方面,本技术还提供一种计算机系统,包括存储器和处理器;所述存储器存储有可被处理器执行的程序代码;所述程序代码用于执行如第一方面或其中任意一种实现方式所述的方法。

48、本技术与现有技术相比存在的有益效果是:通过获取待焊接工件的二维图像、处于二维图像采集相机坐标系下或已配准至该坐标系的初始三维点云以及相机标定参数,为二维图像与三维点云之间建立统一的空间坐标基础,减少因坐标系不一致导致的点云投影偏差和数据转换误差;通过二维语义分割模型提取表征腰型孔区域的二值掩码,利用二维图像中的语义信息对腰型孔区域进行定位,并基于相机标定参数将三维点云中的空间点投影至二维图像对应的像素坐标系,根据二值掩码筛选得到腰型孔点云,实现二维图像语义信息与三维点云空间信息的融合,能够在保留腰型孔三维空间位置的同时,减少非目标点云对腰型孔提取结果的干扰;通过对腰型孔点云进行聚类,确定各三维点与候选腰型孔点云簇之间的归属关系,并基于各候选点云簇中的三维点数量进行筛选,能够区分不同腰型孔对应的点云簇,抑制点数较少的离散点云或噪声点云对识别结果的影响,提高批量腰型孔场景下点云分离和目标筛选的稳定性;通过对有效腰型孔点云簇进行主轴拟合,将其中的三维点投影至拟合得到的主轴直线,并根据最大主轴投影值和最小主轴投影值对应的主轴投影点确定腰型孔两端焊缝点的三维坐标,能够实现腰型孔两端焊缝点的自动提取,减少人工测量和人工标注造成的误差,在焊接坐标提取过程中无需依赖预先建立的标准三维数模,有利于提高腰型孔焊缝定位的空间定位精度,为焊接机器人的焊枪定位及焊接路径规划提供准确的三维坐标依据。

49、可以理解的是,本技术提供的计算机系统具有如上述基于二维语义分割与三维点云投影配准的腰型孔焊缝提取方法相同的有益效果,在此不再赘述。