一种基于三维点云的板件边缘与表面凸起检测及磨削方法与流程

摘要: 本发明涉及机器人视觉检测与智能磨削,尤其涉及一种基于三维点云的板件边缘与表面凸起检测及磨削方法。背景技术:1、在板件类零件的加工与修复领域,对于具有待磨削外边缘...
一种基于三维点云的板件边缘与表面凸起检测及磨削方法与流程

本发明涉及机器人视觉检测与智能磨削,尤其涉及一种基于三维点云的板件边缘与表面凸起检测及磨削方法。

背景技术:

1、在板件类零件的加工与修复领域,对于具有待磨削外边缘和表面局部异常凸起的板件,目前常用的检测与磨削方式主要包括以下几种:

2、人工示教与目视检测方式:

3、由操作人员通过目视观察板件表面缺陷,手动控制机器人或磨削设备对边缘和凸起区域进行逐点示教磨削。该方法依赖人工经验,自动化程度低,且受限于人眼分辨率和操作疲劳,难以保证磨削精度的一致性。

4、基于二维视觉或固定阈值的自动检测方式:

5、采用工业相机采集板件表面图像,通过边缘检测算法(如canny算子)提取轮廓,或利用激光位移传感器获取截面高度数据,结合固定z值阈值或全局平面拟合来区分正常表面与异常凸起,进而生成磨削轨迹。

6、基于三维点云的通用检测方法:

7、采用三维视觉传感器(如结构光相机或激光雷达)采集板件表面点云,通过法向量估计、曲率计算或区域生长等点云处理算法提取边缘和凸起区域,再由机器人执行磨削。部分方案引入手眼标定,将视觉数据转换至机器人坐标系下进行加工。

8、上述现有技术在处理具有多个稳定基准圆、待磨削外边缘和局部表面凸起的板件时,存在以下问题:

9、(1)有限视野与完整轮廓获取的矛盾:

10、该类板件沿长度方向的尺寸通常大于三维相机的单次视野范围,而沿宽度方向可被相机覆盖。现有方案若采用单次拍照,无法获取完整外边缘;若采用覆盖整个板面的往复式扫描,则会产生大量冗余数据,降低检测效率;

11、(2)多种结构边缘难以区分:

12、板件上分布有两个稳定基准圆、外轮廓、侧壁及局部结构,这些特征均会产生法向突变。现有通用边缘检测算法会同时提取基准圆边缘、外边缘和非加工结构边缘,无法直接获得需要磨削的外轮廓,导致磨削轨迹生成错误;

13、(3)整体变形与局部异常凸起难以区分:

14、板件经焊接、铸造或前序加工后,表面可能同时存在整体翘曲、缓慢起伏和局部异常凸起。整体翘曲与异常凸起均表现为点云高度变化,现有方法若采用固定z值阈值或全局平面拟合进行分割,极易将板件自身变形误判为异常凸起,造成过磨或漏磨;

15、(4)装夹偏差导致磨削深度无法准确确定:

16、该类板件形状具有对称性,且缺乏专用定位基准,每次装夹均可能产生平移和角度漂移。现有方案即使能够检测到凸起位置,也无法直接使用固定磨削深度,因为不同凸起相对于磨削完成状态的实际高度不同。

技术实现思路

1、本发明提供一种基于三维点云的板件边缘与表面凸起检测及磨削方法,以克服上述技术问题。

2、为了实现上述目的,本发明的技术方案是:

3、一种基于三维点云的板件边缘与表面凸起检测及磨削方法,具体步骤包括:

4、s1、构建相机点集与机器人工具点集;基于svd的眼在手标定与坐标变换方法对所述相机点集与机器人工具点集处理,得到相机坐标系到机器人工具坐标系的最终变换矩阵,用于将后续相机采集的板件表面点云由相机坐标系转换至机器人工具坐标系;

5、s2、采集板件的第一帧定位点云,基于所述最终变换矩阵对第一帧定位点云进行转换,得到转换后的第一帧定位点云,基于转换后的第一帧定位点云得到用于主方向计算的定位点云;对用于主方向计算的定位点云进行pca主成分分析,得到第一主方向、第二主方向和第三主方向;基于所述第一主方向,并采用单向自适应扫描方法对板件边缘进行扫描,将转换后的第一帧定位点云与单向自适应扫描过程中所采集的所有板件点云拼接,得到完整板件点云;

6、s3、对所述完整板件点云进行体素降采样,得到降采样后点云,基于所述降采样后点云执行多级滤波处理,得到第二滤波后点云;

7、s4、基于所述第二滤波后点云提取得到边缘点云,基于所述边缘点云依次进行最大聚类提取、体素降采样、近邻中值平滑和绕质心极角排序处理,生成闭合边缘轨迹点云;

8、s5、基于所述第二滤波后点云得到新第二主方向和新第三主方向,基于所述新第二主方向对所述第二滤波后点云进行两次比例区间滤波,提取得到第一特征区域点云和第二特征区域点云;沿新第三主方向,分别对所述第一特征区域点云和第二特征区域点云进行切割,得到切割后的第一特征区域点云和第二特征区域点云;基于切割后的第一特征区域点云和第二特征区域点云得到第一基准圆和第二基准圆;基于第一基准圆和第二基准圆,对所述第二滤波后点云处理,得到初始异常凸起区域点云;对所述初始异常凸起区域点云执行矩形棱柱滤波、区域生长分割、基于点数的聚类滤波处理,得到最终异常凸起区域点云;

9、s6、基于所述闭合边缘轨迹点云获得板件位姿变换矩阵,基于所述板件位姿变换矩阵将本地预存的磨削后标准点云转换至实时板件坐标系下,得到变换后标准点云;基于所述变换后标准点云和所述最终异常凸起区域点云获得加工深度,进而得到异常凸起磨削指令;根据所述闭合边缘轨迹点云生成机器人边缘磨削指令;基于所述异常凸起磨削指令和机器人边缘磨削指令,完成异常凸起的磨削与边缘修整。

10、进一步的,s2中,具体包括:

11、s21、控制机器人移动至预设的初始拍照位姿,触发相机采集第一帧定位点云,经手眼标定转换至机器人基坐标系;

12、s22、对转换后的第一帧定位点云执行z轴直通滤波,得到用于主方向计算的定位点云;

13、s23、对用于主方向计算的定位点云进行pca主成分分析,得到第一主方向、第二主方向和第三主方向,并对第一主方向和第二主方向进行顺序修正;

14、s24、以初始拍照位姿为起点,采用单向自适应扫描方法采集板件点云,即控制机器人沿第一主方向正向移动预设步长并连续采集板件点云;采集过程中,实时进行板件检测边缘,直至到达板件边缘后停止扫描,包括:

15、;

16、其中:为初始拍照位姿位置;为第个拍照位姿位置;为沿第一主方向的位移量;为第一主方向;为拍照位姿数量,由边缘检测条件自动确定;

17、边缘检测条件为:

18、到达边缘点云在相机视野内的投影范围小于设定阈值;

19、s25、将第一帧定位点云和单向自适应扫描过程中所采集的所有板件点云拼接,得到完整板件点云,表示为:

20、;

21、其中:为完整板件点云;为转换后的第一帧定位点云;为第个位姿采集的点云。

22、进一步的,s3中,具体包括:

23、s31、对所述完整板件点云进行体素降采样,降低数据密度同时保留几何特征,得到降采样后点云,表示为:

24、;

25、其中为降采样后点云;为完整板件点云;为体素栅格边长,单位为mm;为体素降采样算子;

26、s32、对降采样后点云执行z轴直通滤波,去除z值低于预设阈值的点,得到第一滤波后点云,表示为:;

27、其中为第一滤波后点云;为中的任意一点;为点的z轴坐标值,单位为mm;为z轴阈值,单位为mm;

28、s33、提取所述第一滤波后点云的最大连通聚类,得到板件主体点云,表示为:

29、;

30、其中为板件主体点云;为聚类距离阈值,单位为mm;为最大连通聚类提取算子;

31、s34、采用基于邻域协方差矩阵的主成分分析法对所述板件主体点云进行法向量估计,得到板件主体点云中每个点的表面法向量,表示为:

32、;

33、其中为板件主体点云中第个点的表面法向量;为法向量估计的邻域点数;为基于邻域协方差矩阵主成分分析的法向量估计算子;

34、s35、分别计算每个点的表面法向量与第一主方向和第二主方向的夹角,当法向量与第一主方向和/或第二主方向的夹角小于预设第一角度阈值时,判定该点为侧面点并对其进行删除,保留表面法向量与板件表面方向一致的点,得到第二滤波后点云,表示为:

35、;

36、其中为第二滤波后点云;为中的第个点;、分别为第一主方向和第二主方向;为第一角度阈值,单位为弧度。

37、进一步的, s4中,具体包括:

38、s41、采用基于邻域协方差矩阵的主成分分析法对所述第二滤波后点云进行法向量估计,得到第二滤波后点云中每个点的表面法向量,表示为:

39、;

40、其中为第二滤波后点云中第

i个点的表面法向量;为法向量估计的邻域点数;为基于邻域协方差矩阵主成分分析的法向量估计算子;

41、s42、边界点检测:针对第二滤波后点云中的每个点,获取其邻域点集,分别计算邻域点集中各个点的法向量与当前点法向量的夹角,得到当前点对应的夹角集合;以所述夹角集合中的最大值为判据,若该最大值超过预设的第二角度阈值,则判定该点为边界点;遍历第二滤波后点云中的所有点,提取全部边界点,构成边缘点云,表示为:;

42、其中为边缘点云;和分别为点和点的法向量,其中,为点的邻域点集;为第二角度阈值,单位为弧度;为取最大值运算。

43、s43、提取所述边缘点云的最大连通聚类,得到最大边缘聚类,表示为:

44、;

45、其中为最大边缘聚类;为聚类距离阈值,单位为mm;为最大连通聚类提取算子;

46、s44、对所述最大边缘聚类进行体素降采样,降低点云密度,得到降采样后的边缘点云,表示为:

47、;

48、其中为降采样后的边缘点云;为体素栅格边长,单位为mm;为体素降采样算子;

49、s45、对所述降采样后的边缘点云进行

k近邻中值平滑:以每个边缘点为中心,取其

k近邻点集,将该点集中各点的坐标中值作为该点的平滑后坐标,得到平滑后的边缘点云,表示为:

50、;

51、其中为平滑后的边缘点云;为近邻中值平滑的邻域点数;为近邻中值平滑算子;

52、s46、对所述平滑后的边缘点云进行排序:计算平滑后的边缘点云的质心,将平滑后的边缘点云中各点投影至与边缘平面拟合的二维坐标系,计算各点相对于质心的极角;按照极角升序对平滑后的边缘点云中的各个点进行绕质心排列,形成排序后的闭合边缘轨迹点云,表示为:

53、;

54、其中为闭合边缘轨迹点云;为绕质心极角排序算子。

55、进一步的,s5中,具体包括:

56、s51、计算所述第二滤波后点云的pca主方向,得到新第一主方向、新第二主方向和新第三主方向,表示为:;

57、其中、、分别为新第一主方向、新第二主方向和新第三主方向;为主成分分析算子;

58、s52、沿所述新第二主方向对所述第二滤波后点云进行两次比例区间滤波,提取得到第一特征区域点云和第二特征区域点云,表示为:

59、;

60、其中和分别为第一特征区域点云和第二特征区域点云;为比例区间滤波算子;

61、s53、沿新第三主方向,分别对所述第一特征区域点云和第二特征区域点云进行切割:计算第一特征区域点云和第二特征区域点云中所有点在新第三主方向上的投影值的平均值;保留投影值小于所述平均值的点,分别得到切割后的第一特征区域点云和第二特征区域点云,表示为:

62、;

63、其中和为切割后的第一特征区域点云和切割后的第二特征区域点云;为新第三主方向,即法线方向;为基于平均投影值的切割算子;

64、s54、采用ransac方法分别对切割后的第一特征区域点云和第二特征区域点云进行基准圆拟合操作,得到第一基准圆和第二基准圆,表示为:

65、;

66、其中、分别为第一基准圆和第二基准圆的圆心;、分别为第一基准圆和第二基准圆的圆弧点云;为ransac圆拟合算子;

67、s55、以第一基准圆和第二基准圆为基准,沿新第三主方向构建两个圆柱形约束区域;遍历第二滤波后点云,删除所有位于两个圆柱形约束区域内部及表面的点,保留两个圆柱形约束区域外部的点,得到初始异常凸起区域点云,表示为:;

68、其中为初始异常凸起区域点云;为点到以为基准沿新第三主方向延伸的圆柱的距离;、分别为第一基准圆和第二基准圆的半径;

69、s56、对所述初始异常凸起区域点云执行矩形棱柱滤波,得到滤波后的异常凸起区域点云,表示为:

70、;

71、其中为滤波后的异常凸起区域点云;、分别为矩形棱柱的长度和宽度;为矩形棱柱滤波算子,用于删除矩形范围内的点;

72、s57、对滤波后的异常凸起区域点云进行区域生长分割,提取最大连通聚类,并作为目标区域,表示为:

73、;;

74、其中为目标区域;为分割得到的连通聚类集合;为第个聚类;为聚类中的点数;表示取点数最大的聚类;为平滑度角度阈值,单位为弧度;为曲率阈值;为区域生长分割算子;

75、s58、以所述目标区域为第一参考基准面,计算第一参考基准面上各点在所述新第三主方向上的投影值;对于滤波后的异常凸起区域点云中的任意一点,计算其在新第三主方向上的投影值,若该投影值大于第一参考基准面上对应最近点的投影值,则判定该点高于第一参考基准面,属于异常凸起点;遍历所有点,提取全部满足条件的点,得到中间异常凸起区域点云,包括:

76、;

77、其中为中间异常凸起区域点云;为中的任意一点;为目标区域中距离点最近的点;为点在新第三主方向上的投影值;为高度容差阈值,单位为mm;为目标区域中的候选点,即;

78、s59、对所述中间异常凸起区域点云进行基于点数的聚类滤波:提取中间异常凸起区域点云中的所有连通聚类,删除点数小于预设最小点数阈值的聚类,即孤立噪点,得到最终异常凸起区域点云,供磨削轨迹生成使用,表示为:

79、;

80、其中为最终异常凸起区域点云;为最小点数阈值;为聚类过滤算子。

81、进一步的,s6中,具体包括:

82、s61、以s4中的闭合边缘轨迹点云为实时边缘点云,以本地预存的模板边缘点云为参考模板,采用迭代最近点算法计算实时边缘点云到模板边缘点云的板件位姿变换矩阵;

83、s62、加载本地预存的磨削后标准点云,利用所述板件位姿变换矩阵将磨削后标准点云转换至实时板件坐标系下,得到变换后标准点云,表示为:

84、;

85、s63、遍历最终异常凸起区域点云,针对最终异常凸起区域点云中的每个异常凸起位置点,在变换后标准点云中搜索其最近点,并计算异常凸起位置点和最近点在新第三主方向上的投影差值,作为该异常凸起位置点处的加工深度:

86、;

87、;

88、其中为变换后标准点云中的候选点,即;

89、s64、根据第一主方向和第二主方向,结合异常凸起位置点处的加工深度,生成覆盖整个异常凸起区域的往复式磨削路径点云:

90、;

91、其中:为异常凸起区域的中心点或采样点;为磨削工具的有效磨削半径;为路径行距;为磨削工具在宽度方向的偏移参数;为磨削路径在长度方向的行进参数;

92、s65、为往复式磨削路径点云中的每个磨削路径点生成趋近点和撤离点,设置磨削工艺参数,得到异常凸起磨削指令;

93、s66、根据所述闭合边缘轨迹点云生成机器人边缘磨削指令,表示为:

94、;

95、其中为所述闭合边缘轨迹点云中第个边缘磨削轨迹点的机器人目标点;、、为第个边缘点的三维坐标;、、、为边缘磨削工具姿态四元数分量;为机器人构型参数。

96、s67、基于所述异常凸起磨削指令和机器人边缘磨削指令,融合生成机器人总磨削执行文件,将其发送至机器人控制器执行,完成异常凸起的磨削与边缘修整。

97、本发明具有以下有益效果:

98、(1)通过s1中基于svd的眼在手标定与坐标变换方法,建立相机坐标系到机器人工具坐标系的最终变换矩阵,并在s2中采集第一帧定位点云,转换后进行pca主成分分析得到第一主方向,采用单向自适应扫描方法沿板件长度方向步进采集并拼接所有帧点云,实现有限视野下完整板件点云的高效获取,无需全板面往复扫描即可兼顾视野覆盖与数据完整性;

99、(2)通过s3对完整板件点云进行体素降采样与两次滤波得到第二滤波后点云,并在s4中基于第二滤波后点云提取边缘点云,依次执行最大聚类提取、体素降采样、

k近邻中值平滑和绕质心极角排序处理,实现从混杂的边缘结构中准确提取连续、闭合的待磨削外轮廓,有效排除基准圆边缘及非加工结构边缘的干扰;

100、(3)通过s5基于第二滤波后点云计算新第二主方向和新第三主方向,沿新第三主方向进行两次比例区间滤波提取第一特征区域点云和第二特征区域点云并切割,拟合得到第一基准圆和第二基准圆,以双基准圆为约束执行圆柱约束滤波得到初始异常凸起区域点云,再经矩形棱柱滤波、区域生长分割和基于点数的聚类滤波处理,实现以板件正常主体表面为自适应基准区分整体翘曲与局部异常凸起,从根本上避免将板件自身变形误判为缺陷;

101、(4)通过s6基于闭合边缘轨迹点云计算板件位姿变换矩阵,将本地预存的磨削后标准点云转换至实时板件坐标系下得到变换后标准点云,并基于变换后标准点云与最终异常凸起区域点云逐点计算高度差获得加工深度,实现在当前装夹状态下反算各凸起的精确磨削深度,无需依赖专用夹具定位即可自适应装夹漂移,避免过磨或漏磨;

102、(5)通过上述s1至s6步骤的协同配合,实现板件边缘与表面异常凸起的一体化、高精度、自动化视觉检测与磨削加工,同时解决有限视野下完整外轮廓获取、多种结构边缘区分、整体变形与局部凸起区分以及装夹偏差下磨削深度反算等相互关联的技术问题。