一种基于机器人空间残差场和孔位诊断联动的镜片放置坐标补偿方法和相关设备

本技术涉及机器人自动化精密装配，尤其涉及一种基于机器人空间残差场和孔位诊断联动的镜片放置坐标补偿方法和相关设备。

背景技术：

1、相关技术中，补偿方式容易依赖孔编号或人工经验。按孔号查表或人工修正虽然可以在特定样件上改善误差，但对工件批次、装夹状态、孔阵列空间位置变化和孔编号变化适应性差，不利于推广到不同批次的工业伞具孔阵列件。

2、综上，相关技术中存在的技术问题有待得到改善。

技术实现思路

1、本技术实施例的主要目的在于提出一种基于机器人空间残差场和孔位诊断联动的镜片放置坐标补偿方法和相关设备，能够实现镜片放置目标位姿从视觉测量坐标到机器人执行坐标的高精度转换。

2、为实现上述目的，本技术实施例的一方面提出了一种基于机器人空间残差场和孔位诊断联动的镜片放置坐标补偿方法，所述方法包括以下步骤：

3、获取待放置孔的放置级孔位信息和孔位诊断信息；所述放置级孔位信息包括孔洞中心坐标；

4、利用尺度恢复结构，将所述孔洞中心坐标从重建坐标系转换到中心相机公制坐标系下，得到中心相机公制坐标；

5、利用预先标定的相机到机器人坐标变换矩阵，将所述中心相机公制坐标转换到机器人坐标系下，得到原始机器人放置目标点；

6、根据所述原始机器人放置目标点在所述机器人坐标系下的位置输入预先建立的机器人坐标系下x-y平面空间残差场，预测所述位置的x向残差和y向残差，并将预测的x向残差和y向残差的反向量作为主补偿量施加到所述原始机器人放置目标点，得到主补偿后的机器人放置目标点；

7、当所述孔位诊断信息满足预设触发条件时，对所述主补偿后的机器人放置目标点施加二级补偿，得到诊断补偿后的机器人放置目标点；

8、按照孔阵列行分布关系，确定所述诊断补偿后的机器人放置目标点所属行对应的行目标高度，将所述诊断补偿后的机器人放置目标点沿自身的机器人坐标系法向移动到所述行目标高度，得到最终机器人放置目标点。

9、在一些实施例中，所述获取待放置孔的放置级孔位信息和孔位诊断信息，包括：

10、获取待放置孔的放置级孔位信息；所述放置级孔位信息包括孔洞中心坐标、孔洞局部法向向量和孔洞半径；

11、获取所述待放置孔关联的孔位诊断信息；所述孔位诊断信息包括孔洞中心的最终中心来源、所述孔洞中心在定位过程中的中心移动量、所述孔洞的缺弧状态、所述孔洞所在区域的密度跳变状态、所述孔洞在深度方向上的z层错层状态、所述孔洞中心重建时的三角化偏差和所述孔洞中心的可靠性标志；

12、所述最终中心来源用于标识所述孔洞中心的来源类型；所述中心移动量用于表征所述孔洞中心在精定位过程中相对于初始候选中心的位移幅度；所述缺弧状态用于表征所述孔洞的圆弧完整程度；所述密度跳变状态用于表征所述孔洞所在局部区域的点云密度相对于相邻区域的跳变程度；所述z层错层状态用于表征所述孔洞在深度方向上的层间跳变程度；所述三角化偏差用于表征所述孔洞中心在三角化网格重建过程中相对于拟合平面的偏离程度；所述可靠性标志用于综合表征所述孔洞中心的整体可靠等级。

13、在一些实施例中，所述利用尺度恢复结构，将所述孔洞中心坐标从重建坐标系转换到中心相机公制坐标系下，得到中心相机公制坐标，包括：

14、获取尺度恢复结构的特征点在多个相机图像中的二维位置以及所述特征点在所述重建坐标系下的三维位置，所述尺度恢复结构具有已知真实尺寸；所述重建坐标系的尺度单位和坐标原点通过预设的标定参数决定；所述尺度恢复结构为设置于工件预设范围内的具有已知真实尺寸的空间参考物；所述尺度恢复结构用于将所述重建坐标系下的重建坐标转换为真实公制坐标；所述尺度恢复结构包括charuco标定板、棋盘格、apriltag标定板、圆点标定板、已知尺寸工装或机器人触碰标定点；

15、根据所述特征点在所述重建坐标系下的三维位置与所述已知真实尺寸之间的对应关系，计算所述重建坐标系到中心相机公制坐标系的尺度因子和刚性变换；所述尺度因子用于将所述重建坐标系下的长度单位转换为公制长度单位；所述刚性变换用于将所述重建坐标系下的坐标原点和平移方向对齐到所述中心相机公制坐标系；

16、利用所述尺度因子对所述孔洞中心坐标在所述重建坐标系下的各坐标分量进行公制尺度缩放，得到尺度缩放后的孔洞中心；

17、利用所述刚性变换对所述尺度缩放后的孔洞中心进行旋转和平移，以使所述尺度缩放后的孔洞中心对齐到所述中心相机公制坐标系，得到所述孔洞中心在所述中心相机公制坐标系下的x向坐标、y向坐标和z向坐标，由所述中心相机公制坐标系下的x向坐标、y向坐标和z向坐标组成所述中心相机公制坐标。

18、在一些实施例中，所述利用预先标定的相机到机器人坐标变换矩阵，将所述中心相机公制坐标转换到机器人坐标系下，得到原始机器人放置目标点，包括：

19、通过预先标定得到相机到机器人坐标变换矩阵；所述相机到机器人坐标变换矩阵为齐次矩阵，包括旋转参数和平移参数；

20、对于所述中心相机公制坐标所对应的孔洞中心点，采用所述齐次矩阵对所述孔洞中心点进行齐次坐标变换，将所述孔洞中心点从所述中心相机公制坐标系转换到机器人坐标系，得到所述孔洞中心点在所述机器人坐标系下的x向坐标、y向坐标和z向坐标，由所述机器人坐标系下的x向坐标、y向坐标和z向坐标组成原始机器人放置目标点。

21、在一些实施例中，所述根据所述原始机器人放置目标点在所述机器人坐标系下的位置输入预先建立的机器人坐标系下x-y平面空间残差场，预测所述位置的x向残差和y向残差，并将预测的x向残差和y向残差的反向量作为主补偿量施加到所述原始机器人放置目标点，得到主补偿后的机器人放置目标点，包括：

22、读取预先建立的所述机器人坐标系下x-y平面的空间残差场；所述空间残差场是以所述机器人坐标系下的x向坐标和y向坐标为自变量、以x向实际放置残差和y向实际放置残差为因变量而建立的连续误差预测模型；所述空间残差场采用径向基函数、薄板样条、多项式拟合、高斯过程、网格插值或神经网络得到；

23、提取所述原始机器人放置目标点的x向坐标和y向坐标，将所述x向坐标和所述y向坐标作为所述空间残差场的输入自变量，输入所述空间残差场进行插值或预测，得到与所述原始机器人放置目标点所在x-y平面位置相对应的x向残差预测值和y向残差预测值；

24、将所述x向残差预测值的相反数作为x向主补偿量，将所述y向残差预测值的相反数作为y向主补偿量；

25、将所述x向主补偿量和所述y向主补偿量叠加到所述原始机器人放置目标点的x向坐标和y向坐标上，保持所述原始机器人放置目标点的z向坐标不变，得到所述主补偿后的机器人放置目标点；所述主补偿后的机器人放置目标点包含补偿后的x向坐标、补偿后的y向坐标和保持不变的z向坐标。

26、在一些实施例中，所述当所述孔位诊断信息满足预设触发条件时，对所述主补偿后的机器人放置目标点施加二级补偿，得到诊断补偿后的机器人放置目标点，包括：

27、读取所述孔位诊断信息中的最终中心来源、中心移动量、缺弧状态、密度跳变状态、z层错层状态、三角化偏差和可靠性标志；

28、当所述最终中心来源属于预设类型时，判定满足预设触发条件；

29、当所述中心移动量超过预设中心移动量阈值时，判定满足所述预设触发条件；

30、当所述缺弧状态所指示的缺弧程度超过预设缺弧阈值时，判定满足所述预设触发条件；

31、当所述密度跳变状态所指示的密度跳变比超过预设密度跳变阈值时，判定满足所述预设触发条件；

32、当所述z层错层状态指示存在层间跳变时，判定满足所述预设触发条件；

33、当所述三角化偏差超过预设三角化偏差阈值时，判定满足所述预设触发条件；

34、当所述可靠性标志指示低于预设可靠等级时，判定满足所述预设触发条件；

35、当满足所述预设触发条件时，对所述主补偿后的机器人放置目标点施加二级补偿，得到诊断补偿后的机器人放置目标点；

36、所述二级补偿包括根据触发的判断项从多个补偿策略中选择其一执行：

37、当因所述缺弧状态而触发时，对所述主补偿后的机器人放置目标点叠加缺弧场景专用补偿量，得到所述诊断补偿后的机器人放置目标点；

38、当因所述z层错层状态而触发时，降低所述主补偿量的使用权重并采用高度层补偿规则，得到所述诊断补偿后的机器人放置目标点；

39、当因所述中心移动量超过所述预设中心移动量阈值而触发时，限制所述二级补偿的最大补偿幅度或将所述主补偿后的机器人放置目标点标记为复核。

40、在一些实施例中，所述按照孔阵列行分布关系，确定所述诊断补偿后的机器人放置目标点所属行对应的行目标高度，将所述诊断补偿后的机器人放置目标点沿自身的机器人坐标系法向移动到所述行目标高度，得到最终机器人放置目标点，包括：

41、按照预设的孔阵列行分布关系确定所述诊断补偿后的机器人放置目标点所属孔洞的行归属，对同一行内已成功定位且状态正常的多个孔洞，分别获取各所述孔洞在所述诊断补偿后的机器人放置目标点的z向坐标，对各所述z向坐标进行统计融合得到行目标高度；

42、对于当前孔洞，读取对应的机器人坐标系法向；

43、判断所述机器人坐标系法向的z向分量绝对值是否大于预设阈值；

44、当所述z向分量绝对值大于所述预设阈值时，根据所述行目标高度与所述诊断补偿后的机器人放置目标点的当前z向坐标之差除以所述机器人坐标系法向的z向分量，计算沿所述机器人坐标系法向的移动距离；

45、将所述诊断补偿后的机器人放置目标点沿所述机器人坐标系法向移动所述移动距离，得到所述最终机器人放置目标点；所述最终机器人放置目标点的z向坐标等于所述行目标高度。

46、为实现上述目的，本技术实施例的另一方面提出了一种基于机器人空间残差场和孔位诊断联动的镜片放置坐标补偿系统，用于实现如前面所述的方法，所述系统包括：

47、数据获取模块，用于获取待放置孔的放置级孔位信息和孔位诊断信息；所述放置级孔位信息包括孔洞中心坐标；

48、尺度恢复模块，用于利用尺度恢复结构，将所述孔洞中心坐标从重建坐标系转换到中心相机公制坐标系下，得到中心相机公制坐标；

49、坐标转换模块，用于利用预先标定的相机到机器人坐标变换矩阵，将所述中心相机公制坐标转换到机器人坐标系下，得到原始机器人放置目标点；

50、主补偿模块，用于根据所述原始机器人放置目标点在所述机器人坐标系下的位置输入预先建立的机器人坐标系下x-y平面空间残差场，预测所述位置的x向残差和y向残差，并将预测的x向残差和y向残差的反向量作为主补偿量施加到所述原始机器人放置目标点，得到主补偿后的机器人放置目标点；

51、诊断联动补偿模块，用于当所述孔位诊断信息满足预设触发条件时，对所述主补偿后的机器人放置目标点施加二级补偿，得到诊断补偿后的机器人放置目标点；

52、行高一致化模块，用于按照孔阵列行分布关系，确定所述诊断补偿后的机器人放置目标点所属行对应的行目标高度，将所述诊断补偿后的机器人放置目标点沿自身的机器人坐标系法向移动到所述行目标高度，得到最终机器人放置目标点。

53、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前面所述的方法。

54、为实现上述目的，本技术实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。

55、为实现上述目的，本技术实施例的另一方面提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。

56、本技术实施例至少包括以下有益效果：本技术提供一种基于机器人空间残差场和孔位诊断联动的镜片放置坐标补偿方法、系统、电子设备、存储介质及程序产品,该方案包括：获取待放置孔的放置级孔位信息和孔位诊断信息；得到中心相机公制坐标；将中心相机公制坐标转换到机器人坐标系下，得到原始机器人放置目标点；得到主补偿后的机器人放置目标点；对主补偿后的机器人放置目标点施加二级补偿，得到诊断补偿后的机器人放置目标点；确定诊断补偿后的机器人放置目标点所属行对应的行目标高度，将诊断补偿后的机器人放置目标点沿自身的机器人坐标系法向移动到行目标高度，得到最终机器人放置目标点。本技术能够实现镜片放置目标位姿从视觉测量坐标到机器人执行坐标的高精度转换。