基于计算机视觉的机械臂抓取定位方法与流程

本发明涉及机械臂抓取，具体为基于计算机视觉的机械臂抓取定位方法。

背景技术：

1、随着工业自动化与人工智能技术的飞速发展，机械臂作为自动化生产线上的核心执行单元，其抓取定位精度与作业稳定性直接影响生产效率与产品质量，在物流分拣、汽车制造、电子装配、医疗手术等众多领域发挥着愈发重要的作用。在机械臂作业流程中，抓取定位是衔接目标识别与执行操作的关键环节，其核心需求是通过精准感知目标物体状态并规划合理抓取策略，确保机械臂末端执行器能够稳定、高效地完成抓取动作。

2、当前，基于计算机视觉的机械臂抓取定位技术因非接触式感知优势得到广泛应用，然而在实际复杂作业场景中，现有技术仍存在诸多亟待解决的问题。部分方法依赖单视角图像数据进行定位分析，受限于视角遮挡与景深信息缺失，难以完整获取目标物体的三维形态特征，极易导致定位偏差，尤其针对形状不规则或表面特征不明显的物体，抓取失败风险显著增加。即使部分方案引入多视角图像采集机制，但在图像配准过程中，缺乏有效的时空对齐策略，不同视角下的图像数据难以精准融合至统一坐标系，进而影响后续三维重建的精度。

3、在三维重建环节，传统体素化方法多采用固定体素大小进行处理，针对结构复杂的目标物体，若体素尺寸过大，会丢失物体表面细节特征；体素尺寸过小，则会导致数据量激增，降低重建效率与后续特征提取的速度。同时，现有技术在抓取位姿规划时，往往忽略目标物体不同区域的物理特性差异，未对刚性区域与可变形区域进行有效划分，将抓取点随机选取于物体表面，可能因抓取可变形区域导致物体变形或滑落，影响抓取稳定性。

4、在候选抓取位姿评估过程中，多数方法采用单一评估指标，无法全面考量机械臂运动约束、末端执行器几何适配性等多方面因素，难以筛选出最优抓取位姿。在路径规划阶段，部分方案仅关注运动学逆解的求解，而忽视机械臂运动过程中的碰撞风险，易与周围环境或其他设备发生干涉。同时，机械臂执行抓取动作时，外部环境的动态变化（如物体轻微位移、负载波动）难以通过预设路径规划进行应对，缺乏实时反馈修正机制，进一步降低了抓取作业的可靠性与适应性。这些问题共同制约了机械臂在复杂场景下的应用效果，需要一种更为完善的抓取定位方法予以解决。

技术实现思路

1、本发明的目的在于提供基于计算机视觉的机械臂抓取定位方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供基于计算机视觉的机械臂抓取定位方法，所述方法包括：

3、获取目标物体的多视角深度图像序列，并通过时空对齐算法将所述多视角深度图像序列配准至统一坐标系；

4、采用自适应体素化方法对配准后的深度图像序列进行三维重建，生成目标物体的点云模型；

5、基于点云模型提取目标物体的表面曲率分布特征，并根据曲率分布特征划分刚性区域与可变形区域；

6、结合机械臂末端执行器的几何参数与运动约束条件，在刚性区域内计算候选抓取位姿集合；

7、通过动态权重评估函数对候选抓取位姿集合进行稳定性排序，筛选出满足力闭合条件的优选抓取位姿；

8、根据优选抓取位姿与机械臂当前关节角度的运动学逆解关系，生成无碰撞的抓取路径规划序列；

9、实时采集机械臂执行抓取过程中的力觉反馈数据，并基于反馈数据对抓取路径规划序列进行在线修正。

10、优选的，所述通过时空对齐算法将所述多视角深度图像序列配准至统一坐标系，包括：

11、提取每帧深度图像中的边缘特征点集，并利用特征点集的法向量分布构建局部参考坐标系；

12、通过迭代最近点算法计算相邻帧间局部参考坐标系的变换矩阵，累计得到全局配准参数；

13、采用非线性优化方法消除全局配准参数中的累积误差，使得多视角深度图像序列在统一坐标系下的重叠区域误差最小化。

14、优选的，所述采用自适应体素化方法对配准后的深度图像序列进行三维重建，包括：

15、根据目标物体的尺寸范围动态调整体素网格分辨率，并在高曲率区域采用细分体素策略；

16、对每个体素单元内的点云数据进行高斯滤波处理，剔除离群点后计算体素中心坐标；

17、通过移动立方体算法连接相邻体素中心坐标，生成具有拓扑结构的三角网格表面模型。

18、优选的，所述基于点云模型提取目标物体的表面曲率分布特征，包括：

19、对三角网格表面模型中的每个顶点构建k近邻搜索域，并计算搜索域内法向量的协方差矩阵特征值；

20、根据特征值比值确定顶点的曲率类型标签，将曲率类型标签连续变化的区域标记为可变形区域；

21、通过区域生长算法合并具有相同曲率类型标签的相邻顶点，形成刚性区域的闭合边界。

22、优选的，所述结合机械臂末端执行器的几何参数与运动约束条件，在刚性区域内计算候选抓取位姿集合，包括：

23、在刚性区域的闭合边界上均匀采样接触点对，并根据末端执行器的夹持面法向量约束生成初始抓取位姿；

24、排除与机械臂连杆模型发生干涉的初始抓取位姿，保留满足最大夹持力要求的有效抓取位姿；

25、对有效抓取位姿进行六自由度微调，扩展形成包含位姿变异量的候选抓取位姿集合。

26、优选的，所述通过动态权重评估函数对候选抓取位姿集合进行稳定性排序，包括：

27、计算每个候选抓取位姿的力传递矩阵，并基于矩阵条件数评估位姿的力封闭性指标；

28、根据目标物体的质量分布特性动态调整摩擦锥约束权重，生成稳定性评分函数；

29、对候选抓取位姿集合中的每个位姿执行稳定性评分函数计算，按评分降序排列后选取前n个优选抓取位姿。

30、优选的，所述生成无碰撞的抓取路径规划序列，包括：

31、在机械臂关节空间内离散化优选抓取位姿的逆解集合，构建可达性图谱；

32、采用双向搜索算法在可达性图谱中查找从当前姿态到目标抓取位姿的最短路径；

33、通过速度势场法优化最短路径中的关节角度变化率，生成平滑的抓取路径规划序列。

34、优选的，所述基于反馈数据对抓取路径规划序列进行在线修正，包括：

35、实时监测机械腕部六维力传感器输出的接触力矢量，并计算与预期接触力的偏差量；

36、当偏差量超过阈值时，触发基于阻抗控制的位置补偿机制，生成关节角度修正指令；

37、将关节角度修正指令插入抓取路径规划序列的当前执行节点，形成闭环控制回路。

38、优选的，所述触发基于阻抗控制的位置补偿机制，包括：

39、根据目标物体的刚度特性设置虚拟弹簧阻尼参数，建立笛卡尔空间阻抗模型；

40、将接触力偏差量输入阻抗模型计算得到末端执行器的补偿位移向量；

41、通过雅可比矩阵转置法将补偿位移向量映射为关节空间的扭矩调整量。

42、优选的，所述形成闭环控制回路后，还包括：

43、记录每次在线修正的力觉反馈数据与补偿位移向量的对应关系，更新阻抗模型参数；

44、当连续修正次数超过预设值时，重新执行候选抓取位姿集合的稳定性排序与路径规划。

45、与现有技术相比，本发明的有益效果是：

46、通过多视角深度图像序列的获取与时空对齐配准，有效弥补了单视角图像在三维信息采集上的局限性。多视角数据能够从不同方位捕捉目标物体的形态特征，结合时空对齐算法，可将各视角图像精准融合至统一坐标系，消除视角差异带来的配准误差，为后续三维重建提供更为全面、一致的数据基础，使得重建后的点云模型能够更真实地反映目标物体的三维结构，避免因信息缺失导致的定位偏差，尤其适用于形状不规则或表面特征复杂的目标物体抓取场景。

47、自适应体素化方法的应用，突破了传统固定体素化方法的瓶颈。该方法能够根据目标物体不同区域的结构复杂度动态调整体素大小，在物体表面细节丰富区域采用较小体素，保留精准的特征信息；在结构简单区域采用较大体素，减少数据冗余，实现重建精度与效率的平衡。这种动态调整机制不仅提升了三维重建的质量，还降低了后续点云处理的数据量，加快了特征提取与位姿规划的速度，使整个抓取定位流程更具实时性，能够满足工业场景中高效作业的需求。

48、基于表面曲率分布特征划分刚性区域与可变形区域，为抓取位姿的合理选取提供了重要依据。不同材质与结构的物体，其表面曲率分布存在显著差异，通过曲率分析能够精准识别物体中不易变形的刚性区域，将抓取点限定于该区域内，可有效避免因抓取可变形区域导致的物体损坏、滑落等问题，从根本上提升抓取动作的稳定性。同时，这种区域划分方式使抓取策略更具针对性，无需对物体整体进行均匀分析，简化了位姿规划的复杂度。

49、在候选抓取位姿计算过程中，结合机械臂末端执行器的几何参数与运动约束条件，确保了候选位姿的可行性。末端执行器的几何参数直接决定其与目标物体的适配性，运动约束条件则明确了机械臂在作业空间内的运动边界，两者结合能够剔除不符合实际作业需求的位姿选项，减少无效计算，使生成的候选位姿集合更贴合机械臂的实际工作能力，避免因位姿与执行器不匹配或超出运动范围导致的抓取失败。

50、动态权重评估函数的引入，实现了对候选抓取位姿的全面、客观评估。该函数能够综合考量力闭合性、位姿稳定性、执行器适配度等多方面因素，并根据不同作业场景的需求动态调整各因素的权重，打破了传统单一指标评估的局限性。通过对候选位姿进行稳定性排序，可精准筛选出满足力闭合条件的优选位姿，确保机械臂在抓取过程中能够提供足够的夹持力，防止物体在搬运过程中发生松动或脱落，进一步提升抓取作业的可靠性。

51、基于运动学逆解关系生成无碰撞抓取路径规划序列，兼顾了路径的合理性与安全性。运动学逆解能够根据优选抓取位姿反推机械臂各关节的运动角度，确保路径规划符合机械臂的运动学特性；同时，在路径生成过程中充分考虑周围环境与机械臂自身结构，通过碰撞检测机制规避运动过程中的干涉风险，保障机械臂在复杂作业空间内能够平稳、安全地完成抓取动作，避免设备损坏与生产事故的发生。

52、实时力觉反馈与在线修正机制，使机械臂具备了动态适应能力。在抓取执行过程中，外部环境的变化会直接体现在力觉反馈数据中，通过对这些数据的实时采集与分析，能够及时发现路径规划与实际作业情况的偏差，并快速对路径序列进行修正。这种闭环控制方式打破了传统开环规划的局限性，使机械臂能够灵活应对动态场景中的不确定性因素，提升了抓取定位的适应性与容错性，确保即使在复杂、多变的作业环境中，也能维持稳定的抓取效果。