一种基于视觉智能的机械手抓取操作控制方法与流程

摘要: 本发明涉及视觉智能,尤其涉及一种基于视觉智能的机械手抓取操作控制方法。背景技术:1、随着工业机器人、仓储分拣、柔性装配、智能制造和无人化搬运场景中机械手应用数量...
一种基于视觉智能的机械手抓取操作控制方法与流程

本发明涉及视觉智能,尤其涉及一种基于视觉智能的机械手抓取操作控制方法。

背景技术:

1、随着工业机器人、仓储分拣、柔性装配、智能制造和无人化搬运场景中机械手应用数量不断增加,rgb图像、深度图像、目标点云、机械手关节状态、末端执行器位姿、夹爪开合距离和相机标定数据持续产生。为完成机械手抓取操作控制,现有技术多采集视觉数据和机械手状态数据,经过图像校正、点云滤波、坐标配准和目标分割,利用位姿估计、路径规划、逆运动学求解和碰撞检测生成抓取控制结果。

2、现有机械手抓取操作控制方法多依赖可见点云和目标位姿,对深度空洞、边界突变、局部点云稀疏和遮挡残片缺乏统一表达。部分方法引入点云特征提取模型处理目标表面结构,但多将点云特征直接转换为抓取位姿,未建立夹爪接近、闭合和提升过程中的抓取廊道点集,难以将视觉感知结果映射到夹爪扫掠空间和局部凸包碰撞校验对象。

3、在实际抓取过程中,目标遮挡、堆叠接触、夹爪初触偏移和局部隐藏碰撞会影响抓取稳定性。现有方法对接触片凸包、目标局部凸包序列、遮挡残片凸包和夹爪扫掠凸包之间的分段碰撞校验能力不足,碰撞校验结果难以回写至点云模型内部特征层,试探闭合阶段产生的平移漂移、旋转漂移和夹爪中心偏差缺少轨迹化记录,容易出现夹空、抓偏、隐藏碰撞和正式夹持稳定性不足的问题。

4、因此,如何提供一种基于视觉智能的机械手抓取操作控制方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于视觉智能的机械手抓取操作控制方法,本发明利用改进kpconv模型、quickhull局部凸包生成算法和引入支持顶点流水线的gjk碰撞检测算法,完成抓取廊道生成、局部凸包校验、漂移修正和闭环抓取控制,具备遮挡适应性强、碰撞判断准确、抓取稳定性高和控制响应快的优点。

2、根据本发明实施例的一种基于视觉智能的机械手抓取操作控制方法,包括:

3、采集视觉抓取场景数据,并对视觉抓取场景数据执行预处理,生成标准化视觉抓取场景数据;

4、基于标准化视觉抓取场景数据划分目标邻域体素单元,写入可见、缺失、突变、密度和遮挡不确定度字段,生成遮挡不确定度体素图;

5、构建包含扫掠截面核点堆栈层、对偶折射核点隧穿层和局部凸包反馈门控层的改进kpconv模型,输入标准化视觉抓取场景数据和遮挡不确定度体素图,生成抓取廊道点集、接触漂移预测表和候选抓取廊道编号;

6、采用quickhull局部凸包生成处理抓取廊道点集,生成抓取廊道局部凸包组;

7、采用引入支持顶点流水线的gjk碰撞检测算法,执行双前沿单纯形生长和时序单纯形热启动,处理抓取廊道局部凸包组,生成碰撞校验结果;

8、将碰撞校验结果回写至改进kpconv模型,结合接触漂移预测表筛选候选抓取廊道编号,生成目标抓取控制数据;

9、基于目标抓取控制数据执行逆运动学求解、轨迹采样和低行程视觉试探闭合,生成抓取执行轨迹和试探闭合漂移轨迹链;

10、基于试探闭合漂移轨迹链修正目标抓取位姿、夹爪预闭合距离和夹爪扫掠凸包,经gjk碰撞检测算法复核后执行正式夹持、提升和转移动作,输出机械手抓取操作控制结果。

11、可选的,所述视觉抓取场景数据包括rgb图像、深度图像、目标点云、机械手状态数据、夹爪几何尺寸和相机标定数据。

12、可选的,所述对视觉抓取场景数据执行预处理,包括对rgb图像执行畸变校正和亮度归一化,对深度图像执行空洞点标记、噪声剔除和深度图像像素对应空间间距计算,对目标点云执行坐标统一、离群点剔除、手眼坐标配准、法向量估计和局部密度计算。

13、可选的,所述生成遮挡不确定度体素图,包括:

14、读取标准化视觉抓取场景数据中的目标点云、深度图像空洞点标记、目标点云法向量、目标点云局部密度、夹爪几何尺寸和深度图像像素对应空间间距;

15、基于目标点云外接空间、夹爪进入空间、夹爪厚度、目标点云平均点间距和深度图像像素对应空间间距划分目标邻域体素单元;

16、向目标邻域体素单元写入可见状态标记、深度缺失标记、边界突变标记、法向突变标记和局部点密度字段;

17、将具有深度缺失标记、边界突变标记和法向突变标记的目标邻域体素单元写入遮挡来源字段,将局部点密度字段小于相邻体素局部点密度中位数的目标邻域体素单元写入低密度来源字段,基于遮挡来源字段和低密度来源字段生成遮挡不确定度字段,并按照体素空间位置排列生成遮挡不确定度体素图。

18、可选的,所述生成抓取廊道点集、接触漂移预测表和候选抓取廊道编号,包括:

19、构建改进kpconv模型,改进kpconv模型包括输入点云嵌入层、扫掠截面核点堆栈层、对偶折射核点隧穿层、局部凸包反馈门控层和抓取廊道读出层;

20、输入点云嵌入层读取标准化视觉抓取场景数据中的目标点云、目标点云法向量、目标点云局部密度和遮挡不确定度体素图,生成目标点云嵌入特征;

21、扫掠截面核点堆栈层沿夹爪接近方向复制kpconv基础核点组,按照夹爪接近路径采样位置排列为截面核点组集合,对目标点云嵌入特征执行核点卷积,生成扫掠截面序列特征;

22、对偶折射核点隧穿层在目标点云中心采样点法向相反方向布置对偶核点组,将基础核点组卷积输出和对偶核点组卷积输出进行差分,生成对偶几何差异特征;

23、抓取廊道读出层读取扫掠截面序列特征、对偶几何差异特征和遮挡不确定度体素图,生成左接触片点集、右接触片点集、目标局部点集、遮挡残片点集、夹爪闭合扫掠点集、扫掠阶段标记、接触漂移预测表和候选抓取廊道编号,并将左接触片点集、右接触片点集、目标局部点集、遮挡残片点集和夹爪闭合扫掠点集组合为抓取廊道点集;

24、对改进kpconv模型进行训练,采用抓取廊道点集预测损失、碰撞校验预测损失、平移漂移预测损失、旋转漂移预测损失、夹爪中心偏差预测损失和抓取成功预测损失构成联合损失函数,持续优化输入点云嵌入层、扫掠截面核点堆栈层、对偶折射核点隧穿层、局部凸包反馈门控层和抓取廊道读出层中的参数,当连续10轮迭代中的联合损失函数变化率均不大于0.001时,判定改进kpconv模型收敛并停止训练。

25、可选的,所述生成接触片凸包、目标局部凸包、遮挡残片凸包和夹爪扫掠凸包,包括:

26、读取抓取廊道点集、扫掠阶段标记和候选抓取廊道编号,并从抓取廊道点集中提取左接触片点集、右接触片点集、目标局部点集、遮挡残片点集和夹爪闭合扫掠点集;

27、采用quickhull局部凸包生成算法分别处理左接触片点集和右接触片点集,生成接触片凸包;

28、按照候选抓取廊道编号处理目标局部点集,生成目标局部凸包序列;

29、处理遮挡残片点集,生成遮挡残片凸包;

30、按照扫掠阶段标记处理夹爪闭合扫掠点集,生成夹爪扫掠凸包;

31、将接触片凸包、目标局部凸包序列、遮挡残片凸包和夹爪扫掠凸包组合成抓取廊道局部凸包组。

32、可选的,所述生成碰撞校验结果,包括:

33、读取接触片凸包、目标局部凸包序列、遮挡残片凸包、夹爪扫掠凸包和候选抓取廊道编号,并在存在上一控制周期收敛单纯形时读取上一控制周期收敛单纯形;

34、按照候选抓取廊道编号建立凸包检测对,在首个控制周期中基于凸包检测对的几何中心差生成初始搜索方向,并采用引入支持顶点流水线的gjk碰撞检测算法对凸包检测对执行支持点查询,支持点查询以上一支持顶点为起点沿凸包邻接链搜索目标支持顶点;

35、在单纯形更新中执行双前沿单纯形生长,沿当前搜索方向和反向搜索方向分别生成支持点,并选取距离原点更近的支持点更新单纯形;

36、在非首个控制周期中执行时序单纯形热启动,将上一控制周期收敛单纯形作为当前控制周期初始单纯形;

37、对夹爪扫掠凸包与目标局部凸包序列执行碰撞判定,生成廊道碰撞标记,对接触片凸包与目标局部凸包序列执行闭合接触判定,生成闭合扫掠碰撞标记,对夹爪扫掠凸包与遮挡残片凸包执行碰撞判定,生成遮挡残片相交标记,基于各凸包检测对的分离距离生成最小分离距离和碰撞来源编号,并将廊道碰撞标记、闭合扫掠碰撞标记、遮挡残片相交标记、最小分离距离和碰撞来源编号组合为碰撞校验结果;

38、将碰撞校验结果对应的更新后单纯形记录为当前控制周期收敛单纯形。

39、可选的,所述生成目标抓取廊道、目标抓取位姿、夹爪预闭合距离和提升位姿,包括:

40、读取碰撞校验结果、候选抓取廊道编号、接触漂移预测表、夹爪几何尺寸和夹爪开合距离;

41、将碰撞校验结果回写至局部凸包反馈门控层,基于碰撞来源编号定位对应候选抓取廊道编号,并将存在廊道碰撞标记、闭合扫掠碰撞标记或遮挡残片相交标记的候选抓取廊道编号写入不可用廊道记录;

42、基于夹爪几何尺寸和夹爪开合距离生成夹爪安全间隙,从不可用廊道记录之外筛选最小分离距离不小于夹爪安全间隙的候选抓取廊道编号,生成目标抓取廊道;

43、基于目标抓取廊道对应的左接触片点集、右接触片点集、夹爪闭合扫掠点集和接触漂移预测表,生成预接近位姿、目标抓取位姿、夹爪预闭合距离和提升位姿,并将目标抓取廊道、预接近位姿、目标抓取位姿、夹爪预闭合距离和提升位姿组合为目标抓取控制数据。

44、可选的,所述生成抓取执行轨迹和试探闭合漂移轨迹链,包括:

45、读取预接近位姿、目标抓取位姿、夹爪预闭合距离、提升位姿、机械手关节角度、末端执行器位姿和夹爪开合距离;

46、基于预接近位姿、目标抓取位姿和提升位姿执行逆运动学求解和轨迹采样,并将采样位姿与夹爪开合距离关联,生成抓取执行轨迹;

47、按照抓取执行轨迹控制机械手运动至预接近位姿,并控制夹爪从当前开合距离闭合至夹爪预闭合距离,执行视觉试探闭合;

48、在视觉试探闭合过程中采集目标点云、目标边界、夹爪开合距离和末端执行器位姿,基于目标点云和目标边界计算目标平移漂移量、目标旋转漂移量和目标局部边界变化量,基于末端执行器位姿和目标点云中心计算夹爪中心偏差,并按照采样时刻生成试探闭合漂移轨迹链。

49、可选的,所述输出机械手抓取操作控制结果,包括:

50、读取试探闭合漂移轨迹链、目标抓取位姿、夹爪预闭合距离、夹爪扫掠凸包、目标局部凸包序列、遮挡残片凸包和目标抓取廊道;

51、基于试探闭合漂移轨迹链生成抓取漂移修正量,并修正目标抓取位姿、夹爪预闭合距离和夹爪扫掠凸包,生成修正抓取位姿、修正夹爪闭合距离和修正夹爪扫掠凸包;

52、采用引入支持顶点流水线的gjk碰撞检测算法对修正夹爪扫掠凸包与目标局部凸包序列、修正夹爪扫掠凸包与遮挡残片凸包分别执行复核,生成复核碰撞标记;

53、在复核碰撞标记为无碰撞时,基于修正抓取位姿和修正夹爪闭合距离执行正式夹持、提升和转移动作,在复核碰撞标记为存在碰撞时,将目标抓取廊道写入不可用廊道记录;

54、采集正式夹持、提升和转移动作后的目标点云位置、夹爪区域占用状态和目标相对夹爪姿态变化,生成机械手抓取操作控制结果。

55、本发明的有益效果是:

56、本发明通过构建遮挡不确定度体素图,将可见状态、深度缺失、边界突变、法向突变、局部点密度和遮挡不确定度统一写入目标邻域体素单元,使机械手在目标遮挡、点云缺失和堆叠接触场景下获得更完整的空间风险表达,减少夹爪进入隐藏碰撞区域导致的抓取失败。

57、本发明通过改进kpconv模型生成抓取廊道点集、接触漂移预测表和候选抓取廊道编号,并通过quickhull局部凸包生成算法将抓取廊道点集转换为接触片凸包、目标局部凸包序列、遮挡残片凸包和夹爪扫掠凸包,使视觉感知结果直接转化为可进行几何校验的抓取控制对象,提高抓取位姿生成与夹爪运动空间之间的匹配度。

58、本发明通过引入支持顶点流水线的gjk碰撞检测算法执行双前沿单纯形生长和时序单纯形热启动,并将碰撞校验结果回写至改进kpconv模型,再结合视觉试探闭合生成的试探闭合漂移轨迹链修正目标抓取位姿、夹爪预闭合距离和夹爪扫掠凸包,使正式夹持前完成碰撞复核和漂移补偿,提高机械手抓取稳定性、碰撞规避能力和闭环控制响应速度。