一种机器人视觉引导拾取位置的方法及系统与流程

摘要: 本发明涉及机器人视觉控制,尤其涉及一种机器人视觉引导拾取位置的方法及系统。背景技术:1、随着工业机器人、协作机器人、机器视觉和深度学习技术的发展,机器人视觉引导...
一种机器人视觉引导拾取位置的方法及系统与流程

本发明涉及机器人视觉控制,尤其涉及一种机器人视觉引导拾取位置的方法及系统。

背景技术:

1、随着工业机器人、协作机器人、机器视觉和深度学习技术的发展,机器人视觉引导拾取已经广泛应用于自动分拣、柔性装配、仓储物流、零部件上下料和无序堆叠物体抓取等自动化作业场景。现有机器人视觉引导拾取方法通常通过相机、深度相机或三维视觉传感器采集机器人作业区域内的图像数据、深度数据和点云数据,并依据相机标定参数和机器人手眼标定参数完成视觉数据配准、点云滤波、坐标转换和目标物识别,再通过目标检测、图像分割、点云处理或抓取位姿估计网络生成候选抓取位置和候选抓取姿态。相比传统固定工装定位和人工示教方式,视觉引导拾取能够根据目标物的位置变化和姿态变化动态确定拾取位置,使机器人具备一定的柔性作业能力,能够适应多品类目标物、非固定摆放目标物和局部遮挡目标物的自动拾取需求。

2、现有机器人视觉引导拾取方法在实际应用中仍存在拾取位置判断不稳定的问题。传统方法通常依据目标物中心点、目标检测框、局部点云特征或抓取网络输出的抓取置信度确定最终拾取位姿,但在目标物存在遮挡、堆叠、反光、边缘深度缺失、点云飞点和轮廓误分割的情况下,候选抓取位姿对应的夹爪接触区域未必具有可靠的几何支撑,容易出现网络输出置信度较高但实际接触不稳定的情况。部分现有方法虽然结合碰撞检测、可达性判断或抓取评分进行筛选,但通常将候选抓取位姿作为整体对象评价,缺少对夹爪两侧接触区域的成对几何一致性分析,也缺少将目标物轮廓、接触区投影范围和双接触区点云几何残差进行联合判别的过程,导致目标物边界噪声、深度异常点和误匹配点影响最终拾取位姿筛选结果。

3、因此,如何提供一种机器人视觉引导拾取位置的方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种机器人视觉引导拾取位置的方法及系统,本发明利用机器人作业区域视觉感知数据采集、改进六自由度抓取网络、magsac++算法、夹爪双接触区成对一致性拟合以及二维轮廓与三维点云重投影残差一致性判别技术,详细描述了对待拾取目标物进行视觉特征提取、候选拾取位姿生成、双接触区几何拟合、几何一致性评分、目标拾取位姿筛选和机器人执行反馈更新的实现过程,实现了复杂作业场景下机器人拾取位置的准确确定与稳定执行。相比传统依据目标中心点、局部点云特征或抓取置信度确定拾取位姿的方式,本发明具备候选拾取位姿几何校验可靠性高、夹爪双侧接触判断准确、边界噪声与点云异常干扰小、目标拾取位姿筛选稳定以及复杂遮挡场景适应能力强的优点。

2、根据本发明实施例的一种机器人视觉引导拾取位置的方法,包括:

3、采集机器人作业区域内的视觉感知数据,依据标定参数对视觉感知数据执行配准、滤波和坐标统一处理,生成标准化视觉数据集;

4、基于标准化视觉数据集识别待拾取目标物,提取目标物掩膜、目标物轮廓、目标物点云、目标物表面法向量和目标物边界邻域点,生成目标物视觉特征集合;

5、构建包括双接触锚点候选位姿生成层、轮廓邻域特征标记层和接近方向占据判别层的改进六自由度抓取网络,输入目标物视觉特征集合,生成候选拾取位姿集合;

6、基于候选拾取位姿集合确定局部点云采样区域,通过magsac++算法执行夹爪双接触区成对一致性拟合,形成第一接触区和第二接触区,生成第一接触区几何残差序列和第二接触区几何残差序列;

7、将第一接触区和第二接触区中的三维点云投影至图像平面,结合目标物轮廓、第一接触区几何残差序列和第二接触区几何残差序列执行二维轮廓与三维点云重投影残差一致性判别,生成几何一致性评分;

8、根据候选拾取位姿集合和几何一致性评分筛选目标拾取位姿,并依据标定参数生成机器人基坐标系下的拾取位姿参数;

9、依据机器人基坐标系下的拾取位姿参数控制机器人末端执行器执行拾取动作,并采集拾取反馈数据更新标准化视觉数据集、候选拾取位姿集合和几何一致性评分。

10、可选的,所述生成标准化视觉数据集,包括:

11、通过视觉采集装置采集机器人作业区域内的视觉感知数据,其中视觉感知数据包括图像数据、深度数据、点云数据、视觉采集装置采集时间和机器人末端位姿,形成原始视觉数据;

12、读取标定参数,标定参数包括相机内参、相机外参和机器人手眼标定参数,依据相机内参对图像数据和深度数据执行畸变校正;

13、依据视觉采集装置采集时间将图像数据、深度数据、点云数据和机器人末端位姿进行时间对齐,并依据相机外参对图像数据、深度数据和点云数据执行空间配准,生成配准视觉数据;

14、对配准视觉数据执行离群点剔除、深度空洞填补和平滑滤波,生成滤波视觉数据;

15、依据机器人手眼标定参数将滤波视觉数据转换至机器人基坐标系,并对转换后的滤波视觉数据执行尺度统一和数据编号,生成标准化视觉数据集。

16、可选的,所述生成目标物视觉特征集合,包括:

17、从标准化视觉数据集中读取图像数据、深度数据和机器人基坐标系下的点云数据,依据作业区域边界裁剪目标检测区域;

18、对目标检测区域执行目标分割和类别识别,生成待拾取目标物的目标物掩膜,并依据目标物掩膜从图像数据和点云数据中分离目标物区域;

19、对目标物掩膜执行边界提取和轮廓点排序,生成目标物轮廓,并将目标物轮廓邻接范围内的像素点映射至点云数据,生成目标物边界邻域点;

20、依据目标物掩膜从机器人基坐标系下的点云数据中提取目标物点云,对目标物点云执行点序编号和局部邻域划分;

21、根据目标物点云中每个点的局部邻域拟合切平面,计算目标物表面法向量,并将目标物掩膜、目标物轮廓、目标物点云、目标物表面法向量和目标物边界邻域点汇总,生成目标物视觉特征集合。

22、可选的,所述生成候选拾取位姿集合,包括:

23、构建改进六自由度抓取网络,所述改进六自由度抓取网络包括双接触锚点候选位姿生成层、轮廓邻域特征标记层和接近方向占据判别层;

24、双接触锚点候选位姿生成层读取目标物点云、目标物表面法向量和目标物边界邻域点,在目标物点云中生成候选拾取点,并依据候选拾取点的局部邻域点分布和目标物表面法向量确定第一夹爪接触锚点、第二夹爪接触锚点、候选夹爪开合方向、候选夹爪宽度和候选接近方向;

25、轮廓邻域特征标记层读取目标物掩膜、目标物轮廓、目标物边界邻域点、候选拾取点、第一夹爪接触锚点和第二夹爪接触锚点,将候选拾取点、第一夹爪接触锚点和第二夹爪接触锚点映射至图像平面,并在目标物轮廓邻接范围内生成二维轮廓邻域标记和接触区投影范围;

26、接近方向占据判别层读取候选拾取点、候选夹爪开合方向、候选夹爪宽度、候选接近方向和目标物点云,沿候选接近方向构建夹爪接近通道,并依据夹爪接近通道内的点云占据状态生成接近通道占据状态;

27、将候选拾取点、第一夹爪接触锚点、第二夹爪接触锚点、候选夹爪开合方向、候选夹爪宽度、候选接近方向、轮廓邻域标记、接触区投影范围和接近通道占据状态汇总,生成候选拾取位姿集合;

28、对改进六自由度抓取网络进行训练,采用候选拾取点位置误差、双接触锚点位置误差、夹爪开合方向误差、轮廓邻域标记误差和接近通道占据判别误差组合作为联合训练目标,持续更新双接触锚点候选位姿生成层、轮廓邻域特征标记层和接近方向占据判别层的网络参数,当联合训练目标在连续五轮训练中的相邻两轮差值的绝对值均小于0.001时,完成改进六自由度抓取网络的训练。

29、可选的,所述生成第一接触区几何残差序列和第二接触区几何残差序列,包括:

30、读取候选拾取位姿集合中的候选拾取点、第一夹爪接触锚点、第二夹爪接触锚点、候选夹爪开合方向、候选夹爪宽度和候选接近方向,以候选拾取点为中心并按照候选夹爪宽度确定采样范围,在目标物点云中截取局部点云采样区域;

31、依据第一夹爪接触锚点、第二夹爪接触锚点和候选夹爪开合方向,将局部点云采样区域划分为第一接触候选点集和第二接触候选点集;

32、通过magsac++算法从第一接触候选点集和第二接触候选点集中同步抽取成对最小样本,分别对成对最小样本执行接触几何面拟合,生成第一接触候选拟合面和第二接触候选拟合面,并组成双接触区候选拟合面组; 对双接触区候选拟合面组执行噪声尺度边际化评分,分别计算第一接触候选点集对第一接触候选拟合面的支持值和第二接触候选点集对第二接触候选拟合面的支持值,并依据两个支持值和两个接触候选拟合面在候选夹爪开合方向上的位置对应关系生成双接触区拟合评分; 筛选双接触区拟合评分最大的双接触区候选拟合面组,确定第一接触区和第二接触区,并分别计算第一接触区中点云至第一接触区拟合面的空间偏差和第二接触区中点云至第二接触区拟合面的空间偏差,生成第一接触区几何残差序列和第二接触区几何残差序列。

33、可选的,所述生成几何一致性评分,包括:

34、读取第一接触区、第二接触区、目标物轮廓、接触区投影范围、第一接触区几何残差序列和第二接触区几何残差序列;

35、依据标定参数将第一接触区和第二接触区中的三维点云投影至图像平面,生成第一接触区投影点集和第二接触区投影点集;

36、依据接触区投影范围和目标物轮廓,分别计算第一接触区投影点集和第二接触区投影点集对应的轮廓残差,生成第一轮廓残差序列和第二轮廓残差序列;

37、将第一轮廓残差序列、第二轮廓残差序列、第一接触区几何残差序列和第二接触区几何残差序列进行对应组合,生成双接触区残差判别数据;

38、依据双接触区残差判别数据执行二维轮廓与三维点云重投影残差一致性判别,生成几何一致性评分。

39、可选的,所述生成机器人基坐标系下的拾取位姿参数,包括:

40、读取候选拾取位姿集合和几何一致性评分,将几何一致性评分与候选拾取位姿集合中的候选拾取点、候选接近方向、候选夹爪开合方向和候选夹爪宽度建立对应关系,生成候选位姿评分表;

41、依据候选位姿评分表对候选拾取位姿集合进行排序,筛除接近通道占据状态为占据的候选拾取位姿,生成可执行候选位姿序列;

42、选取可执行候选位姿序列中几何一致性评分数值最大的候选拾取位姿作为目标拾取位姿;

43、依据标定参数将目标拾取位姿中的候选拾取点、候选接近方向、候选夹爪开合方向和候选夹爪宽度转换至机器人基坐标系,生成机器人基坐标系下的拾取位姿参数。

44、可选的,所述执行拾取动作并更新标准化视觉数据集、候选拾取位姿集合和几何一致性评分,包括:

45、读取机器人基坐标系下的拾取位姿参数,生成机器人末端执行器的接近位姿、闭合位姿和撤离位姿,并控制机器人末端执行器执行拾取动作;

46、采集拾取反馈数据,拾取反馈数据包括目标物位置变化数据、夹爪开合状态数据、夹爪接触状态数据和拾取结果标识;

47、依据拾取反馈数据生成拾取反馈记录,并将拾取反馈记录与目标拾取位姿和几何一致性评分建立对应关系;

48、依据拾取反馈记录更新标准化视觉数据集、候选拾取位姿集合和几何一致性评分。

49、根据本发明实施例的一种机器人视觉引导拾取位置的系统,包括如下模块:

50、视觉感知模块,用于采集机器人作业区域内的视觉感知数据,生成标准化视觉数据集;

51、目标识别模块,用于基于标准化视觉数据集识别待拾取目标物,生成目标物视觉特征集合;

52、抓取网络模块,用于构建改进六自由度抓取网络,形成候选拾取位姿集合;

53、几何拟合模块,用于执行夹爪双接触区成对一致性拟合,生成第一接触区和第二接触区及对应几何残差序列;

54、残差判别模块,用于执行二维轮廓与三维点云重投影残差一致性判别,生成几何一致性评分;

55、位姿生成模块,用于筛选目标拾取位姿,生成机器人基坐标系下的拾取位姿参数;

56、执行与反馈模块,用于控制机器人末端执行器执行拾取动作,更新标准化视觉数据集、候选拾取位姿集合和几何一致性评分。

57、本发明的有益效果是:

58、本发明提出的一种机器人视觉引导拾取位置的方法及系统,通过构建视觉感知数据处理、目标物视觉特征提取、改进六自由度抓取网络候选位姿生成、magsac++几何校验以及机器人执行反馈更新流程,有效提升了复杂作业场景下机器人拾取位置确定的准确性。相比传统依据目标中心点、目标检测框、局部点云特征或单一抓取置信度确定拾取位姿的方式,本发明通过双接触锚点候选位姿生成层、轮廓邻域特征标记层和接近方向占据判别层,使候选拾取位姿集合同时包含夹爪接触位置、轮廓邻域关系和接近通道状态,提高候选拾取位姿与机器人实际执行动作之间的匹配程度。

59、本发明通过magsac++算法对局部点云采样区域执行夹爪双接触区成对一致性拟合,分别形成第一接触区和第二接触区,并生成对应的几何残差序列,能够对夹爪两侧接触区域的几何可靠性进行成对判断。相比将候选抓取位姿作为整体对象进行评分的现有方式,本发明能够识别第一夹爪接触侧和第二夹爪接触侧中存在的局部点云异常、接触面不稳定和几何支撑不足问题,降低因单侧接触不充分、边缘飞点或点云噪声导致的拾取失败风险,提高目标拾取位姿筛选的稳定性。

60、本发明进一步将第一接触区和第二接触区中的三维点云投影至图像平面,并结合目标物轮廓、第一接触区几何残差序列和第二接触区几何残差序列执行二维轮廓与三维点云重投影残差一致性判别,生成几何一致性评分,使最终筛选的目标拾取位姿同时满足三维点云几何关系和二维轮廓投影关系。通过拾取反馈数据对标准化视觉数据集、候选拾取位姿集合和几何一致性评分进行更新,本发明能够适应目标物遮挡、堆叠、反光、边界深度缺失和轮廓误分割等复杂情况,具备拾取位姿几何校验可靠性高、双侧接触判断准确、边界噪声干扰小和机器人拾取执行稳定性高的优点。