一种面向非结构化场景下物料分拣的智能系统和方法与流程

1.本发明涉及人工智能领域，尤其涉及一种面向非结构化场景下物料分拣的智能系统和方法。


背景技术：

2.随着人工智能的快速发展以及视觉传感器和机器人制造水平的提高，智能分拣在制造业、服务业等领域中逐步获得应用。特别是电子商务的蓬勃发展使仓储物流行业面临的物料分拣压力与日俱增，利用智能分拣代替人工完成物料分拣，有利于提高作业效率和可靠性，成为仓储物流行业未来发展的趋势。视觉感知技术与机器人技术在智能分拣中承担着重要作用，通过视觉检测技术可以实现物料的识别和分类，通过视觉测量技术可以获得物料的位姿信息，利用物料检测和测量结果可以引导机器人完成物料分拣。
3.但是仓储物流场景下物料种类、尺寸和形状各异且随机摆放，物料之间不可避免地存在遮挡问题，在这种非结构化场景下进行物料分拣，不合理的抓取顺序一方面会破坏物料受力平衡，导致物料抓取场景坍塌甚至损坏；另一方面会增大机器人运动路径和能量消耗。这限制了智能分拣在非结构化场景下物料分拣的应用。
4.因此，本领域的技术人员致力于开发一种面向非结构化场景下物料分拣的智能系统和方法，能够实现非结构化物料的安全低功耗分拣，降低抓取风险和能量消耗。


技术实现要素：

5.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是仓储物流场景下随机摆放物料中存在遮挡，限制了智能分拣的应用。
6.为实现上述目的，本发明提供了一种面向非结构化场景下物料分拣的智能系统，其特征在于，包括机器人系统、智能检测与测量模块、标定装置、支撑台面，其中，所述机器人系统包括机械臂、二指机械爪，用于实现随机摆放物料在不同位姿条件下的抓取；
7.所述机械臂具有六个自由度，所述二指机械爪安装在所述机械臂的末端。
8.所述智能检测与测量模块包括rgbd相机、工控机；所述rgbd相机用于采集物料信息，并将所述物料信息实时传输到所述工控机；
9.所述物料信息包括rgb图像和深度图像；
10.所述工控机基于所述物料信息进行物料检测和位姿测量，利用物料检测和位姿测量结果评价物料的抓取风险和机械臂的抓取功耗，根据所述抓取风险和所述抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数的值规划物料抓取顺序，实现非结构化场景下物料的有序分拣；
11.所述标定装置为棋盘格标定板，用于进行手眼标定；
12.所述支撑台面是物料的支撑平台，相对机械臂基坐标系保持不动。
13.进一步地，所述rgbd相机由rgb相机和tof深度相机组成；所述rgbd相机使用时固定在所述支撑台面旁某一固定位置。
14.进一步地，所述手眼标定为：在物料分拣之前，将所述标定装置安装在所述机械臂的末端，利用所述工控机中图形识别算法获取所述标定装置的位姿，然后利用手眼标定算法计算出rgbd相机坐标系到机械臂基坐标系的转换矩阵，根据转换矩阵与位姿测量结果计算出物料的抓取位姿；完成所述手眼标定后，将所述二指机械爪替换所述标定装置安装在所述机械臂的末端。
15.一种面向非结构化场景下物料分拣的方法，包括以下步骤：
16.步骤1、利用rgbd相机采集分拣场景下非结构化物料的rgb图像和深度图像，并实时传输到工控机；
17.步骤2、所述工控机采用基于rgbd的目标检测算法进行物料检测；
18.步骤3、所述工控机基于所述物料检测的输出结果进行物料点云分割，去除场景中的干扰点云，获得物料点云数据；
19.步骤4、所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量，获得物料在相机坐标系下的位姿信息；利用物料在相机坐标系下的位姿信息与rgbd相机坐标系到机械臂基坐标系的转换矩阵，计算出物料在机械臂基坐标系下的位姿，获得物料的抓取位姿；
20.步骤5、根据随机摆放物料的抓取风险和机械臂的抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数规划物料抓取顺序，确定最优先抓取的物料及其抓取位姿；
21.步骤6、所述工控机根据最优先抓取的物料的抓取位姿规划机械臂运动轨迹，通过逆运动学算法计算出机械臂关节运动量信息，将所述关节运动量信息输出到机器人系统，所述机械臂接收到所述关节运动量信息执行抓取操作，完成当前场景下物料的分拣操作并返回初始位姿；
22.步骤7、完成每次物料分拣后，利用rgbd目标检测算法对物料分拣场景进行检测，并与上一抓取场景的检测结果进行对比，获取抓取场景的变化量；
23.步骤8、根据抓取场景的变化量判断是否进行抓取策略重评估/规划；如果检测出新物料或物料因滑落出现位置变化，则需要进行抓取策略重评估/规划，执行所述步骤3；如果没有检测出新物料或物料没有出现位置变化，则判断是否完成物料分拣，如果没有完成物料分拣，则重复执行所述步骤6直至完成物料分拣，最后控制机械臂返回初始位姿。
24.进一步地，所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量包括：
25.使用open3d重建系统完成物料重建，获取物料的模型点云数据；
26.输入实际场景中的所述物料点云数据；
27.对所述模型点云数据和所述物料点云数据的特征进行提取，采用基于特征的点云粗配准和细配准实现位姿估计，最终得到物料的位姿信息。
28.进一步地，所述步骤5中的所述抓取风险是根据物料间相对位置关系和物料几何形状进行评价的；所述物料间相对位置关系包括倚靠关系和堆叠关系。
29.进一步地，所述物料间相对位置关系判断方式为：
30.对两个物料在支撑台面上的投影是否有重叠进行判断；
31.如果存在重叠，则对两个物料与所述支撑台面之间的夹角进行判断；如果不存在
重叠，则两个物料之间不存在相对位置关系；
32.如果夹角不等于零则说明两个物料间存在所述倚靠关系，重叠部分点云高度大的物料为倚靠物料，反之另一物料为被倚靠物料；如果夹角等于零则说明两个物料之间存在所述堆叠关系，重叠部分点云高度大的物料为堆叠物料，反之另一物料则为被堆叠物料。
33.进一步地，对于处于所述倚靠关系中的物料，优先抓取所述倚靠物料；对于处于所述堆叠关系中的物料，优先抓取上部的所述堆叠物料；对于所述被倚靠物料和所述被堆叠物料，与不存在相对位置关系的物料等同处理。
34.进一步地，所述步骤5中的所述抓取功耗根据物料的抓取路径代价进行表征，所述抓取路径代价的表达式为：
35.c
i
＝δp
i
αδr
i
36.式中，假设物料的总数为n，i∈[1,n]，α为姿态差值增加权重，δp
i
和δr
i
分别表示第i次抓取中物料的抓取位置差值和姿态差值，表达式分别为：
[0037][0038]
δr
i
＝|r
ir
‑
r
er
| |r
ip
‑
r
ep
| |r
iy
‑
r
ey
|
[0039]
式中，p
ix
、p
iy
、p
iz
为第i次抓取时物料的抓取位置，p
ex
、p
ey
、p
ez
为机械臂的初始位置；r
ir
、r
ip
、r
iy
为第i次抓取时欧拉角表示的物料姿态，r
er
、r
ep
、r
ey
为欧拉角表示的机械臂初始姿态。
[0040]
进一步地，所述抓取策略评估函数为：
[0041]
e
i
＝i
i
βg
i
1/c
i
[0042]
式中，i
i
为第i个物料由于物料间相对位置关系产生的抓取风险系数，β为权重因子，g
i
为第i个物料由于其几何形状产生的抓取风险系数，1/c
i
为第i个物料抓取功耗影响系数，e
i
为物料抓取策略评估系数，根据该系数规划物料抓取顺序，其数值越大，表示该物料最优先抓取。
[0043]
与现有技术相比，本发明至少具有如下有益技术效果：
[0044]
本发明利用协同视觉检测、抓取策略评估与机械臂分拣的方法解决非结构化场景下存在的物料遮挡问题，实现随机摆放物料的安全、低功耗分拣。
[0045]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0046]
图1是本发明的一个较佳实施例的系统结构示意图；
[0047]
图2是本发明的一个较佳实施例的方法流程图；
[0048]
图3是本发明的一个较佳实施例的物料位姿测量流程图。
[0049]
其中，1
‑
机械臂，2
‑
二指机械爪，3
‑
rgbd相机，4
‑
工控机，5
‑
标定装置，6
‑
支撑台面，7
‑
第一物料，8
‑
第二物料，9
‑
第三物料，10
‑
第四物料，11
‑
第五物料。
具体实施方式
[0050]
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便
于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
[0051]
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0052]
如图1所示，是本发明的一个较佳实施例的系统结构示意图，包括机器人系统、智能检测与测量模块、标定装置5、支撑台面6，其中，机器人系统包括机械臂1、二指机械爪2，机械臂1具有六个自由度，二指机械爪2为机械臂1的末端执行器，通过两者配合实现随机摆放物料在不同位姿条件下的抓取；智能检测与测量模块包括rgbd相机3、工控机4，rgbd相机3由rgb相机和tof深度相机组成，固定在支撑台面6旁某一固定位置，用于采集物料的rgb图像和深度图像，并将采集的信息实时传输到工控机4进行处理；工控机4基于rgbd数据进行物料检测、点云分割和位姿测量，并且利用物料检测和位姿测量结果评价物料的抓取风险和抓取功耗，根据抓取风险和抓取功耗建立随机摆放物料的抓取策略评估函数，根据抓取策略评估函数的值规划物料抓取顺序，实现非结构化场景下物料的有序分拣；标定装置5是一种棋盘格标定板，在物料分拣之前首先进行“手眼”标定，将标定装置5安装在机械臂1末端，利用工控机4中图形识别算法获取标定装置5的位姿，然后利用手眼标定算法计算出rgbd相机坐标系xyz(o)到机械臂基坐标系xyz(o)的转换矩阵，根据转换矩阵与位姿测量结果计算出物料的抓取位姿；完成“手眼”标定后，将二指机械爪2替换标定装置5安装在机械臂1末端；支撑台面6是物料的支撑平台，相对机械臂基坐标系xyz(o)保持不动，支撑台面6上放置第一物料7，第二物料8，第三物料9，第四物料10，第五物料11。
[0053]
本实施例提供的面向非结构化场景下物料分拣的方法，其流程图如图2所示，包括以下步骤：
[0054]
s1、利用rgbd相机3采集分拣场景下非结构化物料的rgb图像和深度图像，并实时传输到工控机4；
[0055]
s2、工控机4采用基于rgbd的目标检测算法进行物料检测；
[0056]
s3、为保证位姿计算精度，需去除场景中的干扰点云，工控机4基于物料检测的输出结果进行物料点云分割，获得物料的精确点云数据；
[0057]
s4、工控机4采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量，获得物料在相机坐标系xyz(o)下的位姿信息；利用物料在相机坐标系下的位姿信息与rgbd相机坐标系xyz(o)到机械臂基坐标系xyz(o)的转换矩阵，计算出物料在机械臂基坐标系下xyz(o)的位姿，为物料分拣提供抓取位姿；
[0058]
s5、工控机4根据随机摆放物料的抓取风险和机械臂1的抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据抓取策略评估函数值规划物料抓取顺序，确定最优先抓取的物料及其抓取位姿；
[0059]
s6、工控机4根据最优先抓取的物料的抓取位姿规划机械臂1运动轨迹，通过逆运动学算法计算出机械臂1关节运动量信息，将该控制信号输出到机器人系统，机械臂1接收到控制信号执行抓取操作，完成当前场景下物料的分拣操作并返回初始位姿；
[0060]
s7、完成每次物料分拣后，利用rgbd目标检测算法对物料分拣场景进行检测，并与上一抓取场景的检测结果进行对比，获取抓取场景的变化量；
[0061]
s8、根据抓取场景的变化量判断是否进行抓取策略重评估/规划；如果检测出新物料或物料因滑落出现位置变化，则需要进行抓取策略重评估/规划，重复执行s3至s6；如果没有检测出新物料或物料没有出现位置变化，则判断是否完成物料分拣，如果没有完成物料分拣，则重复执行s6直至完成物料分拣，最后控制机械臂1返回初始位姿。
[0062]
其中，s4中位姿测量如图3所示，包括：
[0063]
使用open3d重建系统完成物料重建，获取物料的模型点云；
[0064]
再输入物料分割后获得的实际场景中的物料点云；
[0065]
对所述模型点云数据和所述物料点云数据的特征进行提取，采用基于特征的点云粗配准和细配准实现位姿估计，最终得到物料的位姿信息。
[0066]
s5中随机摆放物料的抓取风险是根据物料间相对位置关系和物料几何形状进行评价的，物料间相对位置关系包括倚靠关系和堆叠关系，是形成物料遮挡的主要原因，利用s3中获得的分割后的点云数据进行判断，包括：
[0067]
(1)第一物料7一方面与支撑台面6接触，另一方面倾斜地靠在第二物料8上，此时物料间存在倚靠关系；为判断倚靠关系，首先需要对两个物料在支撑台面6上的投影是否有重叠进行判断；如果存在重叠，则对两个物料与支撑台面6之间的夹角进行判断，如果夹角不等于零则说明两个物料间存在倚靠关系，重叠部分点云高度大的物料为倚靠物料，反之另一物料为被倚靠物料。
[0068]
(2)第三物料9一方面位于第四物料10上面，另一方面不与支撑台面6接触，此时物料间存在堆叠关系；为具体判断物料间相对位置关系，按照与(1)相同方法首先对两个物料在支撑台面6上的投影是否存在重叠进行判断，如果存在重叠且两个物料与支撑台面6的夹角都为零，此时两物料间则存在堆叠关系；最后，重叠部分点云高度大的物料为堆叠物料，反之另一物料则为被堆叠物料。
[0069]
(3)如果两个物料在支撑台面6上的投影不存在重叠，则两个物料间不存在相对位置关系，此种情况在抓取策略评估中只考虑物料抓取功耗。
[0070]
s5中机械臂1的抓取功耗根据物料的抓取路径代价进行表征，计算过程为：
[0071]
假设物料的总数为n，第i个待抓取物料的抓取路径代价为p
i
，可以通过计算物料抓取位姿与机械臂1末端执行器初始位姿的差值确定；另外，在机械臂1运动中位置移动是引起功耗的主因，腕关节姿态调整对功耗的影响较小，所以为姿态差值增加权重α，可以建立(但并不限于)抓取路径代价的表达式为：
[0072]
c
i
＝δp
i
αδr
i
(1)
[0073]
式中，i∈[1,n]，α取0.6，δp
i
和δr
i
分别表示第i次抓取中物料的抓取位置差值和姿态差值，分别通过计算物料抓取位置与初始位置的欧式距离以及抓取姿态与初始姿态的变化量得到，表达式分别为：
[0074][0075]
δr
i
＝|r
ir
‑
r
er
| |r
ip
‑
r
ep
| |r
iy
‑
r
ey
|
ꢀꢀꢀ
(3)
[0076]
式中，p
ix
、p
iy
、p
iz
为第i次抓取时物料的抓取位置，p
ex
、p
ey
、p
ez
为机械臂1的初始位置；r
ir
、r
ip
、r
iy
为第i次抓取时欧拉角表示的物料姿态，r
er
、r
ep
、r
ey
为欧拉角表示的机械臂1初始姿态；物料抓取路径代价的数值大小表示机械臂1运动功耗的大小。
[0077]
s5中随机摆放物料的抓取策略综合考虑物料的抓取风险和抓取功耗，通过建立评估函数进行评价，并根据评估函数值规划物料抓取顺序。对于物料抓取风险，其影响因素包括物料间相对位置关系和物料几何形状。不同的物料相对位置关系和几何形状会产生不同的抓取风险，倚靠物料受力平衡易破坏，其抓取风险最大，所以应当进行优先抓取；处于堆叠关系中的物料，上部堆叠物料易发生滑落，需要对其优先抓取。对于被倚靠、被堆叠的物料，受力平衡比较稳定，可以将其与不存在相对位置关系的物料等同处理。因此设置倚靠物料、堆叠物料的抓取风险系数分别为1和0.5，设置被倚靠、被堆叠以及未处于相对位置关系的物料抓取风险系数为0。
[0078]
在物料几何形状方面，球状物料、圆柱状物料、立方体物料与支撑台面6的接触面积依次增大，抓取风险系数依次降低，对于其他形状物料居多是由以上几何形状组合而成，因此设置球状物料、圆柱状物料、其他形状物料和立方体物料的抓取风险系数分别为1、0.7、0.4和0。另外，物料几何形状相比物料间相对位置关系产生的抓取风险较低，所以为几何形状因素设置了权重因子(本实施例取值为0.5)。
[0079]
对于处于相同抓取风险条件下的物料，则进一步考虑机械臂1抓取功耗进行评估，以降低功耗为准则对抓取路径较小的物料进行优先抓取。为便于实现抓取风险和抓取功耗对物料抓取策略的综合评估，将物料抓取功耗影响系数设置在0～1范围内，由于物料抓取路径数值较大，所以可设置第i个物料的影响系数为1/c
i
。可以建立(但并不限于)物料抓取策略的评估函数为：
[0080]
e
i
＝i
i
βg
i
1/c
i
ꢀꢀꢀ
(4)
[0081]
式中，i
i
为第i个物料由于物料间相对位置关系产生的抓取风险系数，β为权重因子，g
i
为第i个物料由于其几何形状产生的抓取风险系数，1/c
i
为第i个物料抓取功耗影响系数，e
i
为物料抓取策略评估系数，根据该系数规划物料抓取顺序，其数值越大，表示该物料最优先抓取。根据公式(4)，对本实施例进行抓取策略评估，获得物料的抓取策略评估系数由大到小依次为第一物料7、第三物料9、第五物料11、第四物料10、第二物料8，所以规划出物料的抓取顺序依次为第一物料7、第三物料9、第五物料11、第四物料10、第二物料8。随后执行物料分拣、场景变化量检测和抓取策略重评估等过程。
[0082]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。