一种面向非结构化场景下物料分拣的智能系统和方法与流程

技术特征：
1.一种面向非结构化场景下物料分拣的智能系统，其特征在于，包括机器人系统、智能检测与测量模块、标定装置、支撑台面，其中，所述机器人系统包括机械臂、二指机械爪，用于实现随机摆放物料在不同位姿条件下的抓取；所述机械臂具有六个自由度，所述二指机械爪安装在所述机械臂的末端。所述智能检测与测量模块包括rgbd相机、工控机；所述rgbd相机用于采集物料信息，并将所述物料信息实时传输到所述工控机；所述物料信息包括rgb图像和深度图像；所述工控机基于所述物料信息进行物料检测和位姿测量，利用物料检测和位姿测量结果评价物料的抓取风险和所述机械臂的抓取功耗，根据所述抓取风险和所述抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数的值规划物料抓取顺序，实现非结构化场景下物料的有序分拣；所述标定装置为棋盘格标定板，用于进行手眼标定；所述支撑台面是物料的支撑平台，相对机械臂基坐标系保持不动。2.如权利要求1所述的面向非结构化场景下物料分拣的智能系统，其特征在于，所述rgbd相机由rgb相机和tof深度相机组成；所述rgbd相机使用时固定在所述支撑台面旁某一固定位置。3.如权利要求1所述的面向非结构化场景下物料分拣的智能系统，其特征在于，所述手眼标定为：在物料分拣之前，将所述标定装置安装在所述机械臂的末端，利用所述工控机中图形识别算法获取所述标定装置的位姿，然后利用手眼标定算法计算出rgbd相机坐标系到机械臂基坐标系的转换矩阵，根据转换矩阵与位姿测量结果计算出物料的抓取位姿；完成所述手眼标定后，将所述二指机械爪替换所述标定装置安装在所述机械臂的末端。4.一种面向非结构化场景下物料分拣的方法，其特征在于，所述方法包括以下步骤：步骤1、利用rgbd相机采集分拣场景下非结构化物料的rgb图像和深度图像，并实时传输到工控机；步骤2、所述工控机采用基于rgbd的目标检测算法进行物料检测；步骤3、所述工控机基于所述物料检测的输出结果进行物料点云分割，去除场景中的干扰点云，获得物料点云数据；步骤4、所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量，获得物料在相机坐标系下的位姿信息；利用物料在相机坐标系下的位姿信息与rgbd相机坐标系到机械臂基坐标系的转换矩阵，计算出物料在机械臂基坐标系下的位姿，获得物料的抓取位姿；步骤5、根据随机摆放物料的抓取风险和机械臂的抓取功耗制定物料的抓取策略，建立抓取策略评估函数，并根据所述抓取策略评估函数规划物料抓取顺序，确定最优先抓取的物料及其抓取位姿；步骤6、所述工控机根据最优先抓取的物料的抓取位姿规划机械臂运动轨迹，通过逆运动学算法计算出机械臂关节运动量信息，将所述关节运动量信息输出到机器人系统，所述机械臂接收到所述关节运动量信息执行抓取操作，完成当前场景下物料的分拣操作并返回初始位姿；步骤7、完成每次物料分拣后，利用rgbd目标检测算法对物料分拣场景进行检测，并与
上一抓取场景的检测结果进行对比，获取抓取场景的变化量；步骤8、根据抓取场景的变化量判断是否进行抓取策略重评估/规划；如果检测出新物料或物料因滑落出现位置变化，则需要进行抓取策略重评估/规划，执行所述步骤3；如果没有检测出新物料或物料没有出现位置变化，则判断是否完成物料分拣，如果没有完成物料分拣，则重复执行所述步骤6直至完成物料分拣，最后控制所述机械臂返回初始位姿。5.如权利要求4所述的面向非结构化场景下物料分拣的方法，其特征在于，所述工控机采用粗配准与细配准结合的模型匹配算法进行物料的位姿测量包括：使用open3d重建系统完成物料重建，获取物料的模型点云数据；输入实际场景中的所述物料点云数据；对所述模型点云数据和所述物料点云数据的特征进行提取，采用基于特征的点云粗配准和细配准实现位姿估计，最终得到物料的位姿信息。6.如权利要求4所述的面向非结构化场景下物料分拣的方法，其特征在于，所述步骤5中的所述抓取风险是根据物料间相对位置关系和物料几何形状进行评价的；所述物料间相对位置关系包括倚靠关系和堆叠关系。7.如权利要求6所述的面向非结构化场景下物料分拣的方法，其特征在于，所述物料间相对位置关系判断方式为：对两个物料在支撑台面上的投影是否有重叠进行判断；如果存在重叠，则对两个物料与所述支撑台面之间的夹角进行判断；如果不存在重叠，则两个物料之间不存在相对位置关系；如果夹角不等于零则说明两个物料间存在所述倚靠关系，重叠部分点云高度大的物料为倚靠物料，反之另一物料为被倚靠物料；如果夹角等于零则说明两个物料之间存在所述堆叠关系，重叠部分点云高度大的物料为堆叠物料，反之另一物料则为被堆叠物料。8.如权利要求7所述的面向非结构化场景下物料分拣的方法，其特征在于，对于处于所述倚靠关系中的物料，优先抓取所述倚靠物料；对于处于所述堆叠关系中的物料，优先抓取上部的所述堆叠物料；对于所述被倚靠物料和所述被堆叠物料，与不存在相对位置关系的物料等同处理。9.如权利要求5所述的面向非结构化场景下物料分拣的方法，其特征在于，所述步骤5中的所述抓取功耗根据物料的抓取路径代价进行表征，所述抓取路径代价的表达式为：c
i
＝δp
i
αδr
i
式中，假设物料的总数为n，i∈[1,n]，α为姿态差值增加权重，δp
i
和δr
i
分别表示第i次抓取中物料的抓取位置差值和姿态差值，表达式分别为：δr
i
＝|r
ir
‑
r
er
| |r
ip
‑
r
ep
| |r
iy
‑
r
ey
|式中，p
ix
、p
iy
、p
iz
为第i次抓取时物料的抓取位置，p
ex
、p
ey
、p
ez
为所述机械臂的初始位置；r
ir
、r
ip
、r
iy
为第i次抓取时欧拉角表示的物料姿态，r
er
、r
ep
、r
ey
为欧拉角表示的所述机械臂初始姿态。10.如权利要求9所述的面向非结构化场景下物料分拣的方法，其特征在于，所述抓取策略评估函数为：
e
i
＝i
i
βg
i
1/c
i
式中，i
i
为第i个物料由于物料间相对位置关系产生的抓取风险系数，β为权重因子，g
i
为第i个物料由于其几何形状产生的抓取风险系数，1/c
i
为第i个物料抓取功耗影响系数，e
i
为物料抓取策略评估系数，根据该系数规划物料抓取顺序，其数值越大，表示该物料最优先抓取。

技术总结
本发明公开了一种面向非结构化场景下物料分拣的智能系统和方法，涉及人工智能领域，该智能系统包括机器人系统、智能检测与测量模块、标定装置、支撑台面，机器人系统用于实现随机摆放物料在不同位姿条件下的抓取；智能检测与测量模块包括RGBD相机、工控机；RGBD相机用于采集物料信息，并将所述物料信息实时传输到所述工控机；工控机基于所述物料信息进行物料检测和位姿测量，评价物料的抓取风险和机械臂的抓取功耗，建立抓取策略评估函数，规划物料抓取顺序，实现非结构化场景下物料的有序分拣；本发明采用协同视觉检测、抓取策略评估与机械臂分拣的方法实现非结构化场景下随机摆放物料的智能化分拣，实现随机摆放物料的安全、低功耗分拣。低功耗分拣。低功耗分拣。


技术研发人员：陈祥 应忍冬 文飞 钱久超 张澜涛 尹树雨
受保护的技术使用者：上海交通大学
技术研发日：2021.07.16
技术公布日：2021/10/15