一种采用实例分割的机器人分拣方法及其系统与流程

1.本发明涉及工业机器人乱序分拣技术，特别涉及一种采用实例分割的机器人分拣方法及其系统。


背景技术：

2.随着工业发展，视觉与工业机器人相结合以其速度快，灵活性强等特点广泛应用在生产线的分拣行业。
3.近几年来随着深度学习技术的不断发展，计算机视觉的相关技术有了质的飞跃。图像的分割技术当前被广泛的应用在无人驾驶等领域，通过图像的分割技术给出当前无人车运行环境中的可行路径以及障碍物等相关信息，从而指引无人车更好的在复杂的环境中运行。
4.基于视觉的分拣系统主要将工业相机采集的图像进行处理，获取工件的位置信息，将信息传输给控制器，进而控制机器人完成对工件的分拣；然而无人机对工件进行分拣时，时常出现乱抓取的现象，主要是因为采集数据不清晰，导致生成的模型出现紊乱，致使后续无法进行排序顺序进行抓取，而且抓取顺序无法进行稳定地排序。


技术实现要素：

5.本发明主要解决的技术问题是提供一种采用实例分割的机器人分拣方法，主要利用深度图与灰色图混合，对乱序堆放的物品进行实例分割，然后建立模型从而确定物品露出的完整度来进行位姿的估计，再排序出无人机器人的抓取顺序，从而引导机器人进行分拣工作；本发明还提供一种采用实例分割的机器人分拣系统。
6.为解决上述技术问题，本发明采用的一个技术方案是：提供一种采用实例分割的机器人分拣方法，其中，包括如下步骤：
7.步骤s1、通过传感器采集图片信息；
8.步骤s2、对采集到的图片信息进行灰度图与深度图的融合，形成混合图；
9.步骤s3、建立训练模型，将混合图的数据作为训练模型的输入数据；
10.步骤s4、分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标的完整度是指目标露出部分的面积占整个目标的面积的比例数值。
11.作为本发明的一种改进，在步骤s2内，将采集到的图片信息进行三通道的数据输入，三通道分别为用于输入灰度图信息的第一通道、用于输入深度图信息的第二通道和用于输入灰度图与深度图的混合图信息的第三通道。
12.作为本发明的进一步改进，在所述第一通道内，灰度图的像素的取值范围采用0～255。
13.作为本发明的更进一步改进，在所述第二通道内，深度图的数据使用2个字节的整型数据来表示。
14.作为本发明的更进一步改进，在所述第三通道内，将灰度图与深度图进行融合，是
指将灰度图的表示位数先对应到2个字节，然后再按照分别0.5的权重进行分配，形成最后的混合图。
15.作为本发明的更进一步改进，在步骤s3内，建立训练模型，将混合图的数据作为训练模型的输入数据，形成目标的模型，并设置虚拟相机的位置和视角，以及场景的环境光线，生成乱序的目标摆放场景，同时给出场景下所有目标的像素级标注。
16.作为本发明的更进一步改进，在步骤s4内，包括如下步骤：
17.步骤s41、得到目标其投影到成像平面上时，整个目标的面积与实际目标露出部分的面积；
18.步骤s42、采用目标露出部分的面积除以整个目标的面积作为完整度的度量值。
19.作为本发明的更进一步改进，在步骤s4内，依据目标的完整度从高至低的顺序，生成机器人抓取的顺序。
20.一种采用实例分割的机器人分拣系统，其中，包括：
21.采集模块，用于通过传感器采集图片信息；
22.融合模块，用于对采集到的图片信息进行灰度图与深度图的融合，形成混合图；
23.生成训练模块，用于建立训练模型，将混合图的数据作为训练模型的输入数据；
24.排序模块，用于分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标的完整度是指目标露出部分的面积占整个目标的面积的比例数值。
25.本发明的有益效果是：与现有技术相比，本发明利用深度图与灰色图混合，对乱序堆放的物品进行实例分割，然后建立模型从而确定物品露出的完整度来进行位姿的估计，再排序出无人机器人的抓取顺序，从而引导机器人进行分拣工作；本发明操作方便，机器人分拣效率高而且准确。
附图说明
26.图1为本发明的采用实例分割的机器人分拣方法的步骤框图；
27.图2为本发明的采用实例分割的机器人分拣方法的步骤s4内的内部步骤框图；
28.图3为本发明的采用实例分割的机器人分拣系统的框图；
29.图4为本发明的一个实施例内采用mask-rcnn的网络结构图；
30.图5为本发明的一个实施例内工件完整度预测的分子网络图。
具体实施方式
31.实例分割的目的是在图像中将每一个物体都找到并给出像素级的分类。实例分割可以看成是建立在目标检测与语义分割的基础上，一、其与目标检测的不同在于，实例分割给出目标更为精准的像素级的分了；二、其与语义分割不同的在于，同一类别的不同个体也要给与区分；因此，实例分割可以认为是更加复杂与困难的目标检测与语义分割。
32.如图1所示，本发明提供一种采用实例分割的机器人分拣方法，包括如下步骤：
33.步骤s1、通过传感器采集图片信息；
34.步骤s2、对采集到的图片信息进行灰度图与深度图的融合，形成混合图；
35.步骤s3、建立训练模型，将混合图的数据作为训练模型的输入数据；
36.步骤s4、分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标
的完整度是指目标露出部分的面积占整个目标的面积的比例数值。
37.本发明利用深度图与灰色图混合，对乱序堆放的物品进行实例分割，然后建立模型从而确定物品露出的完整度来进行位姿的估计，再排序出无人机器人的抓取顺序，从而引导机器人进行分拣工作；本发明操作方便，机器人分拣效率高而且准确。
38.其中，在步骤s2内，将采集到的图片信息进行三通道的数据输入，三通道分别为用于输入灰度图信息的第一通道、用于输入深度图信息的第二通道和用于输入灰度图与深度图的混合图信息的第三通道；进一步，在第一通道内，灰度图的像素的取值范围采用0～255；在第二通道内，深度图的数据使用2个字节的整型数据来表示；在第三通道内，将灰度图与深度图进行融合，是指将灰度图的表示位数先对应到2个字节，然后再按照分别0.5的权重进行分配，形成最后的混合图。
39.在本发明内，在步骤s3内，建立训练模型，将混合图的数据作为训练模型的输入数据，形成目标的模型，并设置虚拟相机的位置和视角，以及场景的环境光线，生成乱序的目标摆放场景，同时给出场景下所有目标的像素级标注。
40.如图2所示，在步骤s4内，包括如下步骤：
41.步骤s41、得到目标其投影到成像平面上时，整个目标的面积与实际目标露出部分的面积；
42.步骤s42、采用目标露出部分的面积除以整个目标的面积作为完整度的度量值。
43.其中，在步骤s4内，依据目标的完整度从高至低的顺序，生成机器人抓取的顺序。
44.在本发明内，如图3所示，一种采用实例分割的机器人分拣系统，包括：
45.采集模块，用于通过传感器采集图片信息；
46.融合模块，用于对采集到的图片信息进行灰度图与深度图的融合，形成混合图；
47.生成训练模块，用于建立训练模型，将混合图的数据作为训练模型的输入数据；
48.排序模块，用于分割出目标的完整度，根据目标的完整度来进行机器人抓取的顺序，目标的完整度是指目标露出部分的面积占整个目标的面积的比例数值。
49.本发明提供一个实施例，该实施例用于抓取工件，该工件的中央处设置有圆孔，其主要基于对mask-rcnn，利用实例分割对乱序堆放的物品进行分割，然后再采用icp模型匹配的方式进行位姿的估计，从而引导机器人进行分拣工作；具体地，如图3所示，mask-rcnn网络，主要包括用于特征提取的resnet fpn网络，生成候选框的rpn网络，以及最后的三个子网络，分别用于mask生成、检测框位置预测以及检测框类别预测；该网络的输入数据要求是三通道的2d彩色图像，输出该图像中所有目标实例的分割效果。实际使用时使用了工业级3d传感器photoneo，该传感器无法提供彩色图像，只能提供灰度图和深度图，若直接使用灰度图进行三通道拓展得到的分割效果不佳；同时在进行分拣乱序堆叠的物品时需要视觉给出分拣的顺序，因此，在该实施例中，将灰度图与深度图相结合起来，在mask-rcnn网络进行分割。
50.在该实施例中，为了有效的结合深度图与灰度图的数据，将输入的三通道数据分别对应为灰度图、深度图、灰度图与深度图的混合图，其中灰度图的像素的取值范围是(0～255)，深度图的数据使用2个字节的整型数据来表示，主要是因为工件本身的厚度只有1-2cm，因此需要其数据具有较好的表示精度，最后通道将灰度图与深度图进行融合，是将灰度图的表示位数先对应到2个字节，然后再按照分别0.5的权重进行分配，形成最后的混合
图，将此三通道的数据作为整个网络的数据输入；为了可以对工件抓取的优先级给与评价，而且由于工件是一个圆形的工件，因此其对应的数据完整度可以通过判断工件在灰度图上的边界的近圆性来表示，即工件的边界轮廓越趋紧于圆形则说明其完整度越高，其度量的计算流程如下：
51.1、由于数据的标签是通过unreal engine 4来计算得到的，因此可以很容易的得到其投影到成像平面上时整个工件的面积与实际工件露出部分的面积；
52.2、采用露出部分的面积除以整个工件的面积作为其度量值，该数据的取值范围为(0～1)。
53.如图4所示，在网络最顶端加上的分支与检测框预测和类别预测并列，该子网络主要由两个全连接层构成，最后网络输出一个概率值，用于给出工件完整度的预测，实际使用中可以基于该预测值给出工件分拣的顺序编号。
54.在本实施例中，进行模型数据生成时，采用合成数据来进行预训练，采用用于3d游戏、设计等常采用的unreal engine 4工具来实现，该工具可以加载工件的cad模型，并设置虚拟相机的位置和视角，以及场景的环境光线，通过生成乱序的工件场景，同时给出场景下所有工件的像素级标注，其中包括了灰度图和深度图的数据；也就是说，基于工件的cad模型，使用unreal engine 4来构建虚拟合成数据，从而自动生成大量的带有像素级标注的数据。
55.在实施例中，因采用的机器人末端工具为二指夹手，伸入工件的中央圆孔中撑起来实现抓取的功能。因此在实际使用过程中，在前端分割的过程中除了需要将工件从乱序的背景中分割出来，还需要对机器人抓取工件的顺序给与指导。不考虑料箱边缘可能产生的碰撞，仅从工件本身的抓取度量来看，工件是否能抓取主要在于是否相对完整，能露出中央的空洞以及不被其他工件所遮挡；本实施例则对工件完整度的评价，输出为0～1的区间。
56.以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。