机器人空间抓取点的确定方法及装置与流程

1.本技术涉及机器人拆垛技术领域，具体涉及一种机器人空间抓取点的确定方法及装置。


背景技术：

2.关节机器人具备柔性高、定位准确及运行稳定等特点，因此关节机器人在自动化物流领域得到广泛的应用。在自动化仓储中心，关节机器人可以实现货物单元自动化拆垛作业。关节机器人的引入，实现了仓储作业全自动化作业，提高了物流效率，降低了物流行业的人力成本。然而关节机器人要实现自动化作业有诸多限制条件，在实际运行过程中存在很多不足之处。
3.例如，关节机器人要实现自动化拆垛作业，需要通过人为的预设定作业时序图，当拆垛的货物的位置和尺寸发生变化时，机器人根据预设定作业时序图工作时只能在原来的空间抓取点进行货物抓取，导致机器人在拆垛过程中无法准确抓取货物。


技术实现要素：

4.本技术旨在提供一种机器人空间抓取点的确定方法及装置，旨在解决现有技术中机器人在货物发生变化时无法准确抓取货物的问题。
5.一方面，本技术提供一种机器人空间抓取点的确定方法，所述确定方法包括：
6.获取深度相机从堆垛上方拍摄的所述堆垛的彩色图像及深度图像；
7.对所述彩色图像进行实例分割，得到实例分割图像，其中，所述实例分割图像包括所述堆垛顶层每个货物的掩膜；
8.基于所述掩膜对所述实例分割图像进行图像形态学处理，得到所述堆垛顶层每个货物的轮廓；
9.根据所述轮廓和所述深度图像确定空间抓取点位置。
10.其中，所述对所述彩色图像进行实例分割，得到实例分割图像，包括：
11.基于所述深度图像获取所述彩色图像中每个像素点的深度值；
12.基于每个像素点的深度值从所述彩色图像中去除深度值大于预设值的像素点，得到第一感兴趣区域图像；
13.对所述第一感兴趣区域图像进行实例分割，得到所述实例分割图像。
14.其中，所述对所述第一感兴趣区域图像进行实例分割，得到所述实例分割图像，包括：
15.按第一预设比例将所述第一感兴趣区域图像缩小，得到第二感兴趣区域图像；
16.将所述第二感兴趣区域图像输入至预设的实例分割神经网络进行实例分割，得到所述实例分割图像。
17.其中，所述基于所述掩膜对所述实例分割图像进行图像形态学处理，得到所述堆垛顶层每个货物的轮廓，包括：
18.按第二预设比例将所述实例分割图像放大，得到第三感兴趣区域图像，其中，所述第一预设比例和所述第二预设比例的乘积为1；
19.对所述第三感兴趣区域图像进行图像形态学处理，得到所述堆垛顶层每个货物的轮廓。
20.其中，所述根据所述轮廓和所述深度图像确定空间抓取点位置，包括：
21.基于所述深度图像获取所述轮廓上深度值最大的第一像素点和所述轮廓形心对应的第二像素点；
22.获取所述第一像素点在世界坐标系下的高度坐标和所述第二像素点在世界坐标系下的水平坐标；
23.基于所述高度坐标和所述水平坐标确定所述空间抓取点位置。
24.一方面，本技术提供一种机器人空间抓取点的确定装置，所述机器人空间抓取点的确定装置包括：
25.获取单元，用于获取深度相机从堆垛上方拍摄的所述堆垛的彩色图像及深度图像；
26.实例分割单元，用于对所述彩色图像进行实例分割，得到实例分割图像，其中，所述实例分割图像包括所述堆垛顶层每个货物的掩膜；
27.图像形态学处理单元，用于基于所述掩膜对所述实例分割图像进行图像形态学处理，得到所述堆垛顶层每个货物的轮廓；
28.确定单元，用于根据所述轮廓和所述深度图像确定空间抓取点位置。
29.其中，所述实例分割单元，还用于基于所述深度图像获取所述彩色图像中每个像素点的深度值；
30.基于每个像素点的深度值从所述彩色图像中去除深度值大于预设值的像素点，得到第一感兴趣区域图像；
31.对所述第一感兴趣区域图像进行实例分割，得到所述实例分割图像。
32.其中，所述实例分割单元，还用于按第一预设比例将所述第一感兴趣区域图像缩小，得到第二感兴趣区域图像；
33.将所述第二感兴趣区域图像输入至预设的实例分割神经网络进行实例分割，得到所述实例分割图像。
34.其中，所述图像形态学处理单元，还用于按第二预设比例将所述实例分割图像放大，得到第三感兴趣区域图像，其中，所述第一预设比例和所述第二预设比例的乘积为1；
35.对所述第三感兴趣区域图像进行图像形态学处理，得到所述堆垛顶层每个货物的轮廓。
36.其中，所述确定单元，还用于基于所述深度图像获取所述轮廓上深度值最大的第一像素点和所述轮廓形心对应的第二像素点；
37.获取所述第一像素点在世界坐标系下的高度坐标和所述第二像素点在世界坐标系下的水平坐标；
38.基于所述高度坐标和所述水平坐标确定所述空间抓取点位置。
39.一方面，本技术提供一种工控设备，所述工控设备包括：
40.一个或多个处理器；
41.存储器；以及
42.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面任一项所述的机器人空间抓取点的确定方法。
43.一方面，本技术提供一种机器人拆垛系统，所述机器人拆垛系统包括以上任一项所述的工控设备。
44.其中，所述机器人拆垛系统包括工控设备、机器人、第一输送线以及深度相机，所述第一输送线用于承载堆垛，所述机器人的末端设有吸盘；
45.所述深度相机用于根据所述工控设备的指令从所述堆垛上方采集所述堆垛的彩色图像及深度图像，并发送给所述工控设备；
46.所述工控设备用于根据所述彩色图像及所述深度图像确定机器人的空间抓取点位置，并将所述空间抓取点位置发送给所述机器人；
47.所述机器人用于控制吸盘移动至所述空间抓取点位置，并抓取所述空间抓取点处的货物。
48.其中，所述机器人拆垛系统还包括第二输送线，所述第二输送线上设有距离测量装置，
49.所述机器人还用于将所述空间抓取点位置处的货物移动至所述第二输送线的上方；
50.所述距离测量装置用于测量所述机器人抓取货物的底部与所述第二输送线顶部的距离，并发送给所述工控设备；
51.所述工控设备用于根据所述距离控制所述机器人将货物卸载至所述第二输送线；
52.所述工控设备用于控制所述第二输送线将其上的货物转移。
53.一方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行第一方面任一项所述的机器人空间抓取点的确定方法中的步骤。
54.本技术提供一种机器人空间抓取点的确定方法，通过深度相机对堆垛拍摄得到堆垛的彩色图像及深度图像，然后对堆垛的彩色图像进行实例分割，可以识别到堆垛顶层的每个货物，进而通过图像形态学处理得到堆垛顶层每个货物的轮廓，从而可以得到货物的二维位置信息，而深度图像中具有货物的高度信息，因此根据轮廓和深度图像确定的机器人空间抓取点能够准确追踪货物位置，从而使得机器人能够在货物发生变化时准确抓取货物。
附图说明
55.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
56.图1是本技术实施例所提供的机器人拆垛系统一实施例结构示意图；
57.图2是图1机器人拆垛系统一具体实施例结构示意图；
58.图3是本技术实施例提供的机器人空间抓取点的确定方法一个实施例流程示意
图；
59.图4是本技术实施例中提供的机器人空间抓取点的确定装置一个实施例结构示意图；
60.图5是本技术实施例中提供的工控设备一个实施例结构示意图。
具体实施方式
61.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
62.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
63.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
64.需要说明的是，本技术实施例方法由于是在工控设备中执行，工控设备的处理对象均以数据或信息的形式存在，例如时间，实质为时间信息，可以理解的是，后续实施例中若提及尺寸、数量、位置等，均为对应的数据存在，以便工控设备进行处理，具体此处不作赘述。
65.本技术实施例提供一种机器人空间抓取点的确定方法及装置，以下分别进行详细说明。
66.请参阅图1，图1是本技术实施例所提供的机器人拆垛系统一实施例结构示意图，图2是图1机器人拆垛系统一具体实施例结构示意图。
67.结合图1和图2，该机器人拆垛系统100可以包括工控设备110，工控设备110中集成有机器人130空间抓取点的确定装置，如图1中的工控设备110。
68.本技术实施例中，该工控设备110可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本技术实施例中所描述的工控设备110，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
69.本技术实施例中，机器人拆垛系统100还包括机器人130、第一输送线140以及深度相机120。
70.本技术实施例中，第一输送线140可以是皮带输送线、滚筒输送线等。第一输送线140用于将堆垛160输送至堆垛指定位置，例如，第一输送线140用于将堆垛160输送至第一输送线140的末端。第一输送线140的一侧设有相机支架141。相机支架141用于悬挂深度相机120。深度相机120位于第一输送线140的堆垛指定位置的上方，用于对堆垛指定位置上的堆垛160进行拍照。其中，堆垛160由多层货物堆叠而成。
71.本技术实施例中，深度相机120可以为双目深度相机、结构光深度相机以及光飞行时间深度相机中的任意一种。具体的，深度相机120的光轴垂直于第一输送线140的上表面。例如，深度相机120为kinect深度相机。深度相机120又称之为3d相机，顾名思义，就是通过该相机能检测出拍摄空间的景深距离，这也是与普通摄像头最大的区别。普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来，但是其所记录的数据不包含这些物体距离相机的距离。仅仅能通过图像的语义分析来判断哪些物体离我们比较远，哪些比较近，但是并没有确切的数据。而深度相机120则恰恰解决了该问题，通过深度相机120获取到的数据，我们能准确知道图像中每个点离摄像头距离，这样加上该点在2d图像中的(x,y)坐标，就能获取图像中每个点的三维空间坐标。通过三维坐标就能还原真实场景，实现场景建模等应用。
72.双目深度相机测量类似人类双眼布置，通过两个位置已标定好的2d相机观察同一环境，根据图像内容进行特征点匹配，进而计算深度。结构光深度相机通过主动投射具有特殊纹理特征的结构光，从反馈中的特征形变进行深度测量。光飞行时间深度相机通过主动投射激光，计算发出到接收的光飞行时间进行深度计算。
73.本技术实施例中，深度相机120根据工控设备110的指令从堆垛160上方采集堆垛160的彩色图像及深度图像，并发送给工控设备110。彩色图像，每个像素通常是由红(r)、绿(g)、蓝(b)三个分量来表示的，分量介于(0，255)。深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，该特定的(x,y)坐标处物体到摄像头平面的距离。
74.本技术实施例中，机器人130的末端设有吸盘131。机器人130可以是四轴机械臂、六轴机械臂等类型的机械臂，本技术对此不作限定。常见的六轴机械臂包含旋转(s轴)，下臂(l轴)、上臂(u轴)、手腕旋转(r轴)、手腕摆动(b轴)和手腕回转(t轴)。六个关节合成实现末端的六自由度动作，从而可以带动吸盘131到达空间中的任意位置。工控设备110用于根据彩色图像及深度图像确定机器人130的空间抓取点位置，并将空间抓取点位置发送给机器人130。机器人130用于控制吸盘131移动至空间抓取点位置，并抓取空间抓取点处的货物。具体的，机器人130以吸盘131当前的坐标为起点，以空间抓取点位置为终点进行路径规划，并根据规划好的路径将吸盘131从当前的坐标移动值空间抓取点位置。具体的，空间抓取点位置为空间抓取点坐标。
75.进一步的，机器人拆垛系统100还包括第二输送线150，第二输送线150上设有距离
测量装置。距离测量装置可以是光电测距仪和声波测距仪等，本技术对此不作限定。机器人130还用于将空间抓取点位置处的货物移动至第二输送线150的上方；距离测量装置用于测量机器人130抓取货物的底部与第二输送线150顶部的距离，并发送给工控设备110；工控设备110用于根据机器人130抓取货物的底部与第二输送线150顶部的距离控制机器人130将货物卸载至第二输送线150；工控设备110用于控制第二输送线150将其上的货物转移。例如，机器人130在空间抓取点将货物移动至第二输送线150的上方时，距离测量装置测得机器人130抓取货物的底部与第二输送线150的距离的高度为1.2m，则工控设备110控制机器人130将吸盘131下降1.2m，再控制吸盘131松开货物。可以准确控制机器人130的吸盘131将货物放置在第二输送线150上，避免货物掉落发生损坏。
76.在一个具体的的实施例中，机器人拆垛系统100包括一条第二输送线150和两条第一输送线140，两条第一输送线140在机器人130的两侧对称设置。两条第一输送线140的末端靠近机器人130，第二输送线150的起始端靠近机器人130。将堆垛160放在第一输送线140上，第一输送线140将堆垛160移动至深度相机120的下方，机器人130在工控设备110的控制下将堆垛160顶部的货物依次移动至第二输送线150上，第二输送线150将货物移动至第二输送线150的末端，进行下一步工序。当然，第二输送线150的数量也可以是2条、3条等，第一输送线140也可以为1条、3条等，根据具体情况调整，本技术对此不作限定。
77.本领域技术人员可以理解，图1和图2中示出的应用环境，仅仅是与本技术方案一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用环境还可以包括比图1和图2中所示更多或更少的工控设备110，例如图1和图2中仅示出1个工控设备110，可以理解的，该机器人拆垛系统100还可以包括一个或多个其他服务，具体此处不作限定。
78.需要说明的是，图1所示的机器人拆垛系统100的场景示意图仅仅是一个示例，本技术实施例描述的机器人拆垛系统100以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着机器人拆垛系统100的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
79.首先，本技术实施例中提供一种机器人空间抓取点的确定方法，该机器人空间抓取点的确定方法应用于工控设备110，该机器人空间抓取点的确定方法包括：
80.获取深度相机从堆垛上方拍摄的堆垛的彩色图像及深度图像；
81.对彩色图像进行实例分割，得到实例分割图像，其中，实例分割图像包括堆垛顶层每个货物的掩膜；
82.基于掩膜对实例分割图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓；
83.根据轮廓和深度图像确定空间抓取点位置。
84.参阅图3，图3是本技术实施例提供的机器人空间抓取点的确定方法一个实施例流程示意图。如图3所示，该机器人空间抓取点的确定方法包括：
85.s301、获取深度相机从堆垛上方拍摄的堆垛的彩色图像及深度图像。
86.本技术实施例中，工控设备110在控制第一输送线140将堆垛160移动至堆垛指定位置后，向深度相机120发送拍照指令，深度相机120在获取拍照指令后从堆垛160上方拍摄堆垛160，得到堆垛160的彩色图像及深度图像并发送给工控设备110，工控设备110获取堆垛160的彩色图像及深度图像。
87.s302、对彩色图像进行实例分割，得到实例分割图像，其中，实例分割图像包括堆垛顶层每个货物的掩膜。
88.实例分割(instance segmentation)是将场景图像分割成多个区域，每个区域对应一个对象，并且判断该区域的类别。实例分割是一种最接近人类真实视觉感受的计算机视觉任务。实例分割方式有点类似于物体检测，不过物体检测一般输出的是边界框，实例分割输出的是一个掩膜(mask)。
89.本技术实施例中，对彩色图像进行实例分割，对彩色图像进行实例分割，得到实例分割图像，包括：
90.(1)基于深度图像获取彩色图像中每个像素点的深度值。
91.具体的，例如，深度相机120为kinect深度相机。深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，该特定的(x,y)坐标处物体到摄像头平面的距离。场景中各点相对于相机的距离可以用深度图像来表示，即深度图像中的每一个像素的深度值表示场景中某一点与相机所在平面之间的距离。
92.(2)基于每个像素点的深度值从彩色图像中去除深度值大于预设值的像素点，得到第一感兴趣区域图像。
93.其中，预设值根据具体情况设定。例如，利用深度相机120拍摄第一输送线140未堆叠货物时的初始深度图像，根据初始深度图像获取初始深度图像中的最小深度值，根据最小深度值确定预设值。例如，将最小深度值确定为预设值。最小深度值表示深度相机120距离第一输送线140上表面的的最短距离。
94.由于堆垛160上的货物堆叠放置，因此，堆垛160顶层的货物距离深度相机120所在水平面最近，深度值最小。因此，去除彩色图像中深度值大于预设值的像素点，则可将货物之外的第一输送线140、地面等背景去除，保留表示货物的第一感兴趣区域图像，可以减小第一输送线140、地面等背景的干扰。
95.(3)对第一感兴趣区域图像进行实例分割，得到实例分割图像。
96.本技术实施例中，按第一预设比例将第一感兴趣区域图像缩小，得到第二感兴趣区域图像；将第二感兴趣区域图像输入至预设的实例分割神经网络进行实例分割，得到实例分割图像。实例分割图像中包括堆垛160顶层每个货物的掩膜。语义分割只分割视野内目标的类型，而实例分割则不仅分割类型，同时还需要分割同类型的目标是否为同一个掩膜。因此，经过实例分割神经网络预测后不同的掩膜表示不同的货物。
97.其中，第一预设比例可以是1.5:1、2:1等，根据具体情况设定，将第一感兴趣区域图像缩小后输入至预设的实例分割神经网络进行实例分割，能够减少实例分割神经网络的计算时间，提高视觉响应时间。
98.其中，实例分割神经网络可以是mask r-cnn模型、deepmask模型，yolact 模型，根据具体情况选用即可。
99.例如，实例分割神经网络为mask r-cnn模型。首先将第二感兴趣区域图像输入到一个预训练好的神经网络中(如resnext等)获得对应的特征图(feature map)；接着，对这
个feature map中的每一点设定预定个的感兴趣区域(roi，region of interest)，从而获得多个候选roi；接着，将这些候选的roi送入区域生成网络(regionproposal network)进行二值分类(前景或背景)和bb回归，过滤掉一部分候选的roi；接着，对这些剩下的roi进行roialign操作(即先将原图和feature map的像素对应起来，然后将feature map和固定的feature对应起来)；最后，对这些roi进行分类、bb回归和掩膜(mask)生成。
100.s303、基于掩膜对实例分割图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓。
101.本技术实施例中，图像形态学处理可以是膨胀、腐蚀、开运算以及闭运算。膨胀就是图像中的高亮部分进行膨胀，“领域扩张”，效果图拥有比原图更大的高亮区域。腐蚀在形态学操作家族里是膨胀操作的孪生姐妹。它提取的是内核覆盖下的相素最小值。进行腐蚀操作时，将内核划过图像，将内核覆盖区域的最小相素值提取，并代替锚点位置的相素。对实例分割图像进行图像形态学处理，可以有效消除图像噪声，提高获得每个货物的轮廓的精确度。
102.在一个具体的实施例中，基于掩膜对实例分割图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓可以包括：对实例分割图像中每个货物的掩膜进行膨胀操作得到每个货物的掩膜膨胀图，对实例分割图像中每个货物的掩膜进行腐蚀操作得到每个货物的掩膜腐蚀图，将各个货物的掩膜膨胀图减去对应的掩膜腐蚀图，得到每个货物的轮廓。
103.进一步的，按第二预设比例将实例分割图像放大，得到第三感兴趣区域图像，其中，第一预设比例和第二预设比例的乘积为1；对第三感兴趣区域图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓。也即，将实例分割图像还原得到第一感兴趣区域图像原尺寸的图像，再随后通过图像形态学处理，计算出货物的轮廓，可以得到更精确的轮廓。
104.s304、根据轮廓和深度图像确定空间抓取点位置。
105.本技术实施例中，根据轮廓和深度图像确定空间抓取点位置，包括：
106.(1)获取轮廓上深度值最大的第一像素点和轮廓形心对应的第二像素点。
107.具体的，根据深度值对轮廓上所有的像素点进行排序，得到轮廓上深度值最大的第一像素点。第一像素点是轮廓中最高的点。
108.相机的深度图像中包含有轮廓上每个像素点的在相机坐标下的水平坐标，即(x,y)坐标。因此，获取轮廓上每个像素点在相机坐标下的的水平坐标，根据轮廓上每个像素点的在相机坐标下的水平坐标确定轮廓形心对应的第二像素点。第二像素点是轮廓的中心。相机坐标系的原点为相机光心，x轴与y轴与图像的x,y轴平行，z轴为相机光轴，它与图像平面垂直，以此构成的空间直角坐标系称为相机坐标系，相机坐标系是三维坐标系。
109.(2)获取第一像素点在世界坐标系下的高度坐标和第二像素点在世界坐标系下的水平坐标。
110.在环境中还选择一个参考坐标系来描述相机和物体的位置，该坐标系称为世界坐标系。相机坐标系和世界坐标系之间的关系可用旋转矩阵r与平移向量t来描述。具体的，在安装好深度相机120后，对深度相机120进行标定得到相机坐标系和世界坐标系的转换关系。根据相机坐标系和世界坐标系的转换关系对第一像素点在相机坐标系下的高度坐标和第二像素点在相机坐标系下的水平坐标进行转换，得到第一像素点在世界坐标系下的高度坐标和第二像素点在世界坐标系下的水平坐标。
111.(3)基于高度坐标和水平坐标确定空间抓取点位置。
112.具体的，将高度坐标和水平坐标确定为述空间抓取点位置的三维坐标。由于第一像素点是轮廓中最高的点，第二像素点是轮廓的正中心，因此，当吸盘131到达空间抓取点位置时，可以从物体的中心吸取物品，避免抓取失败，同时也可以使吸盘131刚好接触物体，即可避免吸盘131挤压货物，又可避免吸盘131距离货物太远造成抓取失败。
113.为了更好实施本技术实施例中机器人空间抓取点的确定方法，在机器人空间抓取点的确定方法基础之上，本技术实施例中还提供一种机器人空间抓取点的确定装置，如图4所示，图4是本技术实施例中提供的机器人空间抓取点的确定装置一个实施例结构示意图，该机器人空间抓取点的确定装置包括：
114.获取单元401，用于获取深度相机从堆垛上方拍摄的堆垛的彩色图像及深度图像；
115.实例分割单元402，用于对彩色图像进行实例分割，得到实例分割图像，其中，实例分割图像包括堆垛顶层每个货物的掩膜；
116.图像形态学处理单元403，用于基于掩膜对实例分割图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓；
117.确定单元404，用于根据轮廓和深度图像确定空间抓取点位置。
118.其中，实例分割单元402，还用于基于深度图像获取彩色图像中每个像素点的深度值；
119.基于每个像素点的深度值从彩色图像中去除深度值大于预设值的像素点，得到第一感兴趣区域图像；
120.对第一感兴趣区域图像进行实例分割，得到实例分割图像。
121.其中，实例分割单元402，还用于按第一预设比例将第一感兴趣区域图像缩小，得到第二感兴趣区域图像；
122.将第二感兴趣区域图像输入至预设的实例分割神经网络进行实例分割，得到实例分割图像。
123.其中，图像形态学处理单元403，还用于按第二预设比例将实例分割图像放大，得到第三感兴趣区域图像，其中，第一预设比例和第二预设比例的乘积为1；
124.对第三感兴趣区域图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓。
125.其中，确定单元404，还用于基于深度图像获取轮廓上深度值最大的第一像素点和轮廓形心对应的第二像素点；
126.获取第一像素点在世界坐标系下的高度坐标和第二像素点在世界坐标系下的水平坐标；
127.基于高度坐标和水平坐标确定空间抓取点位置。
128.本技术实施例还提供一种工控设备，其集成了本技术实施例所提供的任一种机器人空间抓取点的确定装置。如图5所示，其示出了本技术实施例所涉及的工控设备的结构示意图，具体来讲：
129.该工控设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图中示出的工控设备结构并不构成对工控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
130.处理器601是该工控设备的控制中心，利用各种接口和线路连接整个工控设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行工控设备的各种功能和处理数据，从而对工控设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
131.存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据工控设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
132.工控设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
133.该工控设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
134.尽管未示出，工控设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，工控设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
135.获取深度相机从堆垛上方拍摄的堆垛的彩色图像及深度图像；
136.对彩色图像进行实例分割，得到实例分割图像，其中，实例分割图像包括堆垛顶层每个货物的掩膜；
137.基于掩膜对实例分割图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓；
138.根据轮廓和深度图像确定空间抓取点位置。
139.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
140.为此，本技术实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本技术实施例所提供的任一种机器人空间抓取点的确定方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：
141.获取深度相机从堆垛上方拍摄的堆垛的彩色图像及深度图像；
142.对彩色图像进行实例分割，得到实例分割图像，其中，实例分割图像包括堆垛顶层每个货物的掩膜；
143.基于掩膜对实例分割图像进行图像形态学处理，得到堆垛顶层每个货物的轮廓；
144.根据轮廓和深度图像确定空间抓取点位置。
145.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
146.具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
147.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
148.以上对本技术实施例所提供的一种机器人空间抓取点的确定方法及装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。