抓取点信息获取方法、装置、电子设备和存储介质与流程

1.本技术涉及机械手臂或夹具的自动控制、程序控制b25j领域，更具体而言，特别涉及抓取点信息获取方法、装置、电子设备和存储介质。


背景技术：

2.近年来电商、快递等行业快速崛起，为物流行业创造了良好的发展机遇。随着人工智能、机器视觉等技术的成熟，在仓储、搬运、分拣这些物流最基础的部分，自动化设备越来越多，工业机器人代替人工已是大势所趋。而夹具作为工业机器人的重要组成部分，越来越多的被应用于物流行业、分拣、3c行业及食品上料中。
3.目前，机械手臂或夹具的自动控制，需要基于待抓取物品的点云数据。通常的做法是先使用3d相机采集点云数据，再根据点云数据确定机械手臂运动的轨迹点，或者抓取点等信息，之后基于轨迹点或抓取点等信息控制机械手臂执行在适当的位置以适当的轨迹执行抓取操作。机械手臂在立体空间进行操作，其运动轨迹是在长，宽，高三个方向上的立体轨迹，因而轨迹点或者抓取点也应当具有x轴，y轴和z轴三个维度的信息，3d相机采集的点云数据即包括三个维度的信息。然而，在一些工业场景中，很难获得清晰的抓取对象的点云信息，例如在化妆品行业中，使用玻璃，特别是黑色玻璃瓶子，盛放液体。这种玻璃瓶子，自身光信号弱，并且反光材质容易被周围物体的多次反射干扰，而且，玻璃透明，会有很多漫反射和多次反射的数据，很难采集到合适的点云数据。具体地，在这种工业场景下，可能无法获取待抓取物品的点云，也可能采集到的待抓取物品的点云有缺失，或者其它点云不佳的情况，这导致机器人要么识别不出要抓取的物品，要么基于错误的点云计算出错误的抓取点，并使用错误的抓取点执行抓取，导致抓取不到，甚至瓶子掉落。目前现有技术中还没有针对这种点云缺失的工业场景下，基于机器人视觉自动控制机器人执行抓取的方案。


技术实现要素：

4.鉴于上述问题，提出了本发明以便克服上述问题或者至少部分地解决上述问题。具体地，首先，本发明能够在无法获得待抓取物品的点云的情况下，借助彩色图片等其他图像数据，获取待抓取物品的抓取点信息，使得机器人或者夹具能够直接依赖该抓取点信息而无需借助物品的点云即可实现对待抓取物品的抓取，有效解决了点云缺失环境下的物品抓取问题；其次，本发明提出了对掩膜进行校正并求取二维抓取点信息的方法，使得在无法获取准确物品掩膜的情况下，能够对不准确的掩膜进行校正，以尽可能获得准确的掩膜并进一步获得准确的抓取点信息，有效避免了掩膜不准确导致的抓取点不准确，进而导致抓不准或抓取时掉落的问题；第三，本发明提出了一种由机器人自动将输入的二维抓取点信息转换为三维抓取点信息的方法，该方法能够根据待抓取物品的环境特征，自动获取能够将二维抓取点转换为三维抓取点的参考信息，并基于参考信息获取抓取点信息供机器人抓取，该方案使得在抓取点信息缺失的情形下，仍能够基于现有信息补充获得完整的抓取点信息，并且减少了人工干预。
5.本技术权利要求和说明书所披露的所有方案均具有上述一个或多个创新之处，相应地，能够解决上述一个或多个技术问题。具体地，本技术提供一种抓取点信息获取方法、装置、电子设备和存储介质。
6.本技术的实施方式的抓取点信息获取方法，包括：
7.获取待抓取物品的参照物信息；
8.获取待抓取物品的二维抓取点信息；
9.处理所述待抓取物品的参照物信息，获取参考信息，所述参考信息包括所述二维抓取点信息所不具有的信息，并且能够将二维信息转换为三维信息；
10.基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
11.在某些实施方式中，所述参照物信息包括参照物的点云和/或深度图。
12.在某些实施方式中，所述参照物具有合格的点云。
13.在某些实施方式中，所述参照物包括其它待抓取物品和/或料框。
14.在某些实施方式中，所述二维抓取点信息包括抓取点的x轴信息和y轴信息。
15.在某些实施方式中，所述参考信息包括z轴信息。
16.在某些实施方式中，所述基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息，包括预设参考信息调整值，使用所述参考信息调整值调整参考信息后，基于调整后的参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
17.在某些实施方式中，所述抓取点包括物品可抓取区域的中心点。
18.本技术的实施方式的抓取点信息获取装置，包括：
19.参照物信息获取模块，用于获取待抓取物品的参照物信息；
20.二维信息获取模块，用于获取待抓取物品的二维抓取点信息；
21.参考信息获取模块，用于处理所述待抓取物品的参照物信息，获取参考信息，所述参考信息包括所述二维抓取点信息所不具有的信息，并且能够将二维信息转换为三维信息；
22.抓取点信息生成模块，用于基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
23.在某些实施方式中，所述参照物信息包括参照物的点云和/或深度图。
24.在某些实施方式中，所述参照物具有合格的点云。
25.在某些实施方式中，所述参照物包括其它待抓取物品和/或料框。
26.在某些实施方式中，所述二维抓取点信息包括抓取点的x轴信息和y轴信息。
27.在某些实施方式中，所述参考信息包括z轴信息。
28.在某些实施方式中，预设参考信息调整值，所述抓取点信息生成模块，使用所述参考信息调整值调整参考信息后，基于调整后的参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
29.在某些实施方式中，所述抓取点包括物品可抓取区域的中心点。
30.本技术的实施方式的电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方
式的抓取点信息获取方法。
31.本技术的实施方式的计算机可读存储介质其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施方式的抓取点信息获取方法。
32.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
33.本技术的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
34.图1是本技术某些实施方式的在点云欠佳场景下的抓取点信息获取方法的流程示意图；
35.图2是本技术某些实施方式的获取矫正掩膜及抓取点关联信息的方法的流程示意图；
36.图3是本技术某些实施方式的将二维的抓取点信息转换为三维的抓取点信息的方法的流程示意图；
37.图4是本技术某些实施方式的待抓取物品及使用非专用的深度学习网络获取的物品掩膜的示意图；
38.图5是本技术某些实施方式的在点云欠佳场景下的抓取点信息获取装置的结构示意图；
39.图6是本技术某些实施方式的获取矫正掩膜及抓取点关联信息的装置的结构示意图；
40.图7是本技术某些实施方式的将二维的抓取点信息转换为三维的抓取点信息的装置的结构示意图；
41.图8是本技术某些实施方式的电子设备的结构示意图。
具体实施方式
42.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
43.图1示出了根据本发明一个实施例的物品抓取点信息获取方法的流程示意图，如图1所示，该方法包括：
44.步骤s100，获取包含待抓取物品的非点云图像；
45.步骤s110，对所述非点云图像进行处理，以获得所述待抓取物品的掩膜；
46.步骤s120，对待抓取物品的掩膜进行处理，以获取抓取点关联信息，所述抓取点关联信息包括用于计算抓取点信息的信息；
47.步骤s130，基于所述抓取点关联信息，获取用于控制机器人抓取待抓取物品的抓取点信息。
48.对于步骤s100，工业场景中，通常需要使用机器人抓取数量众多的物品，因而待抓
取物品可能有多个，而不止一个。作为一个较佳的实施例，待抓取的物品，可以是一组放置在料框中的黑色的化妆瓶，机器人需要从料框中抓取化妆瓶，并将其搬运至其它位置。由于黑色玻璃自身光信号弱，并且容易被周围物体的多次反射干扰，有很多漫反射和多次反射的数据，这样使用工业相机拍摄时，很可能无法获得点云，难以采集到通常进行机器人控制所需要的3d点云数据。因此本发明的方法特别适合在这样的场景下使用，以借助点云数据之外的图像数据识别待抓取物品，计算出抓取点信息，并控制机器人执行抓取。本实施方式中的非点云图像数据优选地可以是物品的2d彩色图片。与点云不同，2d彩色图能够较为清晰地识别其中所包含的物品，即便该物品是类似黑色透明玻璃瓶这类无法生成点云的物品，也能够清晰地拍摄并识别。可以通过工业相机进行拍摄，将待抓取物品组置于视觉传感器的下方进行拍摄，获取待抓取物品的图像数据。
49.对于步骤s110，可以使用现有的任意方式来计算物品的掩膜。优选地，可以基于深度学习网络来获取物品的掩膜。图像识别是深度学习网络的一种常规的应用，现有技术中已经存在通用的能够执行图像识别的深度学习网络。作为一种具体的实施方式，可以使用现有的用于识别物品或提取物品掩膜的深度学习网络来识别物品并提取掩膜，为了提高识别的精度，可以预先对网络进行训练。将获取的2d彩色图像输入该深度学习网络，通过该深度学习网络处理该彩色图像，识别出欲生成掩膜的图像兴趣区域，在该区域生成图像掩膜，并使用图像掩膜遮掩原图像区域。如此，即可在彩色图像的基础上获取了待抓取物品的掩膜。
50.对于步骤s120，在获取物品的掩膜后，可以在掩膜区域中计算物品的抓取点关联信息。所谓的抓取点关联信息缺少抓取点信息所需要的部分必要的信息，不是完整的抓取点信息，因而不能直接供机器人使用以执行抓取，但是抓取点关联信息能够用于计算抓取点信息。作为一种具体的实施方式，抓取点关联信息可以是抓取点的二维信息，例如x轴，y轴的坐标信息。假设目前所用的控制系统，需要确定抓取点的x轴，y轴，z轴三个维度的信息后，才能控制机器人抓取的位置(根据所使用夹具的不同，实际的工业场景中可能需要更多的信息，例如夹具的旋转角度等)，则在获取二维抓取点信息后，并不能依据该信息执行抓取，还需要在后续的步骤中将二维抓取点信息转换为三维抓取点信息。其中，抓取点的具体位置与所使用的夹具以及待抓取的物品有关，例如，当待抓取物品是黑色的化妆瓶时，可以选择化妆瓶瓶口的中心点作为抓取点。
51.非定制的能够在各种情况下使用并识别物品的深度学习网络，在处理拍摄的照片，识别照片中的物品并提取物品掩膜时，生成的掩膜通常并不会与拍摄的物品严丝合缝的对在一起，有时可能稍稍超过物品的可抓取区域，有时可能略小于物品的可抓取区域，并且掩膜的形状通常与物品可抓取区域不一致。图4示出了待抓取物品以及通过深度学习网络生成的该待抓取物品的典型的掩膜，具体地，图4示出的是待抓取物品为上述化妆瓶的场景，其中的圆形部分是待抓取玻璃瓶的瓶口区域，即机械臂的抓取区域。阴影部分是通过通用的深度学习网络提取的掩膜，可以看出在这种情形下，物品的掩膜不准确，由此计算出的抓取点自然也不准确，不准确的抓取点则可能导致抓不到瓶子或者抓取时瓶子掉落等问题。一种解决方法是设计专用于此场景下的深度学习网络，并通过反复训练以提高将图像输入网络后，处理结果的准确性，如此将图像输入该深度学习网络后就能得到准确的掩膜和抓取点，但是该方案成本较高，并且专用于特定场景，灵活性不高。另一种解决方法是对
不准确的掩膜进行处理，从处理后的掩膜中获取抓取点信息。
52.本发明优选使用后一种解决方案，具体地，申请人开发了一种成本较低，且较为通用的掩膜矫正及抓取点获取方法，这也是本发明的重点之一。
53.图2示出了根据本发明一个实施例的用于掩膜矫正及抓取点关联信息获取的图像数据处理方法的流程示意图。如图2所示，方法包括：
54.步骤s200，接收包含待处理物品的图像数据；
55.步骤s210，从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；
56.步骤s220，对生成的待处理物品的掩膜进行形态学处理；
57.步骤s230，对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息。
58.对于步骤s200，本实施例不限定图像数据的类型，任何类型的图像数据，只要能够经由现有的深度学习算法识别其中包含的物品并生成掩膜，均可适用于本实施方式中。优选地，本实施例可以采用与步骤s100类似的方法获取图像数据，所述图像数据可以为2d彩色图。
59.对于步骤s210，可以采用与步骤s120类似的方式识别并生成待处理物品的掩膜。
60.对于步骤s220，如图4所示，以一般的深度学习网络获取的物品掩膜，掩膜区域通常不能完美贴合物体轮廓(图4中的抓取区域是瓶口所在区域，不难看出掩膜与实际的瓶口差距较大)，呈现歪歪斜斜的状态，内部也可能存在很多孔洞，这对于一般的物品识别应用来说，影响并不大，但是本发明应用于抓取物品的工业场景中，精度要求较高，这样的误差是不可容忍的。因此需要对获取的掩膜进行处理。首先要进行的是形态学的处理，改变掩膜区域的图形形态。在一种实施方式中，形态学处理可以为膨胀处理。在获取二维图像信息后，对图像执行膨胀处理，以填补图像的缺失、不规则等缺陷。例如，对于掩膜上的每一个像素点，可以把该点周围一定数量的点，例如8-25个点，设为与该点颜色相同。该步骤相当于把每个像素点的周围都进行填充，因此假如物品掩膜存在缺失，该操作会将缺失部分全部填充，如此处理之后，物品掩膜就会变得完整，不存在缺失，同时掩膜整体上也会因为膨胀而略为变“胖”，适当的膨胀有助于后续进一步的图像处理操作。
61.对于步骤s230，作为一个示例，本发明披露了三种处理方式，以获得物品的矫正掩膜并求取抓取点关联信息。
62.第一种处理方式包括：
63.步骤s240，获取经膨胀处理后的掩膜的外接矩形；
64.步骤s241，基于所述掩膜的外接矩形，生成该外接矩形的内接圆；
65.步骤s242，基于所述内接圆获取待处理物品的矫正掩膜和/或抓取点关联信息。
66.对于步骤s240，可以使用任意的外接矩形算法对掩膜求取外接矩形，作为一种具体的实施方式，可以计算掩膜中每个像素点的x坐标值和y坐标值，分别选取最小的x值，最小的y值，最大的x值以及最大的y值；接着，将4个值组合为点的坐标，即最小的x值和最小的y值组成坐标(x
min
,y
min
)，最大的x值和y值组成坐标(x
max
,y
max
)，最小的x值和最大的y值组成坐标(x
min
,y
max
)，以及最大的x值和最小的y值组成坐标(x
max
,y
min
)。以点(x
min
,y
min
)，(x
max
,y
max
)，(x
min
,y
max
)，(x
max
,y
min
)分别作为外接矩形的4个角点并连线后，即获得了该外接矩形。
67.对于步骤s241，本发明的关键在于将内接圆算法作为计算矫正掩膜以及抓取点信
息的一环，不对内接圆算法做任何改进，因而不限定具体的内接圆算法，任意的内接圆算法都可以用来本发明中。
68.对于步骤s242，在获取内接圆后，可以计算内接圆所围住的掩膜部分，将这部分掩膜作为待处理物品的矫正掩膜。获取的矫正掩膜的轮廓与内接圆形状和大小相同，在内接圆矫正掩膜上计算其圆心的位置并获取圆心的信息，该圆心的信息作为抓取点关联信息。具体地，可以将圆心的二维位置信息，例如，圆心的x轴和y轴信息，作为抓取点的x轴位置信息和y轴位置信息。
69.以此方式获取的矫正掩膜，掩膜形状已与瓶口形状保持一致，但是覆盖区域可能仍与瓶口的实际区域有差异。
70.第二种处理方式包括：
71.步骤s250，使用圆检测算法对经膨胀处理后的掩膜进行处理；
72.步骤s251，基于圆检测算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
73.对于步骤s250，圆检测算法也叫找圆算法，可以用于在不规则图形中检测圆形特征，并找出图形中包含的圆形。常用的算法包括圆霍夫变换算法，随机霍夫变换算法，随机圆检测算法等。本实施例的重点在于使用圆检测算法从经形态学处理后的掩膜中寻找圆形，而并不限定具体使用何种圆检测算法。由于瓶口本身为圆形，且采集的掩膜中包含了该瓶口形状的部分特征，因而在掩膜区域中找到的圆形，大致就是瓶口的位置。
74.对于步骤s251，通过圆检测算法找到掩膜中的圆形后，即可将该圆形所围住的掩膜部分，作为待处理物品的矫正掩膜。接着计算其圆心，将该圆心的信息作为抓取点关联信息。与方式一类似，抓取点关联信息可以是圆心的二维位置信息，将该信息作为抓取点的x轴位置信息和y轴位置信息。
75.第二种方式不需要计算原本不存在的外接矩形和内接圆，仅需要从已经存在的掩膜区域中寻找圆形部分，这样计算的精度要比第一种方式高一些。
76.第三种处理方式包括：
77.步骤s260，基于预先保存的待处理物品的模板，使用模板匹配算法对经膨胀处理后的掩膜进行处理；
78.步骤s261，基于模板匹配算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
79.对于步骤s260，所述待处理物品的模板可以是待处理物品整体的模板，也可以是待处理物品的抓取区域的模板，例如，在待抓取的物品是黑色玻璃化妆瓶，而夹具需要抓取化妆瓶的瓶口这样的场景下，待处理物品的模板可以是为整个黑色玻璃化妆瓶建立三维的模板，或者仅为瓶口可抓取区域建立模板。在获得了未经矫正的掩膜区域后，基于预存的模板，使用匹配算法将模板在掩膜区域内进行匹配。简单来说，模板相当于一副已知的小图像，而模板匹配算法则相当于在一副包括小图像的大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像元素，通过该模板匹配算法可以在图中找到目标，即小图像，并确定其位姿。本实施例对具体的匹配算法不做限制，由于掩膜本身会损失颜色信息，因此重点是形状上的匹配而非颜色上的匹配，因此本发明优选使用基于形状的匹配算法进行匹配。此外，综合考虑匹配的效率和准确度，在进行模板匹配时，形状
相似度达到70-95％时即可认为匹配成功。具体选取哪个数值，可以根据实际应用场景的需要选取及调整。
80.对于步骤s261，从掩膜中找到与预存的模板相匹配的形状后，即可将该形状围成的掩膜作为矫正掩膜，并进一步计算抓取点关联信息。由于采用了模板，因此无论待抓取区域内，待抓取物品以怎样的形状呈现，都可以匹配到该物品并抓取，并不限于待抓取物品的抓取区域为圆形的这种场景。相应地，在抓取不同的物品时，抓取点的位置也不同。在一个实施例中，抓取点可以为待抓取物品的矫正掩膜的中心点，抓取点关联信息可以为该中心点的二维位置信息，即抓取点的x轴位置信息和y轴位置信息。
81.在工程实践中，发明人发现第三种方法在无论从精度上考虑，还是从运算速度上考虑，均能达到较高的标准，是本发明三种实现方式中最优的，并且前两种方法实际上仅适用于待抓取区域为圆形的工业场景，而第三种方式可以用于任意物品的抓取，因此第三种实现方式也是本发明的重点之一。
82.在步骤s130中，如前所述，抓取点关联信息缺少抓取点信息所需要的部分必要的信息，不是完整的抓取点信息，因而不能直接供机器人使用以执行抓取，但是抓取点关联信息能够用于计算抓取点信息。在一个实施方式中，抓取点关联信息可以是抓取点的二维信息，而机器人需要的抓取点信息是三维信息，为了供机器人使用，应当将二维的抓取点关联信息变化为三维的信息，从而基于三维信息来抓取待抓取物品。在无法直接获得抓取点三维数据的情况下，为了将二维数据转换为三维数据，一种方法是人工输入待抓取物品的第三维的数据。例如，待抓取物品是无法获得三维抓取点信息的黑色玻璃化妆瓶时，可以通过人工录入的方式预先输入具体的高度信息。如此，在通过前述方案对二维图像处理后并获得抓取点的二维信息后，可以进一步基于高度信息，将二维的抓取点信息转换为三维的抓取点信息以供机器人使用。这种方式需要在抓取前，人工输入高度信息，然而很多基于机器人的应用场景，本身就是希望减少人工参与的场景，并且以人工输入高度信息的方式，装瓶子的料框必须总是在同一个位置上，如果料框放在不同的位置，则高度信息会变化，需要重新输入高度信息，否则无法正确抓取。因而希望能够采用更为自动化的方式处理。
83.为了实现这种自动化的处理方式，申请人提出了一种无须人工干预的将二维抓取点信息转换为三维抓取点信息的方法并且在，这也是本发明的重点之一。
84.图3示出了根据本发明一个实施例的将二维抓取点信息转换为三维抓取点信息的方法的流程示意图。如图3所示，方法包括：
85.步骤s300，获取待抓取物品的参照物信息；
86.步骤s310，获取待抓取物品的二维抓取点信息；
87.步骤s320，处理所述待抓取物品的参照物信息，获取参考信息，所述参考信息包括所述二维抓取点信息所不具有的信息，并且能够将二维信息转换为三维信息；
88.步骤s330，基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
89.对于步骤s300，本发明运用于待抓取物品点云情况不佳的场景，因此参照物应当是具有合格点云的物品，本发明中合格的点云是指能够通过该点云能够获得物品的二维抓取点信息所缺失的维度的信息，例如，在能够获得抓取点的x轴信息和y轴信息的情况下，具有可识别的z轴信息的物品即可以作为参照物。参照物可以是距离待抓取物品较近的物品，
也可以是与待抓取物品放在一起的其它同类待抓取物品。具体地，对于将大量待抓取物品，例如化妆瓶，放置在物料框中的工业场景，由于框的点云通常是完整的，并且只要整个框没有强烈的形变，其在各个位置的高度是一致的，即，在各个位置，物料框的高度与待抓取物品高度相同或者与待抓取物品具有固定的高度差，因此适合作为参照物。因此，当在此场景下无法获取待抓取物品的点云时，可以采集物品2d彩色图像数据以及识别框的点云数据进行后续的步骤。在其它的实施方式中，使用相机进行拍摄时，由于多个待抓取物品处于不同位置，因此在某一个位置拍摄得到的整体的点云数据中，每个待抓取物品的点云质量是有差异的。具体地说，可能无法获得部分待抓取物品的合适的点云数据，但是可以获得另外一些待抓取物品的合适的点云数据。在此情形下，可以选取其中点云较好的待抓取物品作为其它待抓取物品的参照物。
90.可以通过3d工业相机获取点云信息，3d工业相机一般装配有两个镜头，分别从不同的角度捕捉待抓取物品组，经过处理后能够实现物体的三维图像的展示。将待抓取物品组置于视觉传感器的下方，两个镜头同时拍摄，根据所得到的两个图像的相对姿态参数，使用通用的双目立体视觉算法计算出待填充物体的各点的x、y、z坐标值及各点的坐标朝向，进而转变为待抓取物品组的点云数据。具体实施时，也可以使用激光探测器、led等可见光探测器、红外探测器以及雷达探测器等元件生成点云，本发明对具体实现方式不作限定。
91.作为一个示例，也可以沿垂直于物品的深度方向获取与三维物品区域相对应的二维彩色图以及对应于二维彩色图的深度图。其中，二维彩色图对应于与预设深度方向垂直的平面区域的图像；对应于二维彩色图的深度图中的各个像素点与二维彩色图中的各个像素点一一对应，且各个像素点的取值为该像素点的深度值。在一个实施方式中，获取的参照物信息可以是参照物的点云或者参照物的深度图。
92.对于步骤s310，本实施例需要获取二维抓取点信息，但是重点并不在于获取方法，因而也不限定获取该信息的具体方法。优选地，可以使用前述任一实施例中的获取抓取点关联信息的方法来获取二维抓取点信息。
93.对于步骤s320，以多个待抓取的黑色玻璃化妆瓶排列放置在物料框中这样的工业场景为例，在得到物品组整体的点云之后，可以进一步识别所获取的整体点云之中，较为清晰的参照物的点云，例如，可以从整体点云中，识别出物料框的点云或者某些点云较为清晰的瓶口的点云。之后对识别出的点云进行处理，以提取其中的高度信息作为参考信息。虽然本实施例中以二维抓取点信息缺少的信息是高度信息为例，然而本领域技术人员能够理解，在缺少的信息非高度信息时，参考信息也可以不是高度信息。
94.对于步骤s330，如果使用的是瓶口的点云，因为物料框中的瓶子种类相同，因此该点云的高度与所有瓶子的瓶口高度相同，在获得瓶口的高度信息后，将其与二维的抓取点信息向结合，获得三维的抓取点信息，之后夹具就可以基于该三维的抓取点信息执行抓取。如果使用的是物料框的点云，则通过点云获取的高度可能与瓶子相同，也可能与瓶子不同。如果高度不同，则可以根据两者的高度差预设一调整值。在获取物料框的高度信息，以及二维的抓取点信息后，可以结合该调整值确定三维的抓取点信息。例如，如果框的高度是10cm，调整值为-2cm，则可以计算获得瓶口高度为10-2＝8cm，之后与抓取点的x轴和y轴信息结合后，获得三维的抓取点信息。
95.在上述实施例中出现的机器人或者夹具，可以包括各类通用夹具，通用夹具是指
结构已经标准化，且有较大适用范围的夹具，例如，车床用的三爪卡盘和四爪卡盘，铣床用的平口钳及分度头等。又如，按夹具所用夹紧动力源，可将夹具分为手动夹紧夹具、气动夹紧夹具、液压夹紧夹具、气液联动夹紧夹具、电磁夹具、真空夹具等，或者其它能够拾取物品的仿生器械。本发明不限定夹具的具体类型，只要能够实现物品抓取操作即可。
96.另外，需要说明的是，虽然本发明的每个实施例都具有特定的特征组合，然而，这些特征在实施例之间的进一步组合和交叉组合也是可行的。
97.根据上述实施例，首先，本发明能够在无法获得待抓取物品的点云的情况下，借助彩色图片等其他图像数据，获取待抓取物品的抓取点信息，使得机器人或者夹具能够直接依赖该抓取点信息而无需借助物品的点云即可实现对待抓取物品的抓取，有效解决了点云缺失环境下的物品抓取问题；其次，本发明提出了三种对掩膜进行校正并求取二维抓取点信息的方法，使得在无法获取准确物品掩膜的情况下，能够对不准确的掩膜进行校正，以尽可能获得准确的掩膜并获取抓取点信息，有效避免了掩膜不准确导致的抓取点不准确，进而导致抓不准或抓取时掉落的问题；第三，本发明提出了一种由机器人自动将输入的二维抓取点信息转换为三维抓取点信息的方法，该方法能够根据待抓取物品的环境特征，自动获取能够将二维抓取点转换为三维抓取点的参考信息，并基于参考信息获取抓取点信息供机器人抓取，该方案使得在抓取点信息缺失的情形下，仍能够基于现有信息补充获得完整的抓取点信息，并且减少了人工干预。
98.图5示出了根据本发明又一个实施例的抓取点信息获取装置，该装置包括：
99.图像获取模块400，用于获取包含待抓取物品的非点云图像，即用于实现步骤s100；
100.掩膜生成模块410，用于对所述非点云图像进行处理，以获得所述待抓取物品的掩膜，即用于实现步骤s110；
101.掩膜处理模块420，用于对待抓取物品的掩膜进行处理，以获取抓取点关联信息，即用于实现步骤s120；
102.抓取点信息生成模块430，用于基于所述抓取点关联信息，获取用于控制机器人抓取待抓取物品的抓取点信息，即用于实现步骤s130。
103.图6示出了根据本发明又一个实施例的图像数据处理装置，该装置包括：
104.图像数据接收模块500，用于接收包含待处理物品的图像数据，即用于实现步骤s200；
105.掩膜生成模块510，用于从图像数据中识别待处理物品，并生成所述待处理物品的掩膜，即用于实现步骤s210；
106.掩膜处理模块520，用于对生成的待处理物品的掩膜进行形态学处理，即用于实现步骤s220；
107.处理模块530，用于对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，即用于实现步骤s230。
108.图7示出了根据本发明又一个实施例的抓取点信息获取装置，该装置包括：
109.参照物信息获取模块600，用于获取待抓取物品的参照物信息，即用于实现步骤s300；
110.二维信息获取模块610，用于获取待抓取物品的二维抓取点信息，即用于实现步骤
s310；
111.参考信息获取模块620，用于处理所述待抓取物品的参照物信息，获取参考信息，所述参考信息包括所述二维抓取点信息所不具有的信息，并且能够将二维信息转换为三维信息，即用于实现步骤s320；
112.抓取点信息生成模块630，用于基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息，即用于实现步骤s330。
113.上述图5-图7所示的装置实施例中，仅描述了模块的主要功能，各个模块的全部功能与方法实施例中相应步骤相对应，各个模块的工作原理同样可以参照方法实施例中相应步骤的描述，此处不再赘述。另外，虽然上述实施例中限定了功能模块的功能与方法的对应关系，然而本领域技术人员能够理解，功能模块的功能并不局限于上述对应关系，即特定的功能模块还能够实现其他方法步骤或方法步骤的一部分。例如，上述实施例描述了抓取点信息生成模块630用于实现步骤s330的方法，然而根据实际情况的需要，抓取点信息生成模块630也可以用于实现步骤s300、s310或s320的方法或方法的一部分。
114.本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施方式的方法。需要指出的是，本技术实施方式的计算机可读存储介质存储的计算机程序可以被电子设备的处理器执行，此外，计算机可读存储介质可以是内置在电子设备中的存储介质，也可以是能够插拔地插接在电子设备的存储介质，因此，本技术实施方式的计算机可读存储介质具有较高的灵活性和可靠性。
115.图8示出了根据本发明实施例的一种电子设备的结构示意图，电子设备可以是汽车中配置的控制系统/电子系统、移动终端(例如，智能移动电话等)、个人计算机(pc，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等，本发明具体实施例并不对电子设备的具体实现做限定。
116.如图8所示，该电子设备可以包括：处理器(processor)1202、通信接口(communications interface)1204、存储器(memory)1206、以及通信总线1208。
117.其中：
118.处理器1202、通信接口1204、以及存储器1206通过通信总线1208完成相互间的通信。
119.通信接口1204，用于与其它设备比如客户端或其它服务器等的网元通信。
120.处理器1202，用于执行程序1210，具体可以执行上述方法实施例中的相关步骤。
121.具体地，程序1210可以包括程序代码，该程序代码包括计算机操作指令。
122.处理器1202可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
123.存储器1206，用于存放程序1210。存储器1206可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
124.程序1210可以通过通信接口1204从网络上被下载及安装，和/或从可拆卸介质被安装。在该程序被处理器1202执行时，可以使得处理器1202执行上述方法实施例中的各项操作。概括地说，本发明的发明内容包括：
125.一种抓取点信息获取方法，包括：
126.获取包含待抓取物品的非点云图像；
127.对所述非点云图像进行处理，以获得所述待抓取物品的掩膜；
128.对待抓取物品的掩膜进行处理，以获取抓取点关联信息；
129.基于所述抓取点关联信息，获取用于控制机器人抓取待抓取物品的抓取点信息。
130.可选的，所述非点云图像包括彩色图像。
131.可选的，所述对所述非点云图像进行处理包括，基于深度学习对所述非点云图像进行处理。
132.可选的，所述基于深度学习对所述非点云图像进行处理，包括预先构建深度学习网络，将非点云图像输入深度学习网络进行处理。
133.可选的，所述对待抓取物品的掩膜进行处理，包括对待抓取物品的掩膜进行形态学的处理。
134.可选的，所述抓取点关联信息包括抓取点的二维信息。
135.可选的，所述抓取点包括物品可抓取区域的中心点。
136.可选的，所述抓取点信息包括抓取点的三维信息。
137.可选的，所述基于所述抓取点关联信息，获取用于控制机器人抓取待抓取物品的抓取点信息，包括预先设置抓取点关联信息缺失的维度信息，基于所述抓取点关联信息以及所述预先设置的抓取点关联信息缺失的维度信息，获取用于控制机器人抓取待抓取物品的抓取点信息。
138.一种抓取点信息获取装置，包括：
139.图像获取模块，用于获取包含待抓取物品的非点云图像；
140.掩膜生成模块，用于对所述非点云图像进行处理，以获得所述待抓取物品的掩膜；
141.掩膜处理模块，用于对待抓取物品的掩膜进行处理，以获取抓取点关联信息；
142.抓取点信息生成模块，用于基于所述抓取点关联信息，获取用于控制机器人抓取待抓取物品的抓取点信息。
143.可选的，所述非点云图像包括彩色图像。
144.可选的，所述掩膜生成模块基于深度学习对所述非点云图像进行处理。
145.可选的，预先构建深度学习网络，所述掩膜生成模块将非点云图像输入深度学习网络进行处理。
146.可选的，所述掩膜处理模块对待抓取物品的掩膜进行形态学的处理。
147.可选的，所述抓取点关联信息包括抓取点的二维信息。
148.可选的，所述抓取点包括物品可抓取区域的中心点。
149.可选的，所述抓取点信息包括抓取点的三维信息。
150.可选的，预先设置抓取点关联信息缺失的维度信息，抓取点信息生成模块基于所述抓取点关联信息以及所述预先设置的抓取点关联信息缺失的维度信息，获取用于控制机器人抓取待抓取物品的抓取点信息。
151.一种抓取点信息获取方法，包括：
152.获取待抓取物品的参照物信息；
153.获取待抓取物品的二维抓取点信息；
154.处理所述待抓取物品的参照物信息，获取参考信息，所述参考信息包括所述二维抓取点信息所不具有的信息，并且能够将二维信息转换为三维信息；
155.基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
156.可选的，所述参照物信息包括参照物的点云和/或深度图。
157.可选的，所述参照物具有合格的点云。
158.可选的，所述参照物包括其它待抓取物品和/或料框。
159.可选的，所述二维抓取点信息包括抓取点的x轴信息和y轴信息。
160.可选的，所述参考信息包括z轴信息。
161.可选的，所述基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息，包括预设参考信息调整值，使用所述参考信息调整值调整参考信息后，基于调整后的参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
162.可选的，所述抓取点包括物品可抓取区域的中心点。
163.一种抓取点信息获取装置，包括：
164.参照物信息获取模块，用于获取待抓取物品的参照物信息；
165.二维信息获取模块，用于获取待抓取物品的二维抓取点信息；
166.参考信息获取模块，用于处理所述待抓取物品的参照物信息，获取参考信息，所述参考信息包括所述二维抓取点信息所不具有的信息，并且能够将二维信息转换为三维信息；
167.抓取点信息生成模块，用于基于所述参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
168.可选的，所述参照物信息包括参照物的点云和/或深度图。
169.可选的，所述参照物具有合格的点云。
170.可选的，所述参照物包括其它待抓取物品和/或料框。
171.可选的，所述二维抓取点信息包括抓取点的x轴信息和y轴信息。
172.可选的，所述参考信息包括z轴信息。
173.可选的，预设参考信息调整值，所述抓取点信息生成模块，使用所述参考信息调整值调整参考信息后，基于调整后的参考信息以及所述待抓取物品的二维抓取点信息生成待抓取物品的三维抓取点信息。
174.可选的，所述抓取点包括物品可抓取区域的中心点。
175.一种图像数据处理方法，包括：
176.接收包含待处理物品的图像数据；
177.从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；
178.对生成的待处理物品的掩膜进行形态学处理；
179.对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息。
180.可选的，所述形态学处理包括形态学的膨胀处理。
181.可选的，所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫
正掩膜和/或抓取点关联信息，包括：
182.获取经膨胀处理后的掩膜的外接矩形；
183.基于所述掩膜的外接矩形，生成该外接矩形的内接圆；
184.基于所述内接圆获取待处理物品的矫正掩膜和/或抓取点关联信息。
185.可选的，所述获取经膨胀处理后的掩膜的外接矩形，包括：基于经膨胀处理后的掩膜，生成外接矩形的4个角点，之后基于所述角点生成外接矩形。
186.可选的，所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：
187.使用圆检测算法对经膨胀处理后的掩膜进行处理；
188.基于圆检测算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
189.可选的，所述圆检测算法包括：圆霍夫变换算法、随机霍夫变换算法和/或随机圆检测算法。
190.可选的，所述对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息，包括：
191.基于预先保存的待处理物品的模板，使用模板匹配算法对经膨胀处理后的掩膜进行处理；
192.基于模板匹配算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
193.可选的，所述匹配算法包括基于形状的匹配算法。
194.可选的，所述从图像数据中识别待处理物品，并生成所述待处理物品的掩膜，包括：基于深度学习对所述图像数据进行处理以识别待处理物品，并生成所述待处理物品的掩膜。
195.一种图像数据处理装置，包括：
196.图像数据接收模块，用于接收包含待处理物品的图像数据；
197.掩膜生成模块，用于从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；
198.掩膜处理模块，用于对生成的待处理物品的掩膜进行形态学处理；
199.处理模块，用于对经形态学处理后的掩膜进行进一步处理，以获取待处理物品的矫正掩膜和/或抓取点关联信息。
200.可选的，所述形态学处理包括形态学的膨胀处理。
201.可选的，所述处理模块具体用于：
202.获取经膨胀处理后的掩膜的外接矩形；
203.基于所述掩膜的外接矩形，生成该外接矩形的内接圆；
204.基于所述内接圆获取待处理物品的矫正掩膜和/或抓取点关联信息。
205.可选的，所述获取经膨胀处理后的掩膜的外接矩形，包括：基于经膨胀处理后的掩膜，生成外接矩形的4个角点，之后基于所述角点生成外接矩形。
206.可选的，所述处理模块具体用于：
207.使用圆检测算法对经膨胀处理后的掩膜进行处理；
208.基于圆检测算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
209.可选的，所述圆检测算法包括：圆霍夫变换算法、随机霍夫变换算法和/或随机圆检测算法。
210.可选的，所述处理模块具体用于：
211.基于预先保存的待处理物品的模板，使用模板匹配算法对经膨胀处理后的掩膜进行处理；
212.基于模板匹配算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
213.可选的，所述匹配算法包括基于形状的匹配算法。
214.可选的，所述从图像数据中识别待处理物品，并生成所述待处理物品的掩膜，包括：基于深度学习对所述图像数据进行处理以识别待处理物品，并生成所述待处理物品的掩膜。
215.一种图像数据处理方法，包括：
216.接收包含待处理物品的图像数据；
217.从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；
218.对生成的待处理物品的掩膜进行形态学处理；
219.基于预先保存的待处理物品的模板，使用模板匹配算法对经形态学处理后的掩膜进行处理；
220.基于模板匹配算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
221.可选的，所述形态学处理包括形态学的膨胀处理。
222.可选的，所述匹配算法包括基于形状的匹配算法。
223.可选的，所述抓取点包括物品可抓取区域的中心点。
224.可选的，所述从图像数据中识别待处理物品，并生成所述待处理物品的掩膜，包括：基于深度学习对所述图像数据进行处理以识别待处理物品，并生成所述待处理物品的掩膜。
225.可选的，所述抓取点关联信息包括抓取点的二维信息。
226.一种图像数据处理装置，包括：
227.图像数据接收模块，用于接收包含待处理物品的图像数据；
228.掩膜生成模块，用于从图像数据中识别待处理物品，并生成所述待处理物品的掩膜；
229.掩膜处理模块，用于对生成的待处理物品的掩膜进行形态学处理；
230.处理模块，用于基于预先保存的待处理物品的模板，使用模板匹配算法对经形态学处理后的掩膜进行处理，并基于模板匹配算法的处理结果获取待处理物品的矫正掩膜和/或抓取点关联信息。
231.可选的，所述形态学处理包括形态学的膨胀处理。
232.可选的，所述匹配算法包括基于形状的匹配算法。
233.可选的，所述抓取点包括物品可抓取区域的中心点。
234.可选的，所述从图像数据中识别待处理物品，并生成所述待处理物品的掩膜，包括：基于深度学习对所述图像数据进行处理以识别待处理物品，并生成所述待处理物品的
掩膜。
235.可选的，所述抓取点关联信息包括抓取点的二维信息。
236.在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
237.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
238.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
239.处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
240.应当理解，本技术的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
241.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
242.此外，在本技术的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
243.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
244.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施方式进行变化、修改、替换和变型。