用于抓取生成的像素级预测的制作方法

技术特征：
1.用于抓取生成的数据处理装置，其特征在于，所述数据处理装置被配置为：获取包括深度数据的图像数据，所述图像数据代表由摄像头捕获的目标物图像；将所述图像数据提供给包括神经网络的抓取模型，所述神经网络通过训练以基于可抓取目标物的图像来独立地预测与抓取操作相关的复数个结果；获取与所述复数个结果相对应的复数个像素级预测，每个像素级预测代表和与所述抓取操作相关的所述复数个结果中的给定结果相对应的像素级概率值；聚合所述复数个像素级预测以获取像素级聚合预测；和输出所述像素级聚合预测以从中选择一个或一个以上像素，并在所述一个或一个以上像素基础上生成一个或一个以上抓取位姿来抓取所述目标物。2.根据权利要求1所述的数据处理装置，其特征在于，所述数据处理装置被配置为实施所述抓取模型。3.根据权利要求1或2所述的数据处理装置，其特征在于，与所述抓取操作相关的所述复数个结果包括两个或两个以上下述结果：成功抓取所述目标物；成功扫描所述目标物；成功放置所述目标物；随后成功抓取另一目标物；避免用所述目标物抓取另一目标物；和避免停止所述抓取操作。4.用于机器人的抓取控制系统，所述抓取控制系统包括前述任一权利要求所述的数据处理装置，其特征在于，所述抓取控制系统被配置为：获取所述像素级聚合预测以及一张或一张以上像素级启发式图，每张像素级启发式图代表与给定启发式相对应的像素级启发式值；和将所述像素级聚合预测和所述一张或一张以上像素级启发式图组合，以获取组合像素级图。5. 根据权利要求4所述的抓取控制系统，其特征在于，所述抓取控制系统包括位姿生成器，所述位姿生成器被配置为：获取与采样自所述组合像素级图的一个或一个以上像素相对应的一个或一个以上抓取位置；和基于所述一个或一个以上一个或一个以上抓取位置确定一个或一个以上抓取位姿。6. 用于机器人的抓取控制系统，其特征在于，所述抓取控制系统包括权利要求1至3中任一项所述的数据处理装置以及位姿生成器，所述位姿生成器被配置为：基于所述像素级预测中一个或一个以上对应概率值，获取与选自所述像素级聚合预测的一个或一个以上像素相对应的一个或一个以上抓取位置；和基于所述一个或一个以上一个或一个以上抓取位置确定一个或一个以上抓取位姿。7.根据权利要求5或6所述的抓取控制系统，其特征在于，所述抓取控制系统包括控制器，所述控制器被配置为从所述位姿生成器获取所述一个或一个以上抓取位姿，并基于所述一个或一个以上抓取位姿控制机械臂来抓取所述目标物。8.机器人，其特征在于，所述机器人包括根据权利要求7所述的抓取控制系统以及所述
机械臂。9.根据权利要求8所述的机器人，其特征在于，所述机械臂包括用于抓取所述目标物的末端执行器，所述末端执行器包括以下装置中至少一种：爪夹持器、指夹持器、磁或电磁夹持器、伯努利夹持器、真空吸盘、静电夹持器、范德华夹持器、毛细管夹持器、低温夹持器、超声波夹持器或激光夹持器。10.一种计算机实施方法，其特征在于，所述计算机实施方法包括：获取包括深度数据的图像数据，所述图像数据代表由摄像头捕获的目标物图像；将所述图像数据提供给包括神经网络的抓取模型，所述神经网络通过训练以基于可抓取目标物的图像独立地预测与抓取操作相关的复数个结果；获取与所述复数个结果相对应的复数个像素级预测，每个像素级预测代表和与所述抓取操作相关的所述复数个结果中的给定结果相对应的像素级概率值；聚合所述复数个像素级预测以获取像素级聚合预测；和输出所述像素级聚合预测以从中选择一个或一个以上像素，并在所述一个或一个以上像素基础上生成一个或一个以上抓取位姿来抓取所述目标物。11.根据权利要求10所述的计算机实施方法，其特征在于，与所述抓取操作相关的所述复数个结果包括两个或两个以上下述结果：成功抓取所述目标物；成功扫描所述目标物；成功放置所述目标物；随后成功抓取另一目标物；避免用所述目标物抓取另一目标物；和避免停止所述抓取操作。12. 根据权利要求10或11所述的计算机实施方法，其特征在于，所述计算机实施方法包括：处理所述图像数据，使用包括所述神经网络的所述抓取模型独立地预测所述复数个结果；和生成与所述复数个结果相对应的所述复数个像素级预测。13.根据权利要求10至12中任一项所述的计算机实施方法，其特征在于，所述神经网络基于历史抓取数据或模拟抓取数据中的至少一种进行训练。14.根据权利要求10至13中任一项所述的计算机实施方法，其特征在于，所述计算机实施方法包括基于从抓取其他目标物中获取的进一步抓取数据更新所述抓取模型。15.根据权利要求14所述的计算机实施方法，包括基于所述进一步抓取数据再次训练所述神经网络。16. 根据权利要求10至15中任一项所述的计算机实施方法，其特征在于，所述计算机实施方法包括：基于所述像素级预测中一个或一个以上对应概率值，从所述像素级聚合预测中选择选定所述一个或一个以上像素；和基于选定的一个或一个以上像素，输出一个或一个以上抓取位置用于机器人抓取所述目标物。
17. 根据权利要求16所述的计算机实施方法，其特征在于，所述计算机实施方法包括：基于所述一个或一个以上一个或一个以上抓取位置确定一个或一个以上抓取位姿；和将所述一个或一个以上抓取位姿输出给所述机器人，以实施所述一个或一个以上抓取位姿来抓取所述目标物。18. 根据权利要求10至15中任一项所述的计算机实施方法，其特征在于，所述计算机实施方法包括：获取所述像素级聚合预测以及一张或一张以上像素级启发式图，其中每张像素级启发式图代表与给定启发式相对应的像素级启发式值；和将所述像素级聚合预测和所述一张或一张以上像素级启发式图组合，以获取组合像素级图。19. 根据权利要求18所述的计算机实施方法，其特征在于，所述计算机实施方法包括：通过从所述组合像素级图采样一个或一个以上对应像素来获取一个或一个以上抓取位置；和基于所述一个或一个以上抓取位置确定一个或一个以上抓取位姿。20.根据权利要求10至19中任一项所述的计算机实施方法，其特征在于，所述方法包括应用强化学习模型，所述强化学习模型使用与所述复数个结果相对应的所述复数个像素级预测作为特征输入。21.根据权利要求20所述的计算机实施方法，其特征在于，应用所述强化学习模型包括对应于与所述复数个像素级预测中相应的像素级预测来调整一个或一个以上权重。22.根据权利要求10至21中任一项所述的计算机实施方法，其特征在于，所述神经网络包括全卷积神经网络。23.计算机系统，其特征在于，所述计算机系统包括一个或一个以上处理器以及存储可执行指令的计算机可读内存，由于可执行指令被所述一个或一个以上处理器执行使得所述计算机系统能够运行权利要求10至22中任一项所述的方法。24.机器可读介质，其特征在于，所述机器可读介质上存储了指令集，如果所述指令集被一个或一个以上处理器执行就会使得所述一个或一个以上处理器运行权利要求10至22中任一项所述的方法。

技术总结
本发明提供一种用于抓取生成的装置和方法，其涉及：获取包括深度数据的图像数据，该图像数据代表由摄像头捕获的目标物图像；将所述图像数据提供给包括神经网络的抓取模型，该神经网络通过训练以基于可抓取目标物的图像来独立地预测与抓取操作相关的复数个结果；获取与所述复数个结果相对应的复数个像素级预测，每个像素级预测代表和与所述抓取操作相关的所述复数个结果中的给定结果相对应的像素级概率值；聚合所述复数个像素级预测以获取像素级聚合预测；输出所述像素级聚合预测以从中选择一个或一个以上像素，并在此基础上生成一个或一个以上抓取位姿来抓取所述目标物。或一个以上抓取位姿来抓取所述目标物。或一个以上抓取位姿来抓取所述目标物。


技术研发人员：简
受保护的技术使用者：奥卡多创新有限公司
技术研发日：2021.12.01
技术公布日：2023/8/16