机器人抓取方法、装置、电子设备及可读取存储介质与流程

1.本技术涉及机器人技术领域，具体而言，涉及一种机器人抓取方法、装置、电子设备及可读取存储介质。


背景技术：

2.随着机器人技术的不断发展，工业机器人已经在人类社会的工业生产领域当中具有重要意义，基于工业机器人的自动化生产线已经在制造业中的机械加工、焊接、喷涂、装配、搬运等领域广泛应用。工业机器人在实际运动前需要经过示教。
3.目前，当工作发生变化时，由于机器人需要遵循特定的轨迹完成抓取和放置任务，因此必须花费大量时间精力重新编程核对点位。现有的示教方式中，例如演示编程技术对人能够实现机器人对特定物体的演示抓取，节省编程时间及工作量，但是只适用于规则形状的物体，在对一些场景中的不规则甚至任意形状的物体进行抓取时，现有的演示编程技术难以估计抓取位姿且无法保证抓取的可靠性，导致目前对机器人进行示教的方式无法适用于更多应用场景，机器人的抓取分拣任务成功率较低。


技术实现要素：

4.有鉴于此，本技术实施例的目的在于提供一种机器人抓取方法、装置、电子设备及可读取存储介质，以改善现有技术中存在的机器人的抓取分拣任务成功率较低的问题。
5.为了解决上述问题，第一方面，本技术提供了一种机器人抓取方法，所述方法包括：
6.通过检测模型对机器人抓取的目标物体进行训练，确定所述目标物体的目标数据，其中，所述目标数据包括所述目标物体的位置信息和物体信息；
7.通过位姿模型，根据所述目标数据确定所述机器人抓取所述目标物体时的初始抓取位姿集；
8.对所述初始抓取位姿集进行筛选，获取目标抓取位姿，以供所述机器人根据所述目标抓取位姿对所述目标物体进行抓取。
9.在上述实现过程中，在对机器人的抓取进行示教时，通过两个深度学习神经网络模型分别进行处理。通过检测模型，能够对抓取的目标物体的位置和种类进行训练，得到相应的目标数据。通过位置模型，能够根据目标数据确定机器人抓取目标物体时的初始抓取位姿集，并通过对初始抓取位姿集的筛选，去除多个冗余位姿，得到抓取成功率较高的目标抓取位姿供机器人进行抓取，完成抓取示教。能够对机器人面对多种不同种类、位置的物体的抓取情况进行示教，扩大了示教的应用范围，适用于更多应用场景，提高了机器人根据示教以后进行抓取分拣时的成功率。
10.可选地，所述通过位姿模型，根据所述目标数据确定所述机器人抓取所述目标物体时的初始抓取位姿集，包括：
11.获取第一相机拍摄的所述目标物体的局部图像以及与所述局部图像配准的深度
图像，其中，所述第一相机为与所述机器人的抓取末端对应的进行局部拍摄的相机；
12.通过所述位姿模型，根据所述目标数据对所述局部图像和所述深度图像进行处理，得到所述抓取末端抓取所述目标物体时的多个初始抓取位姿，以多个所述初始抓取位姿作为所述初始抓取位姿集。
13.在上述实现过程中，在确定初始的多个抓取位姿时，能够获取与机器人的抓取末端的坐标系相对应的第一相机中，对机器人抓取时进行局部拍摄时的局部图像和与其配准的深度图像。通过位姿模型结合目标物体的目标数据对两种图像进行处理，从而对传感器与目标物体之间的实际距离进行训练，从而得到对场景中目标物体进行抓取的初始抓取位姿，集合得到对应的初始抓取位姿集。被抓取的物体可以为刚性对象，也可以为柔性对象，能够在任何场景中对任何物体的抓取位姿进行训练和模拟，实现对多种不同类型、不同位置的物体的抓取。
14.可选地，所述对所述初始抓取位姿集进行筛选，获取目标抓取位姿，包括：
15.对所述初始抓取位姿集进行第一级筛选，得到满足抓取要求的第一抓取位姿集；
16.对所述第一抓取位姿集进行第二级筛选，得到抓取成功率达到成功阈值的所述目标抓取位姿。
17.在上述实现过程中，由于位姿模型中训练得到的多个初始抓取位姿在抓取时的可行性和可达性都不相同，因此多个初始抓取位姿的成功率也不相同，因此可以通过对初始抓取位姿集进行多级筛选，以获取成功率较高的抓取位姿作为最终的目标抓取位姿。能够对抓取位姿集中多个冗余的抓取位姿进行删减，通过第一级筛选，确定满足抓取要求的可行的第一抓取位姿集，通过第二级筛选，获取抓取成功率达到成功阈值时的目标抓取位姿。经过多级筛选实现对抓取位姿集的粗筛和细筛，有效地提高了筛选的精度和准确性，从而提高了机器人以目标抓取位姿进行抓取时的成功率。
18.可选地，所述对所述初始抓取位姿集进行第一级筛选，得到满足抓取要求的第一抓取位姿集，包括：
19.获取所述初始抓取位姿集中每一个初始抓取位姿对应的向量数据；
20.基于所述位置信息和所述物体信息，确定所述目标物体对应的所述抓取要求；
21.基于所述抓取要求对每个所述向量数据进行筛选，以所述向量数据满足所述抓取要求的所述初始抓取位姿作为第一抓取位姿，以多个所述第一抓取位姿作为所述第一抓取位姿集。
22.在上述实现过程中，在对初始抓取位姿集进行第一级地粗筛时，能够将每一个初始抓取位姿分解为对应的向量数据，并根据目标物体的位置信息和物体信息确定目标物体抓取时的抓取要求。通过获取的抓取要求对向量数据的筛选确定可进行抓取的第一抓取位姿集，删除多个不可进行抓取的抓取位姿。
23.可选地，所述对所述第一抓取位姿集进行第二级筛选，得到抓取成功率达到成功阈值的所述目标抓取位姿，包括：
24.计算每个所述第一抓取位姿的运动轨迹数据；
25.根据每个所述第一抓取位姿的运动轨迹数据，从所述第一抓取位姿集中确定出多个第二抓取位姿；
26.根据所述位姿模型中的历史位姿数据库，确定每个所述第二抓取位姿的所述抓取
成功率；
27.确定所述抓取成功率达到所述成功阈值的目标抓取位姿。
28.在上述实现过程中，在对第一抓取位姿集进行第二级地细筛时，由于机器人手臂的长度和场景中的障碍物情况的不同，为了保证机器人能够到达对应的抓取位姿进行抓取，能够基于运动学算法计算机械臂基于每一个第一抓取位姿进行抓取时的运动轨迹数据，从而根据运动轨迹数据判断机械臂的末端能否到达该位姿进行抓取，确定能够到达的多个第二抓取位姿。并根据历史位姿数据库确定每一个第二抓取位姿进行抓取时的抓取成功率，以筛选得到成功率满足成功阈值目标抓取位姿，有效地保证了目标抓取位姿的可行性、可达性和成功率。
29.可选地，所述通过检测模型对机器人抓取的目标物体进行训练，确定所述目标物体的目标数据，包括：
30.通过所述检测模型，根据检测模型参数和所述目标物体进行训练，得到目标检测模型；
31.基于第二相机获取抓取场景的全局图像，其中，所述第二相机为对所述抓取场景进行全局拍摄的相机；
32.通过所述目标检测模型，根据所述全局图像确定所述目标物体对应的所述位置信息和所述物体信息，以所述位置信息和所述物体信息作为所述目标数据。
33.在上述实现过程中，通过深度神经网络的检测模型，结合预训练的检测模型参数对目标物体进行学习，能够训练得到准确度较高的目标检测模型，获取对抓取场景的整体进行全局拍摄的第二相机中的全局图像，将全局图像输入目标检测模型，能够推理预测出图像中目标物体的位置信息和物体信息作为目标数据。能够对多种不同类型、不同位置的任意物体进行抓取的示教训练，提高了抓取目标的普适性，扩大了示教的使用范围，提高了目标数据的准确性和针对性。
34.可选地，所述通过检测模型对机器人抓取的目标物体进行训练，确定所述目标物体的目标数据之后，所述方法还包括：
35.根据所述位置信息确定所述机器人对所述目标物体进行抓取时的抓取位置；
36.驱动所述机器人移动至所述抓取位置。
37.在上述实现过程中，能够在训练得到目标物体的目标数据后，根据得到的位置信息，驱动机器人移动到对目标物体进行抓取时的抓取位置中，便于机器人在抓取位置中对目标物体进行抓取。
38.可选地，所述方法还包括：
39.通过所述检测模型，对所述目标物体的运动路径进行追踪，得到目标轨迹；
40.驱动所述机器人基于所述目标轨迹对抓取后的所述目标物体进行放置。
41.在上述实现过程中，对机器人的抓取进行示教时，还可以对抓取后的目标物体的放置进行示教。通过检测模型，还能够对物体的迁移过程的运动路径进行追踪训练，从而根据放置的目标轨迹对抓取后的目标物体进行放置。能够对目标物体整体的运动过程进行追踪，对抓取后的放置流程进行补充，以对物体的抓取过程进行完整地示教。
42.第二方面，本技术还提供了一种机器人抓取装置，所述装置包括：
43.物体训练模块，用于通过检测模型对机器人抓取的目标物体进行训练，确定所述
目标物体的目标数据，其中，所述目标数据包括所述目标物体的位置信息和物体信息；
44.位姿确定模块，用于通过位姿模型，根据所述目标数据确定所述机器人抓取所述目标物体时的初始抓取位姿集；
45.位姿筛选模块，用于对所述初始抓取位姿集进行筛选，获取目标抓取位姿，以供所述机器人根据所述目标抓取位姿对所述目标物体进行抓取。
46.在上述实现过程中，通过物体训练模块基于检测模型训练得到抓取的目标物体的目标数据；通过位姿确定模块基于位姿模型训练得到初始抓取位姿集；通过位姿筛选模块对初始抓取位姿集中的冗余位姿进行筛选删除，确定抓取成功率较高的目标抓取位姿，以供机器人进行抓取，完成抓取示教。能够基于两个深度学习神经网络模型对多种不同种类、位置的物体的抓取情况进行示教，扩大了示教的应用范围，适用于更多应用场景，提高了机器人根据示教以后进行抓取分拣时的成功率。
47.第三方面，本技术还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述机器人抓取方法中任一实现方式中的步骤。
48.第四方面，本技术还提供了一种计算机可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述机器人抓取方法中任一实现方式中的步骤。
49.综上所述，本技术提供了一种机器人抓取方法、装置、电子设备及可读取存储介质，通过多个深度学习神经网络模型分别对抓取的物体和抓取位姿进行训练，对确定的多个位姿进行筛选，确定抓取时成功率较高的目标抓取位姿对机器人的抓取进行示教。能够对多种不同种类、位置的物体的抓取进行示教，提高了示教的普适性，扩大了示教的应用范围，提高了机器人根据示教以后进行抓取分拣时的成功率。
附图说明
50.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
51.图1为本技术实施例提供的一种电子设备的方框示意图；
52.图2为本技术实施例提供的一种机器人抓取方法的流程示意图；
53.图3为本技术实施例提供的一种步骤s300的详细流程示意图；
54.图4为本技术实施例提供的一种步骤s400的详细流程示意图；
55.图5为本技术实施例提供的一种步骤s410的详细流程示意图；
56.图6为本技术实施例提供的一种步骤s420的详细流程示意图；
57.图7为本技术实施例提供的一种步骤s200的详细流程示意图；
58.图8为本技术实施例提供的一种机器人抓取装置的结构示意图。
59.图标：100-电子设备；111-存储器；112-存储控制器；113-处理器；114-外设接口；115-输入输出单元；116-显示单元；500-机器人抓取装置；510-物体训练模块；520-位姿确定模块；530-位姿筛选模块。
processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
68.上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
69.上述的输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。
70.上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。在本技术实施例中，显示单元116可以显示抓取场景、第一相机和第二相机的拍摄图像以及初始抓取位姿集中的多个抓取位姿等。
71.本实施例中的电子设备可以用于执行本技术实施例提供的各个机器人抓取方法中的各个步骤。下面通过几个实施例详细描述机器人抓取方法的实现过程。
72.请参阅图2，图2为本技术实施例提供的一种机器人抓取方法的流程示意图，该方法可以包括步骤s200-s400。
73.步骤s200，通过检测模型对机器人抓取的目标物体进行训练，确定所述目标物体的目标数据。
74.其中，由于目标物体可以为抓取场景中任意位置、任意种类的物体，因此基于检测模型对抓取时的目标物体进行训练，得到的目标数据包括目标物体的位置信息和物体信息。检测模型可以为多种不同的深度学习神经网络模型，例如基于目标检测算法的yolo系列模型中的yolov3、yolov4、yolov5等。能够对物体的位置、种类以及迁移过程进行训练，实时地对目标物体进行目标检测和运动追踪。
75.可选地，目标物体的位置信息可以包括目标物体处于抓取场景的整体坐标下的位置坐标或物体框的位置信息等，物体信息可以包括目标物体的种类、标签、结构等信息，例如目标物体属于哪一种器件的信息以及其对应的结构特征等。
76.示例地，目标物体可以为多种应用场景中的物体，例如工业场景中的抓取场景、仓储场景中的分拣场景等。目标物体可以为各种场景下的各种不同的物品或器件，例如，在工业场景中，目标物体可以为多种工业器件，例如各种型号的螺丝、螺母等工件表面结构较复杂的器件，以及块状器件等公建表面结构较规则的简单器件等；目标物体也可以为仓储场景中多种不同形状、不同大小的物理包裹等。因此，本技术能够实现对不同场景、不同类型的物体的抓取示教，有效地提高了示教的普适性，使机器人能够灵活地应对环境与任务的变化。
77.步骤s300，通过位姿模型，根据所述目标数据确定所述机器人抓取所述目标物体时的初始抓取位姿集。
78.其中，位姿模型可以为多种对抓取进行训练的深度学习神经网络模型，例如具有大规模、高质量训练数据集的grasp net(an efficient convolutional neural network for real-time grasp detection for low-powered devices，一种用于低功耗器件抓取实时监测的高效卷积神经网络)训练得到的模型或其他基于cnn(convolutional neural networks，卷积神经网络)模型对抓取进行训练的模型。通过位姿模型根据目标数据对机器人抓取目标物体时的多个位姿进行计算和训练，能够确定目标物体被抓取时的初始抓取位姿集。
79.可选地，grasp net的graspnet-1billion中包含190个杂乱复杂场景的基准数据集和具有较强泛化能力的卷积神经网络模型。能够结合graspnet-1billion和any grasp(第一个在杂乱场景中实现人类水平抓取的解决方案的模型)，实现在任何场景中抓取任何对象，抓取对象可以包括刚性对象的物体和柔性对象的物体，以满足现有的柔性制造的要求。可选地，为了提高抓取的可靠性，可以在机器人的抓取末端中设置吸盘，并在建模时对吸盘抓取的基准进行表示。由于graspnet-baseline将二指夹爪的抓取位姿定义成三维接近向量、主轴旋转角度、三维接近点坐标、接近距离和夹爪开合度等九个参数，在基于graspnet-1billion进行训练时，可以基于基准数据集训练得到深度学习神经网络模型graspnet-baseline作为位姿模型。graspnet-baseline为端到端的网络结构模型，其训练结构层可以包括：对于以n个点坐标作为输入的场景点云，使用点编码器-解码器提取云特征，并使用c-dim特征对m个点进行采样；由逼近网对逼近向量预测，以将逼近向量用于圆柱区域中的分组点；使用operation net预测操作参数，使用tolerance net预测抓取鲁棒性等。
80.步骤s400，对所述初始抓取位姿集进行筛选，获取目标抓取位姿，以供所述机器人根据所述目标抓取位姿对所述目标物体进行抓取。
81.其中，由于初始抓取位姿集中包含多个可行性或可靠性较低的冗余的抓取位姿，冗余的抓取位姿的抓取成功率较低，因此需要对初始抓取位姿集进行筛选，以从初始抓取位姿集中获取成功率较高的目标抓取位姿作为示教结果，供机器人以目标抓取位姿对目标物体进行抓取，提高了机器人抓取时的成功率。
82.可选地，机器人对目标物体抓取之后，还可以通过检测模型，对目标物体的运动路径进行追踪，得到目标轨迹；驱动机器人基于目标轨迹对抓取后的目标物体进行放置。其中，检测模型还可以对目标物体进行放置的迁移过程进行学习和训练，以对目标物体放置时的运动路径进行追踪，从而根据放置的目标轨迹对抓取后的目标物体进行放置。能够对目标物体整体的运动过程进行追踪，对抓取后的放置流程进行补充，以对物体的抓取过程进行完整地示教。
83.值得说明的是，本技术实施例中机器人抓取方法在对机器人的抓取任务进行示教时，是通过深度学习神经网络模型进行训练，能够快速地进行示教，还能够有效地减少示教时的代码编程量和现场编程时的工作量，减少人工和时间成本。
84.在图2所示的实施例中，能够对不同场景下的多种不同种类、位置的物体的抓取进行示教，扩大了示教的应用范围，适用于更多应用场景，提高了机器人根据示教以后进行抓取分拣时的成功率。
85.可选地，请参阅图3，图3为本技术实施例提供的一种步骤s300的详细流程示意图，
步骤s300中还可以包括步骤s310-s320。
86.步骤s310，获取第一相机拍摄的所述目标物体的局部图像以及与所述局部图像配准的深度图像。
87.其中，第一相机为与机器人的抓取末端对应的进行局部拍摄的相机。可以通过与第一相机之间的无线连接或有线连接获取第一相机中拍摄的局部图像，例如通过蓝牙、有线网络、无线网络等方式。获取的局部图像为rgb色彩模式的图像，能够通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各种颜色。深度图像为在3d计算机图形中包含与视点的场景对象的表面的距离有关的信息的图像或图像通道的depthmap(深度图)。深度图像与rgb的局部图像是经过图像配准处理后配准的图像，深度图像中的每个像素值表示传感器距离物体的实际距离，因而局部图像与深度图像的像素点之间具有一对一的对应关系。
88.可选地，通常工业用机器人为多关节多自由度机械臂，机械臂通过多个旋转电机驱动，实现机器人末端的可控制定位驱动。在抓取时，为了对机器人进行定位，通过使用相机获得机器人在抓取场景中的位置坐标，从而让机器人根据相机得到的图像对目标进行操作，即根据机器人视觉进行抓取。为了使得相机(亦即机器人的眼)与机器人末端(亦即机器人的手)坐标系之间建立关系，需要对机器人与相机的坐标系进行标定，该标定过程为手眼标定。手眼标定中包括“眼在手上”和“眼在手外”两种方式：“眼在手外”即相机放置在一个固定的位置,与机器人的坐标系相对位置不变；“眼在手上”即相机和机器手绑定在一起，相机坐标系跟随机器人末端移动。
89.值得说明的是，本技术实施例中机器人抓取方法在机器视觉的基础上，为了对抓取时的目标物体进行拍摄，在机器人的抓取末端上采用与抓取末端绑定的第一相机，第一相机与抓取末端的坐标系相对应，从而使第一相机在机器人的抓取末端上对抓取时的目标物体进行拍摄，能够获取第一人称的图像信息和更多特定区域的图像细节。考虑到机器人末端工具坐标系和相机坐标系的坐标轴平行，可以将第一相机的标定简化为三个方向的平移变换，第一相机能够提供良好的第一人称观察视角，给任意物体位姿估计提供了硬件基础。示例地，第一相机可以通过多种连接件绑定在机器人的抓取末端上，连接件可以包括螺丝与螺母、卡扣、转接板等多种不同结构的连接组件。
90.步骤s320，通过所述位姿模型，根据所述目标数据对所述局部图像和所述深度图像进行处理，得到所述抓取末端抓取所述目标物体时的多个初始抓取位姿，以多个所述初始抓取位姿作为所述初始抓取位姿集。
91.其中，将局部图像和深度图像输入位姿模型进行训练，位姿模型能够根据目标数据中的位置信息和物体信息，结合局部图像与深度图像中代表的能够表示传感器距离物体的实际距离的多个配准的像素点进行处理，从而对目标物体的外部轮廓进行学习和训练，得到用于针对目标物体进行抓取的多个初始抓取位姿，将多个初始抓取位姿集合得到初始抓取位姿集。
92.在图3所示的实施例中，能够在任何场景中对任何物体的抓取位姿进行训练和模拟，得到相应的初始抓取位姿集。
93.可选地，请参阅图4，图4为本技术实施例提供的一种步骤s400的详细流程示意图，步骤s400中还可以包括步骤s410-s420。
94.步骤s410，对所述初始抓取位姿集进行第一级筛选，得到满足抓取要求的第一抓取位姿集。
95.其中，由于初始抓取位姿集中具有众多冗余的抓取位姿，冗余的抓取位姿为抓取时的可行性和可达性较低，即不可以该位姿进行抓取或无法达到该位姿进行抓取的抓取位姿。通过对初始抓取位姿集进行多级筛选，分别对抓取位姿进行粗筛和细筛。第一级筛选为粗筛，在粗筛中先对不满足抓取要求的抓取位姿进行去除，保留满足抓取要求，能够进行抓取的可行性较高的第一抓取位姿集。
96.步骤s420，对所述第一抓取位姿集进行第二级筛选，得到抓取成功率达到成功阈值的所述目标抓取位姿。
97.其中，第二级筛选为细筛，在第一抓取位姿集中的多个可行性较高，能够进行抓取的抓取位姿中继续筛选机器人抓取成功率达到成功阈值的目标抓取位姿，成功阈值可以为工作人员根据抓取时的实际情况和要求设定的成功率值。能够在第一抓取位姿集中筛选得到成功率较高的抓取位姿作为目标抓取位姿，提高了机器人以目标抓取位姿进行抓取时的成功率。
98.在图4所示的实施例中，通过对初始抓取位姿集进行多级筛选实现对抓取位姿集的粗筛和细筛，有效地提高了筛选的精度和准确性，从而提高了机器人以目标抓取位姿进行抓取时的成功率。
99.可选地，请参阅图5，图5为本技术实施例提供的一种步骤s410的详细流程示意图，步骤s410中还可以包括步骤s411-s413。
100.步骤s411，获取所述初始抓取位姿集中每一个初始抓取位姿对应的向量数据。
101.其中，在第一级筛选中，可以将每一个初始抓取位姿分解为对应的向量数据，向量数据中包含了水平方向上的接近向量和竖直方向上的接近向量等多个不同方向上的多个向量。
102.步骤s412，基于所述位置信息和所述物体信息，确定所述目标物体对应的所述抓取要求。
103.其中，根据获取的目标数据中的位置信息和物体信息确定出对目标物体进行抓取时的抓取要求。示例地，在目标物体放置在桌面或地面上时，则目标物体的抓取要求可以为需要与桌面或地面竖直角度较大的角度要求；在目标物体放置在墙体上时，则目标物体的抓取要求可以为需要从除去墙体的其他角度进行抓取；在目标物体放置在角落时，则目标物体的抓取要求可以为与角落的墙体的竖直角度较大的角度要求等。
104.步骤s413，基于所述抓取要求对每个所述向量数据进行筛选，以所述向量数据满足所述抓取要求的所述初始抓取位姿作为第一抓取位姿，以多个所述第一抓取位姿作为所述第一抓取位姿集。
105.其中，根据目标物体的抓取要求，可以采用锥形区域的方式对每一个初始抓取位姿对应的向量数据进行排除和筛选。例如，在目标物体放置在桌面或地面上时，由于抓取要求为需要与桌面或地面竖直角度较大的角度需求，因此可以将向量数据中竖直方向的接近向量设为a，a与竖直方向之间的夹角为c，水平方向的接近向量设为b，b与竖直方向上的夹角为d，设定的圆锥角为e。在筛选时，若c《e/2，d《e/2，则排除接近向量b，保留接近向量a，可以删除一些从桌面底下进行抓取和与桌面水平进行抓取的抓取时的可行性较低的初始抓
取位姿。
106.在图5所示的实施例中，能够通过获取的抓取要求对向量数据的筛选确定可进行抓取的第一抓取位姿集，删除多个不可进行抓取的抓取位姿。
107.可选地，请参阅图6，图6为本技术实施例提供的一种步骤s420的详细流程示意图，步骤s420中还可以包括步骤s421-s424。
108.步骤s421，计算每个所述第一抓取位姿的运动轨迹数据。
109.其中，在对第一抓取位姿集进行第二级地细筛时，由于机器人手臂的长度和场景中的障碍物情况的不同，为了保证机器人的抓取末端在抓取时能够到达对应的抓取位姿进行抓取，能够基于运动学算法计算机械臂基于每一个第一抓取位姿进行抓取时的运动轨迹数据。
110.可选地，运动学算法可以为机器人的运动学逆解算法等。
111.步骤s422，根据每个所述第一抓取位姿的运动轨迹数据，从所述第一抓取位姿集中确定出多个第二抓取位姿。
112.其中，在第一抓取位姿数据集中进行筛选，根据运动轨迹数据判断抓取末端是否能到达对应的抓取姿势，以确定机器人的抓取末端能够到达的第一抓取位姿作为第二抓取位姿。
113.步骤s423，根据所述位姿模型中的历史位姿数据库，确定每个所述第二抓取位姿的所述抓取成功率。
114.其中，为了有效地提高机器人进行抓取时的成功率，在获取多个可行、可达的第二抓取位姿后，可以基于位姿模型中的历史位姿数据库，例如包含190个杂乱复杂场景的基准数据集中获取在相同或相似的场景下，抓取相同或相似的物品时，与每一个第二抓取位姿相似或相同的历史抓取位姿的历史成功率，由位姿模型以历史成功率进行不断学习和训练，得到对应的第二抓取位姿的成功率。
115.步骤s424，确定所述抓取成功率达到所述成功阈值的目标抓取位姿。
116.其中，在多个第二抓取位姿中对比得到成功率达到成功阈值的一个或多个抓取位姿作为可靠性较高的抓取位姿，还可以由位姿模型生成物体可行二指抓取位姿序列，该序列对各个可靠性较高的抓取位姿的成功率进行降序排列，从而以成功率最高的抓取位姿作为最终的目标抓取位姿。
117.在图6所示的实施例中，通过对可达性和成功率的第二级筛选，有效地保证了目标抓取位姿的可行性、可达性和成功率。
118.可选地，请参阅图7，图7为本技术实施例提供的一种步骤s200的详细流程示意图，步骤s200中还可以包括步骤s210-s230。
119.步骤s210，通过所述检测模型，根据检测模型参数和所述目标物体进行训练，得到目标检测模型。
120.其中，通过在检测模型中输入检测模型参数以及目标物体的相关参数，能够对目标物体进行学习和训练，能够基于目标检测算法训练得到目标检测模型。
121.步骤s220，基于第二相机获取抓取场景的全局图像。
122.其中，第二相机为对抓取场景进行全局拍摄的相机，第二相机的标定方式为“眼在手外”的标定方式，能够设置在固定的位置中，对抓取场景的整体进行全局拍摄。第二相机
的坐标系与机器人的坐标系的相对位置不变。
123.可选地，也可以通过与第二相机之间的无线连接或有线连接获取第二相机中拍摄的全局图像，例如通过蓝牙、有线网络、无线网络等方式。获取的全局图像为rgb色彩模式的图像，全局图像中包含目标物体的图像。
124.可选地，第一相机和第二相机可以为多种型号的相机或摄像头，例如realsense d400系列的深度摄像头，便于设置和携带，能够将深度感应应用到设备中，可捕获室内或室外环境，具有远距离功能以及高深度分辨率。
125.步骤s230，通过所述目标检测模型，根据所述全局图像确定所述目标物体对应的所述位置信息和所述物体信息，以所述位置信息和所述物体信息作为所述目标数据。
126.其中，将全局图像输入目标检测模型中进行训练和学习，目标检测模型能够推理预测出全局图像中目标物体的物体框和物体标签，从而得到目标物体对应的位置信息和物体信息作为训练得到的目标数据。
127.可选地，在训练得到目标数据之后，还可以根据位置信息确定机器人对目标物体进行抓取时的抓取位置；驱动机器人移动至抓取位置，便于机器人在抓取位置中对目标物体进行抓取。
128.在图7所示的实施例中，能够对多种不同类型、不同位置的任意物体进行抓取的示教训练，提高了抓取目标的普适性，扩大了示教的使用范围，提高了目标数据的准确性和针对性。
129.请参阅图8，图8为本技术实施例提供的一种机器人抓取装置的结构示意图，机器人抓取装置500中可以包括：
130.物体训练模块510，用于通过检测模型对机器人抓取的目标物体进行训练，确定所述目标物体的目标数据，其中，所述目标数据包括所述目标物体的位置信息和物体信息；
131.位姿确定模块520，用于通过位姿模型，根据所述目标数据确定所述机器人抓取所述目标物体时的初始抓取位姿集；
132.位姿筛选模块530，用于对所述初始抓取位姿集进行筛选，获取目标抓取位姿，以供所述机器人根据所述目标抓取位姿对所述目标物体进行抓取。
133.在一可选的实施方式中，位姿确定模块520中还可以包括获取子模块和处理子模块；
134.获取子模块，用于获取第一相机拍摄的所述目标物体的局部图像以及与所述局部图像配准的深度图像，其中，所述第一相机为与所述机器人的抓取末端对应的进行局部拍摄的相机；
135.处理子模块，用于通过所述位姿模型，根据所述目标数据对所述局部图像和所述深度图像进行处理，得到所述抓取末端抓取所述目标物体时的多个初始抓取位姿，以多个所述初始抓取位姿作为所述初始抓取位姿集。
136.在一可选的实施方式中，位姿筛选模块530还可以包括第一级筛选子模块和第二级筛选子模块；
137.第一级筛选子模块，用于对所述初始抓取位姿集进行第一级筛选，得到满足抓取要求的第一抓取位姿集；
138.第二级筛选子模块，用于对所述第一抓取位姿集进行第二级筛选，得到抓取成功
率达到成功阈值的所述目标抓取位姿。
139.在一可选的实施方式中，第一级筛选子模块中还可以包括向量单元、要求单元和第一筛选单元；
140.向量单元，用于获取所述初始抓取位姿集中每一个初始抓取位姿对应的向量数据；
141.要求单元，用于基于所述位置信息和所述物体信息，确定所述目标物体对应的所述抓取要求；
142.第一筛选单元，用于基于所述抓取要求对每个所述向量数据进行筛选，以所述向量数据满足所述抓取要求的所述初始抓取位姿作为第一抓取位姿，以多个所述第一抓取位姿作为所述第一抓取位姿集。
143.在一可选的实施方式中，第二级筛选子模块中还可以包括轨迹单元和第二筛选单元；
144.轨迹单元，用于计算每个所述第一抓取位姿的运动轨迹数据；根据每个所述第一抓取位姿的运动轨迹数据，从所述第一抓取位姿集中确定出多个第二抓取位姿；
145.第二筛选单元，用于根据所述位姿模型中的历史位姿数据库，确定每个所述第二抓取位姿的所述抓取成功率；确定所述抓取成功率达到所述成功阈值的目标抓取位姿。
146.在一可选的实施方式中，物体训练模块510中还可以包括训练子模块、图像子模块和确定子模块；
147.训练子模块，用于通过所述检测模型，根据检测模型参数和所述目标物体进行训练，得到目标检测模型；
148.图像子模块，用于基于第二相机获取抓取场景的全局图像，其中，所述第二相机为对所述抓取场景进行全局拍摄的相机；
149.确定子模块，用于通过所述目标检测模型，根据所述全局图像确定所述目标物体对应的所述位置信息和所述物体信息，以所述位置信息和所述物体信息作为所述目标数据。
150.在一可选的实施方式中，机器人抓取装置500中还可以包括移动模块，用于根据所述位置信息确定所述机器人对所述目标物体进行抓取时的抓取位置；驱动所述机器人移动至所述抓取位置。
151.在一可选的实施方式中，机器人抓取装置500中还可以包括追踪模块和放置模块；
152.追踪模块，用于通过所述检测模型，对所述目标物体的运动路径进行追踪，得到目标轨迹；
153.放置模块，用于驱动所述机器人基于所述目标轨迹对抓取后的所述目标物体进行放置。
154.由于本技术实施例中的机器人抓取装置500解决问题的原理与前述的机器人抓取方法的实施例相似，因此本实施例中的机器人抓取装置500的实施可以参见上述方法的实施例中的描述，重复之处不再赘述。
155.本技术实施例还提供了一种计算机可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本实施例提供的机器人抓取方法中任一项所述方法中的步骤。
156.综上所述，本技术实施例提供了一种机器人抓取方法、装置、电子设备及可读取存储介质，通过多个深度学习神经网络模型分别对抓取的物体和抓取位姿进行训练，对确定的多个位姿进行筛选，确定抓取时成功率较高的目标抓取位姿对机器人的抓取进行示教。能够对多种不同种类、位置的物体的抓取进行示教，提高了示教的普适性，扩大了示教的应用范围，提高了机器人根据示教以后进行抓取分拣时的成功率。
157.在本技术所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本技术的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
158.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
159.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
160.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
161.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。
162.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括
所述要素的过程、方法、物品或者设备中还存在另外的相同要素。