样本数据的获取方法和装置与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种样本数据的获取方法和装置。


背景技术：

2.在智能仓储系统中，实现自动化拣选是整个仓储运营系统中至关重要的环节。智能拣选机器人在智能仓库中拣选物品时，需要先获取该物品在不同环境下的三维模型，再基于该三维模型在智能仓库中识别出该物体，从而拣选出该物品。
3.在获取该物品在不同环境下的三维模型时，需要先获取该物品在不同环境下大量的样本数据，再基于该物品在不同环境下大量的样本数据构建三维模型。现有技术中，在获取物品在不同环境下大量的样本数据时，需要用户手动采集大量的在不同环境下的图像，并在大量的图像中手动添加标注信息，以获取到物品在不同环境下大量的样本数据。
4.可以看出，采用现有的样本数据获取方式，使得样本数据的获取效率较低。


技术实现要素：

5.本技术实施例提供一种样本数据的获取方法和装置，在获取样本数据时，提高了样本数据的获取效率。
6.第一方面，本技术实施例提供了一种样本数据的获取方法，该样本数据的获取方法可以包括：
7.获取目标对象的属性信息及所述目标对象对应的点云数据；其中，所述属性信息包括纹理、尺寸和重量。
8.对所述目标对象的属性信息和所述目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据。
9.将所述深度图像点云数据输入到预设环境对应的环境模型中，得到所述目标对象在所述预设环境中的图像样本数据；其中，所述图像样本数据中标注有所述目标对象的属性信息。
10.在一种可能的实现方式中，所述预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。
11.在一种可能的实现方式中，获取所述目标对象对应的点云数据，可以包括：
12.获取三维相机视野下的点云数据；其中，所述三维相机视野中包括所述目标对象。
13.从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
14.在一种可能的实现方式中，所述样本数据的获取方法还可以包括：
15.基于所述图像样本数据，训练生成所述目标对象对应的深度学习模型，所述深度学习模型用于识别所述目标对象。
16.在一种可能的实现方式中，所述属性信息还包括颜色，所述样本数据的获取方法还可以包括：
17.获取二维相机采集的目标对象的颜色；其中，颜色包括所述目标对象的各个平面
的颜色。
18.在一种可能的实现方式中，所述从所述三维相机视野下的点云数据中提取出所述目标对象对应的点云数据，可以包括：
19.采用点云分割算法，从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
20.第二方面，本技术实施例还提供了一种样本数据的获取装置，该样本数据的获取装置可以包括：
21.获取模块，用于获取目标对象的属性信息及所述目标对象对应的点云数据；其中，所述属性信息包括纹理、尺寸和重量。
22.处理模块，用于对所述目标对象的属性信息和所述目标对象对应的点云数据进行融合处理，得到所述目标对象对应的深度图像点云数据；并将所述深度图像点云数据输入到预设环境对应的环境模型中，得到所述目标对象在所述预设环境中的图像样本数据；其中，所述图像样本数据中标注有所述目标对象的属性信息。
23.在一种可能的实现方式中，所述预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。
24.在一种可能的实现方式中，所述获取模块，具体用于获取三维相机视野下的点云数据；其中，所述三维相机视野中包括所述目标对象；并从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
25.在一种可能的实现方式中，所述样本数据的获取装置还可以包括生成模块。
26.所述生成模块，具体用于基于所述图像样本数据，训练生成所述目标对象对应的深度学习模型，所述深度学习模型用于识别所述目标对象。
27.在一种可能的实现方式中，所述属性信息还包括颜色。
28.所述获取模块，还用于获取二维相机采集的目标对象的颜色；其中，颜色包括所述目标对象的各个平面的颜色。
29.在一种可能的实现方式中，所述获取模块，具体用于采用点云分割算法，从所述三维相机视野下的点云数据中提取所述目标对象对应的点云数据。
30.第三方面，本技术实施例还提供了一种终端，该终端可以包括存储器和处理器；其中，
31.所述存储器，用于存储计算机程序。
32.所述处理器，用于读取所述存储器存储的计算机程序，并根据所述存储器中的计算机程序执行上述第一种可能的实现方式任一项所述的样本数据的获取方法。
33.第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述第一种可能的实现方式任一项所述的样本数据的获取方法。
34.由此可见，本技术实施例提供的样本数据的获取方法和装置，在获取样本数据时，先获取目标对象的属性信息及目标对象对应的点云数据，由于该属性信息和点云数据为目标对象的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述目标对象，再将该准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，且该样本数
据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
附图说明
35.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
36.图1为本技术实施例提供的一种应用场景的示意图；
37.图2为本技术实施例提供的一种样本数据的获取方法的流程示意图；
38.图3为本技术实施例提供的采集的一种平面的图像示意图；
39.图4为本技术实施例提供的采集的另一种平面的图像示意图；
40.图5为本技术实施例提供的采集的又一种平面的图像示意图；
41.图6为本技术实施例提供的采集的再一种平面的图像示意图；
42.图7为本技术实施例提供的一种平面的深度图像点云数据的示意图；
43.图8为本技术实施例提供的另一种平面的深度图像点云数据的示意图；
44.图9为本技术实施例提供的又一种平面的深度图像点云数据的示意图；
45.图10为本技术实施例提供的再一种平面的深度图像点云数据的示意图；
46.图11为本技术实施例提供的一种深度图像点云数据的示意图；
47.图12为本技术实施例提供的一种样本数据的获取装置的结构示意图；
48.图13为本发明实施例提供的一种终端的结构示意图。
49.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
50.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
51.在本技术的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a，b可以是单数或者复数。在本技术的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。
52.本技术实施例提供的样本数据的获取方法可以应用于在智能仓库中自动化拣选物品的场景中。智能拣选机器人在智能仓库中拣选物品时，需要先获取该物品在不同环境下的三维模型，再基于该三维模型在智能仓库中识别出该物体，从而拣选出该物品。在获取该物品在不同环境下的三维模型时，需要先获取构建三维模型需要的样本数据。现有技术中，在获取物品在不同环境下大量的样本数据时，需要用户手动采集大量的在不同环境下的图像，并在大量的图像中手动添加标注信息，以获取到物品在不同环境下大量的样本数据。但是，采用现有的样本数据获取方式，使得样本数据的获取效率较低。
53.为了提高样本数据的获取效率，可以尝试自动获取样本数据，在自动获取样本数据时，容易想到的方案为：可以先构建不同视点下物体的cad模型，再将构建的cad模型输入到旋转、碰撞、堆叠等环境对应的物理引擎仿真中，合成样本数据，从而实现样本数据的自动获取。但是，采用该样本数据的获取方式，由于现实环境中的物品都会受到灯光、或者遮挡的影响，但构建的物体的cad模型并没有包括这些影响，因此，在将未包括这些影响的cad模型输入到旋转、碰撞、堆叠等环境对应的物理引擎仿真中，合成样本数据时，会导致合成的样本数据的与真实的样本数据存在较大的差值，从而导致获取到的样本数据的准确度较低。
54.基于此，为了在保证样本数据的准确度的情况下，提高样本数据的获取效率，可参见图1所示，图1为本技术实施例提供的一种应用场景的示意图，智能机器人在智能仓库中自动化拣选物品a时，可以先通过数据采集装置获取物品a的样本数据，并基于获取的物品a的样本数据，训练生成该物品a对应的深度学习模型，并将生成的深度学习模型发送给智能机器人，使得智能机器人根据该深度学习模型识别出该物品a，从而拣选出该物品a。或者，数据采集装置可以只负责物品a的属性信息和点云数据的采集，在采集到物品a的属性信息及目标对象对应的点云数据后，将该物品a的属性信息和点云数据发送给终端，例如智能机器人，以使智能机器人获取到该物品a的属性信息和点云数据，并基于获取的样本数据，训练生成该物品a对应的深度学习模型，这样智能机器人就可以根据该深度学习模型识别出该物品a，从而拣选出该物品a。
55.基于图1所示的场景，本技术实施例提供了一种样本数据的获取方法，在获取样本数据时，可以先获取目标对象的属性信息及目标对象对应的点云数据，该属性信息包括纹理、尺寸和重量，并对目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到目标对象对应的深度图像点云数据；再将该深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，该图像样本数据中标注有目标对象的属性信息。
56.由此可见，本技术实施例提供的样本数据的获取方法，在获取样本数据时，先获取目标对象的属性信息及目标对象对应的点云数据，由于该属性信息和点云数据为目标对象的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述目标对象，再将该准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
57.下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
58.图2为本技术实施例提供的一种样本数据的获取方法的流程示意图，该样本数据的获取方法可以由软件和/或硬件装置执行，例如，该硬件装置可以为数据采集装置，也可以为终端，例如上述的智能机器人。示例的，请参见图2所示，该样本数据的获取方法可以包括：
59.s201、获取目标对象的属性信息及目标对象对应的点云数据。
60.其中，属性信息包括纹理、尺寸和重量。
61.示例的，在获取目标对象的纹理时，可以通过二维相机和三维相机共同采集该目标对象的纹理；在获取目标对象的尺寸时，可以通过三维相机采集该目标对象的尺寸；在获取目标对象的重量时，可以通过称重器采集该目标对象的重量，从而获取到该目标对象的属性信息。可以理解的是，在本技术实施例中，获取目标对象的属性信息所采用的二维相机、三维相机及称重器可以设置在数据采集装置上，从而通过数据采集装置获取目标对象的属性信息。
62.在通过获取的目标对象的属性信息时，该属性信息除了包括纹理、尺寸和重量之外，还可以包括其它信息，例如颜色和物品序列号等。当属性信息包括颜色时，可以二维相机采集的目标对象的颜色；其中，颜色包括目标对象的各个平面的颜色，即需要通过二维相机采集目标对象各个平面的颜色。在通过二维相机采集目标对象各个平面的颜色时，以采集一个长方体盒子的颜色为例，可以先通过二维相机拍摄该长方体盒子每一个平面的图像，可参见图3-图6所示，以采集其中的四个平面为例，图3为本技术实施例提供的采集的一种平面的图像示意图，图4为本技术实施例提供的采集的另一种平面的图像示意图，图5为本技术实施例提供的采集的又一种平面的图像示意图，图6为本技术实施例提供的采集的再一种平面的图像示意图，在采集到这四个平面的图像后，可以在每一个图像提取得到该平面的颜色，从而通过二维相机采集目标对象各个平面的颜色。
63.在获取目标对象对应的点云数据时，可以通过三维相机获取目标对象对应的点云数据。示例的，在通过三维相机获取目标对象对应的点云数据时，可以先获取三维相机视野下的点云数据；由于该三维相机视野中除了包括目标对象之外，还可能包括其它背景信息，因此，需要从三维相机视野下的点云数据中提取目标对象对应的点云数据，从而获取到目标对象对应的点云数据。
64.示例的，从三维相机视野下的点云数据中提取出目标对象对应的点云数据时，可以采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据，从而获取到目标对象对应的点云数据。可以理解的是，除了采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据之外，还可以采用2d模板匹配算法从三维相机视野下的点云数据中提取目标对象对应的点云数据，具体可以根据实际需要进行设置，在此，本技术实施例只是以采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据为例进行说明，但并不代表本技术实施例仅局限于此。
65.在分别获取到目标对象的属性信息和目标对象对应的点云数据后，由于目标对象对应的点云数据并未包括目标对象的属性信息，因此，仅通过该点云数据并不能准确地描述目标对象，因此，需要对目标对象的属性信息和目标对象对应的点云数据进行融合处理，以得到目标对象对应的深度图像点云数据，即执行下述s202：
66.s202、对目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到目标对象对应的深度图像点云数据。
67.其中，深度图像点云数据可以为理解为rgb-d数据。
68.在对目标对象的属性信息和目标对象对应的点云数据进行融合处理时，可以先对目标对象的属性信息和目标对象对应的点云数据进行配准，并对配准后的目标对象的属性信息和目标对象对应的点云数据进行融合处理，从而得到目标对象对应的深度图像点云数据。
69.可结合上述图3-图6所示，可以将图3-图6所示的长方体物体的属性信息和点云数据融合处理，得到该长方体物体对应的深度图像点云数据，该深度图像点云数据包括了长方体物体的六个平面中每一个平面的深度图像点云数据。同样以采集其中的四个平面为例，图7为本技术实施例提供的一种平面的深度图像点云数据的示意图，图8为本技术实施例提供的另一种平面的深度图像点云数据的示意图，图9为本技术实施例提供的又一种平面的深度图像点云数据的示意图，图10为本技术实施例提供的再一种平面的深度图像点云数据的示意图。结合图7-图10所示，由于该属性信息和点云数据为长方体物体的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述该长方体物体，为真实场景下的该长方体物体对应的深度图像点云数据。
70.s203、将深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据。
71.其中，图像样本数据中标注有目标对象的属性信息。
72.示例的，预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。可以理解的是，在本技术实施例中，只是以预设环境可以包括遮挡环境、碰撞环境、或者阴影环境中的至少一种为例进行说明，但并不代表本技术实施例仅局限于此。
73.在将准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据时，由于该预设环境为仿真的真实场景下的环境，因此，得到的预设环境下的图像样本数据为该目标对象在真实场景下的样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
74.结合上述图7-图10所示，在将长方体物体准确的深度图像点云数据输入到预设环境对应的环境模型中，得到长方体物体在预设环境中的图像样本数据时，由于该预设环境为仿真的真实场景下的环境，因此，得到的预设环境下的图像样本数据为该长方体物体在真实场景下的样本数据，可参见图11所示，图11为本技术实施例提供的一种深度图像点云数据的示意图。
75.由此可见，本技术实施例提供的样本数据的获取方法，在获取样本数据时，先获取目标对象的属性信息及目标对象对应的点云数据，由于该属性信息和点云数据为目标对象的较为真实的数据，因此，对该较为真实的属性信息和点云数据融合得到的深度图像点云数据在一定程度上可以准确地描述目标对象，再将该准确的深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据，且该样本数据的获取过程无需用户手动操作，因此，实现了在保证样本数据的准确度的情况下，提高样本数据的获取效率。
76.基于上述图1所示的实施例，在获取到目标对象对应的图像样本数据之后，还可以基于获取到的目标对象对应的图像样本数据，对初始深度学习模型进行训练，生成目标对象对应的深度学习模型，这样在生成目标对象对应的深度学习模型后，可以将该深度学习模型发送给智能机器人，使得智能机器人可以基于该深度学习模型在智能仓库中识别出该目标对象，从而拣选出该目标对象。
77.图12为本技术实施例提供的一种样本数据的获取装置120的结构示意图，示例的，
请参见图12所示，该样本数据的获取装置120可以包括：
78.获取模块1201，用于获取目标对象的属性信息及目标对象对应的点云数据；其中，属性信息包括纹理、尺寸和重量。
79.处理模块1202，用于对目标对象的属性信息和目标对象对应的点云数据进行融合处理，得到目标对象对应的深度图像点云数据；并将深度图像点云数据输入到预设环境对应的环境模型中，得到目标对象在预设环境中的图像样本数据；其中，图像样本数据中标注有目标对象的属性信息。
80.可选的，预设环境包括遮挡环境、碰撞环境、或者阴影环境中的至少一种。
81.可选的，获取模块1201，具体用于获取三维相机视野下的点云数据；其中，三维相机视野中包括目标对象；并从三维相机视野下的点云数据中提取目标对象对应的点云数据。
82.可选的，该样本数据的获取装置120还包括生成模块1203。
83.生成模块1203，具体用于基于图像样本数据，训练生成目标对象对应的深度学习模型，深度学习模型用于识别目标对象。
84.可选的，属性信息还包括颜色；获取模块1201，还用于获取二维相机采集的目标对象的颜色；其中，颜色包括目标对象的各个平面的颜色。
85.可选的，获取模块1201，具体用于采用点云分割算法，从三维相机视野下的点云数据中提取目标对象对应的点云数据。
86.本技术实施例提供的样本数据的获取装置120，可以执行上述任一实施例中的样本数据的获取方法的技术方案，其实现原理以及有益效果与样本数据的获取方法的实现原理及有益效果类似，可参见样本数据的获取方法的实现原理及有益效果，此处不再进行赘述。
87.图13为本发明实施例提供的一种终端130的结构示意图，示例的，请参见图13所示，该终端130可以包括处理器1301和存储器1302；其中，
88.所述存储器1302，用于存储计算机程序。
89.所述处理器1301，用于读取所述存储器1302存储的计算机程序，并根据所述存储器1302中的计算机程序执行上述任一实施例中的样本数据的获取方法的技术方案。
90.可选地，存储器1302既可以是独立的，也可以跟处理器1301集成在一起。当存储器1302是独立于处理器1301之外的器件时，终端还可以包括：总线，用于连接存储器1302和处理器1301。
91.可选地，本实施例还包括：通信接口，该通信接口可以通过总线与处理器1301连接。处理器1301可以控制通信接口来实现上述终端的接收和发送的功能。
92.本发明实施例所示的终端130，可以执行上述任一实施例中的样本数据的获取方法的技术方案，其实现原理以及有益效果与样本数据的获取方法的实现原理及有益效果类似，可参见样本数据的获取方法的实现原理及有益效果，此处不再进行赘述。
93.本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一实施例中的样本数据的获取方法的技术方案，其实现原理以及有益效果与样本数据的获取方法的实现原理及有益效果类似，可参见样本数据的获取方法的实现原理及有益效果，此处不再进行赘述。
94.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所展示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
95.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元展示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
96.上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。
97.应理解的是，上述处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
98.存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
99.总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component，pci)总线或扩展工业标准体系结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
100.上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
101.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。