清洁机器人的拾物方法、装置及其相关设备和存储介质与流程

1.本技术涉及清洁机器人技术领域，特别是涉及一种清洁机器人的拾物方法、装置及其相关设备和存储介质。


背景技术：

2.目前，清洁机器人主要用于住宅区域、办公场所区域或者公共场所区域，在清洁机器人清扫过程中，地面上会存在拖鞋、线团、易拉罐等粒径较大的物体。然而，现有的清洁机器人无法对这些粒径较大的物体进行处理，大多采用直接绕开的方式，而采用绕行的方式会使得物体所在的区域无法得到清扫，降低了清洁机器人的清扫效果。


技术实现要素：

3.本技术至少提供一种清洁机器人的拾物方法、装置及其相关设备和存储介质。
4.本技术第一方面提供了一种清洁机器人的拾物方法，该方法包括：获取当前区域的环境图像；利用环境图像进行物体识别，得到目标物体的拾取参考信息；基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部；其中，至少部分拾取部的拾取方式不同；控制目标拾取部对目标物体进行拾取。
5.因此，通过对获取到的环境图像进行物体识别，得到目标物体的拾取参考信息，并基于拾取参考信息确定选出用于拾取目标物体的目标拾取部。其中，清洁机器人上设置有若干拾取部，至少部分拾取部的拾取方式不同。故，清洁机器人具有不同的对目标物体的拾取方式，使得清洁机器人能够根据目标物体的特性选出适用于对该目标物体的拾取方式即选出适用于对该目标物体进行拾取的目标拾取部，以使得后续清洁机器人对目标物体进行稳定拾取，同时减少后续在拾取过程中对目标物体造成损坏的情况。
6.进一步地，清洁机器人通过对目标物体拾取实现了对当前区域的目标物体的整理，同时能够将目标物体所占据的区域腾空，使得后续清洁机器人能够对目标物体所占据的附近区域进行清洁，减少由于目标物体存在造成目标物体附近区域无法得到清洁的问题出现，提高了清洁机器人的清洁效果。
7.其中，基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部，包括：获取拾取参考信息中的目标拾取部标识，从若干拾取部中选出目标拾取部标识对应的目标拾取部；或者，获取拾取参考信息中关于目标物体的属性信息，基于属性信息从若干拾取部中选出目标拾取部，其中，属性信息包括目标物体的类别、材质和体积中的至少一者。
8.因此，可通过不同的方式选出拾取目标物体的目标拾取部。
9.其中，控制目标拾取部对目标物体进行拾取，包括：获取拾取参考信息中关于目标物体的拾取参数；响应于清洁机器人当前满足拾取条件，控制目标拾取部基于拾取参数对目标物体进行拾取。
10.因此，在满足拾取条件的情况下对目标物体进行拾取，减少目标拾取部对目标物
体的无效拾取的情况发生。另外，通过基于拾取参数对目标物体进行拾取，能够更加准确、稳定地对目标物体进行拾取，一方面减少反复尝试对目标物体进行拾取的情况发生，提高了清洁机器人对所在区域的目标物体的拾取或者整理效率，另一方面能够减少反复拾取对目标物体造成的损坏的情况发生。
11.其中，拾取参数包括目标物体的拾取位置、拾取方位和拾取力度中的至少一者。和/或，拾取条件为清洁机器人与目标物体之间的距离小于或等于第一距离阈值。
12.因此，可灵活设置目标物体的具体拾取参数和拾取条件。另外，在后续基于拾取参数进行目标物体拾取时，能够更加稳定地对目标物体进行拾取；而在后续满足拾取条件时对目标物体进行拾取，能够减少对目标物体的无效拾取的情况发生。
13.其中，在控制目标拾取部对目标物体进行拾取之后，清洁机器人的拾物方法还包括：获取拾取参考信息中关于目标物体的类别；从若干盛放容器中，选出与目标物体的类别匹配的目标盛放容器；控制目标拾取部将拾取得到的目标物体放置至目标盛放容器中。
14.因此，控制目标拾取部拾取得到的目标物体放置至目标盛放容器中，实现对拾取的目标物体的初步分类，具有一定的环保效果，也方便后续对有用物体和垃圾物体进行进一步的处置
15.其中，在控制目标拾取部对目标物体进行拾取之后，清洁机器人的拾物方法还包括：响应于目标拾取部对目标物体拾取失败次数大于预设次数，选择除目标拾取部以外的其他拾取部对目标物体进行拾取。
16.因此，在利用目标拾取部对目标物体拾取失败且失败次数超过预设次数后，选择除目标拾取部以外的拾取部对目标物体进行拾取，使得清洁机器人对目标物体的拾取更加灵活、更加智能化。
17.其中，响应于目标拾取部对目标物体拾取失败次数大于预设次数，记录目标物体的信息，并向用户反馈目标物体的信息，其中，目标物体的信息包括目标物体的形状、图像、以及在当前区域中的位置中的至少一者。
18.因此，可及时向用户反馈拾取失败的目标物体的信息，以使得用户后续能够及时基于目标物体的信息对其进行处理。
19.其中，在利用环境图像进行物体识别之后，清洁机器人的拾物方法还包括：响应于对目标物体识别失败，向用户发出关于目标物体的讯问信息；响应于接收到用户的回复信息，基于回复信息选择其中一个拾取部对目标物体进行拾取；或者，响应于未接收到用户的回复信息，基于清洁机器人的配置信息对目标物体进行处理。
20.因此，能够按照用户的意图对未知的目标物体进行处理，对目标物体的拾取过程更加人性化，提高了用户的体验感。
21.其中，回复信息包括目标物体的拾取参考信息，在基于回复信息选择其中一个拾取部对目标物体进行拾取之后，清洁机器人的拾物方法还包括：记录回复信息中的拾取参考信息，记录的拾取参考信用于对后续与目标物体同类的物体进行拾取。
22.因此，通过记录回复信息中的拾取参考信息，以便于下次再次碰到上述情况时，能够及时对该目标物体进行处理，从而提高清洁机器人对当前区域的目标物体的整理效率。
23.其中，基于清洁机器人的配置信息对目标物体进行处理，包括：响应于配置信息为对目标物体进行拾取，利用其中一个拾取部对目标物体进行拾取；响应于配置信息为不对
目标物体进行拾取，不对目标物体进行处理。
24.因此，在未接收到用户的回复信息时，能够基于配置信息对目标物体进行及时处理，对未知的目标物体的拾取方案更加灵活。
25.其中，在利用环境图像进行物体识别，得到目标物体的拾取参考信息之前，清洁机器人的拾物方法还包括：获取清洁机器人与目标物体之间的距离；响应于距离小于或等于第二距离阈值，执行利用环境图像进行物体识别，得到目标物体的拾取参考信息及其后续步骤。
26.因此，能够减少由于距离较远而出现对物体的无效识别的情况发生，从而减少由于对物体识别得到的拾取参考信息有误或者不准确而影响后续对目标物体的拾取的情况发生。
27.其中，利用环境图像进行物体识别是利用物体识别模型执行的，清洁机器人的拾物方法还包括：获取若干初始样本图像，初始样本图像包含样本物体且标注有样本物体的拾取参考信息；基于至少一张初始样本图像，生成若干增强样本图像；利用若干初始样本图像和若干增强样本图像，对物体识别模型进行训练。
28.因此，利用若干初始样本图像和若干增强样本图像对物体识别模型进行训练，使得初始样本图像更加多样化，从而使得训练完成的物体识别模型具有更好的泛化能力。
29.其中，基于至少一张初始样本图像，生成若干增强样本图像，包括：利用经用户配置的第一位置角度的虚拟光源对初始样本图像中的样本物体进行照射；利用经用户配置的第二位置角度的虚拟摄像设备对虚拟光源照射下的样本物体进行拍摄，得到增强样本图像。
30.因此，可通过虚拟摄像设备拍摄在虚拟光源照射下的样本物体而生成增强样本图像，增强样本图像的生成方式简单、易操作。
31.其中，若干拾取部包括吸式拾取部和握式拾取部，若干拾取部设于同一机械臂上或者不同机械臂上。
32.因此，通过设置吸式拾取部能够实现通过吸附的方式对目标物体进行拾取；而通过设置握式拾取部能够实现通过抓取的方式对目标物体进行拾取。另外，各个拾取部分别设置在不同的机械臂上，能够减少各个拾取部之间产生相互干扰而影响对目标物体的拾取的情况发生，提高了拾取部对目标物体拾取的稳定性；而在一个机械臂上设置若干个拾取部，减少了机械臂的数量，从而减轻了清洁机器人的重量。
33.其中，获取当前区域的环境图像及其后续步骤是在清洁机器人进行清扫之前或者过程中执行的。
34.因此，对目标物体的拾取可以是在清洁机器人进行清扫之前执行，以使得清洁机器人在对当前区域清扫之前能够对当前区域进行预清理，保证当前区域不存在目标物体，提高后续清洁机器人对当前区域的清扫效率以及清扫效果；另外，对目标物体的拾取也可以是在清洁机器人清扫过程中执行，以使得清洁机器人能够对目标物体所占据的附近区域进行清洁，提高清洁机器人的清洁效果。
35.本技术第二方面提供了一种清洁机器人的拾物装置，该装置包括：获取模块，用于获取当前区域的环境图像；识别模块，用于利用环境图像进行物体识别，得到目标物体的拾取参考信息；选择模块，用于基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于
拾取目标物体的目标拾取部；其中，至少部分拾取部的拾取方式不同；控制模块，用于控制目标拾取部对目标物体进行拾取。
36.本技术第三方面提供了一种清洁机器人，该清洁机器人包括：机器人本体；与机器人本体连接的若干拾取部；处理器，与若干拾取部通信连接，处理器用于执行上述的清洁机器人的拾物方法。
37.本技术第四方面提供了一种电子设备，该电子设备包括存储器和处理器，存储器存储有程序指令，处理器用于执行程序指令以实现上述的清洁机器人的拾物方法。
38.本技术第五方面提供了一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述的清洁机器人的拾物方法。
39.上述方案，通过对获取到的环境图像进行物体识别，得到目标物体的拾取参考信息，并基于拾取参考信息确定选出用于拾取目标物体的目标拾取部。其中，清洁机器人上设置有若干拾取部，至少部分拾取部的拾取方式不同。故，清洁机器人具有不同的对目标物体的拾取方式，使得清洁机器人能够根据目标物体的特性选出适用于对该目标物体的拾取方式即选出适用于对该目标物体进行拾取的目标拾取部，以使得后续清洁机器人对目标物体进行稳定拾取，同时减少后续在拾取过程中对目标物体造成损坏的情况。
40.进一步地，清洁机器人通过对目标物体拾取实现了对当前区域的目标物体的整理，同时能够将目标物体所占据的区域腾空，使得后续清洁机器人能够对目标物体所占据的附近区域进行清洁，减少由于目标物体存在造成目标物体附近区域无法得到清洁的问题出现，提高了清洁机器人的清洁效果。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
42.图1是本技术提供的清洁机器人的拾物方法一实施例的流程示意图；
43.图2是本技术提供的清洁机器人一实施例的结构示意图；
44.图3是本技术提供的清洁机器人另一实施例的结构示意图；
45.图4是本技术提供的清洁机器人的拾物方法另一实施例的流程示意图；
46.图5是本技术提供的清洁机器人的拾物方法另一实施例的流程示意图；
47.图6是本技术提供的清洁机器人的拾物方法另一实施例的流程示意图；
48.图7是本技术提供的物体识别模型的训练方法一实施例的流程示意图；
49.图8是图7所示步骤s72一实施例的流程示意图；
50.图9是图1所示步骤s14一实施例的流程示意图；
51.图10是本技术提供的清洁机器人的拾物装置一实施例的结构示意图；
52.图11是本技术提供的电子设备一实施例的结构示意图；
53.图12是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
54.下面结合说明书附图，对本技术实施例的方案进行详细说明。
55.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之
类的具体细节，以便透彻理解本技术。
56.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
57.请参阅图1，图1是本技术提供的清洁机器人的拾物方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本技术实施例并不以图1所示的流程顺序为限。如图1所示，本技术实施例包括：
58.步骤s11：获取当前区域的环境图像。
59.本技术实施例的方法用于对清洁机器人所处当前区域内的目标物体进行拾取，以实现清洁机器人对目标物体的整理，并使得后续清洁机器人能够对目标物体所处区域进行清洁，提高了清洁机器人的清扫效果。其中，所述的当前区域可以但不限于公共场所区域、办公场所区域和住宅区域等，在此不做具体限定。由于目前存在的多类型清洁机器人或者清洁装置可以进行扫地作业、拖地作业，或者也可以吸附地面上的一些微小颗粒，然后对于一些粒径比较大的物体无法清扫或者吸附，并且在遇到这些粒径比较大的物体时会选择绕开等方式来对待，以使得这些粒径比较大的物体所在的附近区域无法得到打扫，降低了清洁效果。其中，目标物体可以但不限于拖鞋、纸团、纸片、易拉罐或者玻璃片等粒径比较大的物体，在此不做具体限定。
60.在一实施方式中，通过图像采集装置获取当前区域的环境图像。具体地，如图2-图3所示，图2是本技术提供的清洁机器人一实施例的结构示意图，图3是本技术提供的清洁机器人另一实施例的结构示意图，清洁机器人包括通信连接的图像采集装置和处理装置，图像采集装置对当前区域的环境图像进行采集并传输至处理装置，以使处理装置获取当前区域的环境图像。处理装置可以包括嵌入式计算机或者通用计算机，通过有线的方式或者无线的方式与图像采集装置实现通信连接，使得处理装置能够与通信连接的图像采集装置进行数据交换，以实现后续对清洁机器人的智能控制。
61.在一具体实施方式中，图像采集装置包括视觉摄像头，通过视觉摄像头对当前区域的环境进行拍摄，以使清洁机器人获取当前区域的环境图像。其中，不对视觉摄像头的个数、类型、位置等进行限定，可根据实际使用需要具体设置。
62.在一具体实施方式中，清洁机器人包括机器人本体、机械臂和拾取部，机器人本体是智能家用电器的一种，能够凭借一定的人工智能自动在所在区域内完成对地面的清洁工作，例如，通过单吸入式的清洁方式、中刷对夹式的清洁方式或者升降v刷式的清洁方式对当前区域进行清洁。其中，图像采集装置可以设置于机器人本体上。可以理解地，在其他具体实施方式中，图像采集装置也可以设置于机械臂上，将图像采集装置设置于机械臂上能够具有较好图像采集视角，以使得后续能够更准确地对环境图像中的物体进行识别，提高后续物体拾取的准确性。可以理解地，在其他实施方式中，图像采集装置也可以设置于清洁机器人以外的其他位置上，能够减轻清洁机器人的重量。
63.步骤s12：利用环境图像进行物体识别，得到目标物体的拾取参考信息。
64.本技术实施方式中，利用环境图像进行物体识别，得到目标物体的拾取参考信息。其中，不对目标物体的拾取参考信息进行限定，可根据实际使用需要具体设置。例如，拾取参考信息可包括目标拾取部的标识，以使得后续能够根据目标拾取部的标识，选出用于拾取目标物体的目标拾取部。又例如，拾取参考信息包括目标物体的属性信息(例如，目标物体的体积、材质、或类别等)。
65.在一实施方式中，可以通过物体识别算法直接利用环境图像进行物体识别，以得到目标物体的拾取参考信息。其中，不对物体识别算法进行限定，可根据实际使用需要具体设置。可以理解地，在其他实施方式中，也可利用物体识别模型对输入的环境图像生成对应的目标物体的拾取参考信息，在此不做具体限定。
66.为了提高物体识别效率，减少由于距离较远而出现对物体的无效识别的情况发生。在一实施方式中，如图4所示，图4是本技术提供的清洁机器人的拾物方法另一实施例的流程示意图，在利用环境图像进行物体识别之前，先确定清洁机器人与目标物体之间的距离是否符合要求，具体包括如下子步骤：
67.步骤s41：获取清洁机器人与目标物体之间的距离。
68.本技术实施方式中，获取清洁机器人与目标物体之间的距离。在一具体实施方式中，如图2、图3所示，清洁机器人还包括距离测量装置，用于测量清洁机器人与目标物体之间的距离。具体地，距离测量装置与处理装置通过有线或者无线的方式通信连接，距离测量装置测量清洁机器人与目标物体之间的距离相关的数据并传输至处理装置，以使处理装置获取清洁机器人与目标物体之间的距离。在一具体实施方式中，距离测量装置可直接测定清洁机器人与目标物体之间的距离，并将测定的距离传输至处理装置，以使处理装置获取清洁机器人与目标物体之间的距离。可以理解地，在其他具体实施方式中，距离测量装置也可测定与清洁机器人和目标物体之间的距离相关的数据(例如，激光点云数据、红外传感数据、超声波传感数据、光电传感数据、速度或角度、方向测量数据等)，处理装置根据接收到的与清洁机器人和目标物体之间的距离相关的数据计算得到清洁机器人与目标物体之间的距离，从而得到清洁机器人与目标物体之间的距离。
69.其中，距离测量装置可以设置于机器人本体上或机械臂上，在此不做具体限定。在一具体实施方式中，距离测量装置设置于机械臂上，在机械臂转动至预设位置处时，距离测量装置对清洁机器人与目标物体之间的距离相关的数据进行测量。可以理解地，在其他具体实施方式中，距离测量装置获取当前所处位置与目物体之间的距离相关的数据，并根据机械臂与机器人本体之间的坐标系转换关系，确定距离测量装置与机器人本体之间的距离，从而根据距离测量装置与机器人本体之间的距离以及与目标物体之间的距离相关的数据确定目标物体与机器人本体之间的距离相关的数据，使得距离测量装置对距离的测量更加灵活。
70.步骤s42：判断清洁机器人与目标物体之间的距离是否小于或等于第二距离阈值。
71.本技术实施方式中，会判断清洁机器人与目标物体之间的距离是否小于或等于第二距离阈值。其中，不对第二距离阈值的大小进行限定，可根据实际使用需要具体设置。在清洁机器人与目标物体之间的距离小于或等于第二距离阈值时，执行步骤s43。
72.步骤s43：响应于清洁机器人与目标物体之间的距离小于或等于第二距离阈值，执行利用环境图像进行物体识别，得到目标物体的拾取参考信息及其后续步骤。
73.本技术实施方式中，响应于清洁机器人与目标物体之间的距离小于或等于第二距离阈值，执行利用环境图像进行识别，得到目标物体的拾取参考信息及其后续步骤。也就是说，在清洁机器人与目标物体之间的距离在第二阈值范围内时，能够提高对物体识别的准确度，从而得到较为准确的目标物体的拾取参考信息，进而使得后续控制目标拾取部对目标物体时能够稳定抓取，提高清洁机器人对当前区域的目标物体的整理效率和效果。
74.此外，在清洁机器人与目标物体之间的距离大于第二距离阈值时，可控制清洁机器人朝着目标物体的方向运动至满足距离要求后，执行利用环境图像进行物体识别，得到目标物体的拾取参考信息及其后续步骤。
75.步骤s13：基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部。
76.本技术实施方式中，根据目标物体的拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部。其中，至少部分拾取部的拾取方式不同。也就是说，清洁机器人具有不同的对目标物体的拾取方式，使得清洁机器人能够根据目标物体的拾取参考信息，选出适用于对该目标物体的拾取方式即选出适用于对该目标物体进行拾取的目标拾取部，以使得后续清洁机器人对目标物体更稳定拾取，能够减少后续在拾取过程中对目标物体造成损坏的情况发生。其中，不对清洁机器人上设置的拾取部的个数、各拾取部的类型、清洁机器人所具有的拾取方式的种数以及该拾取方式具体通过何种形式进行拾取进行限定，可根据实际使用需要具体设置。
77.示例性地，如图2所示，清洁机器人上设置有两个拾取部；两个拾取部分别为吸式拾取部和握式拾取部；此时，清洁机器人具有两种拾取方式，一种对应吸式拾取部，通过吸附的形式对目标物体进行拾取，另一种对应握式拾取部，通过抓取的形式对目标物体进行拾取。
78.在一具体实施方式中，吸式拾取部位设有气腔的可变形部件，设有气腔的可变形部件能够减少可变性部件内部的空气和压强，并借助大气压强将目标物体吸附于可变性部件，以实现对目标物体的拾取。可以理解地，在其他实施方式中，吸式拾取部也可以为其他部件构造，在此不做具体限定。其中，不对吸式拾取部的材质进行限定。例如，吸式拾取部的材质为橡胶(例如，天然橡胶或者合成橡胶等)，橡胶较软，使得后续在对目标物体的拾取过程中不会对目标物体造成损坏。又例如，吸式拾取部的材质为硅胶、塑料等其他材质。
79.在一具体实施方式中，握式拾取部包括至少两个爪子的抓爪，后续通过控制抓爪的打开和闭合以抓取目标物体。其中，不对抓爪包括的爪子个数进行限定。例如，抓爪包括2个、3个或者多个爪子。可以理解地，在其他实施方式中，握式拾取部也可以为其他形式的构造，在此不做具体限定。其中，不对握式拾取部的材质进行限定。例如，握式拾取部的爪子为柔性爪子，可以降低后续在对目标物体拾取过程中损坏目标物体。又例如，握式拾取部的爪子为弹性爪子或可卷曲的机械爪子等。示例性地，握式拾取部位为可卷曲的机械爪子，可卷曲的机械爪子可通过卷曲爪子包裹目标物体，从而可卷曲的机械爪子抓住目标物体，实现对目标物体的拾取；或者，可卷曲的机械爪子也可通过将目标物体推动至合适拾取的位置后，配合其他不同类型的拾取部对目标物体进行拾取，从而能够对目标物体进行稳定拾取。
80.在一具体实施方式中，握式拾取部包括一个机械手指(或一个爪子)，后续通过控制手指/爪子的打开和卷曲以抓取目标物体。其中，握式拾取部的手指/爪子为柔性爪子，可
以降低后续在对目标物体拾取过程中损坏目标物体；或者，握式拾取部的手指/爪子为弹性爪子或可卷曲的机械爪子等。
81.在一实施方式中，如图2所示，若干拾取部设置于不同机械臂上，即机械臂的数量等于拾取部的数量。各个拾取部分别设置在不同的机械臂上，能够减少后续各个拾取部之间产生相互干扰而影响对目标物体的拾取，提高了后续拾取部对目标物体拾取的稳定性。可以理解地，在其他实施方式中，如图3所示，若干拾取部可设置于同一机械臂上，或者部分拾取部设置在一个机械臂上而其他拾取部设置在不同机械臂上，即机械臂的数量小于拾取部的数量。在一个机械臂上设置若干个拾取部，减少了机械臂的数量，从而减轻了清洁机器人的重量，使得清洁机器人更加轻便。
82.在一具体实施方式中，一个机械臂上设置有多个拾取部时，此机械臂远离机器人本体的一端设置有连接件，多个拾取部与连接件连接，即多个拾取部通过连接件与机械臂连接，连接件能够相对机械臂转动，从而在连接件相对机械臂转动时带动其上连接的拾取部相对机械臂转动。举例来说，如图3所示，以清洁机器人包括一个机械臂，该机械臂上设置有握式拾取部和吸式拾取部两种类型的拾取部为例，在目标物体为玻璃片时，控制机械臂带动拾取部移动至玻璃片附近，然后控制连接件转动，转动至吸式拾取部靠近玻璃片，然后吸式拾取部队玻璃片进行吸附，从而完成对玻璃片的拾取；而在目标物体为纸团时，控制机械臂带动拾取部移动至纸团附近，然后控制连接件转动，转动至握式拾取部靠近纸团，然后握式拾取部队纸团进行抓取，从而完成对纸团的拾取。或者，在其他具体实施方式中，可设置拾取部是可折叠的。具体地，在连接件相对机械臂转动时带动其上连接的拾取部相对机械臂转动，以转动至确定的目标拾取部靠近目标物体；然后，控制其余拾取部折叠至靠近机械臂，以减少其余拾取部对目标拾取部的干扰，提高目标拾取部对目标物体拾取的稳定性。
83.在其他具体实施方式中，一个机械臂上设置有多个拾取部时，此机械臂远离机器人本体的一端设置有一个主连接件，主连接件上设置有多个子连接件，子连接件的数量与拾取部的数量相同，每一拾取部通过一个子连接件与主连接件连接，主连接件和子连接件均能够相对机械臂转动，从而在主连接件或子连接件相对机械臂转动时带动其上连接的拾取部相对机械臂转动。在确定对目标物体进行拾取的目标拾取部后，控制机械臂带动拾取部移动至目标物体附近，然后控制主连接件转动，转动至目标拾取部靠近目标物体；然后，控制其余拾取部对应的子连接件转动，以使与子连接件连接的其余拾取部转动至不干扰目标拾取部对目标物体进行拾取的位置；最后，控制目标拾取部对目标物体进行拾取。
84.在其他具体实施方式中，一个机械臂上设置有多个拾取部时，此机械臂远离机器人本体的一端设置有伸缩件，伸缩件的数量与此机械臂上设置的拾取部数量相同，每一拾取部通过一伸缩件与机械臂连接，伸缩件能够相对机械臂伸缩，从而在伸缩件相对机械臂伸缩时带动其上连接的拾取部相对机械臂伸缩。在确定对目标物体进行拾取的目标拾取部后，控制机械臂带动拾取部移动至目标物体附近，然后控制与目标拾取部连接的伸缩件伸出，从而使得目标拾取部能够靠近目标物体并对其进行拾取。
85.在一实施方式中，目标物体的拾取参考信息中包括目标拾取部标识，则此时基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部，具体为：获取目标物体的拾取参考信息中的目标拾取部标识，从若干拾取部中选出与目标拾取部标识对应的目标拾取部。举例来说，获取到的拾取参考信息中的目标拾取部标识为a拾取
部，则将若干拾取部中的a拾取部作为用于后续拾取目标物体的目标拾取部，即目标拾取部为a拾取部。其中，拾取部标识和拾取部之间的映射关系是提前预置的，在获取到拾取参考信息中关于目标物体的目标拾取部标识后，根据拾取部标识和拾取部之间的映射关系，以从若干拾取部中选出与目标拾取部标识对应的目标拾取部。以清洁机器人包括a拾取部和b拾取部为例；由于提前预置的拾取部标识和拾取部之间的映射关系为：拾取部标识a对应的拾取部为a拾取部、拾取部标识b对应的拾取部为b拾取部；所以在获取到目标物体的拾取参考信息中的目标拾取部标识为a时，根据预置的映射关系，确定此目标物体对应的目标拾取部为a拾取部，则此时从两个拾取部中选出a拾取部作为目标拾取部。
86.在其他实施方式中，目标物体的拾取参考信息中未包括有目标拾取部标识而是包括了目标物体的属性信息，则需要进一步基于目标物体的属性信息确定目标拾取部，则此时基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部，具体为：获取拾取参考信息中关于目标物体的属性信息，并基于属性信息从若干拾取部中选出目标拾取部。其中，目标物体的属性信息包括目标物体的类别、材质和体积中的至少一者。其中，属性信息和目标拾取部之间的映射关系是提前预置的，在获取到拾取参考信息中关于目标物体的属性信息后，根据属性信息和目标拾取部之间的映射关系，以从若干拾取部中选出目标拾取部。例如，以属性信息为目标物体的类别、清洁机器人包括a拾取部和b拾取部为例；由于提前预置的属性信息和目标拾取部之间的映射关系为：a类别物体对应的拾取部为a拾取部、b类别物体对应的拾取部为b拾取部；所以在获取到目标物体的属性信息时即确定目标物体为a类别物体时，根据预置的映射关系，确定此目标物体对应的拾取部为a拾取部，则此时从两个拾取部中选出a拾取部作为目标拾取部。
87.举例来说，以清洁机器人包括有握式拾取部和吸式拾取部、目标物体为纸片以及目标物体的属性信息为目标物体的材质为例；由于纸片属于带有无孔平整表面的物体，所以进一步确定后续适于利用吸式拾取部通过吸附的方式对纸片进行拾取，因此从握式拾取部和吸式拾取部中将吸式拾取部作为目标拾取部。而如果以目标物体为纸团为例，由于纸团属于带有孔状表面的物体，所以进一步确定后续适于利用握式拾取部通过抓取的方式对纸团进行拾取，因此将握式拾取部作为目标拾取部。又例如，以清洁机器人包括有第一拾取部、第二拾取部、第三拾取部和第四拾取部、目标物体为较大体积的粪便以及目标物体的属性信息为目标物体的类别和体积为例；由于粪便为垃圾物体且体积较大，所以进一步确定后续适于利用第四拾取部对较大体积的粪便进行拾取，因此将第四拾取部作为目标拾取部；而如果以目标物体为较小体积的粪便为例，由于粪便为垃圾物体且体积较小，所以进一步确定后续适于利用第三拾取部对较小体积的粪便进行拾取，因此将第三拾取部作为目标拾取部；而如果以目标物体为较大体积的线团为例，由于线团为有用物体且体积较大，所以进一步确定后续适用于利用第二拾取部对较大体积的线团进行拾取，因此将第二拾取部作为目标拾取部；而如果以目标物体为较小体积的纸团为例，由于纸团为有用物体且体积较小，所以进一步确定后续适用于利用第一拾取部对较小体积的纸团进行拾取，因此将第一拾取部作为目标拾取部。
88.步骤s14：控制目标拾取部对目标物体进行拾取。
89.本技术实施方式中，在从清洁机器人的若干拾取部中选出用于拾取目标物体的目标拾取部之后，控制目标拾取部对目标物体进行拾取。由于目标拾取部是基于目标物体的
拾取参考信息选出来的，所以在拾取过程中，目标拾取部能够稳定地对目标物体进行拾取。
90.由于目前存在的多类型清洁机器人或者清洁装置可以进行扫地作业、拖地作业，或者也可以吸附地面上的一些微小颗粒，然后对于一些粒径比较大的目标物体(例如，拖鞋、纸团、纸片、易拉罐或者玻璃片等)无法清扫或者吸附，并且在遇到这些粒径比较大的目标物体时会选择绕开等方式来对待，以使得这些粒径比较大的目标物体所在的附近区域无法得到清扫，降低了清洁效果。因此，通过在机器人本体上设置机械臂以及在机械臂远离机器人本体的一端设置用于拾取目标物体的拾取部，使得清洁机器人能够对粒径比较大的目标物体进行拾取，从而实现对粒径比较大的目标物体的整理，同时能够将目标物体所占据的区域腾空，使得后续清洁机器人能够对目标物体所占据的附近区域进行清洁，减少由于目标物体存在造成目标物体附近区域无法得到清扫的问题出现，提高了清洁机器人的清洁效果。
91.上述实施方式，通过对获取到的环境图像进行物体识别，得到目标物体的拾取参考信息，并基于拾取参考信息确定选出用于拾取目标物体的目标拾取部。其中，清洁机器人上设置有若干拾取部，至少部分拾取部的拾取方式不同。故，清洁机器人具有不同的对目标物体的拾取方式，使得清洁机器人能够根据目标物体的特性选出适用于对该目标物体的拾取方式即选出适用于对该目标物体进行拾取的目标拾取部，以使得后续清洁机器人对目标物体能够进行稳定拾取，同时减少后续在拾取过程中对目标物体造成损坏的情况发生。
92.进一步地，清洁机器人通过对目标物体拾取实现了对当前区域的目标物体的整理，同时能够将目标物体所占据的区域腾空，使得后续清洁机器人能够对目标物体所占据的附近区域进行清洁，减少由于目标物体存在造成目标物体附近区域无法得到清扫的问题出现，提高了清洁机器人的清扫效果。
93.在一实施方式中，清洁机器人对目标物体的拾取等相关的一系列步骤可以在清洁机器人进行清洁之前执行，即在清洁机器人进行清洁之前对目标物体进行整理，以使得清洁机器人在对当前区域清洁之前能够对当前区域进行预清理，保证当前区域不存在目标物体，提高后续清洁机器人对当前区域的清扫效率以及清洁效果。在一具体实施方式中，在清洁机器人对当前区域进行预清理之前，会设置有预设的预清理路径；然后在预设的预清理路径上边移动边巡查，在巡查发现有目标物体时，对目标物体进行对应的处理；处理完毕后重回预设的预清理路径，直至沿着预设的预清理路径对当前区域巡查完毕，完成对当前区域的预清理。在其他具体实施方式中，也可在当前区域中设置若干个监测点，清洁机器人分别在若干个监测点上360度旋转巡查，在发现有目标物体时，移动至目标物体附近并对其进行对应的处理；在若干个监测点上巡查完毕后，完成对当前区域的预清理。由于目标物体相对于灰尘等是容易被巡查发现的，所以对当前区域的预清理方案可以不用覆盖整个区域，减少了计算量且提高了清洁机器人对目标物体的整理效率。在其他具体实施方式中，也可基于当前区域的具体情况随机生成一条预清理路径，通过在随机生成的预清理路径上移动巡查，以完成对当前区域的预清理。
94.可以理解地，在其他实施方式中，清洁机器人对当前区域的目标物体的拾取也可以在清洁机器人进行清洁过程中执行，即在清洁机器人进行清洁的过程中对目标物体进行整理，使得清洁机器人能够对目标物体所占据的附近区域进行清洁，提高清洁机器人的清洁效果。
95.在一实施方式中，若在利用环境图像进行物体识别后，得到多个目标物体对应的拾取参考信息，即在一次物体识别中，存在多个目标物体。其中，可通过目标物体与清洁机器人之间的距离大小关系判定先对哪个目标物体进行拾取，减少清洁机器人重复绕路的情况发生，提高了清洁机器人的拾取或者整理效率。当然，也可先对多个目标物体中的有用物体进行拾取，然后再对垃圾物体进行拾取，避免使用拾取完垃圾物体的目标拾取部再去拾取有用物体而造成对有用物体的污染。
96.在控制目标拾取部对目标物体进行拾取之后，由于可能存在清洁机器人的目标拾取部对目标物体拾取失败的情况，所以，在一实施方式中，响应于目标拾取部对目标物体拾取失败次数大于预设次数，选择出目标拾取部以外的其他拾取部对目标物体进行拾取。也就是说，在目标拾取部对目标物体拾取失败后，会反复尝试对目标物体进行拾取，而在反复拾取均失败后且失败次数大于预设次数后，会控制其他拾取部即将其他拾取部逐一作为目标拾取部对目标物体进行拾取，以将目标物体拾取，提高清洁机器人对当前区域的目标物体的整理效果。其中，不对预设次数进行限定，可根据实际使用需要具体设置。
97.在其他实施方式中，响应于目标拾取部对目标物体拾取失败次数大于预设次数，记录目标物体的信息，并向用户反馈目标物体的信息。本技术不对反馈的目标物体的信息进行限定，可根据实际使用需要具体设置。例如，目标物体的信息包括目标物体的形状、图像、以及在当前区域中的位置中的至少一者。在一具体实施方式中，可将目标物体的信息发送到用户的终端设备上，以向用户反馈目标物体的信息。在其他具体实施方式中，也可通过语音播报的形式播放目标物体的信息，以向用户反馈目标物体的信息。当然，向用户的终端设备发送目标物体的信息的同时也可播放目标物体的信息。
98.在其他实施方式中，在利用除目标拾取部以外的其他拾取部对目标物体均拾取失败后，记录目标物体的信息，并向用户反馈目标物体的信息。
99.请参阅图5，图5是本技术提供的清洁机器人的拾物方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本技术实施例并不以图5所示的流程顺序为限。如图5所示，本技术实施例包括：
100.步骤s50：获取当前区域的环境图像。
101.步骤s50与步骤s11类似，在此不再赘述。
102.步骤s51：利用环境图像进行物体识别。
103.步骤s51与步骤s12类似，在此不再赘述。
104.步骤s52：判断对物体的识别是否成功。
105.由于在清洁机器人的实际拾物过程中，可能会碰到未知的目标物体，即识别目标物体失败。因此，本技术实施方式中，会判断对物体的识别是否成功，在对目标物体识别失败时，执行步骤s53；而在对目标物体识别成功时，执行步骤s57。
106.步骤s53：响应于对目标物体识别失败，向用户发出关于目标物体的讯问信息。
107.本技术实施方式中，响应于对目标物体识别失败，向用户发出关于目标物体的询问信息。其中，不对询问信息进行限定。例如，询问信息可以包括目标物体的类别、应使用若干拾取部中的哪个拾取部进行拾取或者应放置于哪个盛放容器中等。
108.在一具体实施方式中，如图2、图3所示，清洁机器人还包括声音播放装置，用于播放关于目标物体的询问信息。具体地，声音播放装置和处理装置通过有线或者无线的形式
实现通信连接，处理装置向声音播放装置提供询问信息对应的数字信号，声音播放装置接收询问信息对应的数字信号并将其转换为询问信息对应的语音信号，从而播放询问信息。
109.其中，声音播放装置可以设置于机器人本体上或机械臂上；当然，声音播放装置也可以设置于清洁机器人以外的位置上，从而降低了清洁机器人的整体重量，进而减少对电量的消耗。
110.步骤s54：判断是否接收到用户的回复信息。
111.由于用户可能不在清洁机器人所处的当前区域，所以可能无法接收到关于目标物体的询问信息，从而无法给到清洁机器人回复信息。因此，本技术实施方式中，会判断是否接收到用户的回复信息，以确定后续如何对识别失败的目标物体进行处理。在接收到用户的回复信息时，执行步骤s55；而在未接收到用户的回复信息时，执行步骤s56。
112.步骤s55：响应于接收到用户的回复信息，基于回复信息选择其中一个拾取部对目标物体进行拾取。
113.本技术实施方式中，响应于接收到用户的回复信息，基于回复信息选择其中一个拾取部对目标物体进行拾取。其中，不对回复信息进行限定，可根据实际使用需要具体设置。例如，回复信息包括目标物体的拾取参考信息，如目标物体的类别、材质、目标拾取部标识等。举例来说，回复信息中包括拾取部标识，那么此时可直接将回复信息中提及的拾取部标识对应的拾取部作为目标拾取部对目标物体进行拾取。又例如，回复信息中包括目标物体的属性信息，那么此时需要基于目标物体的属性信息先确定使用哪一个拾取部，然后从若干拾取部中选择出对应的拾取部作为目标拾取部进行目标物体的拾取。
114.在一实施方式中，回复信息包括目标物体的拾取参考信息，在基于回复信息选择其中一个拾取部对目标物体进行拾取之后，还会记录回复信息中的拾取参考信息，记录的拾取参考信息用于对后续与目标物体同类的物体进行拾取。在一具体实施方式中，回复信息中的拾取参考信息可用于对物体识别模型的增量训练，使得物体识别模型能够对此类目标物体进行识别，从而使得后续清洁机器人再次碰到此类目标物体时，能够识别此类目标物体对其进行拾取，增大了清洁机器人能够拾取物体的范围。在其他具体实施方式中，回复信息中的拾取参考信息也可用于对后续识别失败且与目标物体同类的物体进行拾取，即在后续清洁机器人对某一目标物体识别失败后，在确定此目标物体与之前收到的回复信息中涉及的目标物体为同类物体，则利用记录的回复信息中的拾取参考信息对此目标物体进行拾取，使得清洁机器人对目标物体拾取的方式更加灵活。
115.在一具体实施方式中，如图2、图3所示，清洁机器人还包括声音采集装置，用于采集用户的回复信息。具体地，声音采集装置和处理装置通过有线或者无线的形式实现通信连接，声音采集装置采集用户的回复信息，并将回复信息对应的语音信号转换为数字信号，然后传输至处理装置，以使处理装置接收到用户的回复信息。
116.其中，声音采集装置可以设置于机器人本体上或机械臂上；当然，声音采集装置也可以设置于清洁机器人以外的位置上，从而降低了清洁机器人的整体重量，进而减少对电量的消耗。
117.步骤s56：响应于未接收到用户的回复信息，基于清洁机器人的配置信息对目标物体进行处理。
118.本技术实施方式中，响应于未接收到用户的回复信息，基于清洁机器人的配置信
息对目标物体进行处理。也就是说，在未接收到用户的回复信息时，清洁机器人会根据预先配置的配置信息对目标物体进行处理，使得清洁机器人更加灵活、智能化。其中，不对配置信息进行限定，可根据实际使用需要具体设置。例如，配置信息为不对目标物体进行拾取或者利用任意一个拾取部对目标物体进行拾取等。
119.在一实施方式中，响应于配置信息为不对目标物体进行拾取，那么清洁机器人在未接收到用户的回复信息时，不对此识别失败的目标物体进行处理。例如，清洁机器人可停在原地等待，或者直接绕过此识别失败的目标物体。
120.在一实施方式中，响应于配置信息为对目标物体进行拾取，利用其中一个拾取部对目标物体进行拾取。由于目标物体是未知的，所以可能存在拾取失败的情况；在利用其中一个拾取部对目标物体拾取失败的次数超过预设次数后，利用其他拾取部逐一对目标物体进行拾取，直至拾取成功；而在所有拾取部对目标物体的拾取均失败后，记录此目标物体的信息，并向用户反馈目标物体的信息。
121.在一具体实施方式中，清洁机器人还可包括通用容器或者未知物体容器，用于放置此识别失败的目标物体。在控制拾取部拾取得到此目标物体后，控制拾取得到的目标物体放置于通用容器或者未知物体容器中，以与其他目标物体区分，从而便于后续进一步对其进行处理。
122.步骤s57：响应于对目标物体识别成功，得到目标物体的拾取参考信息。
123.步骤s57与步骤s12类似，在此不再赘述。
124.步骤s58：基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部。
125.步骤s58与步骤s13类似，在此不再赘述。
126.步骤s59：控制目标拾取部对目标物体进行拾取。
127.步骤s59与步骤s14类似，在此不再赘述。
128.为了对目标物体进行初步分类，以便于后续进一步对目标物体进行处理，从而提高环保效果。在一实施方式中，如图6所示，图6是本技术提供的清洁机器人的拾物方法另一实施例的流程示意图，会将目标物体放置于对应的目标盛放容器中，具体包括如下子步骤：
129.步骤s61：获取拾取参考信息中关于目标物体的类别，从若干盛放容器中，选出与目标物体的类型匹配的目标盛放容器。
130.本技术实施方式中，获取拾取参考信息中关于目标物体的类别，从若干盛放容器中，选出与目标物体的类型匹配的目标盛放容器，以便于后续放置目标物体，实现对目标物体的初步分类。
131.其中，不对若干盛放容器的个数和类型进行限定，可根据使用需要具体设置。例如，若将目标物体分为有用物体和垃圾物体，则可设置两个盛放容器，分别为有用物体盛放容器和垃圾物体盛放容器。又例如，若拾取参考信息中关于目标物体的类别为对应目标物体的具体类别时，如目标物体为易拉罐、纸团、纸片、玻璃片、线团、袜子等；那么每一目标物体的具体类别对应设置一个盛放容器。又例如，若拾取参考信息中关于目标物体的类别对应至生活垃圾分类的类别中，生活垃圾分类分别为可回收物盛放容器、有害垃圾盛放容器、厨余垃圾盛放容器和其他垃圾盛放容器，那么此时可设置4个盛放容器。又例如，若设置的盛放容器分别为有用物体盛放容器和垃圾物体盛放容器，而拾取参考信息中关于目标物体
的类别为对应目标物体的具体类别时，会在确定了目标物体的类别后进一步确定目标物体的类别属于有用物体还是垃圾物体，从而从设置的盛放容器中选出目标盛放容器(如，在确定了目标物体为袜子后，会进一步确定袜子为有用物体，所以选出有用物体盛放容器为目标盛放容器)。
132.步骤s62：控制目标拾取部将拾取得到的目标物体放置至目标盛放容器中。
133.本技术实施方式中，在确定了与目标物体匹配的目标盛放容器后，控制目标拾取部将拾取得到的目标物体放置至目标盛放容器中，实现对拾取的目标物体的初步分类，具有一定的环保效果，也方便后续对有用物体和垃圾物体进行进一步的处置。
134.在一实施方式中，目标物体的拾取参考信息中包括目标盛放容器标识，则此时基于拾取参考信息，从若干盛放容器中，选出用于盛放目标物体的目标盛放容器，具体为：获取目标物体的拾取参考信息中的目标盛放容器标识，从若干盛放容器中选出与目标盛放容器标识对应的目标盛放容器。举例来说，获取到的拾取参考信息中的目标盛放容器标识为a盛放容器，则将若干盛放容器中的a盛放容器作为用于后续放置目标物体的目标盛放容器，即目标盛放容器为a盛放容器。
135.在一具体实施方式中，如图2、图3所示，清洁机器人还包括盛放容器，用于盛放目标拾取部拾取得到的目标物体。其中，盛放容器可以设置于机器人本体上，使得拾取部拾取得到目标物体后能够立即将目标物体放置于盛放容器中，以能够立即进行下一目标物体的拾取，提高了清洁机器人对当前区域的目标物体的整理效率。或者，盛放容器也可以设置于清洁机器人以外的位置上，从而降低了清洁机器人的整体重量，进而减少对电量的消耗；在将盛放容器设置于清洁机器人以外的位置上时，在目标拾取部拾取目标物体后，清洁机器人需要控制自身移动至盛放容器所在的位置，以将拾取的目标物体运输至盛放容器所在的位置，从而可将拾取的目标物体放置于盛放容器中。
136.请参阅图7，图7是本技术提供的物体识别模型的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本技术实施例并不以图7所示的流程顺序为限。如图7所示，本技术实施例包括：
137.步骤s71：获取若干初始样本图像。
138.本技术实施的方法用于基于初始样本图像对物体识别模型进行训练，本文不对初始样本图像的个数、尺寸大小等进行限定，可根据实际使用需要具体设置。其中，初始样本图像包括样本物体图像且标注有样本物体的拾取参考信息，使得后续基于初始样本图像训练完成的物体识别模型能够对图像中的物体进行识别，得到图像中的物体的拾取参考信息。
139.其中，不对拾取参考信息进行限定，可根据实际使用需要具体设置。例如，后续需要根据拾取部的标识，从若干拾取部中选出拾取部标识对应的拾取部进行物体的拾取，那么初始样本图像需要标注有适用于拾取此初始样本图像中的样本物体的拾取部对应的标识。举例来说，某一初始样本图像中包括的样本物体为纸团，适用于拾取纸团的拾取部为第一拾取部，那么该初始样本图像应标注有第一拾取部对应的标识。又例如，后续需要进一步根据物体的属性信息从若干拾取部中选出合适的拾取部进行物体的拾取，那么初始样本图像需要标注有对应样本物体的属性信息。
140.在一实施方式中，初始样本图像具体可以从本地存储或者云端存储中获取得到。
可以理解地，在其他实施方式中，也可以通过图像采集设备(例如，摄像机、三维扫描工具等)对物体进行扫描或拍摄而采集得到初始样本图像。具体地，以通过三维扫描工具对物体进行扫描而采集得到初始样本图像为例，使用三维扫描工具对常见的样本物体进行三维扫描，形成样本物体的立体外形图，其中，也可从不同距离不同角度对同一个样本物体进行多次三维扫描，即对一个样本物体会对应形成多个立体外形图。另外，人工对形成的多个立体外形图进行拾取参考信息标注，以得到多个初始样本图像。
141.步骤s72：基于至少一张初始样本图像，生成若干增强样本图像。
142.为了使得训练后续训练完成的物体识别模型具有更强的泛化能力，应让初始样本图像尽可能多样化。因此，本技术实施方式中，根据至少一张初始样本图像，生成若干增强样本图像，从而使得初始样本图像数据多样化。其中，可基于1张、2张、3张或者多张初始样本图像，生成对应的增强样本图像，在此不做具体限定。
143.在一实施方式中，可通过对初始样本图像进行旋转、缩放、裁剪、剪切、平移或者调整对比度等，生成增强样本图像。可以理解地，在其他实施方式中，也可通过设置虚拟光源，在虚拟光源下对初始样本图像中的样本物体进行拍摄，而对应生成增强样本图像。
144.请参阅图8，图8是图7所示步骤s72一实施例的流程示意图。需注意的是，若有实质上相同的结果，本技术实施例并不以图8所示的流程顺序为限。如图8所示，通过设置虚拟光源，在虚拟光源下对初始样本图像中的样本物体进行拍摄，而对应生成增强样本图像，具体包括：
145.步骤s721：利用经配置的第一位置角度的虚拟光源对初始样本图像中的样本物体进行照射。
146.本技术实施方式中，利用经配置的第一位置角度的虚拟光源对初始样本图像中的样本物体进行照射。具体地，在三维编辑软件中载入一张初始样本图像，设置经用户配置的第一位置角度的虚拟光源对该初始样本图像中的样本物体进行照射。
147.在一实施方式中，可以是用户手动配置第一位置角度的虚拟光源。可以理解地，在其他实施方式中，虚拟光源的第一位置角度也可以是软件系统随机自动配置的，或者也可以是软件系统默认配置的。其中，不对配置的第一位置角度以及虚拟光源的照射强度进行限定，可根据实际使用需要具体设置。
148.在其他实施方式中，也可设置多个虚拟光源对初始样本图像中的样本物体同时/依次进行照射，其中，多个虚拟光源的位置角度不同。另外，多个虚拟光源的照射强度可以均相同，也可以均不同，或者也可以部分虚拟光源的照射强度相同、部分虚拟光源的照射强度不同。
149.步骤s722：利用经配置的第二位置角度的虚拟摄像设备对虚拟光源照射下的样本物体进行拍摄，得到增强样本图像。
150.本技术实施方式中，利用经配置的第二位置角度的虚拟摄像设备对虚拟光源照射下的样本物体进行拍摄，得到增强样本图像。具体地，在三维编辑软件中，设置经配置的第二位置角度的虚拟摄像设备，并利用该摄像设备对虚拟光源照射下的样本物体进行拍摄，从而得到增强样本图像。
151.在一实施方式中，可以是用户手动配置第二位置角度的虚拟摄像设备。可以理解地，在其他实施方式中，虚拟摄像设备的第二位置角度也可以是软件系统随机自动配置的，
或者也可以是软件系统默认配置的。其中，不对配置的第二位置角度进行限定，可根据实际使用需要具体设置。
152.进一步地，根据虚拟光源的参数(例如，虚拟光源的位置角度、照射强度等)和虚拟摄像设备的参数(例如，虚拟摄像设备的位置角度等)以及载入的初始样本图像对应标注的样本物体的拾取参考信息计算得出对应的增强样本图像的样本物体的拾取参考信息，并对增强样本图像进行标注，以便于后续对物体识别模型进行训练。具体地，在拾取参考信息包括目标拾取部标识时，由于是通过调整虚拟光源参数和/或虚拟摄像设备参数获得的增强样本图像，所以增强样本图像的拾取参考信息中的目标拾取部标识与初始样本图像的拾取参考信息中的目标拾取部标识一致。而在拾取参考信息包括拾取位置、拾取方位等拾取参数时，通过经配置的第二位置角度的虚拟摄像设备对虚拟光源照射下的样本物体进行拍摄得到增强样本图像，此增强样本图像的样本物体的拾取位置、拾取方位等拾取参数会发生变化；具体地，由于在对样本物体的识别过程中，会对应生成围绕该样本物体的最小矩形框以及该样本物体的重心，以样本物体为胡萝卜为例，由于胡萝卜是长条的，所以会对应生成围绕胡萝卜的长宽不等的矩形框，此时需要将目标拾取部靠近至矩形框的长的方向且需要靠近至矩形框的长的方向上的中间位置，才能更加稳定地对胡萝卜进行拾取，因此，胡萝卜的拾取方位应在矩形框的长的方向，胡萝卜的拾取位置应在矩形框的长的方向上的中间位置；利用经配置的第二位置角度以及增强样本图像的样本物体的重心，确定增强样本图像的样本物体的重心相对于初始样本图像的样本物体的重心的变换角度；利用确定的变换角度变换初始样本图像的样本物体的最小矩形框，从而得到对应增强样本图像的样本物体的最小矩形框；最后，根据增强样本图像的样本物体的最小矩形框确定拾取位置、拾取方位等拾取参数。
153.在一实施方式中，可通过偏移或者旋转初始样本图像、调整虚拟光源的位置角度、个数或者照射强度等，或者通过调整虚拟摄像设备的位置角度等，或者同时调整任意两个或多个方式的情况下，重新对虚拟光源照射下的样本物体进行拍摄，以得到更多的增强样本图像。举例来说，设置有一个虚拟光源，该虚拟光源在a1位置b1角度以c1照射强度对初始样本图像a中的样本物体进行照射；虚拟摄像设备在d1位置e1角度对虚拟光源照射下的样本物体进行拍摄，得到增强样本图像a1。进一步地，调整虚拟光源的位置角度和照射强度再次对初始样本图像a中的样本物体进行拍摄，以得到增强样本图像a2；具体为：虚拟光源在a2位置b2角度以c2照射强度对初始样本图像a中的样本物体进行照射；虚拟摄像设备在d1位置e1角度对虚拟光源照射下的样本物体进行拍摄，得到增强样本图像a2。
154.步骤s73：利用若干初始样本图像和若干增强样本图像，对物体识别模型进行训练。
155.本技术实施方式中，利用若干初始样本图像和若干增强样本图像，对物体识别模型进行训练，使得训练完成的物体识别模型具有较好的泛化能力，且训练完成的物体识别模型能够对图像中的物体进行识别，得到图像中的物体的拾取参考信息。
156.具体地，预先设定物体识别模型的参数；利用若干初始样本图像和若干增强样本图像对物体识别模型进行训练；基于物体识别模型输出的预测结果以及标注的真实结果，确定物体识别模型的损失；基于该损失，调整物体识别模型的网络参数，并重复上述过程，直至利用若干样本图像和若干增强样本图像将物体识别模型训练至收敛为止。在一实施方
式中，可以通过诸如梯度下降等优化方式，基于物体识别模型的损失调整物体识别模型的网络参数，在此不做具体限定。
157.请参阅图9，图9是图1所示步骤s14一实施例的流程示意图。需注意的是，若有实质上相同的结果，本技术实施例并不以图9所示的流程顺序为限。如图9所示，控制目标拾取部基于拾取参数对目标物体进行拾取，具体包括：
158.步骤s141：获取拾取参考信息中关于目标物体的拾取参数。
159.为了能够控制目标拾取部对目标物体进行更加准确地拾取，会基于目标物体的拾取参数对目标物体进行拾取。因此，本技术实施方式中，会首先获取拾取参考信息中关于目标物体的拾取参数。其中，不对目标物体的拾取参数进行限定，可根据实际使用需要具体设置。
160.在一实施方式中，拾取参数包括目标物体的拾取位置、拾取方位和拾取力度中的至少一者。拾取力度可以理解为目标拾取部施加于目标物体上的作用力大小。由于在对物体的识别过程中，会对应生成围绕该物体的最小矩形框，以目标物体为胡萝卜为例，由于胡萝卜是长条的所以会对应生成围绕胡萝卜的长宽不等的矩形框，此时需要将目标拾取部靠近至矩形框的长的方向且需要靠近至矩形框的长的方向上的中间位置，才能更加稳定地对胡萝卜进行拾取；因此，胡萝卜的拾取方位应在矩形框的长的方向，胡萝卜的拾取位置应在矩形框的长的方向上的中间位置。
161.步骤s142：判断清洁机器人当前是否满足拾取条件。
162.本技术实施方式中，会判断清洁机器人当前是否满足拾取条件，以确定是否控制目标拾取部基于拾取参数对目标物体进行拾取。在清洁机器人当前满足拾取条件时，执行步骤s143。其中，不对拾取条件进行限定，可根据实际使用需要具体设置。
163.在一实施方式中，拾取条件为清洁机器人与目标物体之间的距离小于或等于第一距离阈值。也就是说，在清洁机器人与目标物体之间的距离小于或等于第一距离阈值时，后续能够通过控制设置目标拾取部的机械臂移动而带动目标拾取部靠近目标物体，即目标物体在清洁机器人能够够得着的范围内，以使得后续能够控制目标拾取部对目标物体进行拾取。其中，不对第一距离阈值大小进行限定，可根据实际使用需要具体设置。在一具体实施方式中，如图2、图3所示，通过清洁机器人上设置的距离测量装置测量清洁机器人与目标物体之间的距离。
164.在其他实施方式中，拾取条件也可为目标物体的体积小于或等于预设体积等，在此不做具体限定。在目标物体的体积小于或等于预设体积时，表明目标物体的大小范围在能够被拾取的大小范围内，减少后续目标拾取部的无效拾取，减少了耗电量。
165.步骤s143：响应于清洁机器人当前满足拾取条件，控制目标拾取部基于拾取参数对目标物体进行拾取。
166.本技术实施方式中，响应于清洁机器人当前满足拾取条件，控制目标拾取部基于拾取参数对目标物体进行拾取。也就是说，在清洁机器人当前满足拾取条件时，能够控制目标拾取部对目标物体进行拾取；另外，通过基于拾取参数对目标物体进行拾取，能够更加准确、稳定地对目标物体进行拾取，一方面减少反复尝试对目标物体进行拾取的情况发生，提高了清洁机器人对所在区域的目标物体的拾取或者整理效率，另一方面能够减少反复拾取对目标物体造成损坏的情况发生，同时减少了电量消耗。
167.此外，在清洁机器人当前不满足拾取条件时，可调整清洁机器人至满足拾取条件后，再控制目标拾取部基于拾取参数对目标物体进行拾取。例如，以拾取条件为清洁机器人与目标物体之间的距离小于或等于第一距离阈值为例，由于当前清洁机器人与目标物体之间的距离大于第一距离阈值，即清洁机器人当前不满足拾取条件，所以控制清洁机器人朝着目标物体的方向运动，当清洁机器人运动至与目标物体之间的距离小于或等于第一距离阈值后，控制清洁机器人停止运动，然后控制目标拾取部基于拾取参数对目标物体进行拾取。
168.可以理解地，在其他实施方式中，无需获取目标物体的拾取参数，在响应于清洁机器人当前满足拾取条件后，直接控制目标拾取部对目标物体进行拾取，提高了清洁机器人对所在区域的目标物体的整理效率。
169.请参阅图10，图10是本技术提供的清洁机器人的拾物装置一实施例的结构示意图。清洁机器人的拾物装置100包括获取模块101、识别模块102、选择模块103和控制模块104。获取模块101用于获取当前区域的环境图像；识别模块102用于利用环境图像进行物体识别，得到目标物体的拾取参考信息；选择模块103用于基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部；其中，至少部分拾取部的拾取方式不同；控制模块104用于控制目标拾取部对目标物体进行拾取。
170.其中，选择模块103用于基于拾取参考信息，从清洁机器人的若干拾取部中，选出用于拾取目标物体的目标拾取部，具体包括：获取拾取参考信息中的目标拾取部标识，从若干拾取部中选出目标拾取部标识对应的目标拾取部；或者，获取拾取参考信息中关于目标物体的属性信息，基于属性信息从若干拾取部中选出目标拾取部，其中，属性信息包括目标物体的类别、材质和体积中的至少一者。
171.其中，控制模块104用于控制目标拾取部对目标物体进行拾取，具体包括：获取拾取参考信息中关于目标物体的拾取参数；响应于清洁机器人当前满足拾取条件，控制目标拾取部基于拾取参数对目标物体进行拾取。
172.其中，上述拾取参数包括目标物体的拾取位置、拾取方位和拾取力度中的至少一者；和/或，上述拾取条件为清洁机器人与目标物体之间的距离小于或等于第一距离阈值。
173.其中，控制模块104还用于在控制目标拾取部对目标物体进行拾取之后，具体包括：获取拾取参考信息中关于目标物体的类别；从若干盛放容器中，选出与目标物体的类别匹配的目标盛放容器；控制目标拾取部将拾取得到的目标物体放置至目标盛放容器中。
174.其中，控制模块104还用于在控制目标拾取部对目标物体进行拾取之后，具体包括：响应于目标拾取部对目标物体拾取失败次数大于预设次数，选择除目标拾取部以外的其他拾取部对目标物体进行拾取；和/或，清洁机器人的拾物装置100还包括反馈模块105，反馈模块105用于响应于目标拾取部对目标物体拾取失败次数大于预设次数，记录目标物体的信息，并向用户反馈目标物体的信息，其中，目标物体的信息包括目标物体的形状、图像、以及在当前区域中的位置中的至少一者。
175.其中，清洁机器人的拾物装置100还包括信息交互模块106，信息交互模块106用于在利用环境图像进行物体识别之后，具体包括：响应于对目标物体识别失败，向用户发出关于目标物体的讯问信息；响应于接收到用户的回复信息，基于回复信息选择其中一个拾取部对目标物体进行拾取；或者，响应于未接收到用户的回复信息，基于清洁机器人的配置信
息对目标物体进行处理。
176.其中，上述回复信息包括目标物体的拾取参考信息，信息交互模块106用于在基于回复信息选择其中一个拾取部对目标物体进行拾取之后，具体包括：记录回复信息中的拾取参考信息，记录的拾取参考信用于对后续与目标物体同类的物体进行拾取；和/或，信息交互模块106用于基于清洁机器人的配置信息对目标物体进行处理，具体包括：响应于配置信息为对目标物体进行拾取，利用其中一个拾取部对目标物体进行拾取；响应于配置信息为不对目标物体进行拾取，不对目标物体进行处理。
177.其中，识别模块102用于在利用环境图像进行物体识别，得到目标物体的拾取参考信息之前，具体包括：获取清洁机器人与目标物体之间的距离；响应于距离小于或等于第二距离阈值，执行利用环境图像进行物体识别，得到目标物体的拾取参考信息及其后续步骤。
178.其中，上述利用环境图像进行物体识别是利用物体识别模型执行的，清洁机器人的拾物装置100还包括训练模块107，训练模块107具体用于：获取若干初始样本图像，初始样本图像包含样本物体且标注有样本物体的拾取参考信息；基于至少一张初始样本图像，生成若干增强样本图像；利用若干初始样本图像和若干增强样本图像，对物体识别模型进行训练。
179.其中，训练模块107用于基于至少一张初始样本图像，生成若干增强样本图像，具体包括：利用经配置的第一位置角度的虚拟光源对初始样本图像中的样本物体进行照射；利用经户配置的第二位置角度的虚拟摄像设备对虚拟光源照射下的样本物体进行拍摄，得到增强样本图像。
180.其中，上述若干拾取部包括吸式拾取部和握式拾取部，若干拾取部设于同一机械臂上或者不同机械臂上；和/或，上述获取当前区域的环境图像及其后续步骤是在清洁机器人进行清扫之前或者过程中执行的。
181.请继续参阅图2-图3，本技术提供一种清洁机器人，清洁机器人包括机器人本体、与机器人本体连接的若干拾取部和与若干拾取部通信连接的处理器，处理器可通过有线或者无线的方式与若干拾取部实现连接，处理器用于执行上述任一清洁机器人的拾物方法实施例的步骤。拾取部的设置用于拾取目标物体，处理器控制拾取部对目标物体进行拾取，使得清洁机器人能够对目标物体进行拾取。由于目前存在的多类型清洁机器人或者清洁装置可以进行扫地作业、拖地作业，或者也可以吸附地面上的一些微小颗粒，然后对于一些粒径比较大的目标物体(例如，拖鞋、纸团、纸片、易拉罐或者玻璃片等)无法清洁或者吸附，并且在遇到这些粒径比较大的目标物体时会选择绕开等方式来对待，以使得这些粒径比较大的目标物体所在的附近区域无法得到清洁，降低了清洁效果。因此，通过设置拾取部和处理器，拾取部能够在处理器控制下移动至靠近粒径比较大的目标物体，以使得拾取部能够对粒径比较大的目标物体进行拾取，从而实现对粒径比较大的目标物体的整理，同时能够将目标物体所占据的区域腾空，使得后续清洁机器人能够对目标物体所占据的附近区域进行清扫，减少由于目标物体存在造成目标物体附近区域无法得到清扫的问题出现，提高了清洁机器人的清洁效果。
182.请参阅图11，图11是本技术提供的电子设备一实施例的结构示意图。电子设备110包括相互耦接的存储器111和处理器112，处理器112用于执行存储器111中存储的程序指令，以实现上述任一清洁机器人的拾物方法实施例的步骤。在一个具体的实施场景中，电子
设备110可以包括但不限于：微型计算机、服务器，此外，电子设备110还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
183.具体而言，处理器112用于控制其自身以及存储器111以实现上述任一清洁机器人的拾物方法实施例的步骤。处理器112还可以称为cpu(central processing unit，中央处理单元)。处理器112可能是一种集成电路芯片，具有信号的处理能力。处理器112还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器112可以由集成电路芯片共同实现。
184.在一实施方式中，上述电子设备110可设置在清洁机器人上，用于对清洁机器人进行控制，使得清洁机器人上设置的拾取部能够对目标物体进行拾取，从而实现对目标物体的整理，同时能够将目标物体所占据的区域腾空，使得后续清洁机器人能够对目标物体所占据的附近区域进行清洁，减少由于目标物体存在造成目标物体附近区域无法得到清洁的问题出现，提高了清洁机器人的清洁效果。可以理解地，在其他实施方式中，上述电子设备110也可设置在清洁机器人以外的位置上，与清洁机器人通信连接，能够减轻清洁机器人的重量，使得清洁机器人的内部结构更加简单。另外，还能够减少对清洁机器人的电量消耗，增大清洁机器人的使用时长。
185.请参阅图12，图12是本技术提供的计算机可读存储介质一实施例的结构示意图。本技术实施例的计算机可读存储介质120存储有程序指令121，该程序指令121被执行时实现本技术清洁机器人的拾物方法任一实施例以及任意不冲突的组合所提供的方法。其中，该程序指令121可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质120中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质120包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
186.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。