移动机器人控制方法及装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种移动机器人控制方法及装置、电子设备和存储介质。


背景技术：

2.目前的扫地机器人通常可以完成自主导航、避障、扫地、拖地等功能。然而针对一些障碍物形成的狭小空间、或较小的待清理物来说，单靠扫地机器人的自动导航功能难以发现这些待清理物，如果利用常规的全覆盖式路径遍历来寻找，一方面有可能仍然找不到这些待清理物，另一方面为了局部区域中的待清理物而实施全覆盖式路径遍历，较为浪费能源，且清理效率也较低。


技术实现要素：

3.本公开提出了一种移动机器人控制技术方案。
4.根据本公开的一方面，提供了一种移动机器人控制方法，应用于移动机器人，包括：响应于接收到控制终端发送的实景图像以及所述实景图像中标记的目标对象的目标图像位置，根据所述实景图像以及所述目标图像位置，确定所述目标对象在实际场景中的目标空间位置；根据所述目标对象的目标空间位置以及预先构建的所述实际场景对应的虚拟地图，确定从所述移动机器人所在的当前空间位置移动至所述目标对象处的目标移动路径；根据所述目标移动路径，移动至所述目标对象处并对所述目标对象执行相关作业。
5.在一种可能的实现方式中，所述根据所述目标对象的目标空间位置以及预先构建的所述实际场景对应的虚拟地图，确定从所述移动机器人所在的当前空间位置移动至所述目标对象处的目标移动路径，包括：根据所述目标空间位置以及所述虚拟地图，确定从所述当前空间位置移动至所述目标对象处的初始移动路径；向所述控制终端发送所述初始移动路径，以便于所述控制终端针对所述初始移动路径反馈路径规划指令，所述路径规划指令用于指示所述移动机器人是否使用所述初始移动路径，移动至所述目标对象处；响应于接收到所述控制终端反馈的路径规划指令，根据所述路径规划指令，确定所述目标移动路径。
6.在一种可能的实现方式中，所述根据所述路径规划指令，确定所述目标移动路径，包括：在所述路径规划指令指示使用所述初始移动路径的情况下，将所述初始移动路径确定为所述目标移动路径；或，在所述路径规划指令指示不使用所述初始移动路径的情况下，接收所述控制终端发送的指定移动路径，并根据所述指定移动路径，确定所述目标移动路径，其中，所述指定移动路径是通过对所述初始移动路径进行修改得到的。
7.在一种可能的实现方式中，所述指定移动路径表征从指定起点位置到所述目标空间位置之间的移动路径，其中，所述根据所述指定移动路径，确定所述目标移动路径，包括：在所述指定起点位置与所述移动机器人所在的当前空间位置不同的情况下，根据所述指定起点位置、所述当前空间位置以及所述实际场景对应的虚拟地图，确定移动至所述目标对象处的第一段移动路径；将所述指定移动路径确定为移动至所述目标对象处的第二段移动
路径；其中，所述目标移动路径包括所述第一段移动路径以及所述第二段移动路径。
8.在一种可能的实现方式中，所述根据所述实景图像以及所述目标图像位置，确定所述目标对象在实际场景中的目标空间位置，包括：将所述实景图像与所述虚拟地图进行匹配，得到所述实景图像与所述虚拟地图之间的映射关系；根据所述实景图像与所述虚拟地图之间的映射关系，将所述目标图像位置映射至所述虚拟地图中，得到所述目标空间位置。
9.在一种可能的实现方式中，所述方法还包括：接收所述控制终端发送的所述目标对象的对象类别或所述目标对象对应的指定作业方式；其中，所述对所述目标对象执行相关作业，包括：根据所述目标对象的对象类别，对所述目标对象执行相关作业；或，按照所述目标对象对应的指定作业方式，对所述目标对象执行相关作业。
10.在一种可能的实现方式中，所述移动机器人上设置有机械臂；其中，所述对所述目标对象执行相关作业，包括：在所述对象类别为待抓取对象，或所述指定作业方式为抓取目标对象的情况下，控制所述机械臂抓取所述目标对象并将抓取的目标对象放置至指定位置。
11.根据本公开的一方面，提供了一种移动机器人控制方法，应用于控制终端，包括：获取包含目标对象的实景图像；响应于针对所述实景图像的标记操作，确定在所述实景图像中标记的所述目标对象的目标图像位置；向移动机器人发送所述实景图像以及所述目标对象的目标图像位置，所述移动机器人用于根据所述实景图像以及所述目标图像位置所确定的目标移动路径，移动至所述目标对象处并对所述目标对象执行相关作业。
12.在一种可能的实现方式中，所述方法还包括：在接收到所述移动机器人发送的初始移动路径的情况下，将所述初始移动路径映射至所述目标对象所在实际场景的平面图中并进行显示；响应于针对所述平面图中显示的初始移动路径的确认操作，向所述移动机器人发送用于指示所述移动机器人使用所述初始移动路径的路径规划指令；或，响应于针对所述平面图中显示的初始移动路径的修改操作，得到指定移动路径，并向所述移动机器人发送所述指定移动路径以及用于指示所述移动机器人不使用所述初始移动路径的路径规划指令，其中，所述指定移动路径表征从指定起点位置到所述目标对象的目标空间位置之间的移动路径。
13.在一种可能的实现方式中，所述标记操作还用于标记所述目标对象的对象类别、或标记所述目标对象对应的指定作业方式、或在所述实景图像中标记从所述移动机器人到所述目标对象之间的移动路线，所述方法还包括：向所述移动机器人发送所述目标对象的对象类别，以控制所述移动机器人根据所述对象类别，对所述目标对象执行相关作业；或，向所述移动机器人发送所述指定作业方式，以控制所述移动机器人按照所述指定作业方式，对所述目标对象执行相关作业；或，向所述移动机器人发送所述实景图像以及标记的移动路线，以控制所述移动机器人根据所述实景图像与实际场景对应的虚拟地图之间的映射关系，将所述移动路线映射至所述虚拟地图中，得到目标移动路径。
14.根据本公开的一方面，提供了一种移动机器人控制装置，应用于移动机器人，包括：位置确定模块，用于响应于接收到控制终端发送的实景图像以及所述实景图像中标记的目标对象的目标图像位置，根据所述实景图像以及所述目标图像位置，确定所述目标对象在实际场景中的目标空间位置；路径确定模块，用于根据所述目标对象的目标空间位置
以及预先构建的所述实际场景对应的虚拟地图，确定从所述移动机器人所在的当前空间位置移动至所述目标对象处的目标移动路径；移动控制模块，用于根据所述目标移动路径，移动至所述目标对象处并对所述目标对象执行相关作业。
15.在一种可能的实现方式中，所述路径确定模块，包括：初始路径确定子模块，用于根据所述目标空间位置以及所述虚拟地图，确定从所述当前空间位置移动至所述目标对象处的初始移动路径；路径发送子模块，用于向所述控制终端发送所述初始移动路径，以便于所述控制终端针对所述初始移动路径反馈路径规划指令，所述路径规划指令用于指示所述移动机器人是否使用所述初始移动路径，移动至所述目标对象处；目标路径确定子模块，用于响应于接收到所述控制终端反馈的路径规划指令，根据所述路径规划指令，确定所述目标移动路径。
16.在一种可能的实现方式中，所述根据所述路径规划指令，确定所述目标移动路径，包括：在所述路径规划指令指示使用所述初始移动路径的情况下，将所述初始移动路径确定为所述目标移动路径；或，在所述路径规划指令指示不使用所述初始移动路径的情况下，接收所述控制终端发送的指定移动路径，并根据所述指定移动路径，确定所述目标移动路径，其中，所述指定移动路径是通过对所述初始移动路径进行修改得到的。
17.在一种可能的实现方式中，所述指定移动路径表征从指定起点位置到所述目标空间位置之间的移动路径，其中，所述根据所述指定移动路径，确定所述目标移动路径，包括：在所述指定起点位置与所述移动机器人所在的当前空间位置不同的情况下，根据所述指定起点位置、所述当前空间位置以及所述实际场景对应的虚拟地图，确定移动至所述目标对象处的第一段移动路径；将所述指定移动路径确定为移动至所述目标对象处的第二段移动路径；其中，所述目标移动路径包括所述第一段移动路径以及所述第二段移动路径。
18.在一种可能的实现方式中，所述位置确定模块，包括：匹配子模块，用于将所述实景图像与所述虚拟地图进行匹配，得到所述实景图像与所述虚拟地图之间的映射关系；映射子模块，用于根据所述实景图像与所述虚拟地图之间的映射关系，将所述目标图像位置映射至所述虚拟地图中，得到所述目标空间位置。
19.在一种可能的实现方式中，所述装置还包括：接收模块，用于接收所述控制终端发送的所述目标对象的对象类别或所述目标对象对应的指定作业方式；其中，所述对所述目标对象执行相关作业，包括：根据所述目标对象的对象类别，对所述目标对象执行相关作业；或，按照所述目标对象对应的指定作业方式，对所述目标对象执行相关作业。
20.在一种可能的实现方式中，所述移动机器人上设置有机械臂；其中，所述对所述目标对象执行相关作业，包括：在所述对象类别为待抓取对象，或所述指定作业方式为抓取目标对象的情况下，控制所述机械臂抓取所述目标对象并将抓取的目标对象放置至指定位置。
21.根据本公开的一方面，提供了一种移动机器人控制装置，应用于控制设备，包括：获取模块，用于获取包含目标对象的实景图像；确定模块，用于响应于针对所述实景图像的标记操作，确定在所述实景图像中标记的所述目标对象的目标图像位置；发送模块，用于向移动机器人发送所述实景图像以及所述目标对象的目标图像位置，所述移动机器人用于根据所述实景图像以及所述目标图像位置所确定的目标移动路径，移动至所述目标对象处并对所述目标对象执行相关作业。
22.在一种可能的实现方式中，所述装置还包括：初始路径接收模块，用于在接收到所述移动机器人发送的初始移动路径的情况下，将所述初始移动路径映射至所述目标对象所在实际场景的平面图中并进行显示；初始路径确认模块，用于响应于针对所述平面图中显示的初始移动路径的确认操作，向所述移动机器人发送用于指示所述移动机器人使用所述初始移动路径的路径规划指令；或，初始路径修改模块，用于响应于针对所述平面图中显示的初始移动路径的修改操作，得到指定移动路径，并向所述移动机器人发送所述指定移动路径以及用于指示所述移动机器人不使用所述初始移动路径的路径规划指令，其中，所述指定移动路径表征从指定起点位置到所述目标对象的目标空间位置之间的移动路径。
23.在一种可能的实现方式中，所述标记操作还用于标记所述目标对象的对象类别、或标记所述目标对象对应的指定作业方式、或在所述实景图像中标记从所述移动机器人到所述目标对象之间的移动路线，所述装置还包括：对象类别发送模块，用于向所述移动机器人发送所述目标对象的对象类别，以控制所述移动机器人根据所述对象类别，对所述目标对象执行相关作业；或，作业方式发送模块，用于向所述移动机器人发送所述指定作业方式，以控制所述移动机器人按照所述指定作业方式，对所述目标对象执行相关作业；或，路线发送子模块，用于向所述移动机器人发送所述实景图像以及标记的移动路线，以控制所述移动机器人根据所述实景图像与实际场景对应的虚拟地图之间的映射关系，将所述移动路线映射至所述虚拟地图中，得到目标移动路径。
24.根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
25.根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
26.在本公开实施例中，通过根据控制终端发送的实景图像以及标记的目标对象的目标图像位置，确定移动机器人的目标移动路径，并按照目标移动路径控制移动机器人移动至目标对象处执行相关作业，一方面对于持有控制终端的用户来说，通过拍张实景图像并标记目标对象的目标图像位置，就可以实现控制移动机器人直接移动至目标对象处并进行相关作业，这样比较便捷直观；另一方面对于移动机器人(如扫地机器人)来说，无需进行全覆盖式路径遍历就可以找到难以发现的目标对象，可以降低移动机器人找到目标对象的难度、节省能源、提高作业效率。
27.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
28.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
29.图1示出根据本公开实施例的一种扫地机器人控制系统的示意图。
30.图2示出根据本公开实施例的移动机器人控制方法的流程图。
31.图3示出根据本公开实施例的一种移动机器人控制方法的流程图。
32.图4示出根据本公开实施例的一种平面图的示意图。
33.图5示出根据本公开实施例的一种平面图的示意图。
34.图6示出根据本公开实施例的移动机器人控制装置的框图。
35.图7示出根据本公开实施例的移动机器人控制装置的框图。
36.图8示出根据本公开实施例的一种电子设备的框图。
具体实施方式
37.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
38.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
39.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
40.另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
41.目前，在家庭内部、办公场所存在多种类型的扫地机器人，可以完成导航、创建环境地图、扫地、拖地等功能。目前扫地机器人基本上都是自动控制的。然而，在一些场景下，由于技术的限制，纯自动控制无法很好地完成任务。例如，在一个较为难找的室内角落存在一些垃圾需要清理，单靠扫地机器人的自动导航功能难以发现这些垃圾，即使通过弓字形这种近乎全覆盖式的路径遍历方法来寻找，一方面有可能仍然找不到，另一方面为了这一小处垃圾而实施的全覆盖式遍历，是浪费能源和时间的。为此，一些扫地机器人也附带了蓝牙装置或控制手柄，使得用户可以通过手机和蓝牙对扫地机器人进行纯手动控制。但是，这种纯手动控制需要用户完成每一步行走的控制，包括前进后退和转弯，有点繁琐。
42.另外，在家庭内部和办公场所内部，除了有灰尘、污渍等脏物需要扫地机器人清扫外，还存在一些小物件，例如纸屑、果皮、线团、拖鞋、掉落的钥匙等物体。为了让扫地机器人能够处理这些小物件，可以给扫地机器人安装机械臂。在使用机械臂抓取小物件之前，需要使用基于深度学习或其他算法的物体识别模型去识别小物件，同时需要使用距离传感器去定位小物件。家庭内部和办公室内部地面上的小物件的种类繁多，姿态、形状、颜色更是多种多样，现有的物体识别模型无法很好地识别全部的小物件，或者无法识别，或者是识别错误，这会严重降低用户的体验。
43.为了解决上述问题，本公开实施例提出一种移动机器人控制方法，可以应用于扫地机器人，通过根据控制终端发送的实景图像以及标记的目标对象的目标图像位置，确定移动机器人的目标移动路径，并按照目标移动路径控制移动机器人移动至目标对象处执行指定作业，一方面对于持有控制终端的用户来说，通过拍张实景图像并标记目标对象的目标图像位置，就可以实现控制移动机器人直接移动至目标对象处并进行相关作业，这样比
较便捷直观；另一方面对于移动机器人来说，无需进行全覆盖式路径遍历，也无需通过物体识别模型来识别各种小物品，就可以找到难以发现的目标对象，可以降低移动机器人找到目标对象的难度、节省能源、提高作业效率。
44.图1示出根据本公开实施例的一种扫地机器人控制系统的示意图，如图1所示，该系统包括：控制设备111以及扫地机器人222；控制设备111与扫地机器人222之间可以通过无线网络建立通信连接；
45.其中，控制设备111可以指示扫地机器人222对目标对象执行定点清理作业，定点清理作业可以理解为直接移动到目标对象处并清理目标对象，控制设备111在指示扫地机器人222对目标对象执行定点清理作业的同时，可以向扫地机器人222发送包含目标对象的实景图像以及该实景图像中标记的目标对象的目标图像位置；
46.扫地机器人222可以在接收到控制设备111发送的定点清理作业的指示时，根据控制设备111发送的实景图像以及实景图像中标记的目标对象的目标图像位置，确定移动至该目标对象处的目标移动路径，也即根据实景图像以及目标图像位置进行路径规划，并在根据目标移动路径移动至目标对象处的情况下，对目标对象进行清理作业。
47.根据本公开实施例的扫地机器人控制系统，用户可以便捷地通过控制设备有效地指示扫地机器人直接移动到目标对象处，来对目标对象执行清理作业，能够降低扫地机器人找到目标对象的难度、节省能源、提高清理效率。
48.需要说明的是，以上是本公开实施例提供的一种扫地机器人控制系统的作业过程，实际上，该扫地机器人控制系统中的扫地机器人可以扩展为其它类型的移动机器人，当扫地机器人扩展为其它类型的移动机器人时，可以实现采用与扫地机器人控制系统相似的控制系统，来控制移动机器人移动的目标对象处并对目标对象执行相关作业。
49.本公开的实施例中的控制设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备、服务器等电子设备，对此本公开实施例不作限制。本公开的实施例中扫地机器人例如可以包括家用扫地机器人、办公场所扫地机器人等，本公开对于扫地机器人的型号、种类等不作限制。
50.在一种可能的实现方式中，本公开还提供一种移动机器人，该移动机器人可以至少包括：计算装置，用于执行本公开中的移动机器人控制方法；本体装置，用于在计算装置的控制下，执行移动与相关作业。其中，计算装置例如可以包括嵌入式计算机、通用计算机等各种计算机，计算装置可以固定连接于本体装置中，本公开实施例对于计算装置的类型以及本体装置的形状结构等不作限制。
51.在一种可能的实现方式中，上述移动机器人还可以包括：数据采集装置，用于采集实际场景中的环境几何数据(如房间的三维点云数据)、障碍物数据等各类数据；通讯装置，用于建立控制设备与移动机器人之间的通信连接，以进行数据传输、请求交互等。其中，数据采集装置例如可以至少包括激光雷达、超声波传感器、深度摄像头、视觉摄像头等各类传感器，数据采集装置与通讯装置可以固定连接于本体装置中。
52.应理解的是，上述移动机器人是本公开实施例提供的一些实现方式，本领域技术人员可以根据实际需求设计各种移动机器人，例如若需对移动机器人进行语音控制，移动机器人中可以包括声音采集装置(如麦克风)，用于将采集的声音转化为数字信号，以实现
语音控制；还可以包括声音发出装置(如喇叭)，用于将声音的数字信号转化为声音并进行播放，以实现较好的人机交互，本公开实施例对于移动机器人的具体结构不作限制。
53.图2示出根据本公开实施例的移动机器人控制方法的流程图，该移动机器人控制方法可以应用于移动机器人，移动机器人例如可以是扫地机器人、物流机器人、清洁机器人或者具有机械臂的移动机器人等任意类型的机器人，应理解的是，只要是需找到实际场景中的目标对象执行作业的移动机器人，均可采用本公开实施例中的移动机器人控制方法。如图2所示，该移动机器人控制方法包括：
54.在步骤s11中，响应于接收到控制终端发送的实景图像以及实景图像中标记的目标对象的目标图像位置，根据实景图像以及目标图像位置，确定目标对象在实际场景中的目标空间位置。
55.其中，实景图像可以是控制设备上设置的图像采集装置(如内置摄像头)或与控制设备外部连接的图像采集设备(如房顶上设置的摄像头)所采集的、包含目标对象的图像。目标对象也即待执行作业的对象，例如，待清理的食物残渣、污渍等物品、待移动的钥匙、鞋袜等物品、或者待码垛的物品等，对此本公开实施例不作限制。
56.可理解的是，当用户发现实际场景中有目标对象时，例如地面上有食物残渣时，例如可以利用控制设备中设置的图像采集装置，采集包含该目标对象的实景图像；采集的实景图像可以显示在控制设备的显示屏中，以便于用户在采集的实景图像中标记目标对象的目标图像位置。
57.其中，标记目标对象的目标图像位置，例如可以包括：手动圈出目标对象，或在目标对象上设置定位标识等，本公开实施例对于目标图像位置的标记方式不作限制。目标图像位置可以理解为用于表征目标对象在实景图像中所在位置的至少一个像素坐标，目标图像位置可以包括目标对象的中心点所在的像素坐标、也可以包括目标对象的边缘点所在的像素坐标，对此本公开实施例不作限制。应理解的是，当用户圈出目标对象或设置定位标识后，便可以得到目标图像位置。
58.其中，当用户在实景图像上标记目标图像位置后，可以操作控制设备向移动机器人发送定点清理的指令，以指示移动机器人进行定点清理，同时控制设备可以向移动机器人发送实景图像以及实景图像中标记的目标图像位置，以便于移动机器人根据实景图像以及目标图像位置，确定目标对象在实际场景中的目标空间位置，之后可以根据该目标空间位置进行路径规划，也即确定移动至目标对象处的目标移动路径。
59.其中，实际场景可以理解为移动机器人能清理的场景、或者说可能存在目标对象的场景，例如居住场所、办公场所等。目标对象在实际场景中的目标空间位置，可以理解为，目标对象在实际场景中实际的空间位置。
60.可知晓的是，移动机器人在首次在实际场景中执行作业前，通常都会对整个实际场景进行建图，从而可以让移动机器人基于构建的虚拟地图，进行自主定位、导航、避障以及路径规划等。虚拟地图可以是二维栅格地图或三维点云地图，本公开实施例对于二维栅格地图与三维点云地图的构建方式不作限制。
61.在一种可能的实现方式中，根据实景图像以及目标图像位置，确定目标对象在实际场景中的目标空间位置，包括：将实景图像与实际场景对应的虚拟地图进行匹配，得到实景图像与虚拟地图之间的映射关系；根据实景图像与虚拟地图之间的映射关系，将目标图
像位置映射至虚拟地图中，得到目标空间位置。通过该方式，可以有效得到目标对象在实际场景中实际的空间位置。
62.当虚拟地图是三维点云地图时，，将实景图像与虚拟地图进行匹配，得到实景图像与虚拟地图之间的映射关系，可以包括：将实景图像中的特征点与三维点云地图中的数据点进行特征匹配，以确定与各个特征点匹配的数据点；然后可以基于上述地图构建技术中的三维重建原理，确定特征点与匹配的数据点之间的投影变换矩阵，也即得到实景图像与三维点云地图之间的映射关系，映射关系可以表征实景图像与三维点云地图之间的投影变换关系。其中，本领域技术人员可以采用本领域已知的匹配算法，实现将实景图像与三维点云地图进行匹配，对此本公开实施例不作限制。
63.其中，根据实景图像与虚拟地图之间的映射关系，将目标图像位置映射至虚拟地图中，得到目标空间位置，可以包括：基于该映射关系，确定目标图像位置映射至三维点云地图中的三维坐标，该三维坐标可以确定为目标空间位置，也即得到目标对象在实际场景中实际的空间位置。如上所述，映射关系可以表示为投影变换矩阵，因此可以将目标图像位置代入至该投影变换矩阵中，得到映射至三维点云地图中的目标空间位置。
64.应理解的是，以上通过匹配实景图像与虚拟地图所得到的映射关系，来确定目标空间位置的方式，是本公开实施例提供的一种确定目标空间位置的实现方式，本公开应不限于此，例如用户可以拍摄多张不同角度的实景图像并分别标记待处理对象的目标图像位置，那么移动机器人可以直接基于该多张不同角度的实景图像进行实时的三维地图构建，然后将标记的目标图像位置映射至该基于多张实景图像所构建出的三维地图中，得到待处理对象的目标空间位置。本公开实施例对于根据实景图像以及目标图像位置确定目标空间位置的具体实现方式不作限制。
65.如上所述，虚拟地图还可以是二维栅格地图，可知晓的是，二维栅格地图中被占的栅格可以表征实际场景中各个物体的实际空间位置以及物体类别等信息，未被占的栅格可以表征实际场景中的可移动区域；二维栅格地图通常是根据实际场景中各个物体的实际位置信息以及物体类别，在二维栅格平面中标记各个物体的所属栅格得到的。基于此，在一种可能的实现方式中，根据实景图像以及目标图像位置，确定目标对象在实际场景中的目标空间位置，可以包括：对实景图像中各个物体进行识别，得到实景图像中各个物体的物体类别，再将实景图像中各个物体的物体类别与二维栅格地图中各个被占栅格中的物体类别进行匹配，得到实景图像中各个物体在二维栅格地图中的所属栅格；再根据实景图像中目标对象的目标图像位置与实景图像中各个物体的物体图像位置之间的相对位置关系，以及实景图像中各个物体在二维栅格地图中的所属栅格，估计该目标对象在二维栅格地图中的所属栅格，得到目标对象的目标空间位置。
66.在步骤s12中，根据目标对象的目标空间位置以及预先构建的实际场景对应的虚拟地图，确定从移动机器人所在的当前空间位置移动至目标对象处的目标移动路径。
67.如上所述，移动机器人在首次在实际场景中执行作业前，通常都会对整个实际场景进行建图，从而可以让移动机器人基于构建的虚拟地图，进行自主定位、导航、避障以及路径规划等，基于该虚拟地图，移动机器人可以进行自主定位，也即自主确定所在的当前空间位置，本公开实施例对于移动机器人的自主定位方式不作限制。
68.应理解的是，在已知移动机器人的当前空间位置(相当于路径规划的起点)、目标
对象的目标空间位置(相当于路径规划的终点)以及实际场景的虚拟地图后，可以采用本领域已知的路径规划技术，确定从当前空间位置移动至目标对象处的目标移动路径，对此本公开实施例不作限制。
69.在步骤s13中，根据目标移动路径，控制移动机器人移动至目标对象处并对目标对象执行相关作业。
70.其中，移动机器人可以按照目标移动路径移动至目标对象处，并在移动至目标对象处后，对目标对象执行相关作业；相关作业例如可以包括吸地、拖地、抓取等作业。例如，对于扫地机器人或清洁机器人来说，可以对目标对象进行吸地、拖地等清理作业，对于物流机器人来说，可以对目标对象执行抓取、移动、码垛等作业，对于带机械臂的扫地机器人来说，可以对目标对象进行吸地、拖地、抓取等作业。
71.考虑到，用户还可能对移动机器人有垃圾分类清理的需求，甚至还有抓取物品(如抓取鞋子、抓取掉落的钥匙)的需求，在一种可能的实现方式中，用户在控制终端中标记目标对象的目标图像位置的同时，还可以标记该目标对象的对象类别或者目标对象对应的指定作业方式，并将标记的对象类别或指定作业方式也发送给移动机器人，本公开实施例对于对象类别或指定作业方式的标记方式不作限制。
72.应理解的是，若控制终端发送的是对象类别，则移动机器人可以根据预先设置的对象类别与作业方式之间的匹配关系，确定出与该对象类别匹配的作业方式，来对目标对象执行相关作业；若控制终端发送的是指定作业方式，移动机器人可以直接按照指定作业方式，对目标对象执行相关作业。其中，本领域技术人员可以根据实际需求设计目标对象的对象类别以及与不同对象类别匹配的作业方式；以及，指定作业方式可以是用户对目标对象指定的作业方式，例如，可以指定清理目标对象、抓取目标对象、移动目标对象等，对此本公开实施例不作限制。
73.基于此，在一种可能的实现方式中，所述方法还包括：接收控制终端发送的目标对象的对象类别或目标对象对应的指定作业方式；其中，对目标对象执行相关作业，可以包括：根据目标对象的对象类别，对目标对象执行相关作业；或，按照目标对象对应的指定作业方式，对目标对象执行相关作业。通过该方式，可以满足对不同目标对象进行不同作业的需求。
74.举例来说，若控制终端发送的是对象类别，目标对象的对象类别可以包括干垃圾或湿垃圾等，这样扫地机器人可以根据对象类别确定相关作业是对目标对象进行分类清扫，例如可以将目标对象清扫到用于收集干垃圾的垃圾袋中或清扫到用于收集湿垃圾的垃圾袋中；若终端发送的是指定作业方式，指定作业方式可以包括抓取有用物品，有用物品例如可以包括鞋子、钥匙等，可以通过控制移动机器人上设置的机械臂抓取该些有用物品放置在合适位置，例如鞋子放置进鞋柜、钥匙放置在茶几上等。
75.在一种可能的实现方式中，移动机器人上可以设置有机械臂；其中，对目标对象执行相关作业，包括：在对象类别为待抓取对象，或指定作业方式为抓取目标对象的情况下，控制机械臂抓取目标对象并将抓取的目标对象放置到指定位置。通过该方式，可以使移动机器人具有抓取目标对象的能力，扩展移动机器人的应用场景。
76.其中，机械臂是指可以抓取、吸取或移动物体的机器人机械臂，本公开实施例对于机械臂的机械结构不作限制。待抓取对象例如可以是钥匙、袜子、纸张等物体，若用户设置
目标对象为待抓取对象时，移动机器人可以确定与该待抓取对象匹配的作业方式是抓取目标对象，进而可以对目标对象执行抓取作业；若用户直接设置指定作业方式为抓取目标对象，那么移动机器人可以直接对目标对象执行抓取作业。
77.其中，在抓取到目标对象后，可以将抓取的目标对象放置到指定位置，指定位置可以是预先指定的放置目标对象的空间位置或默认的合适位置，例如可以将鞋子放置到鞋架、将纸张放置到垃圾桶、将钥匙放到茶几上等，对此本公开实施例不作限制。
78.其中，在控制机械臂抓取目标对象的相关作业中，移动机器人可以采用本领域已知的抓取点预测方式，确定用于抓取目标对象的抓取点以及机械臂抓取目标对象时的抓取位姿，抓取位姿可以是抓取点对应的法向量，以使移动机器人规划机械臂运动路径来抓取目标对象；以及，还可以根据物体放置的指定位置，规划机械臂的运动路径以放置目标对象等。应理解的是，在规划机械臂的运动路径以放置目标对象的作业中，还可能涉及到目标位置的高度测量等过程。本公开实施例对于相关作业的具体执行过程、执行方式等不作限制。
79.其中，目标位置的高度测量例如可以通过移动机器人上设置的激光雷达、红外传感器等工具进行测量，还可以通过将包含目标位置的图像与实际场景的三维点云地图进行匹配得到目标位置的高度，对此本公开实施例不作限制。在测量得到目标位置的高度后，移动机器人可结合目标位置的高度，规划机械臂的运动路径，以减少移动机器人的碰撞，提高路径规划的效率和准确性。
80.如上所述，移动机器人中还可以设置有声音采集装置，以实现语音控制；在一种可能的实现方式中，所述方法还可以包括：响应于声音采集装置采集到针对移动机器人的控制语音，解析出控制语音中的控制信息，控制信息包括目标对象的目标空间位置与对象类别；再根据基于该目标空间位置以及虚拟地图所确定的目标移动路径，移动至目标对象处并对目标对象执行与该对象类别对应的相关作业。其中，控制信息中的目标空间位置例如可以是目标对象所在的较大范围的空间名称，例如卧室、沙发底下、床底下等移动机器人容易识别的名称，或者可以是目标对象相对于移动机器人的方位信息，例如左前方1米范围内等移动机器人可识别的位置信息。通过该方式，可以实现语音控制移动机器人进行定点的相关作业。
81.其中，可以采用本领域已知的语音识别技术，实现解析出控制语音中的控制信息；在一种可能的实现方式中，还可以通过声音发出装置告知用户解析结果，若解析结果为成功解析出的控制信息，用户可以确认解析出的控制信息是否正确，如果正确可以指示移动机器人开始执行移动与执行作业；若解析结果为语音解析失败或者解析出的控制信息不正确，还可以重新采集用户发出的控制语音，直至解析出正确的控制信息。
82.在一种可能的实现方式中，控制语音中例如还可以包括控制移动机器人移动的导航信息，该导航信息例如可以包括：向左转、向右转、向后转、前行n米等，n为正数，这样可以通过语音控制移动机器人，按照用户指定的移动路径前往目标对象处。通过该方式，可以实现语音控制移动机器人进行移动，节省自主规划移动路径的运算消耗。
83.在本公开实施例中，通过根据控制终端发送的实景图像以及标记的目标对象的目标图像位置，确定移动机器人的目标移动路径，并按照目标移动路径控制移动机器人移动至目标对象处执行相关作业，一方面对于持有控制终端的用户来说，通过拍张实景图像并标记目标对象的目标图像位置，就可以实现控制移动机器人直接移动至目标对象处并进行
相关作业，这样比较便捷直观；另一方面对于扫地机机器人来说，无需进行全覆盖式路径遍历，也无需利用物体识别模型识别各种小物体，就可以找到难以发现的目标对象，可以降低移动机器人找到目标对象的难度、节省能源、提高作业效率。
84.如上所述，移动机器人可以根据目标空间位置以及虚拟地图所确定的目标移动路径，移动至目标对象处进行相关作业，考虑到移动机器人自主规划的目标移动路径，可能不是合适的移动路径，例如目标移动路径中可能有较大的临时停放的障碍物，在一种可能的实现方式中，在步骤s12中，根据目标对象的目标空间位置以及预先构建的实际场景对应的虚拟地图，确定从移动机器人所在的当前空间位置移动至目标对象处的目标移动路径，包括：
85.步骤s121：根据目标空间位置以及虚拟地图，确定从当前空间位置移动至目标对象处的初始移动路径；
86.步骤s122：向控制终端发送初始移动路径，以便于控制终端针对初始移动路径反馈路径规划指令，路径规划指令用于指示移动机器人是否使用初始移动路径，移动至目标对象处；
87.步骤s123：响应于接收到控制终端反馈的路径规划指令，根据路径规划指令，确定目标移动路径。
88.其中，在步骤s121中，可以采用本领域已知的路径规划技术，实现根据目标空间位置以及虚拟地图，确定从当前空间位置移动至目标对象处的初始移动路径，对此本公开实施例不作限制。在步骤s122中，可以采用本领域已知的数据传输技术，实现向控制终端发送初始移动路径，对此本公开实施例不作限制。
89.在一种可能的实现方式中，控制终端可以在接收到移动机器人发送的初始移动路径后，将该初始移动路径展示给用户，若用户认为该初始移动路径合适，可以对该初始移动路径进行确认，也即确认使用该初始移动路径，在确认使用初始移动路径的情况下，控制终端可以向移动机器人发送用于指示移动机器人使用初始移动路径的路径规划指令；若用户认为该初始移动路径不合适，可以对初始移动路径进行修改，得到指定移动路径并确认使用该指定移动路径，在确认使用指定移动路径(也即确认不使用初始移动路径)的情况下，控制终端可以向移动机器人发送该指定移动路径以及用于指示移动机器人不使用初始移动路径的路径规划指令。
90.在一种可能的实现方式中，若用户认为该初始移动路径不合适，还可以通过控制终端向移动机器人发送用于指示移动机器人重新规划路径的路径规划指令，以指示移动机器人重新规划一条移动路径，移动机器人可以再次将重新规划的移动路径，发送给控制终端并展示给用户，以便于用户再次确认是否使用该重新规划的移动路径，直到用户确定使用移动机器人规划的移动路径。
91.可理解的是，不同的路径规划指令，可以确定出不同的目标移动路径；在一种可能的实现方式中，在步骤s123中，根据路径规划指令，确定目标移动路径，包括：
92.在路径规划指令指示使用初始移动路径的情况下，将初始移动路径确定为目标移动路径；或，在路径规划指令指示不使用初始移动路径的情况下，接收控制终端发送的指定移动路径，并根据指定移动路径，确定目标移动路径。通过该方式，可以针对不同的路径规划指令，确定出合适的目标移动路径，使移动机器人能够按照合适的目标移动路径进行移
动。
93.其中，指定移动路径可以是通过对初始移动路径进行修改得到的；在一种可能的实现方式中，对初始移动路径进行修改可以包括：在初始移动路径的基础上，手动调整初始移动路径的拐点、拐点之间线段的长度等，或者还可以删除全部的初始移动路径，并重新画一条移动路径作为指定移动路径。本公开实施例对于初始移动路径的修改方式不作限制。
94.其中，根据指定移动路径，确定目标移动路径，可以包括：将该指定移动路径确定为目标移动路径；但考虑到，用户在修改初始移动路径时，可能会存在修改初始移动路径中的起点位置、或移动机器人已移动到其它空间位置等情况，在该些情况下，修改得到的指定移动路径中的起点位置与移动机器人的当前空间位置可能不一致，在一种可能的实现方式中，指定移动路径可以表征从指定起点位置到目标空间位置之间的移动路径，在接收到控制终端发送的指定移动路径后，可以判断指定起点位置与移动机器人所在的当前空间位置是否相同，并依据判断结果确定目标移动路径，判断结果可以指示指定起点位置与当前空间位置相同，或指定起点位置与当前空间位置不同。
95.如上所述，指定移动路径中的指定起点位置与移动机器人所在的当前空间位置可能相同，在一种可能的实现方式中，根据指定移动路径，确定目标移动路径，还包括：在指定起点位置与移动机器人所在的当前空间位置相同的情况下，将指定移动路径确定目标移动路径。通过该方式，可以在指定起点位置与当前空间位置相同的情况下，有效确定出目标移动路径。
96.如上所述，指定移动路径中的指定起点位置与移动机器人所在的当前空间位置可能不同，在一种可能的实现方式中，根据指定移动路径，确定目标移动路径，包括：在指定起点位置与移动机器人所在的当前空间位置不同的情况下，根据指定起点位置、当前空间位置以及实际场景对应的虚拟地图，确定移动至目标对象处的第一段移动路径；将指定移动路径确定为移动至目标对象处的第二段移动路径；其中，目标移动路径包括第一段移动路径以及第二段移动路径。通过该方式，可以在指定起点位置与当前空间位置不同的情况下，有效确定出目标移动路径。
97.其中，根据指定起点位置、当前空间位置以及实际场景对应的虚拟地图，确定移动至目标对象处的第一段移动路径，相当于规划出从移动机器人的当前空间位置(相当于实际的起点)移动至指定起点位置(相当于指定的起点)之间的移动路径，这样当移动机器人按照目标移动路径进行移动时，可以先按照第一段移动路径从当前空间位置移动至指定起点位置，再按照第二段移动路径(也即指定移动路径)从指定起点位置移动至目标对象处。
98.如上所述，可以采用本领域已知的路径规划技术，实现根据指定起点位置(相当于第一段移动路径的终点)、当前空间位置(相当于第一段移动路径的起点)以及实际场景对应的虚拟地图，确定第一段移动路径，对此本公开实施例不作限制。
99.图3示出根据本公开实施例的一种移动机器人控制方法的流程图，该移动机器人控制方法可以应用于控制终端。如图3所示，该移动机器人控制方法包括：
100.在步骤s31中，获取包含目标对象的实景图像。
101.其中，实景图像可以是控制设备上设置的图像采集装置(如内置摄像头)或与控制设备外部连接的图像采集设备(如房顶上设置的摄像头)所采集的、包含目标对象的图像。目标对象也即待执行作业的对象，例如，待清理的食物残渣、污渍、待移动的钥匙、鞋袜等物
品、或者待码垛的物品等，对此本公开实施例不作限制。
102.可理解的是，当用户发现实际场景中有目标对象时，例如可以利用手机内置摄像头拍摄实景图像；还可以利用手机控制房顶上的外部摄像头拍摄实景图像，或还可以从该外部摄像头所拍摄的视频中，截取实景图像等；本公开实施例对于实景图像的获取方式不作限制。
103.在步骤s32中，响应于针对实景图像的标记操作，确定在实景图像中标记的目标对象的目标图像位置。
104.应理解的是，本领域技术人员可以采用本领域已知的软件开发技术，设计并实现本公开实施例中移动机器人控制方法的应用程序以及对应的交互界面，交互界面中可以显示有实景图像以及提供用于标记目标对象的目标图像位置的相关控件，以实现针对实景图像的标记操作。其中，针对实景图像的标记操作，例如可以包括：手动圈出实景图像中的目标对象，或在实景图像中的目标对象上设置定位标识等，本公开实施例对于标记操作的实现方式不作限制。
105.其中，目标图像位置可以理解为用于表征目标对象在实景图像中所在位置的像素坐标，在一种可能的实现方式中，目标图像位置可以包括目标对象的中心点所在的像素坐标、也可以包括目标对象的边缘点所在的像素坐标，对此本公开实施例不作限制。
106.在步骤s33中，向移动机器人发送实景图像以及目标对象的目标图像位置，移动机器人用于根据实景图像以及目标图像位置所确定的目标移动路径，移动至目标对象处并对目标对象执行相关作业。
107.其中，可以采用本领域已知的数据传输技术，实现向移动机器人发送实景图像以及目标对象的目标图像位置，对此本公开实施例不作限制。移动机器人在接收到实景图像以及目标图像位置后，可以参照上述本公开实施例中步骤s11至步骤s13的实现方式，实现根据实景图像以及目标图像位置所确定的目标移动路径，移动至目标对象处并对目标对象执行相关作业，在此不做赘述。
108.在本公开实施例中，通过采集实景图像并标记目标对象的目标图像位置，再将实景图像以及目标图像位置发送给移动机器人，移动机器人可以根据实景图像以及目标图像位置所确定的目标移动路径，实现控制移动机器人直接移动至目标对象处并进行定点的指定作业，对于用户来说指示目标对象的方式比较便捷直观，对于移动机器人来说可以降低找到目标对象的难度、节省能源、提高清理效率。
109.在一种可能的实现方式中，上述步骤s32中的标记操作还用于标记目标对象的对象类别或标记目标对象对应的指定作业方式，所述方法还包括：向移动机器人发送目标对象的对象类别，以控制移动机器人根据目标对象的对象类别，对目标对象执行相关作业；或，向移动机器人发送指定作业方式，以控制移动机器人按照指定作业方式，对目标对象执行相关作业。通过该方式，可以满足用户对不同目标对象进行不同作业的需求。
110.其中，本公开实施例对于对象类别与指定作业方式的标记方式不作限制，例如，上述交互界面中可以提供给用户可供选择的类别选项或作业方式选项，以供用户直接选择对象类别或指定作业方式；或可以提供输入框，以供用户手动输入类别名称或手动输入指定作业方式等，对此本公开实施例不作限制。
111.应理解的是，若用户在步骤s32中标记目标图像位置、对象类别或指定作业方式，
可以在步骤33中将实景图像、目标图像位置、对象类别或指定作业方式，同时发送给移动机器人；若用户在步骤s32中仅标记了目标图像位置，可以在步骤s33中仅将实景图像与目标图像位置发送至移动机器人。
112.如上所述，考虑到移动机器人自主规划的目标移动路径，可能不是合适的移动路径，移动机器人可以将根据目标空间位置以及虚拟地图所确定的初始移动路径发送至控制终端，以便于用户确认是否使用该初始移动路径，来控制移动机器人移动至目标对象处。
113.在一种可能的实现方式中，所述方法还包括：
114.在接收到移动机器人发送的初始移动路径的情况下，将初始移动路径映射至目标对象所在实际场景的平面图中并进行显示；
115.响应于针对平面图中显示的初始移动路径的确认操作，向移动机器人发送用于指示移动机器人使用初始移动路径的路径规划指令；或，
116.响应于针对平面图中显示的初始移动路径的修改操作，得到指定移动路径，并向移动机器人发送指定移动路径以及用于指示移动机器人不使用初始移动路径的路径规划指令，其中，指定移动路径表征从指定起点位置到目标对象的目标空间位置之间的移动路径。
117.其中，平面图可以是由上述预先构建的实际场景对应的虚拟地图转换得到的地图；例如，当虚拟地图是二维栅格地图时，可以直接采用该二维栅格地图作为平面图，或还可以对二维栅格地图进行按比例缩放等转换操作得到平面图，当虚拟地图是三维点云地图，可以将三维点云地图投影到二维平面上得到平面图等；对于虚拟地图到平面图之间的转换方式，本公开实施例不作限制。利用平面图能够直观便捷地展示整个实际场景的平面结构，也可以便于展示初始移动路径以及便于修改初始移动路径。图4示出根据本公开实施例的一种平面图的示意图，如图4所示，实心圆代表移动机器人的当前空间位置，五角星代表目标对象，虚线代表移动机器人规划的初始移动路径。
118.应理解的是，由于平面图由虚拟地图转换得到，那么平面图与虚拟地图之间存在一定的转换关系，初始移动路径是基于虚拟地图确定的，因此可以根据该平面图与虚拟地图之间的转换关系，将初始移动路径映射至平面图中并进行显示，本公开实施例对于初始移动路径的具体映射方式不作限制。
119.如上所述，本领域技术人员可以采用本领域已知的软件开发技术，设计并实现本公开实施例中移动机器人控制方法的应用程序以及对应的交互界面，该映射有初始移动路径的平面图可以显示在该应用程序的交互界面中，该交互界面中还可以提供用于实现上述确认操作以及修改操作的相关控件，以便于用户确认初始移动路径和/或修改初始移动路径。
120.其中，若用户对初始移动路径进行确认操作，意味着用户认为初始移动路径是合适的移动路径，因此可以控制设备可以响应于该确认操作，向移动机器人发送用于指示移动机器人使用初始移动路径的路径规划指令，以指示移动机器人直接使用该初始移动路径作为目标移动路径；若用户对初始移动路径进行修改操作，意味着用户认为初始移动路径不合适，并期望使用其指定的移动路径来控制移动机器人，用户可以通过修改初始移动路径，得到满足用户期望的指定移动路径，在得到指定移动路径后，可以向移动机器人发送该指定移动路径以及用于指示移动机器人不使用初始移动路径的路径规划指令，以指示移动
机器人根据指定移动路径确定目标移动路径。
121.在一种可能的实现方式中，若用户认为该初始移动路径不合适，还可以直接通过控制终端向移动机器人发送用于指示移动机器人重新规划路径的路径规划指令，以指示移动机器人重新规划一条移动路径，并将重新规划的移动路径再次发送给控制终端并展示给用户，以便于用户再次确认是否使用该重新规划的移动路径，直至用户确定使用移动机器人规划的移动路径。
122.应理解的是，本公开实施例对于初始移动路径的修改方式不作限制，例如可以固定平面图上初始移动路径的终点，通过调整平面图中显示的初始移动路径上的起点、拐点、以及拐点之间线段的长度等，或者还可以删除平面图中全部的初始移动路径，并手动重新绘制一条表征指定移动路径的路线等，对此本公开实施例不作限制。
123.图5示出根据本公开实施例的一种平面图的示意图，如图5所示，实心圆代表移动机器人的当前空间位置，五角星代表目标对象，图5中的虚线可以表征对图4中虚线修改后所得到的指定移动路径。
124.在本公开实施例中，用户可以针对移动机器人自动规划出的初始移动路径进行确认或修改，以得到用户认为合适的指定移动路径，这样可以控制移动机器人按照合适的移动路径移动至待处理对象处。
125.在一种可能的实现方式中，用户还可以直接在上述平面图中标记目标对象的目标图像位置，进而可以根据上述平面图与虚拟地图之间的转换关系，将目标图像位置转换为虚拟地图中的目标空间位置，并直接将该目标空间位置发送至移动机器人，移动机器人可以根据控制终端发送的目标空间位置与虚拟地图，进行路径规划，也即确定目标移动路径。
126.在一种可能的实现方式中，用户也可以直接在上述平面图中手动绘制移动路线，并依据上述平面图与虚拟地图之间的转换关系，将该绘制的移动路线转换为指定移动路径，并将该指定移动路径发送至移动机器人，指示移动机器人根据指定移动路径，确定目标移动路径。
127.在一种可能的实现方式中，若用户拍摄的实景图像或者控制终端获取的实景图像中能够包含目标对象与移动机器人，那么用户还可以直接在实景图像中手动绘制一条从移动机器人到目标对象之间的移动路线，也即上述标记操作还可以用于在实景图像中标记从移动机器人到目标对象之间的移动路线，控制终端可以向移动机器人发送该实景图像以及标记的移动路线，以控制移动机器人根据实景图像与实际场景对应的虚拟地图之间的映射关系，将该移动路线映射至虚拟地图中，得到目标移动路径。
128.根据本公开的实施例，可以针对一些移动机器人难以发现的目标对象，人工提供定位数据(也即提供目标图像位置)，然后移动机器人基于该定位数据进行路径对话并自动抵达待处理对象的目标空间位置。也可以针对一些移动机器人依靠自身导航难以高效快速抵达目标对象的目标空间位置，人工提供定位数据和指定的移动路径，然后移动机器人可以基于该定位数据和指定的移动路径，自动抵达待处理对象的目标空间位置。
129.根据本公开的实施例，用户可以在手机上使用手机拍摄的实景图像或室内固定摄像头拍摄的实景图像，手动圈出待处理对象的目标图像位置或标记移动至该待处理对象的移动路线，并发送给移动机器人，移动机器人可以根据目标图像位置或移动路线，进行路径规划以移动至待处理对象处。这就降低了移动机器人找到目标对象并执行指定作业的难
度，节省了能源，提高了作业效率。
130.根据本公开的实施例，当用户发现室内一些移动机器人难以自行发现或自行抵达的包含目标对象的区域，可以用手机摄像头拍下这些区域的实景图像或查看室内固定摄像头拍下的实景图像，接着在这些实景图像上手动圈出目标对象所在的图像位置，还可以标记前往目标对象的移动路线，然后手机可以将实景图像、图像位置和移动路线等信息发给移动机器人，移动机器人根据该些信息进行路径规划，以移动至目标对象并对目标对象执行相关作业。
131.可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
132.此外，本公开还提供了移动机器人控制装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种移动机器人控制方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
133.图6示出根据本公开实施例的移动机器人控制装置的框图，如图6所示，所述装置应用于移动机器人，包括：
134.位置确定模块101，用于响应于接收到控制终端发送的实景图像以及所述实景图像中标记的目标对象的目标图像位置，根据所述实景图像以及所述目标图像位置，确定所述目标对象在实际场景中的目标空间位置；
135.路径确定模块102，用于根据所述目标对象的目标空间位置以及预先构建的所述实际场景对应的虚拟地图，确定从所述移动机器人所在的当前空间位置移动至所述目标对象处的目标移动路径；
136.移动控制模块103，用于根据所述目标移动路径，移动至所述目标对象处并对所述目标对象执行相关作业。
137.在一种可能的实现方式中，所述路径确定模块102，包括：初始路径确定子模块，用于根据所述目标空间位置以及所述虚拟地图，确定从所述当前空间位置移动至所述目标对象处的初始移动路径；路径发送子模块，用于向所述控制终端发送所述初始移动路径，以便于所述控制终端针对所述初始移动路径反馈路径规划指令，所述路径规划指令用于指示所述移动机器人是否使用所述初始移动路径，移动至所述目标对象处；目标路径确定子模块，用于响应于接收到所述控制终端反馈的路径规划指令，根据所述路径规划指令，确定所述目标移动路径。
138.在一种可能的实现方式中，所述根据所述路径规划指令，确定所述目标移动路径，包括：在所述路径规划指令指示使用所述初始移动路径的情况下，将所述初始移动路径确定为所述目标移动路径；或，在所述路径规划指令指示不使用所述初始移动路径的情况下，接收所述控制终端发送的指定移动路径，并根据所述指定移动路径，确定所述目标移动路径，其中，所述指定移动路径是通过对所述初始移动路径进行修改得到的。
139.在一种可能的实现方式中，所述指定移动路径表征从指定起点位置到所述目标空间位置之间的移动路径，其中，所述根据所述指定移动路径，确定所述目标移动路径，包括：在所述指定起点位置与所述移动机器人所在的当前空间位置不同的情况下，根据所述指定
起点位置、所述当前空间位置以及所述实际场景对应的虚拟地图，确定移动至所述目标对象处的第一段移动路径；将所述指定移动路径确定为移动至所述目标对象处的第二段移动路径；其中，所述目标移动路径包括所述第一段移动路径以及所述第二段移动路径。
140.在一种可能的实现方式中，所述位置确定模块101，包括：匹配子模块，用于将所述实景图像与所述虚拟地图进行匹配，得到所述实景图像与所述虚拟地图之间的映射关系；映射子模块，用于根据所述实景图像与所述虚拟地图之间的映射关系，将所述目标图像位置映射至所述虚拟地图中，得到所述目标空间位置。
141.在一种可能的实现方式中，所述装置还包括：接收模块，用于接收所述控制终端发送的所述目标对象的对象类别或所述目标对象对应的指定作业方式；其中，所述对所述目标对象执行相关作业，包括：根据所述目标对象的对象类别，对所述目标对象执行相关作业；或，按照所述目标对象对应的指定作业方式，对所述目标对象执行相关作业。
142.在一种可能的实现方式中，所述移动机器人上设置有机械臂；其中，所述对所述目标对象执行相关作业，包括：在所述对象类别为待抓取对象，或所述指定作业方式为抓取目标对象的情况下，控制所述机械臂抓取所述目标对象并将抓取的目标对象放置至指定位置。
143.在本公开实施例中，通过根据控制终端发送的实景图像以及标记的目标对象的目标图像位置，确定移动机器人的目标移动路径，并按照目标移动路径控制移动机器人移动至目标对象处执行相关作业，一方面对于持有控制终端的用户来说，通过拍张实景图像并标记目标对象的目标图像位置，就可以实现控制移动机器人直接移动至目标对象处并进行相关作业，这样比较便捷直观；另一方面对于移动机器人(如扫地机器人)来说，无需进行全覆盖式路径遍历就可以找到难以发现的目标对象，可以降低移动机器人找到目标对象的难度、节省能源、提高作业效率。
144.图7示出根据本公开实施例的移动机器人控制装置的框图，如图7所示，所述装置应用于控制设备，包括：
145.获取模块201，用于获取包含目标对象的实景图像；
146.确定模块202，用于响应于针对所述实景图像的标记操作，确定在所述实景图像中标记的所述目标对象的目标图像位置；
147.发送模块203，用于向移动机器人发送所述实景图像以及所述目标对象的目标图像位置，所述移动机器人用于根据所述实景图像以及所述目标图像位置所确定的目标移动路径，移动至所述目标对象处并对所述目标对象执行相关作业。
148.在一种可能的实现方式中，所述装置还包括：初始路径接收模块，用于在接收到所述移动机器人发送的初始移动路径的情况下，将所述初始移动路径映射至所述目标对象所在实际场景的平面图中并进行显示；初始路径确认模块，用于响应于针对所述平面图中显示的初始移动路径的确认操作，向所述移动机器人发送用于指示所述移动机器人使用所述初始移动路径的路径规划指令；或，初始路径修改模块，用于响应于针对所述平面图中显示的初始移动路径的修改操作，得到指定移动路径，并向所述移动机器人发送所述指定移动路径以及用于指示所述移动机器人不使用所述初始移动路径的路径规划指令，其中，所述指定移动路径表征从指定起点位置到所述目标对象的目标空间位置之间的移动路径。
149.在一种可能的实现方式中，所述标记操作还用于标记所述目标对象的对象类别、
或标记所述目标对象对应的指定作业方式、或在所述实景图像中标记从所述移动机器人到所述目标对象之间的移动路线，所述装置还包括：对象类别发送模块，用于向所述移动机器人发送所述目标对象的对象类别，以控制所述移动机器人根据所述对象类别，对所述目标对象执行相关作业；或，作业方式发送模块，用于向所述移动机器人发送所述指定作业方式，以控制所述移动机器人按照所述指定作业方式，对所述目标对象执行相关作业；或，路线发送子模块，用于向所述移动机器人发送所述实景图像以及标记的移动路线，以控制所述移动机器人根据所述实景图像与所述实际场景对应的虚拟地图之间的映射关系，将所述移动路线映射至所述虚拟地图中，得到目标移动路径。
150.在本公开实施例中，用户可以针对移动机器人自动规划出的初始移动路径进行确认或修改，以得到用户认为合适的指定移动路径，这样可以控制移动机器人按照合适的移动路径移动至待处理对象处。
151.该方法与计算机系统的内部结构存在特定技术关联，且能够解决如何提升硬件运算效率或执行效果的技术问题(包括减少数据存储量、减少数据传输量、提高硬件处理速度等)，从而获得符合自然规律的计算机系统内部性能改进的技术效果。
152.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
153.本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
154.本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
155.本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行上述方法。
156.电子设备可以被提供为控制终端、移动机器人或其它形态的设备。
157.图8示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一终端设备或移动机器人。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
158.电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(windows server
tm
)，苹果公司推出的基于图形用户界面操作系统(mac os x
tm
)，多用户多进程的计算机操作系统(unix
tm
),自由和开放原代码的类unix操作系统(linux
tm
)，开放原代码的类unix操作系统(freebsd
tm
)或类似。
159.在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算
机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
160.本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
161.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
162.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
163.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
164.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
165.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指
令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
166.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
167.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
168.该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
169.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
170.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
171.若本技术技术方案涉及个人信息，应用本技术技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本技术技术方案涉及敏感个人信息，应用本技术技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
172.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。