机器人的任务执行方法、装置及系统与流程

本技术涉及机器人控制，具体而言，涉及一种机器人的任务执行方法、机器人的任务执行装置以及机器人的任务执行系统。

背景技术：

1、协作机器人和人形机器人作为高端装备制造领域的重要产品，虽然广泛应用于工业和家庭服务，但在人工智能人机交互方面都存在共性的缺陷，例如：过度依赖语音语义解析，无法真正理解语音指令对应的物理任务目标、实体对象位置及空间约束关系，即缺乏对物理世界空间坐标的精确感知能力。

2、现有技术中，协作机器人和人形机器人需通过海量数据预训练和强大的人工智能学习模型实时采集传感器融合信息才能完成任务，导致机器人无法在未经训练的陌生环境中快速准确定位目标。限制了新一代智能交互技术在服务机器人领域的深度应用，难以满足智能化、个性化的现代服务需求。

技术实现思路

1、本技术的主要目的在于提供一种机器人的任务执行方法、机器人的任务执行装置以及机器人的任务执行系统，以至少解决现有技术中服务机器人无法精准定位语音指令对应的目标物体位置，导致执行任务的精度较低的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种机器人的任务执行方法，包括：接收由增强现实设备传输的目标空间坐标和自然语言指令，其中，所述自然语言指令为目标对象佩戴所述增强现实设备时发出的需要机器人执行的任务指令，所述目标空间坐标是所述增强现实设备在接收到所述自然语言指令时，基于所述目标对象注视的目标物体在所述增强现实设备的坐标系下的空间位置，通过坐标转换计算得到的；根据所述目标空间坐标控制机器人移动至目标位置，并在所述目标位置执行与所述自然语言指令对应的任务。

3、可选地，在所述目标位置执行与所述自然语言指令对应的任务，包括：识别所述目标位置处的所述目标物体，确定所述目标物体的语义类别；若所述语义类别属于预设的常用物品类别，则将所述目标位置的空间坐标以及所述目标物体的语义名称存储至存储设备中，所述语义名称为通过对所述目标物体进行视觉识别所确定的类别标签；在所述增强现实设备未连接的情况下，若再接收到包括所述语义名称的所述自然语言指令时，从所述存储设备中检索与所述语义名称对应的所述空间坐标，并基于所述空间坐标导航至所述目标位置执行任务。

4、可选地，所述目标空间坐标的计算过程包括：确定所述目标物体在所述增强现实设备的坐标系下的相对坐标，以及所述增强现实设备相对于所述机器人的基坐标系的位姿矩阵，所述位姿矩阵用于表征所述增强现实设备在所述机器人的基坐标系下的姿态和位置信息；基于所述相对坐标和所述位姿矩阵，通过预设的坐标变换公式计算得到所述目标物体在所述机器人的基坐标系下的所述目标空间坐标。

5、可选地，确定所述目标物体在所述增强现实设备的坐标系下的相对坐标，包括：采集所述目标对象的瞳孔位置信息，基于所述瞳孔位置信息计算视线向量；基于所述增强现实设备内置的场景深度图构建场景点云，并计算所述视线向量与所述场景点云的交点，根据所述交点确定所述目标物体所在的像素区域；根据所述像素区域内的图像特征确定所述目标物体的中心像素坐标；基于所述增强现实设备的当前位姿数据，以及所述场景深度图中对应所述中心像素坐标的深度值，通过逆投影变换，将所述中心像素坐标转换为所述目标物体在所述增强现实设备坐标系下的所述相对坐标。

6、可选地，确定所述增强现实设备相对于所述机器人的基坐标系的位姿矩阵，包括：获取所述增强现实设备相对于世界坐标系的第一位姿矩阵，以及所述机器人相对于所述世界坐标系的第二位姿矩阵；对所述第二位姿矩阵求逆，得到求逆后的第二位姿矩阵；将所述求逆后的第二位姿矩阵与所述第一位姿矩阵进行矩阵乘法运算，得到所述增强现实设备相对于所述机器人的基坐标系的位姿矩阵。

7、可选地，根据所述目标空间坐标控制机器人移动至目标位置，包括：获取所述目标位置所在环境的全局地图，所述全局地图为通过同步定位与建图技术预先构建的；在所述全局地图中，以所述目标空间坐标为终点，采用全局路径规划算法进行全局路径规划，得到目标路径；控制所述机器人按照所述目标路径进行移动，直至到达所述目标空间坐标对应的所述目标位置。

8、可选地，在所述目标位置执行与所述自然语言指令对应的任务，包括：在所述机器人到达所述目标位置之后，获取目标图像，所述目标图像为所述目标位置所在区域的图像；从所述目标图像中提取所述目标物体的特征点，并基于所述特征点对所述目标空间坐标进行校准，得到校准后的目标空间坐标；基于所述校准后的目标空间坐标执行与所述自然语言指令对应的任务。

9、可选地，基于所述校准后的目标空间坐标执行与所述自然语言指令对应的任务，包括：基于所述校准后的目标空间坐标，获取所述目标物体的操作位姿信息或目标操作框，并基于所述操作位姿信息或所述目标操作框确定无碰撞操作路径，所述操作位姿信息用于表征所述机器人的机械臂末端执行器到达的位置及姿态，所述目标操作框用于表征操作位置、姿态及范围；控制所述机器人的机械臂末端执行器沿所述无碰撞操作路径移动至预操作位姿，所述预操作位姿为所述机械臂末端执行器相对于所述目标物体的表面、沿预设接近方向且保持预设安全距离的空间位姿；根据所述目标物体的形态选择对应的操作策略，并基于所述操作策略控制所述机械臂末端执行器执行目标操作，以完成与所述自然语言指令对应的任务。

10、根据本技术的另一方面，提供了一种机器人的任务执行装置，包括：接收单元，用于接收由增强现实设备传输的目标空间坐标和自然语言指令，其中，所述自然语言指令为目标对象佩戴所述增强现实设备时发出的需要机器人执行的任务指令，所述目标空间坐标是所述增强现实设备在接收到所述自然语言指令时，基于所述目标对象注视的目标物体在所述增强现实设备的坐标系下的空间位置，通过坐标转换计算得到的；执行单元，用于根据所述目标空间坐标控制机器人移动至目标位置，并在所述目标位置执行与所述自然语言指令对应的任务。

11、根据本技术的再一方面，提供了一种机器人的任务执行系统，包括：增强现实设备；机器人，所述机器人与所述增强现实设备之间通信连接，所述机器人包括控制器，所述控制器用于执行任一种所述的机器人的任务执行方法。

12、应用本技术的技术方案，接收由增强现实设备传输的目标空间坐标和自然语言指令，其中，自然语言指令为目标对象佩戴增强现实设备时发出的需要机器人执行的任务指令，目标空间坐标是增强现实设备在接收到自然语言指令时，基于目标对象注视的目标物体在增强现实设备的坐标系下的空间位置，通过坐标转换计算得到的；根据目标空间坐标控制机器人移动至目标位置，并在目标位置执行与自然语言指令对应的任务。该方案中，通过将人眼注视目标转化为精准的空间坐标，实现了语音指令与物理位置的精准绑定，解决了机器人因缺乏空间感知导致的定位模糊问题，提升了任务执行的精度，从而解决了现有技术中服务机器人无法精准定位语音指令对应的目标物体位置，导致执行任务的精度较低的问题，降低了服务机器人的训练门槛与部署成本，为家庭及办公场景下的服务型智能装备提供了高效、低成本的解决方案。