机器人的控制方法和机器人与流程

本技术实施例涉及机器人，特别涉及一种机器人的控制方法和机器人。

背景技术：

1、随着机器人技术的不断提升，机器人的类型越来越多，机器人能做的事情也越来越多。

2、现有技术中机器人的控制方法仅依靠图像和可选动作序列的特征向量来确定目标动作序列，使得确定的目标动作序列的准确性不高，进而导致机器人控制的准确性较低。

技术实现思路

1、本技术实施例提供了一种机器人的控制方法和机器人，可用于解决相关技术中确定的目标动作序列的准确性不高，机器人控制的准确性较低的问题。所述技术方案如下：

2、一方面，本技术实施例提供了一种机器人的控制方法，所述方法包括：

3、获取所述机器人所处环境的环境图像；

4、根据所述环境图像和任务信息，生成所述环境的结构化信息；

5、根据所述环境的结构化信息，确定目标动作序列；

6、控制所述机器人执行所述目标动作序列包括的动作。

7、在一种可能的实现方式中，所述根据所述环境图像和任务信息，生成所述环境的结构化信息，包括：

8、根据所述环境图像，获取所述环境的三维占用网格，所述三维占用网格包括多个体素，每个体素对应一个体素信息；

9、根据各个体素的体素信息和所述任务信息，生成所述环境的结构化信息。

10、在一种可能的实现方式中，所述根据所述环境图像，获取所述环境的三维占用网格，包括：

11、将所述环境图像映射至鸟瞰视角空间，得到鸟瞰视角特征图；

12、对所述鸟瞰视角特征图进行转换，得到所述环境的三维占用网格。

13、在一种可能的实现方式中，所述根据各个体素的体素信息和所述任务信息，生成所述环境的结构化信息，包括：

14、将所述各个体素的体素信息和所述任务信息输入视觉语言模型，所述视觉语言模型用于对所述体素信息和所述任务信息进行语义推理；

15、将所述视觉语言模型进行语义推理得到的结果作为所述环境的结构化信息。

16、在一种可能的实现方式中，所述机器人中存储有多个可选动作序列，每个可选动作序列对应一个结构化信息；

17、所述根据所述环境的结构化信息，确定目标动作序列，包括：

18、根据所述环境的结构化信息和各个可选动作序列的结构化信息，确定所述环境与所述各个可选动作序列的综合相似度；

19、根据所述环境与所述各个可选动作序列的综合相似度，在所述各个可选动作序列中确定所述目标动作序列。

20、在一种可能的实现方式中，所述结构化信息包括物体语义属性、物体空间拓扑关系和场景上下文；

21、所述根据所述环境的结构化信息和各个可选动作序列的结构化信息，确定所述环境与所述各个可选动作序列的综合相似度，包括：

22、根据所述环境的物体语义属性和所述各个可选动作序列的物体语义属性，确定所述环境与所述各个可选动作序列的语义相似度；

23、根据所述环境的物体空间拓扑关系和所述各个可选动作序列的物体空间拓扑关系，确定所述环境与所述各个可选动作序列的空间结构相似度；

24、根据所述环境的场景上下文和所述各个可选动作序列的场景上下文，确定所述环境与所述各个可选动作序列的任务相似度；

25、根据所述环境与所述各个可选动作序列的语义相似度、空间结构相似度和任务相似度，确定所述环境与所述各个可选动作序列的综合相似度。

26、在一种可能的实现方式中，所述根据所述环境的物体语义属性和所述各个可选动作序列的物体语义属性，确定所述环境与所述各个可选动作序列的语义相似度，包括：

27、对于所述各个可选动作序列中的任一可选动作序列，确定用于表征所述任一可选动作序列的物体语义属性的第一特征向量；

28、确定用于表征所述环境的物体语义属性的第二特征向量；

29、确定所述第一特征向量和所述第二特征向量的余弦相似度；

30、将所述余弦相似度作为所述环境与所述任一可选动作序列的语义相似度。

31、在一种可能的实现方式中，所述根据所述环境的物体空间拓扑关系和所述各个可选动作序列的物体空间拓扑关系，确定所述环境与所述各个可选动作序列的空间结构相似度，包括：

32、对于所述各个可选动作序列中的任一可选动作序列，确定所述环境的物体空间拓扑关系与所述任一可选动作序列的物体空间拓扑关系的图编辑距离；

33、将所述图编辑距离作为所述环境与所述任一可选动作序列的空间结构相似度。

34、在一种可能的实现方式中，所述根据所述环境与所述各个可选动作序列的语义相似度、空间结构相似度和任务相似度，确定所述环境与所述各个可选动作序列的综合相似度，包括：

35、对于所述各个可选动作序列中的任一可选动作序列，根据所述环境与所述任一可选动作序列的语义相似度、语义权重参数、所述环境与所述任一可选动作序列的空间结构相似度、空间结构权重参数、所述环境与所述任一可选动作序列的任务相似度和任务权重参数，确定所述环境与所述任一可选动作序列的综合相似度。

36、在一种可能的实现方式中，所述物体语义属性用于描述所述环境内第一物体的物体特征，所述第一物体为所述任务对应的物体，所述物体特征包括物体类别、物体尺寸或物体的可抓取部位中的至少一个；

37、所述物体空间拓扑关系用于指示所述环境中各个物体之间的相对位置；

38、所述场景上下文包括所述环境的环境类型或所述环境和所述任务的关联性中的至少一个。

39、在一种可能的实现方式中，所述结构化信息还包括交互属性，所述交互属性包括所述环境内的第一物体的材质、所述第一物体的受力方向、所述第一物体的操作方式或第二物体的材质中的至少一个，所述第一物体为所述任务对应的物体，所述第二物体为执行所述任务的障碍物。

40、在一种可能的实现方式中，所述根据所述环境与所述各个可选动作序列的综合相似度，在所述各个可选动作序列中确定所述目标动作序列，包括：

41、在所述各个可选动作序列中确定参考动作序列，所述参考动作序列与所述环境的综合相似度大于相似度阈值；

42、若所述参考动作序列为一个，确定所述参考动作序列为所述目标动作序列；

43、若所述参考动作序列为多个，将多个参考动作序列中置信度满足置信度要求的参考动作序列作为所述目标动作序列，所述参考动作序列的置信度用于指示所述参考动作序列对应的任务的完成情况。

44、在一种可能的实现方式中，所述控制所述机器人执行所述目标动作序列包括的动作之后，所述方法还包括：

45、响应于接收到反馈信号，基于所述反馈信号，调整所述目标动作序列，得到调整后的动作序列；

46、控制所述机器人执行所述调整后的动作序列包括的动作。

47、在一种可能的实现方式中，所述控制所述机器人执行所述调整后的动作序列包括的动作之后，所述方法还包括：

48、根据所述调整后的动作序列包括的动作的执行情况，确定所述任务的置信度，所述置信度用于指示所述任务是否完成。

49、另一方面，本技术实施例提供了一种机器人的控制装置，所述装置包括：

50、获取模块，用于获取所述机器人所处环境的环境图像；

51、生成模块，用于根据所述环境图像和任务信息，生成所述环境的结构化信息；

52、确定模块，用于根据所述环境的结构化信息，确定目标动作序列；

53、控制模块，用于控制所述机器人执行所述目标动作序列包括的动作。

54、在一种可能的实现方式中，所述生成模块，用于根据所述环境图像，获取所述环境的三维占用网格，所述三维占用网格包括多个体素，每个体素对应一个体素信息；根据各个体素的体素信息和所述任务信息，生成所述环境的结构化信息。

55、在一种可能的实现方式中，所述生成模块，用于将所述环境图像映射至鸟瞰视角空间，得到鸟瞰视角特征图；对所述鸟瞰视角特征图进行转换，得到所述环境的三维占用网格。

56、在一种可能的实现方式中，所述生成模块，用于将所述各个体素的体素信息和所述任务信息输入视觉语言模型，所述视觉语言模型用于对所述体素信息和所述任务信息进行语义推理；将所述视觉语言模型进行语义推理得到的结果作为所述环境的结构化信息。

57、在一种可能的实现方式中，所述机器人中存储有多个可选动作序列，每个可选动作序列对应一个结构化信息；

58、所述确定模块，用于根据所述环境的结构化信息和各个可选动作序列的结构化信息，确定所述环境与所述各个可选动作序列的综合相似度；根据所述环境与所述各个可选动作序列的综合相似度，在所述各个可选动作序列中确定所述目标动作序列。

59、在一种可能的实现方式中，所述结构化信息包括物体语义属性、物体空间拓扑关系和场景上下文；

60、所述确定模块，用于根据所述环境的物体语义属性和所述各个可选动作序列的物体语义属性，确定所述环境与所述各个可选动作序列的语义相似度；根据所述环境的物体空间拓扑关系和所述各个可选动作序列的物体空间拓扑关系，确定所述环境与所述各个可选动作序列的空间结构相似度；根据所述环境的场景上下文和所述各个可选动作序列的场景上下文，确定所述环境与所述各个可选动作序列的任务相似度；根据所述环境与所述各个可选动作序列的语义相似度、空间结构相似度和任务相似度，确定所述环境与所述各个可选动作序列的综合相似度。

61、在一种可能的实现方式中，所述确定模块，用于对于所述各个可选动作序列中的任一可选动作序列，确定用于表征所述任一可选动作序列的物体语义属性的第一特征向量；确定用于表征所述环境的物体语义属性的第二特征向量；确定所述第一特征向量和所述第二特征向量的余弦相似度；将所述余弦相似度作为所述环境与所述任一可选动作序列的语义相似度。

62、在一种可能的实现方式中，所述确定模块，用于对于所述各个可选动作序列中的任一可选动作序列，确定所述环境的物体空间拓扑关系与所述任一可选动作序列的物体空间拓扑关系的图编辑距离；将所述图编辑距离作为所述环境与所述任一可选动作序列的空间结构相似度。

63、在一种可能的实现方式中，所述确定模块，用于对于所述各个可选动作序列中的任一可选动作序列，根据所述环境与所述任一可选动作序列的语义相似度、语义权重参数、所述环境与所述任一可选动作序列的空间结构相似度、空间结构权重参数、所述环境与所述任一可选动作序列的任务相似度和任务权重参数，确定所述环境与所述任一可选动作序列的综合相似度。

64、在一种可能的实现方式中，所述物体语义属性用于描述所述环境内第一物体的物体特征，所述第一物体为所述任务对应的物体，所述物体特征包括物体类别、物体尺寸或物体的可抓取部位中的至少一个；

65、所述物体空间拓扑关系用于指示所述环境中各个物体之间的相对位置；

66、所述场景上下文包括所述环境的环境类型或所述环境和所述任务的关联性中的至少一个。

67、在一种可能的实现方式中，所述结构化信息还包括交互属性，所述交互属性包括所述环境内的第一物体的材质、所述第一物体的受力方向、所述第一物体的操作方式或第二物体的材质中的至少一个，所述第一物体为所述任务对应的物体，所述第二物体为执行所述任务的障碍物。

68、在一种可能的实现方式中，所述确定模块，用于在所述各个可选动作序列中确定参考动作序列，所述参考动作序列与所述环境的综合相似度大于相似度阈值；若所述参考动作序列为一个，确定所述参考动作序列为所述目标动作序列；若所述参考动作序列为多个，将多个参考动作序列中置信度满足置信度要求的参考动作序列作为所述目标动作序列，所述参考动作序列的置信度用于指示所述参考动作序列对应的任务的完成情况。

69、在一种可能的实现方式中，所述装置还包括：

70、调整模块，用于响应于接收到反馈信号，基于所述反馈信号，调整所述目标动作序列，得到调整后的动作序列；

71、所述控制模块，还用于控制所述机器人执行所述调整后的动作序列包括的动作。

72、在一种可能的实现方式中，所述确定模块，还用于根据所述调整后的动作序列包括的动作的执行情况，确定所述任务的置信度，所述置信度用于指示所述任务是否完成。

73、另一方面，本技术实施例提供了一种机器人，所述机器人包括控制器，所述控制器包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行，以实现上述任一所述的机器人的控制方法。

74、另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机设备实现上述任一所述的机器人的控制方法。

75、另一方面，还提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行，以使计算机设备实现上述任一种机器人的控制方法。

76、本技术实施例提供的技术方案至少带来如下有益效果：

77、本技术实施例提供的技术方案结合环境图像和任务信息，生成结构化信息，再基于结构化信息确定目标动作序列，相较于仅依靠环境图像确定目标动作序列的方式，能够提升确定的目标动作序列的准确度。而目标动作序列用于控制机器人执行目标动作序列包括的动作，以完成任务，因此，能够提高机器人的控制的准确性，保证机器人执行任务的安全性，进而能够提升机器人完成任务的成功率。