一种由电子设备执行的方法和电子设备与流程

本公开的实施例涉及机器人，具体涉及由电子设备执行的方法和电子设备。

背景技术：

1、使机器人能够在不同环境中执行不同的任务是机器人技术的核心挑战。传统的机器人学习方法通常通过为指定机器人及其特定任务策划的数据集来制定策略。近年来，vla(vision language action，视觉语言动作)模型因其能够将预训练的视觉语言模型扩展到机器人领域而备受关注。

技术实现思路

1、本公开的实施例提出了的方法和装置。

2、第一方面，本公开的实施例提供了一种由电子设备执行的方法，包括：接收用于移动目标物的第一指令基于场景图像和第一指令，通过第一ai模型中的特征提取网络，确定视觉特征、第一隐藏特征和第二隐藏特征；基于第一隐藏特征，通过第一ai模型中的选择模块，确定与目标物相关联的动作类型；基于动作类型从第一ai模型中的候选动作模型集合中选择目标动作模型；基于第二隐藏特征和视觉特征，通过目标动作模型，确定与目标物相关联的动作序列。

3、在一些实施例中，候选动作模型集合包括与手臂运动相关联的第一模型和与抓取器操作相关联的第二模型。

4、在一些实施例中，基于第一隐藏特征，通过第一ai模型中的选择模块，确定与目标物相关联的动作类型，包括：基于第一隐藏特征，通过第一ai模型中的选择模块，输出与目标物相关联的动作类型的预测值；响应于预测值小于第一阈值，确定动作类型为手臂运动；响应于预测值大于或等于第一阈值，确定动作类型为抓取器操作。

5、在一些实施例中，视觉特征包括全局视觉特征和局部视觉特征；以及基于第二隐藏特征和视觉特征，通过目标动作模型，确定与目标物相关联的动作序列，包括：响应于动作类型为手臂运动，基于第二隐藏特征和全局视觉特征通过第一模型，确定与目标物相关联的动作序列；或响应于动作类型为抓取器操作，基于第二隐藏特征和局部视觉特征通过第二模型，确定与目标物相关联的动作序列。

6、在一些实施例中，视觉特征包括全局视觉特征和局部视觉特征；以及基于第二隐藏特征和视觉特征，通过目标动作模型，确定与目标物相关联的动作序列，包括：响应于动作类型为手臂运动，基于随机噪声、第二隐藏特征和全局视觉特征通过第一模型，确定与目标物相关联的动作序列；或响应于动作类型为抓取器操作，基于随机噪声、第二隐藏特征和局部视觉特征通过第二模型，确定与目标物相关联的动作序列。

7、在一些实施例中，特征提取网络包括编码器、视觉模型和大语言模型；以及基于场景图像和第一指令，通过第一ai模型中的特征提取网络，确定视觉特征、第一隐藏特征和第二隐藏特征，包括：基于第一指令通过编码器，确定语言特征；基于场景图像通过视觉模型，确定第一视觉特征和第二视觉特征，其中，第一视觉特征用于表征场景图像的基本结构和局部信息，第二视觉特征用于表征场景图像的语义信息；基于第一视觉特征和语言特征通过大语言模型，确定第一隐藏特征和第二隐藏特征。

8、在一些实施例中，大语言模型为llama-2模型，第一隐藏特征和第二隐藏特征分别来自llama-2模型的第二个transformer层的隐藏特征和最后一个transformer层的隐藏特征。

9、在一些实施例中，基于第二隐藏特征和视觉特征，通过目标动作模型，确定与目标物相关联的动作序列，包括：基于第二隐藏特征和第二视觉特征通过目标动作模型，确定与目标物相关联的动作序列。

10、在一些实施例中，特征提取网络包括dinov2模型和siglip模型。

11、第二方面，本公开的实施例提供了一种机器人系统，包括：服务器，被配置成执行第一方面或第二方面中任一项的方法，输出动作序列；机器人，被配置成接收动作序列，并根据动作序列完成动作。

12、第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第二方面中任一项所述的方法。

13、第四方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第一方面或第二方面中任一项所述的方法。

14、第五方面，本公开的实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面或第二方面中任一项所述的方法。

15、本公开的实施例提供的由电子设备执行的方法和电子设备，通过对现有的机器人操作流程进行了详细的分析，发现机器人手臂运动和抓取器操作在动作的粗细程度、操作所需的图像注意区域、不同动作在数据集中所占比例等方面存在诸多差异。基于这些差异，本公开设计了一个基于vlm(vision language models，视觉语言模型)的dam-vla(vlm-based dynamic action model，动态动作模型)框架，将vlm固有的推理能力与扩散动作模型的精确操作能力动态地结合起来。更具体地说，本公开利用vlm固有的推理能力，动态区分不同的动作模型，然后使用相应的动作模型完成具体而精确的操作。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种由电子设备执行的方法，包括：

2.根据权利要求1所述的方法，其中，所述候选动作模型集合包括与手臂运动相关联的第一模型和与抓取器操作相关联的第二模型。

3.根据权利要求2所述的方法，其中，所述基于所述第一隐藏特征，通过所述第一ai模型中的选择模块，确定与所述目标物相关联的动作类型，包括：

4.根据权利要求2所述的方法，其中，所述视觉特征包括全局视觉特征和局部视觉特征；以及

5.根据权利要求2所述的方法，其中，所述视觉特征包括全局视觉特征和局部视觉特征；以及

6.根据权利要求1所述的方法，其中，所述特征提取网络包括编码器、视觉模型和大语言模型；以及

7.根据权利要求6所述的方法，其中，所述大语言模型为llama-2模型，所述第一隐藏特征和第二隐藏特征分别来自所述llama-2模型的第二个transformer层的隐藏特征和最后一个transformer层的隐藏特征，所述第二个transformer层用于选择动作，所述最后一个transformer层用于估计动作。

8.根据权利要求6所述的方法，其中，所述基于所述第二隐藏特征和所述视觉特征，通过所述目标动作模型，确定与所述目标物相关联的动作序列，包括：

9.根据权利要求1-8中任一项所述的方法，其中，所述特征提取网络包括dinov2模型和siglip模型。

10.一种机器人系统，包括：

11.一种电子设备，包括：