一种控制机器人的方法及一种训练视觉-动作模型的方法与流程

本说明书一个或多个实施例涉及机器人控制，尤其涉及一种控制机器人的方法及一种训练视觉-动作模型的方法。

背景技术：

1、随着计算机技术的进步，机器人得到了更为广泛的发展，比如利用机械臂完成工业生产，利用移动机器人在仓储物流中完成货架搬运、包裹分拣等工作。

2、现有技术中，机器人一般基于编程指令完成控制。维护人员可以预先基于需要执行的任务撰写相应的编程指令，以使得机器人可以完成相应的任务。但是这种方法使得机器人难以完成未预先定义的任务。

3、随着神经网络技术的发展，现有技术中尝试通过神经网络模型来控制机器人，以使得机器人可以完成未预先定义的任务。但是现有技术的方法存在无法以较好的效果的控制机器人的问题。

技术实现思路

1、有鉴于此，本说明书一个或多个实施例提供一种控制机器人的方法及一种训练视觉-动作模型的方法。

2、根据本说明书一个或多个实施例的第一方面，提出了一种控制机器人的方法，利用视觉-动作模型执行，所述视觉-动作模型包括视觉预测模块和动作预测模块，所述方法包括：

3、获取历史视频数据、机器人已执行的历史动作数据，以及待执行的第一任务数据；

4、根据所述历史视频数据、历史动作数据以及第一任务数据，利用所述视觉预测模块，预测第一视频数据；

5、根据第一视频数据和历史视频数据，利用所述动作预测模块，预测第一动作数据；

6、根据所述第一动作数据控制机器人执行第一动作。

7、根据本说明书一个或多个实施例的第二方面，提出了一种训练视觉-动作模型的方法，所述视觉-动作模型包括视觉预测模块和动作预测模块，所述方法包括：

8、获取训练数据，所述训练数据至少包括第一时段真实的第一标签视频和执行的第一标签动作，第二时段需要执行的第二任务数据，第二时段真实的第二标签视频和执行的第二标签动作；

9、根据所述第一标签视频，所述第二任务数据和所述第一标签动作，利用所述视觉预测模块，得到第二预测视频；

10、根据第一标签视频和第二预测视频，利用所述动作预测模块，得到第二预测动作；

11、根据所述第二预测动作和第二标签动作，获取动作预测损失，根据所述第二预测视频和第二标签视频，获取视觉预测损失；

12、利用所述动作预测损失和所述视觉预测损失对所述视觉-动作模型的参数进行更新。

13、根据本说明书实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如本说明书实施例第一方面或第二方面所述的方法。

14、根据本说明书实施例的第四方面，提供一种计算机设备，所述计算机设备包括：

15、处理器；

16、用于存储处理器可执行指令的存储器；

17、所述处理器通过运行所述可执行指令以实现如本说明书实施例第一方面或第二方面所述的方法。

18、根据本说明书实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被处理器执行时实现如本说明书实施例第一方面或第二方面所述的方法。

19、基于此，本说明书提供了一种控制机器人的方法，利用视觉-动作模型执行，所述视觉-动作模型包括视觉预测模块和动作预测模块。首先，获取表征机器人拍摄的视频的历史视频数据、表征机器人执行过的动作的历史动作数据，以及标识机器人待执行任务的第一任务数据。然后根据所述历史视频数据、历史动作数据以及第一任务数据，利用所述视觉预测模块，预测第一视频数据；在得到第一视频数据基础上，根据第一视频数据和历史视频数据，利用所述动作预测模块，预测第一动作数据；根据所述第一动作数据控制机器人执行第一动作。

20、上述方法中分两个步骤来预测机器人执行的动作数据。首先引入了视觉辅助，通过待执行的任务等数据，预测了机器人执行完任务后应该变成的姿态，该姿态通过视频数据表征。然后基于机器人当前的姿态和执行完任务的姿态（两个姿态通过视频表征），进行显式动力学建模，获得了待执行的动作数据。相比于相关技术中的端到端模型，本说明书的方法中进行了显式动力学建模，加强了模型对于物体状态的理解，使得生成的控制动作更符合任务要求。进而，使得模型能够在长时机器人任务重保持动作的连贯。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

1.一种控制机器人的方法，利用视觉-动作模型执行，所述视觉-动作模型包括视觉预测模块和动作预测模块，所述方法包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述目标任务包括任务文本和针对该任务的演示视频；所述任务文本用于输入到所述规划器，所述演示视频用于输入到所述视觉预测模块；所述视觉预测模块基于扩散变换器dit实现；所述预测第一视频数据，包括：

4.根据权利要求1所述的方法，其中，所述获取历史视频数据包括：

5.根据权利要求4所述的方法，其中，所述动作预测模块基于dit实现；所述第一视频数据为第一视觉潜变量；

6.根据权利要求1所述的方法，其中，所述控制机器人执行第一动作在第一时段执行；所述方法还包括，在第一时段中并行执行：

7.根据权利要求6所述的方法，还包括：

8.根据权利要求1所述的方法，其中，所述视觉预测模块包括特征融合层、路由器和多个专家网络；所述预测第一视频数据，包括：

9.一种训练视觉-动作模型的方法，所述视觉-动作模型包括视觉预测模块和动作预测模块，所述方法包括：

10.根据权利要求9所述的方法，其中，所述训练数据还包括第三时段拍摄的第三标签视频；

11.根据权利要求9所述的方法，其中，所述第一标签视频、所述第二标签视频通过视觉表征器编码得到，所述视觉表征器通过以下方式训练得到：

12.根据权利要求11所述的方法，其中，根据所述样本动作潜变量还原第一样本视觉潜变量和/或第二样本视觉潜变量，得到还原视觉潜变量，包括：

13.根据权利要求11所述的方法，其中，所述视觉表征器的训练还包括：

14.根据权利要求11所述的方法，其中，所述第一标签动作和所述第二标签动作为所述动作表征器根据输入的标签视频生成的。

15.根据权利要求9所述的方法，其中，所述视觉-动作模型的训练任务集合包括文生图任务、文生视频任务、文图生视频动作任务、上下文学习任务和人机联合训练任务，各任务在训练过程中的采样比例被配置为随训练进度动态调整，且所述人机联合训练任务的采样比例随训练进度的推进而递增。

16.根据权利要求9所述的方法，其中，所述训练数据包括拍摄人的动作得到的人类视频数据和拍摄机器人的动作得到的机器视频数据；所述人类视频数据和机器视频数据对应的动作数据，采用所述视觉-动作模型中不同的编解码器进行编码和解码。

17.一种计算机设备，包括：