机器人控制方法、装置、设备、存储介质及程序产品与流程

摘要: 本发明涉及人工智能,尤其涉及一种机器人控制方法、装置、设备、存储介质及程序产品。背景技术:1、随着具身智能技术的快速发展,融合视觉、语言、触觉等多模态数据的机器...
机器人控制方法、装置、设备、存储介质及程序产品与流程

本发明涉及人工智能,尤其涉及一种机器人控制方法、装置、设备、存储介质及程序产品。

背景技术:

1、随着具身智能技术的快速发展,融合视觉、语言、触觉等多模态数据的机器人控制方案已成为研究热点。

2、在一些相关技术中,可通过多模态大模型生成动作指令,根据动作指令对机器人进行动作控制:在模型训练阶段,采用端到端的联合训练模式,将采集的样本视觉数据、样本语言数据和样本触觉数据等多模态数据同时输入神经网络模型进行训练,获得多模态大模型;在模型推理阶段(即模型应用阶段),利用训练好的多模态大模型,根据机器人当前的视觉数据、语言数据和触觉数据进行动作预测,生成用于控制机器人的动作指令。

3、但是,这种机器人控制方法存在一定的缺陷:其一,样本触觉数据具有噪声大、分布稀疏、采集难度高的特点,在模型训练阶段同时利用样本视觉数据、样本语言数据和样本触觉数据进行训练,会严重干扰模型对其他模态数据(即样本视觉数据和样本语言数据)与动作映射之间的关系的学习,导致后续多模态大模型生成的动作指令的精度降低;其二,现有的多模态大模型在设计上仅支持视觉和语言两种模态,若在模型训练阶段强行融合触觉模态数据,则容易影响多模态大模型原有的时空特征对齐机制,进而降低多模态大模型的泛化性和准确性。

4、综上,现有的机器人控制方法存在多模态大模型的泛化性和准确性低的问题,导致多模态大模型生成的动作指令的精度低,难以实现对机器人的精确动作控制。

技术实现思路

1、本发明提供一种机器人控制方法、装置、设备、存储介质及程序产品,用以解决现有的机器人控制方法存在多模态大模型的泛化性和准确性低的问题,导致多模态大模型生成的动作指令的精度低,难以实现对机器人的精确动作控制的缺陷。

2、本发明提供一种机器人控制方法,包括:获取机器人的任务情节数据;任务情节数据为与机器人的目标任务相关的数据,任务情节数据包括视觉数据、语言指令数据、本体感知数据和触觉感知数据;将视觉数据、语言指令数据和本体感知数据输入至预训练的视觉语言动作模型,进行动作预测,获得视觉语言动作模型输出的参考动作序列;参考动作序列包括机器人执行目标任务所需的多个参考动作指令;将参考动作序列、本体感知数据和触觉感知数据输入至预训练的阻抗网络,进行动作修正,获得阻抗网络输出的目标动作序列;目标动作序列包括多个目标动作指令,一个目标动作指令是由阻抗网络对一个参考动作指令进行增量修正后得到的;基于目标动作序列,对机器人进行动作控制;其中,视觉语言动作模型是基于样本视觉数据、样本语言指令数据和样本本体感知数据训练得到的,阻抗网络是基于样本触觉感知数据训练得到的。

3、根据本发明提供的一种机器人控制方法,视觉语言动作模型和阻抗网络是基于以下步骤训练得到的:获取训练样本;训练样本包括样本视觉数据、样本语言指令数据、样本本体感知数据、样本触觉感知数据和样本目标动作序列;基于样本视觉数据、样本语言指令数据、样本本体感知数据和样本目标动作序列,对初始视觉语言动作模型进行训练,获得视觉语言动作模型和视觉语言动作模型输出的样本参考动作序列;在冻结视觉语言动作模型的模型参数的情况下,基于样本参考动作序列、样本本体感知数据和样本触觉感知数据,对初始阻抗网络进行训练,获得阻抗网络。

4、根据本发明提供的一种机器人控制方法,视觉语言动作模型是基于第一预设损失函数训练得到的;第一预设损失函数的表达式如下:

5、;

6、;

7、其中,表示第一预设损失函数;表示插值噪声动作轨迹;表示流匹配速度场;表示由视觉语言动作模型生成的压缩表征状态向量;表示流匹配相位时间;表示期望;表示流匹配速度场网络参数;表示beta概率分布;表示时刻采集的样本目标动作序列;为自然常数;为中间参数;表示高斯随机噪声。

8、根据本发明提供的一种机器人控制方法,阻抗网络是基于以下步骤训练得到的:在冻结视觉语言动作模型的模型参数的情况下,将样本参考动作序列、样本本体感知数据和样本触觉感知数据输入初始阻抗网络,获得初始阻抗网络输出的样本增量修正值;基于样本增量修正值,构建第二预设损失函数;基于第二预设损失函数,对初始阻抗网络进行训练,获得阻抗网络。

9、根据本发明提供的一种机器人控制方法,第二预设损失函数的表达式如下:

10、;

11、其中,表示第二预设损失函数;表示阻抗网络参数;表示期望;表示样本增量修正值;表示样本参考动作序列;表示时刻采集的样本目标动作序列;表示时刻采集的样本本体感知数据;表示时刻采集的样本触觉感知数据。

12、根据本发明提供的一种机器人控制方法,目标动作序列是由阻抗网络基于以下步骤生成的:基于参考动作序列、本体感知数据和触觉感知数据,生成增量修正值;基于增量修正值,通过截断函数对参考动作序列进行增量修正,生成目标动作序列。

13、本发明还提供一种机器人控制装置,包括:获取模块,用于获取机器人的任务情节数据;任务情节数据为与机器人的目标任务相关的数据,任务情节数据包括视觉数据、语言指令数据、本体感知数据和触觉感知数据;动作预测模块,用于将视觉数据、语言指令数据和本体感知数据输入至预训练的视觉语言动作模型,进行动作预测,获得视觉语言动作模型输出的参考动作序列;参考动作序列包括机器人执行目标任务所需的多个参考动作指令;动作修正模块,用于将参考动作序列、本体感知数据和触觉感知数据输入至预训练的阻抗网络,进行动作修正,获得阻抗网络输出的目标动作序列;目标动作序列包括多个目标动作指令,一个目标动作指令是由阻抗网络对一个参考动作指令进行增量修正后得到的;控制模块,用于基于目标动作序列,对机器人进行动作控制。

14、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述任一种机器人控制方法。

15、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种机器人控制方法。

16、本发明还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现如上述任一种机器人控制方法。

17、本发明提供的机器人控制方法、装置、设备、存储介质及程序产品,在模型训练阶段将其他模态的数据与触觉模态数据分离,先利用样本视觉数据、样本语言指令数据和样本本体感知数据训练得到视觉语言动作模型,再利用样本触觉感知数据训练得到阻抗网络,这种将其他模态的数据与触觉模态数据分离的解耦训练,可避免样本触觉感知数据干扰视觉语言动作模型对其他模态数据与动作映射之间的关系的学习,避免样本触觉感知数据的引入影响视觉语言动作模型原有的时空特征对齐机制,有利于提高视觉语言动作模型的泛化性和准确性,有利于提高后续视觉语言动作模型生成的动作指令的精度;在模型推理阶段,将与机器人的目标任务相关的视觉数据、语言指令数据和本体感知数据输入训练好的视觉语言动作模型,进行动作预测,获得视觉语言动作模型输出的参考动作序列,参考动作序列包括机器人执行目标任务所需的多个参考动作指令,然后将与机器人的目标任务相关的本体感知数据、触觉感知数据和参考动作序列输入训练好的阻抗网络,进行动作修正,获得阻抗网络输出的目标动作序列,目标动作序列包括多个目标动作指令,一个目标动作指令是由阻抗网络对一个参考动作指令进行增量修正后得到的,最后根据目标动作序列对机器人进行连续动作控制,实现了对机器人的精确动作控制。