机器人控制模型训练方法、机器人及其控制方法、介质与流程
本技术涉及机器人,具体涉及机器人控制模型训练方法、机器人及其控制方法、介质。
背景技术:
1、视觉-语言-动作(vision-language-action, vla)模型将视觉感知、语言理解与动作生成统一到单一架构中,使机器人能够根据开放式语言指令执行多样化的操作任务。然而,此类模型的性能高度依赖机器人示教数据的规模。采集大规模机器人操作数据集需要在真实硬件上进行物理遥操作或运行脚本化策略,该过程成本高、速度慢,且在场景与任务多样性上存在固有局限。这一数据瓶颈严重制约了 vla 模型的泛化能力。
2、由于第一人称(egocentric)人类操作视频与机器人腕部或头部相机的第一人称视角一致,在相关技术中,通过使用第一人称(egocentric)人类操作视频进行 vla 预训练,主要训练策略包括将整个动作强制映射到单一的共享码本,以及从视觉帧间变化中学习潜在动作这两类,然而由于人体与机器人本体之间的运动学差异,以及原始视觉信号中与任务无关的噪声,都会遮蔽人类与机器人之间共享的操作意图,从而影响了人类操作知识向机器人控制的泛化迁移效果。
技术实现思路
1、有鉴于此,本技术致力于提供一种机器人控制模型训练方法、机器人及其控制方法、介质,以解决相关技术中利用第一人称人类视频进行机器人 vla 模型预训练时,由于人体与机器人本体之间的运动学差异,以及原始视觉信号中与任务无关的噪声,导致人类操作知识向机器人控制的泛化迁移效果不佳的问题。
2、第一方面,本技术实施例提供了一种机器人控制模型训练方法,该机器人控制模型由视觉-语言模型和动作模型构成,该方法包括:获取共享码本以及训练数据集,训练数据集包括:第一人称人类视频动作数据以及机器人示教动作数据,共享码本是由预训练的分词器基于训练数据集中与人体手腕和机器人末端执行器的空间位置相关的第一动作特征生成的;将共享码本扩展至视觉-语言模型中语言模型头的词表中,并在视觉-语言模型的任务指令文本中添加与共享码本所对应的占位符,以训练数据集输入分词器得到的离散码索引为训练目标,将训练数据集输入视觉-语言模型进行训练,得到训练好的视觉-语言模型;以机器人执行动作为训练目标,将通过训练好的视觉-语言模型输出的图像特征、机器人本体状态以及占位符对应的隐状态进行拼接后输入动作模型进行训练,得到训练好的机器人控制模型。
3、在一种可选的实施例中,以训练数据集输入分词器得到的离散码索引为训练目标,将训练数据集输入视觉-语言模型进行训练,包括:在当前输入的训练样本为第一人称人类视频动作数据时,获取当前第一人称人类视频动作数据输入分词器得到的第一离散码索引;将当前第一人称人类视频动作数据输入视觉-语言模型,输出第一预测离散码索引;以最小化第一预测离散码索引与第一离散码索引之间的第一交叉熵损失为训练目标,对视觉-语言模型的模型参数进行调整。
4、在一种可选的实施例中,以训练数据集输入分词器得到的离散码索引为训练目标,将训练数据集输入视觉-语言模型进行训练,该方法还包括:在当前输入的训练样本为机器人示教动作数据时,获取机器人的私有码本,以及当前机器人示教动作数据输入分词器得到的第二离散码索引和第三离散码索引,私有码本是由预训练的分词器基于训练数据集中与机器人末端执行器对应的除第一动作特征之外其他动作特征生成的,第二离散码索引和第三离散码索引分别与共享码本和私有码本对应;将私有码本扩展至视觉-语言模型中语言模型头的词表中,并在视觉-语言模型的任务指令文本中添加与私有码本所对应的占位符;将当前第一人称人类视频动作数据输入视觉-语言模型,输出对应的第二预测离散码索引和第三预测离散码索引;以最小化交叉熵总损失为训练目标,对视觉-语言模型的模型参数进行调整,交叉熵总损失为第二预测离散码索引与第二离散码索引之间的第二交叉熵损失与第三预测离散码索引与第三离散码索引之间的第三交叉熵损失之和。
5、在一种可选的实施例中,以机器人执行动作为训练目标,将通过训练好的视觉-语言模型输出的图像特征、机器人本体状态以及占位符对应的隐状态进行拼接后输入动作模型进行训练,包括:获取训练数据集中当前训练样本对应的机器人真实动作,并将当前训练样本输入训练好的视觉-语言模型,输出与当前训练样本对应的图像特征、机器人本体状态以及占位符对应的隐状态;将与当前训练样本对应的图像特征、机器人本体状态以及占位符对应的隐状态进行拼接,得到拼接特征;将拼接特征输入动作模型,以机器人真实动作对拼接特征进行注意力,回归输出机器人预测动作;以机器人预测动作与机器人真实动作之间的动作回归损失最小为训练目标,对动作模型的模型参数进行调整。
6、在一种可选的实施例中,分词器的训练过程包括:从训练数据集中获取人体手腕和机器人末端执行器分别对应的原始动作特征;基于预设静态路由表对原始动作特征进行分类,分类包括:与人体手腕和机器人末端执行器的空间位置相关的第一动作特征组,以及与机器人末端执行器对应的除第一动作特征之外其他动作特征组;分别通过分词器中独立的编码、量化、解码通路对第一动作特征组和其他动作特征组进行处理,得到解码后的第一动作特征组特征和其他动作特征组特征;基于预设静态路由表的原始维度排布,将解码后的第一动作特征组特征和其他动作特征组特征按原始维度位置进行拼接,得到机器人末端执行器对应的重建动作特征;以重建动作特征与原始动作特征之间的重建损失、矢量量化承诺损失、码本利用多样性正则损失、对称噪声对比估计损失、语言引导关系蒸馏损失进行加权求和得到的总损失最小为训练目标,对分词器的模型参数进行调整,其中,对称噪声对比估计损失和语言引导关系蒸馏损失基于第一动作特征组计算得到;对训练完成的分词器的模型参数进行固定,得到所述共享码本和所述机器人的私有码本。
7、在一种可选的实施例中,分别通过分词器中独立的编码、量化、解码通路对第一动作特征组和其他动作特征组进行处理,得到解码后的第一动作特征组特征和其他动作特征组特征,包括:对第一动作特征组和其他动作特征组进行分组编码,得到对应的共享隐特征和机器人私有隐特征;通过分词器中初始共享码本对共享隐特征进行残差矢量量化,得到共享量化特征和对应的共享码索引,并通过分词器中机器人的初始私有码本对机器人私有隐特征进行残差矢量量化,得到机器人私有量化特征和机器人私有码索引;分别对共享量化特征和机器人私有量化特征进行分组解码,得到解码后的第一动作特征组特征和其他动作特征组特征。
8、在一种可选的实施例中,该方法还包括:在对分词器进行训练的同时,基于当前训练样本中的环境潜在状态、当前训练样本在下一时刻的真实环境潜在状态和共享量化特征对世界模型进行联合训练,得到训练好的世界模型和分词器,世界模型用于预测下一时刻的环境潜在状态;视觉-语言模型还用于预测下一时刻的环境潜在状态,在对视觉-语言模型进行训练时,增加辅助训练目标进行联合训练,辅助训练目标为训练数据集输入世界模型得到的下一时刻的环境潜在状态。
9、第二方面,本技术实施例提供了一种机器人控制方法,该方法包括:获取机器人当前采集的视觉动作数据以及机器人待执行任务对应的任务指令文本,视觉动作数据中至少包括机器人的当前动作特征;将视觉动作数据和任务指令文本输入至预训练的机器人控制模型,输出机器人连续动作,机器人控制模型为采用上述第一方面任一实现方式提供的机器人控制模型训练方法;将机器人连续动作转化为机器人动作控制指令,并基于机器人动作控制指令对机器人进行动作控制,以使机器人执行待执行任务。
10、第三方面,本技术实施例提供了一种机器人,该机器人包括:机器人本体和控制器,机器人本体至少包括:末端执行器,该控制器包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面任一实现方式提供的机器人控制模型训练方法或者上述第二方面提供的机器人控制方法。
11、第四方面,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面任一实现方式提供的机器人控制模型训练方法或者上述第二方面提供的机器人控制方法。
12、基于上述内容,本技术实施例提供的机器人控制模型训练方法,通过采用由预训练的分词器基于训练数据集中与人体手腕和机器人末端执行器的空间位置相关的第一动作特征生成共享码本,并将共享码本扩展至视觉-语言模型中语言模型头的词表,在任务指令文本中添加与共享码本对应的占位符,以训练数据集输入分词器得到的离散码索引为训练目标训练视觉-语言模型,再以机器人执行动作为训练目标,将图像特征、机器人本体状态和占位符对应的隐状态拼接输入动作模型,使动作知识以离散码索引和占位符隐状态的形式在视觉-语言模型与动作模型之间传递,完成机器人控制模型的训练。从而通过将机器人控制模型分解为视觉-语言模型与动作模型两个功能模块,使得视觉-语言模型可以在大规模第一人称人类视频上进行跨本体预训练以吸收操作知识,而动作模型仅在下游机器人数据上进行连续动作回归微调,二者解耦训练有助于分别优化各自的学习目标,提升整体训练效率与模型泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com