基于动作映射与小样本微调的跨执行器迁移方法、抓取方法及装置与流程
本发明涉及人工智能与机器人控制,具体而言,涉及一种基于动作映射与小样本微调的跨执行器迁移方法、抓取方法及装置。
背景技术:
1、目前,在具身智能与机器人操作领域中,基于大规模数据预训练的视觉语言动作模型展现出了强大的泛化能力。
2、然而,现有的视觉语言动作模型通常针对特定形态的末端执行器(如平行夹爪)进行训练,其输出的动作空间与该特定执行器的物理机制深度耦合。当需要将模型迁移至具有不同物理交互机制的目标执行器(如吸盘、多指手等)时,由于源执行器与目标执行器在底层信号格式及高层交互意图上存在本质差异,直接应用预训练模型往往导致操作失败。若采用全量微调或重新采集海量目标域数据进行训练,则面临数据采集成本高昂、算力消耗大以及容易破坏模型原有泛化能力的技术问题。
3、因此,急需一种能够在小样本条件下实现视觉语言动作模型跨执行器快速迁移的方法。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于动作映射与小样本微调的跨执行器迁移方法、抓取方法及装置,以在源执行器与目标执行器具有不同交互控制方式和/或工具几何结构的情况下,利用目标执行器的小样本数据完成视觉语言动作模型的快速迁移。
2、第一方面,提供一种基于动作映射与小样本微调的跨执行器迁移方法,其特征在于,应用于目标视觉语言动作模型;目标视觉语言动作模型包括特征提取网络和策略网络;特征提取网络和策略网络的初始参数源视觉语言动作模型的模型参数初始化得到,源视觉语言动作模型基于源执行器的大样本数据集训练得到;方法包括:
3、获取目标执行器的小样本数据集;小样本数据集包括语言指令、目标物的多视角视觉观测信息及多视角视觉观测信息对应的真实动作;
4、利用目标视觉语言动作模型对小样本数据集进行动作预测,得到初始预测动作;初始预测动作包括预测末端的位姿和具有源执行器控制语义的初始动作连续控制量;
5、基于源执行器与目标执行器预设的状态映射规则,将初始动作控制量映射为目标执行器的目标动作控制量;并以预测末端的位姿和目标动作控制量组合为目标执行器的目标预测动作;
6、保持特征提取网络的参数冻结,基于目标执行器的目标预测动作及真实动作计算迁移损失,并基于迁移损失迭代更新策略网络的参数,直至达到预设迭代停止条件,以完成跨执行器迁移。
7、可选的,基于源执行器与目标执行器预设的状态映射规则,将初始动作连续控制量映射为目标执行器的目标动作控制量;包括:
8、当初始控制量小于预设控制阈值时,确定存在交互意图,并将目标动作控制量设置为表征第一状态的离散控制量;
9、当连续控制变量大于或等于预设控制阈值时,将目标动作控制量设置为表征第二状态的离散控制量;第一状态与第二状态相反。
10、可选的,基于目标执行器的目标预测动作及真实动作计算迁移损失,包括:
11、根据目标执行器的目标预测动作与对应的真实动作之间的偏差确定动作监督损失;
12、基于预测末端的位姿与目标物位置之间的交互关系确定物理交互约束损失;
13、将动作监督损失和物理交互约束损失进行加权融合,得到迁移损失。
14、可选的,基于预测末端的位姿与目标物之间的交互关系确定物理交互约束损失包括:
15、从预测末端的位姿中提取目标执行器的预测接近方向向量;
16、从目标物的多视角视觉观测信息中提取目标接触面上的目标吸附点的局部表面法向量;
17、基于预测接近方向向量与局部表面法向量之间的余弦相似度,计算法向量对齐约束损失,法向量对齐约束损失用于约束目标执行器的预测接近方向向量平行于目标接触面上的局部表面法向量。
18、可选的,基于预测末端的位姿与目标物之间的交互关系确定物理交互约束损失,还包括:
19、基于预测末端的位姿确定目标执行器在目标物上的预测接触位置;
20、基于预测接触位置与目标接触面的边缘的距离,确定防漏气约束;
21、基于目标物的质心及目标接触面确定质心在目标接触面上的投影位置;
22、基于预测接触位置与投影位置之间的距离,确定质心引力约束;
23、其中,防漏气约束和质心引力约束用于共同约束目标执行器靠近目标物的质心。
24、可选的,物理交互约束损失的权重的确定过程包括:
25、根据小样本数据集中各时刻对应的真实动作,确定目标执行器执行抓取交互的抓取交互时刻;
26、以抓取交互时刻为基准,根据预设的第一时间窗口、第二时间窗口和保持时间窗口,将动作序列划分为移动阶段、抓取接近阶段、接触吸附阶段和搬运阶段,其中,第一时间窗口大于第二时间窗口;
27、在普通移动阶段和搬运阶段,将物理交互约束的权重确定为零;
28、在抓取接近阶段,将物理交互约束的权重由零逐渐增大至预设的最大约束权重;
29、在接触吸附阶段,将物理交互约束的权重确定为最大约束权重。
30、第二方面,提供一种机器人抓取方法,机器人的末端安装有目标执行器;方法包括:
31、获取机器人当前的多视角视觉观测信息和待执行任务对应的语言指令;
32、将多视角视觉观测信息和语言指令输入按照第一方面任一方法迁移得到的目标视觉语言动作模型,生成目标执行器的控制动作;控制动作包括机器人末端的位姿和目标执行器的目标动作控制量;
33、根据机器人末端的位姿控制机器人末端运动,并根据目标动作控制量控制安装于机器人末端的目标执行器执行对应的交互操作。
34、第三方面,提供一种机器人抓取装置,机器人的末端安装有目标执行器;包括:
35、获取单元,用于获取机器人当前的多视角视觉观测信息和待执行任务对应的语言指令;
36、生成单元,用于将多视角视觉观测信息和语言指令输入按照第一方面任一方法迁移得到的目标视觉语言动作模型,生成目标执行器的控制动作;控制动作包括机器人末端的位姿和目标执行器的目标动作控制量;
37、控制单元,用于根据机器人末端的位姿控制机器人末端运动,并根据目标动作控制量控制安装于机器人末端的目标执行器执行对应的交互操作。
38、第四方面,提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
39、存储器,用于存放计算机程序;
40、处理器,用于执行存储器上所存放的程序时,实现第一方面或第二方面任一的方法。
41、本发明提供的基于动作映射与小样本微调的跨执行器迁移方法、抓取方法及装置,通过获取目标执行器的小样本数据集;利用目标视觉语言动作模型对小样本数据集进行动作预测,得到初始预测动作;基于源执行器与目标执行器预设的状态映射规则,将初始动作控制量映射为目标执行器的目标动作控制量;并以预测末端的位姿和目标动作控制量组合为目标执行器的目标预测动作;保持特征提取网络的参数冻结,基于目标执行器的目标预测动作及真实动作计算迁移损失,并基于迁移损失迭代更新策略网络的参数,直至达到预设迭代停止条件,以完成跨执行器迁移。本发明复用了源视觉语言动作模型的视觉语言理解和动作生成先验,并通过语义映射完成目标执行器适配,实现了视觉语言动作模型在不同形态执行器之间的快速、低成本迁移。
42、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com