意图迁移方法及装置、电子设备、存储介质和程序产品
本公开涉及具身智能领域,尤其涉及一种意图迁移方法及装置、电子设备、存储介质和程序产品。
背景技术:
1、具身智能(embodied intelligence)是指智能体通过身体与环境的互动产生的智能行为,其目的是让机器人具备在真实物理环境中的交互与泛化能力。随着人工智能逐渐从数字域的感知与推理任务,迈向真实物理世界交互的具身智能阶段,如何高效、可靠地获取大规模交互数据,直接影响具身智能产业的落地推进速度。
2、目前具身数据采集正在从“机器人本体驱动”逐渐转向“任务与能力驱动”。相关技术中的无本体(robot-free/handheld)手持式采集方案,因其能够以更低成本获取更大规模的人类操作数据,并具有更好的跨平台迁移能力,广泛应用于具身数据采集中。但是,相关技术中的无本体手持式采集方案,仅记录执行器本身的状态,缺失交互力学信息,导致训练出的模型在接触任务中无法感知微观意图(如力度、剪切等),泛化能力差。
技术实现思路
1、有鉴于此,本公开提出了一种意图迁移方法及装置、电子设备、存储介质和程序产品。
2、据本公开的一方面,提供了一种意图迁移方法,所述方法包括:获取训练数据集,所述训练数据集包括从有触觉的第一机器人上采集的第一位姿信息、第一触觉信息、第一操作控制信息,其中,所述第一机器人包括具有控制端和执行端的主从机械臂;根据所述训练数据集训练初始意图映射模型,得到训练好的目标意图映射模型;获取示教数据集,所述示教数据集包括从有触觉的手持无本体采集设备上采集的第二位姿信息、第二触觉信息、视觉信息;将所述第二位姿信息、所述第二触觉信息输入训练好的目标意图映射模型,利用所述目标意图映射模型推理出第二操作控制信息;根据所述示教数据集中的所述第二位姿信息、所述视觉信息,以及所述目标意图映射模型推理出的所述第二操作控制信息,训练初始机器人动作策略模型,得到训练好的目标机器人动作策略模型,所述目标机器人动作策略模型用于部署至没有触觉传感器的第二机器人,以基于所述第二机器人的目标位姿信息和目标视觉信息,推理出所述第二机器人的目标操作控制信息。
3、在一种可能的实现方式中,获取训练数据集,包括:从所述主从机械臂的控制端采集所述第一操作控制信息、从所述主从机械臂的执行端采集所述第一位姿信息和所述第一触觉信息;对所述第一位姿信息、所述第一触觉信息、所述第一操作控制信息进行时间同步,得到第一同步数据;根据所述第一同步数据,确定所述训练数据集。
4、在一种可能的实现方式中,根据所述训练数据集训练初始意图映射模型,得到训练好的目标意图映射模型,包括:将所述第一位姿信息、所述第一触觉信息输入所述初始意图映射模型,得到所述初始意图映射模型预测的第三操作控制信息;根据所述第一操作控制信息和所述第三操作控制信息的比较结果,确定第一损失;根据所述第一损失,训练所述初始意图映射模型,得到训练好的目标意图映射模型。
5、在一种可能的实现方式中,获取示教数据集,包括:在无触觉的手持无本体采集设备的末端安装触觉传感器;通过无触觉的手持无本体采集设备获取所述第二位姿信息和所述视觉信息,以及通过所述触觉传感器采集第二触觉信息;对所述第二位姿信息、所述第二触觉信息、所述视觉信息进行时间同步,得到第二同步数据;根据所述第二同步数据,确定所述示教数据集。
6、在一种可能的实现方式中,根据所述示教数据集中的所述第二位姿信息、所述视觉信息,以及所述目标意图映射模型推理出的所述第二操作控制信息,训练初始机器人动作策略模型,得到训练好的目标机器人动作策略模型,包括:将所述第二位姿信息、所述视觉信息输入所述初始机器人动作策略模型,得到所述初始机器人动作策略模型预测的第四操作控制信息;根据所述第二操作控制信息和所述第四操作控制信息的比较结果,确定第二损失;根据所述第二损失,训练所述初始机器人动作策略模型,得到训练好的目标机器人动作策略模型。
7、在一种可能的实现方式中,所述目标操作控制信息用于指导第二机器人完成接触类任务。
8、根据本公开的另一方面,提供了一种意图迁移装置,所述装置包括:第一获取模块,用于获取训练数据集,所述训练数据集包括从有触觉的第一机器人上采集的第一位姿信息、第一触觉信息、第一操作控制信息,其中,所述第一机器人包括具有控制端和执行端的主从机械臂;第一训练模块,用于根据所述训练数据集训练初始意图映射模型,得到训练好的目标意图映射模型;第二获取模块,用于获取示教数据集,所述示教数据集包括从有触觉的手持无本体采集设备上采集的第二位姿信息、第二触觉信息、视觉信息;输入模块,用于将所述第二位姿信息、所述第二触觉信息输入训练好的目标意图映射模型,利用所述目标意图映射模型推理出第二操作控制信息;第二训练模块,用于根据所述示教数据集中的所述第二位姿信息、所述视觉信息,以及所述目标意图映射模型推理出的所述第二操作控制信息,训练初始机器人动作策略模型,得到训练好的目标机器人动作策略模型,所述目标机器人动作策略模型用于部署至没有触觉传感器的第二机器人,以基于所述第二机器人的目标位姿信息和目标视觉信息,推理出所述第二机器人的目标操作控制信息。
9、在一种可能的实现方式中,所述第一获取模块用于:从所述主从机械臂的控制端采集所述第一操作控制信息、从所述主从机械臂的执行端采集所述第一位姿信息和所述第一触觉信息;对所述第一位姿信息、所述第一触觉信息、所述第一操作控制信息进行时间同步,得到第一同步数据;根据所述第一同步数据,确定所述训练数据集。
10、在一种可能的实现方式中,所述第一训练模块用于:将所述第一位姿信息、所述第一触觉信息输入所述初始意图映射模型,得到所述初始意图映射模型预测的第三操作控制信息;根据所述第一操作控制信息和所述第三操作控制信息的比较结果,确定第一损失;根据所述第一损失,训练所述初始意图映射模型,得到训练好的目标意图映射模型。
11、在一种可能的实现方式中,所述第二获取模块用于:在无触觉的手持无本体采集设备的末端安装触觉传感器;通过无触觉的手持无本体采集设备获取所述第二位姿信息和所述视觉信息,以及通过所述触觉传感器采集第二触觉信息;对所述第二位姿信息、所述第二触觉信息、所述视觉信息进行时间同步,得到第二同步数据;根据所述第二同步数据,确定所述示教数据集。
12、在一种可能的实现方式中,所述第二训练模块用于:将所述第二位姿信息、所述视觉信息输入所述初始机器人动作策略模型,得到所述初始机器人动作策略模型预测的第四操作控制信息;根据所述第二操作控制信息和所述第四操作控制信息的比较结果,确定第二损失;根据所述第二损失,训练所述初始机器人动作策略模型,得到训练好的目标机器人动作策略模型。
13、在一种可能的实现方式中,所述目标操作控制信息用于指导第二机器人完成接触类任务。
14、根据本公开另一方面,提供了一种非易失性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
15、根据本公开另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
16、在本公开的实施例中,获取训练数据集,所述训练数据集包括从有触觉的第一机器人上采集的第一位姿信息、第一触觉信息、第一操作控制信息,其中,所述第一机器人包括具有控制端和执行端的主从机械臂;根据所述训练数据集训练初始意图映射模型,得到训练好的目标意图映射模型;获取示教数据集,所述示教数据集包括从有触觉的手持无本体采集设备上采集的第二位姿信息、第二触觉信息、视觉信息;将所述第二位姿信息、所述第二触觉信息输入训练好的目标意图映射模型,利用所述目标意图映射模型推理出第二操作控制信息;根据所述示教数据集中的所述第二位姿信息、所述视觉信息,以及所述目标意图映射模型推理出的所述第二操作控制信息,训练初始机器人动作策略模型,得到训练好的目标机器人动作策略模型,所述目标机器人动作策略模型用于部署至没有触觉传感器的第二机器人,以基于所述第二机器人的目标位姿信息和目标视觉信息,推理出所述第二机器人的目标操作控制信息。
17、通过这种方式,可构建支持触觉采集的通用无本体采集方案,可在无本体手持式示教过程中,采集包含第二位姿信息、第二触觉信息、视觉信息的示教数据集,其中,采集的第二触觉信息可用于表征接触点分布、压力变化和剪切趋势等接触动力学特征,使示教数据集能够更完整地反映操作者执行接触类任务时的真实操作意图,有利于提高接触类任务的示教数据质量。
18、并且,利用目标意图映射模型,可将示教数据集中的第二触觉信息转化为表征人类操作意图的第二操作控制信息,实现接触动力学从示教端显式迁移至不具备触觉传感的部署端,从而使真实的第二机器人在无需安装触觉传感器的情况下,具备了触觉感知的物理语义,仅依靠视觉信息和第二位姿信息即可利用触觉先验完成操作,从而降低硬件成本并增强跨平台迁移能力。
19、此外,由于目标机器人动作策略模型的训练过程中引入了包含触觉先验的第二操作控制信息,目标机器人动作策略模型能够学习接触类任务中的用力趋势、滑移变化和柔顺调整规律,因此,将目标机器人动作策略模型部署至无触觉传感器的第二机器人时,目标机器人动作策略模型仅依靠自身的目标位姿信息和目标视觉信息,即可推断出第二机器人的目标操作控制信息,从而使第二机器人在无触觉传感器的情况下,复现出高精度的力交互操作,其在精密装配、插拔、按压、推挤及柔性物体操作等接触丰富任务中具有更高的稳定性、鲁棒性和任务成功率。
20、根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com