具身智能机器人主动探索与技能迁移方法及系统与流程
本技术涉及人工智能与机器人控制领域,尤其涉及一种具身智能机器人主动探索与技能迁移方法及系统。
背景技术:
1、现有的具身智能技术主要依赖于强化学习或模仿学习框架,在遇到新环境时,通常采用基于大量真实数据从头训练或将预训练的模型直接迁移至新场景的策略。然而,基于真实数据从头训练的方式数据采集成本高昂且耗时漫长,严重制约了系统的部署效率;而直接迁移策略在实际工程中往往遭遇域偏移问题,且现有的世界模型更新机制多为离线或半在线模式,缺乏实时的偏差反演能力,无法根据真实的执行结果与仿真预测结果之间的偏差实时反向推导并修正动力学参数,导致模型一旦建立便趋于静态,无法适应环境的变化,长期运行后模型的预测精度逐渐下降。因此,亟需一种方法,解决现有技术中机器人跨环境适应能力差的技术问题。
技术实现思路
1、本技术提供一种具身智能机器人主动探索与技能迁移方法及系统,解决了现有技术中机器人跨环境适应能力差的技术问题。
2、为达到上述目的,本技术采用如下技术方案:
3、第一方面,提供一种具身智能机器人主动探索与技能迁移方法,包括:s1、获取环境数据以及目标任务,构建环境动力学模型;s2、基于环境动力学模型对候选动作进行仿真预演,评估各候选动作对环境不确定性的消除程度,并基于消除程度确定探索动作;s3、将目标任务分解为技能原语,并重组生成候选技能链;s4、基于环境动力学模型评估候选技能链在目标环境中的迁移可信度,并基于迁移可信度确定目标技能链;s5、执行探索动作和目标技能链,获取真实执行轨迹与仿真预演轨迹之间的偏差;s6、基于偏差在线反演修正环境动力学模型的动力学参数,并基于修正后的环境动力学模型重新执行s3至s4。
4、结合上述第一方面,在一种可能的实现方式中,获取环境数据以及目标任务,构建环境动力学模型,包括:获取视觉数据、深度数据、力觉数据、位姿数据以及触觉数据;基于视觉数据和深度数据识别环境中的目标对象,并确定各目标对象的空间位置关系;根据力觉数据、位姿数据以及触觉数据提取各目标对象的交互状态信息;基于空间位置关系和交互状态信息构建环境对象图,其中,环境对象图包括对象节点以及对象节点之间的交互关系;为各对象节点配置对应的动力学参数,动力学参数至少包括质量参数、摩擦参数、刚度参数和阻尼参数;基于环境对象图以及动力学参数构建环境动力学模型。
5、结合上述第一方面,在一种可能的实现方式中,基于环境动力学模型对候选动作进行仿真预演,评估各候选动作对环境不确定性的消除程度,并基于消除程度确定探索动作,包括:基于环境动力学模型中各动力学参数的标称值,生成对应的参数扰动样本;基于候选动作以及参数扰动样本,对环境动力学模型进行仿真预演,获得各候选动作对应的预演轨迹集合;基于预演轨迹集合确定候选动作执行后的环境状态分布;根据执行候选动作前后的环境状态分布,确定各候选动作对应的环境不确定性的消除程度;基于各候选动作对应的环境不确定性的消除程度确定探索动作。
6、结合上述第一方面,在一种可能的实现方式中,环境不确定性的消除程度满足以下公式:
7、
8、其中,表示执行候选动作前环境状态的熵值,,表示环境状态s出现的概率;表示执行候选动作后的条件熵,,表示执行候选动作后环境状态s出现的条件概率。
9、结合上述第一方面,在一种可能的实现方式中,基于预演轨迹集合确定候选动作执行后的环境状态分布,包括:基于每一候选动作对应的多组扰动参数,对物理引擎输出的多条仿真轨迹进行状态映射,得到对应的状态样本集合;将状态样本集合在状态空间内进行统计建模,构建候选动作在扰动条件下的环境状态经验分布;基于环境状态经验分布计算各状态的出现概率,得到候选动作执行后的环境状态分布。
10、结合上述第一方面,在一种可能的实现方式中,将目标任务分解为技能原语,并重组生成候选技能链,包括:基于目标任务的语义信息确定任务执行目标及约束条件;将任务执行目标分解为多个具有先后依赖关系的技能原语;基于技能原语的依赖关系构建技能原语图谱;根据技能原语图谱对技能原语进行路径组合,生成至少一条候选技能链。
11、结合上述第一方面,在一种可能的实现方式中,基于环境动力学模型评估候选技能链在目标环境中的迁移可信度,并基于迁移可信度确定目标技能链,包括:基于环境动力学模型提取源环境状态特征与目标环境状态特征,并通过特征嵌入网络将其映射为统一维度的环境嵌入向量;基于环境嵌入向量计算源环境与目标环境之间的相似度;基于环境动力学模型确定候选技能链在执行过程中涉及的动力学参数需求向量,动力学参数需求向量包括质量需求、摩擦需求、刚度需求及阻尼需求;计算目标环境动力学参数与动力学参数需求向量之间的差异量;基于相似度与差异量的加权组合计算候选技能链的迁移可信度,并选择迁移可信度最高的候选技能链作为目标技能链。
12、结合上述第一方面,在一种可能的实现方式中,执行探索动作和目标技能链,获取真实执行轨迹与仿真预演轨迹之间的偏差,包括:执行探索动作和目标技能链,采集机器人在执行过程中的位置状态、姿态状态以及交互状态,构建真实执行轨迹;基于探索动作、目标技能链以及当前环境动力学模型进行仿真推演,获取对应的仿真预演轨迹;按照时间序列对真实执行轨迹与仿真预演轨迹进行轨迹对齐;计算对齐后的真实执行轨迹与仿真预演轨迹之间的轨迹差值;基于轨迹差值确定真实执行轨迹与仿真预演轨迹之间的偏差。
13、结合上述第一方面,在一种可能的实现方式中,基于偏差在线反演修正环境动力学模型的动力学参数,包括:基于真实执行轨迹与仿真预演轨迹之间的偏差构建轨迹残差序列;根据轨迹残差序列确定环境动力学模型中各动力学参数对应的参数修正量;基于参数修正量更新质量参数、摩擦参数、刚度参数以及阻尼参数,得到更新后的动力学参数;采用更新后的动力学参数对环境动力学模型进行修正。
14、第二方面,提供一种具身智能机器人主动探索与技能迁移系统,应用于上述第一方面任一方法,系统包括:环境建模单元,用于获取环境数据以及目标任务,构建环境动力学模型;仿真探索决策单元,用于基于环境动力学模型对候选动作进行仿真预演,评估各候选动作对环境不确定性的消除程度,并基于消除程度确定探索动作;技能建模与迁移单元,用于将目标任务分解为技能原语,并重组生成候选技能链;基于环境动力学模型评估候选技能链在目标环境中的迁移可信度,并基于迁移可信度确定目标技能链;轨迹采集与偏差计算单元,用于执行探索动作和目标技能链,获取真实执行轨迹与仿真预演轨迹之间的偏差;动力学参数反演更新单元,用于基于偏差在线反演修正环境动力学模型的动力学参数,并将更新后的环境动力学模型反馈至仿真探索决策单元与技能建模与迁移单元。
15、本技术提供一种具身智能机器人主动探索与技能迁移方法及系统,实现机器人在未知环境中高效获取认知,安全迁移技能并持续进化世界模型。首先,在探索决策环节,通过引入基于香农熵减的认知增益因子量化动作带来的信息提升,精准量化动作对环境不确定性的消除程度,使得机器人优先选择能带来最大信息增益的动作,实现了从盲目试错到有目的的主动学习的范式转变,提升探索效率;其次,在技能迁移环节,通过计算源环境与目标环境的嵌入向量相似度及动力学参数差异来评估迁移可信度,避免因物理参数差异过大导致的盲目迁移失败,提升技能迁移的成功率与安全性;最后,通过对比真实轨迹与预演轨迹的偏差,利用稳健的滤波算法实时反演并修正世界模型的动力学参数,替代计算复杂度极高且易发散的海森矩阵求逆法,在保证实时性的前提下实现动力学参数的在线高精度修正,从根本上缩小仿真与现实的鸿沟,实现具身智能机器人跨环境的自适应学习与技能进化。
16、应当理解的是,本技术中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com