具身机器人评测方法、装置、设备、介质及程序产品与流程
本技术涉及人工智能,尤其涉及一种具身机器人评测方法、装置、设备、介质及程序产品。
背景技术:
1、近年来,随着具身智能技术的快速发展,具身智能机器人逐步从执行预设动作向在真实或仿真环境中理解任务、感知环境并完成复杂操作任务的方向演进。具身智能机器人评测的对象也从单一的动作执行或算法模块,扩展为由感知、语义理解、任务规划、动作控制及安全约束共同决定的完整任务执行能力。
2、目前,主要通过构建预设任务集合、标准数据集或仿真测试环境来对具身智能机器人进行评测。其典型的评测流程包括:首先,在导航、抓取、搬运或交互等任务上配置测试条件并记录执行过程;随后,统计任务成功率、完成时间或碰撞次数,并输出综合分数;最后,通过在新任务、新物品或新场景上再次测试来评价泛化能力,并在评测结束后生成测试报告或模型排名。
3、然而,按照上述方法,在对具身智能机器人进行评测时主要依赖任务成功率,无法区分具体失败原因与迁移不足类型;且需要多次测试才能得到泛化能力评价。从而导致对具身智能机器人的评测维度较为单一,且获得泛化能力评价的过程较为繁琐。
技术实现思路
1、本技术提供一种具身机器人评测方法、装置、设备、介质及程序产品,能够丰富具身智能机器人的评测维度,且简化获得泛化能力评价的过程。
2、第一方面,本技术实施例提供了一种具身机器人评测方法,该方法包括:在具身机器人执行第一任务的过程中,采集任务相关数据;基于任务相关数据和第一任务对应的预设任务成功条件、预设安全约束、预设评分指标,确定具身机器人的多维度评分向量;其中,多维度评分向量包括任务成功评分向量、时间效率评分向量、轨迹效率评分向量、抓取稳定评分向量、归位精度评分向量、碰撞安全评分向量、风险规避评分向量、失败恢复评分向量和人机交评分向量;基于多维度评分向量和第一任务对应的预设训练条件、预设评测条件,确定具身机器人的泛化能力指标值;在任务相关数据包括任务失败数据的情况下,基于任务失败数据和任务失败数据之间的约束关系,确定失败原因标签。
3、本技术提供的技术方案至少带来以下有益效果:在对具身机器人进行评测时,可以基于其执行任务过程中采集的任务相关数据,确定具身机器人的多维度评分向量;然后基于多维度评分向量和该任务对应的预设训练条件、预设评测条件,确定具身机器人的泛化能力指标值;并可以基于任务失败数据和任务失败数据之间的约束关系,确定失败原因标签。从而可以通过多维度评分向量和失败原因标签,区分具体失败原因与迁移不足类型;且只需一次测试便可以得到具身机器人的泛化能力指标值。如此丰富了对具身智能机器人的评测维度,且简化了获得泛化能力评价的过程。
4、一种可能的实现方式,上述任务相关数据包括:视觉观察数据、移动轨迹数据、关节状态数据、末端位姿数据、接触力、碰撞事件、任务事件、语音交互数据和异常恢复日志。
5、另一种可能的实现方式,上述基于多维度评分向量和第一任务对应的预设训练条件、预设评测条件,确定具身机器人的泛化能力指标值,包括:基于多维度评分向量、预设训练条件和预设评测条件,确定具身机器人的任务成功保持率、任务质量分保持率、安全约束表现指标值和失败恢复表现指标值;基于任务成功保持率、任务质量分保持率、安全约束表现指标值和失败恢复表现指标值,确定泛化能力指标值。
6、又一种可能的实现方式,上述基于任务失败数据和任务失败数据之间的约束关系,确定失败原因标签之后,上述具身机器人评测方法还包括:基于上述失败原因标签和任务失败数据,确定数据补采任务、仿真扰动任务、标注复核任务和模型优化任务中的至少一项。
7、再一种可能的实现方式,上述基于任务相关数据和第一任务对应的预设任务成功条件、预设安全约束、预设评分指标,确定具身机器人的多维度评分向量之后,上述具身机器人评测方法还包括:基于上述多维度评分向量和多维度评分向量中各评分向量对应的权重,确定具身机器人的综合评分;将多维度评分向量和综合评分存储在具身机器人对应的评测任务记录中。
8、第二方面,本技术实施例提供了本技术提供一种具身机器人评测装置,包括:采集模块和确定模块;采集模块,用于在具身机器人执行第一任务的过程中,采集任务相关数据;确定模块,用于基于任务相关数据和第一任务对应的预设任务成功条件、预设安全约束、预设评分指标,确定具身机器人的多维度评分向量;其中,多维度评分向量包括任务成功评分向量、时间效率评分向量、轨迹效率评分向量、抓取稳定评分向量、归位精度评分向量、碰撞安全评分向量、风险规避评分向量、失败恢复评分向量和人机交评分向量;确定模块,还用于基于多维度评分向量和第一任务对应的预设训练条件、预设评测条件,确定所述具身机器人的泛化能力指标值;确定模块,还用于在任务相关数据包括任务失败数据的情况下,基于任务失败数据和任务失败数据之间的约束关系,确定失败原因标签。
9、一种可能的实现方式,上述任务相关数据包括:视觉观察数据、移动轨迹数据、关节状态数据、末端位姿数据、接触力、碰撞事件、任务事件、语音交互数据和异常恢复日志。
10、另一种可能的实现方式,上述确定模块,具体用于:基于多维度评分向量、预设训练条件和预设评测条件,确定具身机器人的任务成功保持率、任务质量分保持率、安全约束表现指标值和失败恢复表现指标值;基于任务成功保持率、任务质量分保持率、安全约束表现指标值和失败恢复表现指标值,确定泛化能力指标值。
11、又一种可能的实现方式,上述确定模块,还用于在基于任务失败数据和任务失败数据之间的约束关系,确定失败原因标签之后,基于失败原因标签和任务失败数据,确定数据补采任务、仿真扰动任务、标注复核任务和模型优化任务中的至少一项。
12、再一种可能的实现方式,上述具身机器人评测装置还包括存储模块;确定模块,还用于在基于任务相关数据和第一任务对应的预设任务成功条件、预设安全约束、预设评分指标,确定具身机器人的多维度评分向量之后,基于多维度评分向量和多维度评分向量中各评分向量对应的权重,确定具身机器人的综合评分;存储模块,用于将多维度评分向量和综合评分存储在具身机器人对应的评测任务记录中。
13、第三方面,本技术提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。
14、第四方面,本技术提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。
15、第五方面,本技术提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。
16、第六方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
17、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com