面向具身智能模型的评测方法、装置、设备及存储介质与流程

本技术涉及人工智能评测，尤其涉及面向具身智能模型的评测方法、装置、设备及存储介质。

背景技术：

1、目前，在具身智能（physical ai）技术的研发与迭代过程中，对视觉运动策略层和全身稳定与控制层的评测是验证算法性能的关键环节。现有的评测方案通常针对特定的仿真器或基准测试构建独立的评测脚本与运行环境，例如导航任务依赖habitat-sim，操作任务分散在mujoco、sapien等不同仿真器中，而全身控制评测又可能使用isaac sim等其他平台。这种碎片化的评测架构导致不同仿真器之间缺乏统一的交互协议与数据标准，使得跨仿真器、跨基准的模型性能对比难以在同一坐标系下进行，新基准的接入往往需要重构整套评测系统，维护成本高昂。

技术实现思路

1、本技术的主要目的在于提供一种面向具身智能模型的评测方法、装置、设备及存储介质，旨在解决目前方案在具身智能评测中仿真器碎片化导致跨平台对比困难以及仿真-真机差距不可度量的技术问题。

2、为实现上述目的，本技术提出一种面向具身智能模型的评测方法，所述面向具身智能模型的评测方法包括：

3、接收评测任务请求，所述评测任务请求包含目标基准信息及约束条件，所述约束条件至少包括仿真器类型标识；

4、通过沙箱平面的统一句柄协议，向所述沙箱平面发送携带有所述仿真器类型标识的资源获取指令，并接收所述沙箱平面返回的仿真器句柄，其中，所述仿真器句柄用于唯一标识由所述沙箱平面根据所述仿真器类型标识调用的仿真器后端实例；

5、通过所述仿真器句柄与所述仿真器后端实例进行交互，以执行所述评测任务请求对应的评测任务，并获取执行过程中产生的评测轨迹数据；

6、对所述评测轨迹数据进行指标计算得到指标数据，并基于所述指标数据生成待测模型在所述目标基准信息所指示的目标评测基准下的评测结果。

7、在一实施例中，所述通过所述仿真器句柄与所述仿真器后端实例进行交互，以执行所述评测任务请求对应的评测任务，并获取执行过程中产生的评测轨迹数据的步骤包括：

8、在评测回合的当前时间步，获取待测模型输出的统一动作指令；

9、将所述统一动作指令转换为所述仿真器后端实例适配的原生动作指令；

10、通过所述仿真器句柄将所述原生动作指令发送至所述仿真器后端实例进行交互，以使所述仿真器后端实例基于所述原生动作指令执行所述评测任务请求对应的评测任务，并获取执行过程中产生的评测轨迹数据。

11、在一实施例中，所述将所述统一动作指令转换为所述仿真器后端实例适配的原生动作指令的步骤包括：

12、调用预置的接口映射层，获取所述仿真器后端实例对应的动作空间定义，其中，所述动作空间定义包括关节自由度数量及动作数值范围；

13、基于所述动作空间定义，对所述统一动作指令进行维度匹配与数值归一化处理，生成所述仿真器后端实例可识别的原生动作指令。

14、在一实施例中，所述通过所述仿真器句柄将所述原生动作指令发送至所述仿真器后端实例进行交互，以执行所述评测任务请求对应的评测任务，并获取执行过程中产生的评测轨迹数据的步骤包括：

15、通过所述仿真器句柄将所述原生动作指令发送至所述仿真器后端实例，以驱动所述仿真器后端实例中的虚拟对象执行所述评测任务请求对应的评测任务；

16、接收所述仿真器后端实例返回的执行所述评测任务后的原生观测数据，并将所述原生观测数据转换为统一观测数据；

17、将所述统一动作指令以及所述统一观测数据按时间步顺序追加写入轨迹记录，直至满足回合终止条件，生成评测轨迹数据。

18、在一实施例中，所述通过沙箱平面的统一句柄协议，向所述沙箱平面发送携带有所述仿真器类型标识的资源获取指令，并接收所述沙箱平面返回的仿真器句柄的步骤包括：

19、解析资源获取指令中的并行度参数，其中，所述并行度参数用于指定所需的并行仿真进程数量；

20、通过沙箱平面的统一句柄协议，向所述沙箱平面发送携带有所述并行度参数的资源获取指令，以使所述沙箱平面根据所述仿真器类型标识启动对应数量的并行仿真进程并反馈进程组标识；

21、接收所述沙箱平面返回的进程组标识，将所述进程组标识封装为仿真器句柄。

22、在一实施例中，所述对所述评测轨迹数据进行指标计算得到指标数据，并基于所述指标数据生成待测模型在所述目标基准信息所指示的目标评测基准下的评测结果的步骤包括：

23、根据所述评测轨迹数据得到仿真后端的第一评测轨迹数据以及物理真机后端的第二评测轨迹数据；

24、分别基于所述第一评测轨迹数据和所述第二评测轨迹数据，计算同一评测指标在仿真环境下的第一指标值和在真机环境下的第二指标值；

25、计算所述第一指标值与所述第二指标值之间的数值偏差，并计算所述第一指标值和所述第二指标值的排名一致性系数；

26、根据所述数值偏差和所述排名一致性系数得到待测模型在所述目标基准信息所指示的目标评测基准下的评测结果。

27、在一实施例中，计算所述第一指标值和所述第二指标值的排名一致性系数的步骤包括：

28、对多个待测模型在仿真环境下的所述第一指标值和所述第二指标值分别进行排名，得到第一排名集合和第二排名集合；

29、对多个待测模型进行两两配对，确定每对待测模型在所述第一排名集合中的排名顺序与在所述第二排名集合中的排名顺序是否一致，得到一致对数和不一致对数；

30、基于所述一致对数和所述不一致对数，计算肯德尔等级关联系数；

31、根据所述肯德尔等级关联系数得到所述第一指标值和所述第二指标值的排名一致性系数。

32、在一实施例中，计算所述第一指标值和所述第二指标值的排名一致性系数的步骤包括：

33、对多个待测模型在仿真环境下的所述第一指标值和所述第二指标值分别进行排名，得到第一排名集合和第二排名集合；

34、基于同一待测模型在所述第一排名集合和所述第二排名集合中的排名差值，计算斯皮尔曼等级关联系数；

35、根据所述斯皮尔曼等级关联系数得到所述第一指标值和所述第二指标值的排名一致性系数。

36、在一实施例中，所述对所述评测轨迹数据进行指标计算得到指标数据，并基于所述指标数据生成待测模型在所述目标基准信息所指示的目标评测基准下的评测结果的步骤包括：

37、根据各待测模型对应的评测轨迹数据，分别计算各项评测指标；

38、将各待测模型标识与对应的评测指标进行关联展示，生成跨模型评测排行榜；

39、获取各待测模型在历史测评中发布的基准指标数据，并将所述各项评测指标作为复现指标数据；

40、在所述跨模型评测排行榜中，针对同一待测模型，并行展示所述基准指标数据与所述复现指标数据，并根据所述基准指标数据与所述复现指标数据得到各待测模型在所述目标基准信息所指示的目标评测基准下的评测结果。

41、此外，为实现上述目的，本技术还提出一种面向具身智能模型的评测装置，所述装置包括多层架构边界，所述面向具身智能模型的评测装置包括：

42、任务适配模块，用于接收评测任务请求，所述评测任务请求包含目标基准信息及约束条件，所述约束条件至少包括仿真器类型标识；

43、执行绑定模块，用于通过沙箱平面的统一句柄协议，向所述沙箱平面发送携带有所述仿真器类型标识的资源获取指令，并接收所述沙箱平面返回的仿真器句柄，其中，所述仿真器句柄用于唯一标识由所述沙箱平面根据所述仿真器类型标识调用的仿真器后端实例；

44、交互模块，用于通过所述仿真器句柄与所述仿真器后端实例进行交互，以执行所述评测任务请求对应的评测任务，并获取执行过程中产生的评测轨迹数据；

45、评测模块，用于对所述评测轨迹数据进行指标计算得到指标数据，并基于所述指标数据生成待测模型在所述目标基准信息所指示的目标评测基准下的评测结果；

46、其中，所述任务适配模块、所述执行绑定模块、所述交互模块以及所述评测模块被配置为在各自的架构边界上运行，并通过标准化的接口进行数据交互。

47、此外，为实现上述目的，本技术还提出一种面向具身智能模型的评测设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的面向具身智能模型的评测方法的步骤。

48、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的面向具身智能模型的评测方法的步骤。

49、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的面向具身智能模型的评测方法的步骤。

50、本技术提出的一个或多个技术方案，通过构建统一的交互协议与标准化数据接口，适配不同类型仿真器与真机平台的评测需求，将跨仿真器、跨基准的模型性能指标、仿真-真机差距纳入统一的量化评测框架。该方案首先通过抽象层封装不同仿真环境的交互逻辑，使得各类基准测试任务可通过统一接口接入评测系统，无需针对新基准重构整套评测流程，显著降低系统维护与扩展成本；同时建立覆盖模型全性能维度的统一指标体系，将仿真环境与真机环境的评测输出转化为同格式的可量化结果，实现仿真-真机差距在评测阶段的定量测量与差异定位，为具身智能模型的迭代优化提供明确的量化参考。