具身智能体非连续交互自适应评测方法

摘要: 本申请属于评测,更具体地说,是涉及具身智能体非连续交互自适应评测方法。背景技术:1、具身智能体指能够在物理或仿真环境中感知、规划并执行动作的智能系统,其能力评测...
具身智能体非连续交互自适应评测方法

本申请属于评测,更具体地说,是涉及具身智能体非连续交互自适应评测方法。

背景技术:

1、具身智能体指能够在物理或仿真环境中感知、规划并执行动作的智能系统,其能力评测通常采用长程任务,任务执行涉及多个依赖步骤,某一目标步骤能否正确执行不仅取决于当前观测,还取决于前序步骤的完成状态、仿真环境的一致性和任务上下文的连续性。现有评测方式包括静态评测、完整轨迹评测和局部交互评测。其中,局部交互评测通过将仿真环境恢复到某一中间状态来验证特定步骤,相比完整轨迹评测具有成本优势。然而,现有方法在恢复中间状态时通常仅关注对象位置等外部可见变量,无法同步恢复仿真器内部运行状态和具身智能体已累积的任务上下文,导致恢复后的状态虽然视觉上接近目标步骤,但物理逻辑、仿真一致性和任务上下文与实际长程执行状态存在偏差,评测结果无法真实反映具身智能体在长程任务中的执行能力。因此,如何在非连续交互评测中提高评测精度和可靠性,成为亟需解决的技术问题。

技术实现思路

1、本申请的目的在于提供一种具身智能体非连续交互自适应评测方法,以提高评测精度和可靠性。

2、本申请实施例的第一方面,提供了一种具身智能体非连续交互自适应评测方法,包括:

3、获取具身智能体的候选轨迹,并基于候选轨迹,构建任务依赖图,候选轨迹是基于所下发任务指令生成的,任务依赖图用于表征待执行任务中各子任务之间的依赖关系,一个子任务与候选轨迹中的一段轨迹对应;

4、基于任务依赖图,选择待验证子任务,在待验证子任务执行前提取具身智能体当前对应的前置状态,前置状态包括:环境物理状态、仿真器运行状态和具身智能体任务上下文;

5、基于前置状态,在待验证子任务所对应的轨迹上构建多个状态检查点,并对每一状态检查点进行多维执行状态验证,以确定该状态检查点是否满足预设要求;

6、若各状态检查点均满足预设要求,则从多个状态检查点中选择一个或者多个不相邻的状态检查点进行任务验证,以验证在对应的状态检查点是否正确执行动作;

7、若至少一个状态检查点不满足预设要求,则确定每一目标检查点未通过验证的状态,并基于每一目标检查点未通过验证的状态和任务依赖图,从多个状态检查点中选择多个检查点组,从多个检查点组中选择包含状态检查点最少的检查点组进行任务验证,以验证在对应的状态检查点是否正确执行动作;目标检查点为不满足预设要求的状态检查点;每个检查点组中包含多个相邻的状态检查点;

8、若验证在对应的状态检查点不能正确执行动作,则对所有状态检查点进行任务验证,以验证所有状态检查点是否正确执行动作。

9、本申请实施例的第二方面,提供了一种具身智能体非连续交互自适应评测装置,包括:

10、任务依赖图构建模块,用于获取具身智能体的候选轨迹,并基于候选轨迹,构建任务依赖图,候选轨迹是基于所下发任务指令生成的,任务依赖图用于表征待执行任务中各子任务之间的依赖关系,一个子任务与候选轨迹中的一段轨迹对应;

11、前置状态提取模块,用于基于任务依赖图,选择待验证子任务,在待验证子任务执行前提取具身智能体当前对应的前置状态,前置状态包括:环境物理状态、仿真器运行状态和具身智能体任务上下文;

12、状态检查点构建与验证模块,用于基于前置状态,在待验证子任务所对应的轨迹上构建多个状态检查点,并对每一状态检查点进行多维执行状态验证,以确定该状态检查点是否满足预设要求;

13、非连续验证模块,用于若各状态检查点均满足预设要求,则从多个状态检查点中选择一个或者多个不相邻的状态检查点进行任务验证,以验证在对应的状态检查点是否正确执行动作;

14、连续性验证模块,用于若至少一个状态检查点不满足预设要求,则确定每一目标检查点未通过验证的状态,并基于每一目标检查点未通过验证的状态和任务依赖图,从多个状态检查点中选择多个检查点组,从多个检查点组中选择包含状态检查点最少的检查点组进行任务验证,以验证在对应的状态检查点是否正确执行动作;目标检查点为不满足预设要求的状态检查点;每个检查点组中包含多个相邻的状态检查点;

15、全面验证模块,用于若验证在对应的状态检查点不能正确执行动作,则对所有状态检查点进行任务验证,以验证所有状态检查点是否正确执行动作。

16、本申请实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的具身智能体非连续交互自适应评测方法的步骤。

17、本申请实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的具身智能体非连续交互自适应评测方法的步骤。

18、本申请实施例提供的具身智能体非连续交互自适应评测方法的有益效果在于:

19、本申请实施例通过构建任务依赖图并提取环境物理状态、仿真器运行状态和具身智能体任务上下文三层前置状态,在待验证子任务所对应的轨迹上构建状态检查点,实现了对具身智能体执行状态的全面表征。进一步地,通过对每一状态检查点进行多维执行状态验证,能够精准识别不满足预设要求的检查点,有效解决了现有技术中因仅关注对象位置等外部变量而导致物理逻辑、仿真一致性和任务上下文与实际长程执行状态存在偏差的问题,提高了非连续交互评测的精度和可靠性。在此基础上,本申请实施例采用分级递进的自适应验证机制:当状态检查点均满足预设要求时,仅对不相邻的状态检查点进行任务验证,降低了评测成本;当存在不满足预设要求的检查点时,依据任务依赖图选取包含状态检查点最少的相邻检查点组进行验证,既保证了验证的连续性,又最大限度减少了验证开销;当验证失败时,进一步扩展至全部状态检查点进行任务验证,确保评测结果的完备性。通过上述分级策略,本申请实施例在保证评测精度的前提下降低了仿真成本,实现了评测精度与评测效率的有机统一,为具身智能体的长程任务能力评估提供了可靠的技术支撑。因此,本申请实施例能够提高评测精度和可靠性。

1.一种具身智能体非连续交互自适应评测方法,其特征在于,包括:

2.如权利要求1所述的具身智能体非连续交互自适应评测方法,其特征在于,所述基于所述候选轨迹,构建任务依赖图,包括:

3.如权利要求2所述的具身智能体非连续交互自适应评测方法,其特征在于,所述基于所述前置状态,在所述待验证子任务所对应的轨迹上构建多个状态检查点,包括:

4.如权利要求2所述的具身智能体非连续交互自适应评测方法,其特征在于,所述对每一所述状态检查点进行多维执行状态验证,以确定该状态检查点是否满足预设要求,包括:

5.如权利要求2所述的具身智能体非连续交互自适应评测方法,其特征在于,所述基于每一目标检查点未通过验证的状态和所述任务依赖图,从所述多个状态检查点中选择多个检查点组,包括:

6.如权利要求5所述的具身智能体非连续交互自适应评测方法,其特征在于,所述从所述多个检查点组中选择包含状态检查点最少的检查点组进行任务验证,包括:

7.如权利要求1所述的具身智能体非连续交互自适应评测方法,其特征在于,在所述从所述多个状态检查点中选择一个或者多个不相邻的状态检查点进行任务验证之后,还包括:

8.一种具身智能体非连续交互自适应评测装置,其特征在于,包括:

9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。