基于自演进即时记忆的具身智能体的主动安全防护方法及装置、电子设备及存储介质与流程

摘要: 本技术涉及具身智能安全控制,具体而言,涉及一种基于自演进即时记忆的具身智能体的主动安全防护方法及装置、电子设备及存储介质。背景技术:1、近年来,随着视觉-语言模...
基于自演进即时记忆的具身智能体的主动安全防护方法及装置、电子设备及存储介质与流程

本技术涉及具身智能安全控制,具体而言,涉及一种基于自演进即时记忆的具身智能体的主动安全防护方法及装置、电子设备及存储介质。

背景技术:

1、近年来,随着视觉-语言模型的快速发展,具身智能体在复杂物理环境中的任务执行能力得到了显著提升。通过将自然语言指令转化为可执行的行动计划,并在闭环交互中不断调整行为,具身智能体已能够完成诸如家庭服务、物体操作等长期任务。然而,现有技术主要聚焦于任务完成的效率与准确性,忽视了在动态交互过程中实时涌现的物理安全风险。例如,在执行“将苹果放在盘子上”这一中性任务时,若盘子表面有灰尘,智能体若直接放置食物可能引发卫生风险;又如,智能体在操作过程中可能忘记关闭水龙头或未将可燃物体移离热源,从而引发火灾或水损等安全隐患。因此,如何在保障任务进度的前提下,使具身智能体具备主动识别、预期并及时缓解交互过程中涌现的风险,成为当前领域亟待解决的关键问题。

2、现有用于具身智能体安全控制的技术主要分为基于外部防护机制的安全干预技术与基于逐步安全推理的规划增强技术两类。

3、其中,基于外部防护机制的安全干预技术通过在智能体执行动作前设置运行时防护模块,利用线性时序逻辑或领域特定语言动态监测并拦截不安全行为。当检测到潜在风险时,系统直接拒绝执行当前指令或中断任务进程。该技术本质上将安全处理等同于任务拒绝,而非风险解决。智能体在面对可缓解的风险(如脏污的盘子)时,无法主动采取清洁等前置缓解动作,而是直接中止任务,导致任务失败。该技术缺乏对状态-意图耦合风险的识别能力,无法区分“当前状态+即将执行的动作”是否真正构成危险,容易产生过度谨慎,严重阻碍任务进度。

4、基于逐步安全推理的规划增强技术通过在每一步规划前注入全局安全提示或强制智能体进行场景描述与安全推理,以提升其对环境风险的感知能力。该类技术在每一步都进行安全推理,导致智能体过度保守,频繁产生不必要的干预行为,显著降低任务成功率。该类技术缺乏对部分可观测环境中持久危险状态的跟踪能力。当危险状态(如已打开的水龙头)移出视野后,智能体容易发生“感知遗忘”,无法在后续步骤中适时解决该风险,导致安全隐患累积。该类技术仅提供抽象的安全原则,缺乏可执行的、与具体动作空间对齐的缓解指导,智能体难以将规范转化为精确的、不影响任务进度的缓解动作。

5、综上,现有技术存在安全干预与任务进度之间存在固有矛盾、状态-意图耦合型风险无法被识别、部分可观测环境下持久危险状态难以跟踪、抽象安全规范难以转化为可执行缓解动作的技术问题。

技术实现思路

1、本技术的目的在于克服现有技术的至少一种缺陷,提供一种基于自演进即时记忆的具身智能体的主动安全防护方法及装置、电子设备及存储介质,用以解决现有技术中安全干预容易造成任务中断、无法识别状态-意图耦合风险、部分可观测环境下持久危险状态难以跟踪、抽象安全规范难以落地为可执行缓解动作的问题,实现兼顾任务进度与安全防护的具身智能主动安全控制。

2、根据本技术的第一方面,本技术的至少一个实施例提供了一种基于自演进即时记忆的具身智能体的主动安全防护方法,包括:采集所述具身智能体所处环境的多模态观测数据;根据所述多模态观测数据,构建并维护风险充分拓扑信念图,并根据所述风险充分拓扑信念图提取信念图摘要;根据所述风险充分拓扑信念图和当前步的预测意图,判断是否存在匹配的风险规则,所述预测意图为所述具身智能体尚未实际执行的行为目标;在存在匹配的所述风险规则的情况下,输出风险触发信号;基于输出所述风险触发信号,根据所述风险规则输出元技能与因果案例片段;根据外部输入的自然语言任务指令、所述多模态观测数据、所述信念图摘要、所述风险规则、所述风险触发信号、所述元技能和所述因果案例片段,生成用于所述具身智能体的安全动作序列和下一步的预测意图;输出所述安全动作序列,以控制所述具身智能体执行对应动作。

3、例如,在本技术的一些实施例中,所述根据所述多模态观测数据,构建并维护风险充分拓扑信念图,包括:根据上一时刻的风险充分拓扑信念图、当前时刻所述具身智能体所处环境的多模态观测数据、所述具身智能体上一步的执行轨迹和当前步的预测意图,局部增量更新上一时刻的风险充分拓扑信念图,得到当前时刻的风险充分拓扑信念图。

4、例如,在本技术的一些实施例中,所述风险充分拓扑信念图包括:对象节点和拓扑关系,所述信念图摘要包括:关键对象和空间关系,所述根据所述风险充分拓扑信念图提取信念图摘要,包括:从所述对象节点中提取所述关键对象;以及从所述拓扑关系中提取所述空间关系。

5、例如,在本技术的一些实施例中,所述风险规则包括:规则类型、局部环境状态子图模式和动作意图模式,所述根据所述风险充分拓扑信念图和当前步的预测意图,判断是否存在匹配的风险规则,包括:将所述风险充分拓扑信念图与所述局部环境状态子图模式进行子图匹配;将所述当前步的预测意图与所述动作意图模式进行匹配;在所述风险充分拓扑信念图与所述局部环境状态子图模式匹配,且所述当前步的预测意图与所述动作意图模式匹配的情况下,确定存在匹配的风险规则。

6、例如,在本技术的一些实施例中,所述规则类型包括:情境风险类型和时序风险类型,所述在存在匹配的所述风险规则的情况下,输出风险触发信号,包括:根据匹配到的所述风险规则的规则类型,确定对应的风险触发信号类型,包括:在匹配到的风险规则为所述情境风险类型的情况下,输出情境风险触发信号;在匹配到的风险规则为所述时序风险类型的情况下,输出时序风险触发信号。

7、例如,在本技术的一些实施例中,还包括:在所述风险充分拓扑信念图和所述当前步的预测意图未匹配到任一风险规则的情况下,输出空信号作为风险触发信号。

8、例如,在本技术的一些实施例中,所述基于输出所述风险触发信号,根据所述风险规则输出元技能与因果案例片段,包括:根据所述风险规则检索对应的元技能,所述元技能包括:风险类型、缓解启动条件、缓解动作序列逻辑、环境对象定位信息、执行阶段信息和执行限制条件;根据所述风险规则采样得到对应的因果案例片段。

9、例如,在本技术的一些实施例中,还包括:获取所述具身智能体的执行轨迹,其中,所述执行轨迹包括:执行动作、所述具身智能体执行动作时刻所处环境的多模态观测数据、风险充分拓扑信念图、风险触发信号的类型以及匹配的风险规则;根据所述具身智能体的执行轨迹提取因果案例片段,并更新所述元技能。

10、例如,在本技术的一些实施例中,所述风险规则还包括风险解除条件,所述根据所述具身智能体的执行轨迹提取因果案例片段,并更新所述元技能,包括:根据所述风险规则的风险解除条件,对所述执行轨迹进行程序化检查;根据程序化检查结果,判断在所述风险规则被匹配之后,所述执行轨迹中是否存在满足所述风险解除条件的时刻;在所述执行轨迹中存在满足所述风险解除条件的时刻的情况下,定位自所述风险规则被匹配的时刻至首次满足所述风险解除条件的时刻之间的最小因果动作片段,生成因果案例片段,并将所述因果案例片段存入当前风险规则的成功缓冲池;在所述执行轨迹中未存在满足所述风险解除条件的时刻的情况下,截取自所述风险规则被匹配的时刻至所述具身智能体执行任务结束时刻之间的因果动作片段,生成因果案例片段,并将所述因果案例片段存入当前风险规则的失败缓冲池;在所述成功缓冲池或者所述失败缓冲池累积的因果案例片段达到预设容量阈值的情况下,触发元技能演化,根据所述成功缓冲池和所述失败缓冲池内存储的因果案例片段,生成更新后的元技能。

11、例如,在本技术的一些实施例中,所述根据外部输入的自然语言任务指令、所述多模态观测数据、所述信念图摘要、所述风险规则、所述风险触发信号、所述元技能和所述因果案例片段,生成用于所述具身智能体的安全动作序列和下一步的预测意图,包括:在所述风险触发信号为空信号的情况下,根据所述自然语言任务指令、所述多模态观测数据、所述信念图摘要和所述风险规则,按照基线策略推理生成所述安全动作序列和所述下一步的预测意图;在所述风险触发信号为情境风险触发信号或者时序风险触发信号的情况下,将所述元技能与所述因果案例片段以结构化提示的形式注入视觉-语言模型的上下文,结合所述自然语言任务指令、所述多模态观测数据、所述信念图摘要和所述风险规则,生成能够缓解风险且不中止任务的所述安全动作序列和所述下一步的预测意图。

12、根据本技术的第二方面,本技术的至少一个实施例提供了一种基于自演进即时记忆的具身智能体的主动安全防护装置,所述主动安全防护装置用于执行如第一方面中任一项所述的主动安全防护方法,所述主动安全防护装置包括:感知输入组件,用于采集所述具身智能体所处环境的多模态观测数据;工作记忆组件,用于根据所述多模态观测数据,构建并维护风险充分拓扑信念图,并根据所述风险充分拓扑信念图提取信念图摘要;事实记忆组件,用于根据所述风险充分拓扑信念图和当前步的预测意图,判断是否存在匹配的风险规则,还用于在存在匹配的所述风险规则的情况下,输出风险触发信号;经验记忆组件,用于接收所述风险触发信号和所述风险规则,根据所述风险规则输出元技能与因果案例片段;规划执行组件,用于根据外部输入的自然语言任务指令、所述多模态观测数据、所述信念图摘要、所述风险规则、所述风险触发信号、所述元技能和所述因果案例片段,生成用于所述具身智能体的安全动作序列和下一步的预测意图;结果输出组件,用于输出所述安全动作序列,以控制所述具身智能体执行对应动作。

13、例如,在本技术的一些实施例中,所述事实记忆组件还用于在所述风险充分拓扑信念图和所述当前步的预测意图未匹配到任一风险规则的情况下,输出空信号作为风险触发信号。

14、例如,在本技术的一些实施例中,所述规划执行组件还用于获取所述具身智能体的执行轨迹,其中,所述执行轨迹包括:执行动作、所述具身智能体执行动作时刻所处环境的多模态观测数据、风险充分拓扑信念图、风险触发信号的类型以及匹配的风险规则,所述主动安全防护装置还包括:自演进组件,用于根据所述具身智能体的执行轨迹提取因果案例片段,并更新所述元技能,并将更新后的元技能回写至所述经验记忆组件。

15、根据本技术的第三方面,本技术的至少一个实施例提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器执行如第一方面中任一项所述的方法。

16、根据本技术的第四方面,本技术的至少一个实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如第一方面中任一项所述的方法。

17、通过上述实施例,本技术提供的基于自演进即时记忆的具身智能体的主动安全防护方法及装置、电子设备及存储介质,能够在不中止任务执行的前提下,依靠多记忆组件协同,主动识别并缓解具身智能体交互过程中的各类风险,具有以下有益效果的至少一个:

18、通过引入风险充分拓扑信念图及动作条件驱动的局部更新方法,实现跨步骤的状态持久记忆,解决现有技术在部分可观测环境下持久危险状态难以跟踪与适时缓解的问题。

19、通过建立状态-意图耦合的风险触发规则与前向探测机制,仅在风险真正存在时才激活安全干预,避免具身智能体因过度谨慎而停滞任务,解决现有技术无法识别状态-意图耦合型情境风险的问题。

20、通过将成功或失败的缓解轨迹提炼为结构化的程序性元技能,在经验记忆组件中存储并注入可执行的风险缓解指导,解决抽象安全规范难以转化为可执行动作的问题。

21、通过测试-验证-写入循环,使具身智能体能够从自身执行轨迹中自动挖掘因果案例片段并持续更新元技能,无需人工标注,解决现有技术无法在测试阶段持续自我优化的问题。

22、本技术的工作记忆组件、事实记忆组件和经验记忆组件均基于与具身智能体动作空间对齐的有标语义标签,可以与任意预训练的视觉-语言模型驱动的智能体无缝集成,而无需修改原模型的架构或训练方式,实现即插即用的主动安全防护增强。

23、本技术能够在不中止任务的前提下兼顾任务完成率与安全成功率,使具身智能体从被动、保守的安全护栏转变为主动、可演化的风险缓解能力。

24、应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本技术。