一种具身多模态大模型安全后训练方法及系统与流程

本技术涉及计算机，具体涉及大模型和机器人控制等，特别涉及一种具身多模态大模型安全后训练方法及系统。

背景技术：

1、随着具身智能的发展，具身多模态大模型被广泛应用于机器人控制领域。这类模型不仅需要理解文本指令，还需要处理视觉输入并输出物理动作。然而，在实际部署中，模型的安全性至关重要。传统的训练方式往往侧重于任务成功率，如“把杯子拿起来”，而忽视了过程中的安全性，如“不要碰倒旁边的花瓶”。

2、目前具体多模态大模型控制方案主要分为两类：

3、基于人工反馈的强化学习（reinforcement learning from human feedback，rlhf）：收集人类对模型输出（动作描述或轨迹）的偏好数据，训练一个奖励模型（rewardmodel），利用近端策略优化ppo算法优化策略。其缺点在于：在具身场景下，获取真实机器人的违规数据（如撞碎物体、误伤人员）成本极高且极度危险。不能为了训练“安全”模型而让机器人真去执行一万次危险动作来收集负样本。

4、基于规则或约束的强化学习（safe reinforcement learning，safe rl）：在损失函数中增加预定义的约束项（如关节角度限制、避障距离）。其缺点在于：这种方法泛化能力差，难以应对“开放指令空间”下的复杂语义安全问题。例如，指令“把水倒在电脑上”在物理运动层面可能符合关节限制，但在语义层面是不安全的，传统约束无法识别这种高层级的风险。

5、综上，现有技术无法在不执行危险动作的前提下，让具身模型自主学习到物理世界中的复杂因果安全风险，导致模型在面对未见过的复杂场景时，缺乏对未来风险的预判能力和规避能力。

技术实现思路

1、本技术提供了一种具身多模态大模型安全后训练方法及系统，以解决具身多模态大模型在后训练阶段，如何在不通过真实物理交互产生危害的前提下，提升模型对复杂场景中潜在物理风险的预判能力和拒答/规避能力，从而实现模型在开放指令空间下的行为合规性与安全性。

2、所述技术方案如下：

3、第一方面，提供了一种具身多模态大模型安全后训练方法，包括：

4、将用户指令输入至具身多模态大模型，并基于采集的当前环境图像和所述用户指令，输出对应所述用户指令的初始动作；

5、将所述初始动作和所述当前环境图像，输入预先训练好的图像生成式世界模型进行预测，输出执行所述初始动作所即将发生的未来图像；

6、将所述未来图像和预设安全提示词输入多模态安全判别器进行分析，输出表征所述初始动作安全与否的安全概率和风险描述；

7、将所述安全概率输入奖励生成引擎进行判定，如果所述安全概率低于预设概率阈值，则判定所述初始动作存在危险；如果所述安全概率不低于预设概率阈值，则判定所述初始动作安全；

8、触发动作修正引擎根据所述风险描述对存在危险的初始动作进行安全修正，以生成反事实动作，并返回给所述图像生成式世界模型进行验证，以此反复直至所述奖励生成引擎判定修正后的反事实动作安全；

9、基于安全的反事实动作和危险的初始动作构建成对的训练数据，并结合强化学习算法更新所述具身多模态大模型。

10、在一种可能的实现方式中，动作修正引擎根据所述风险描述对存在危险的初始动作进行安全修正，以生成反事实动作，具体包括：

11、动作修正引擎从所述风险描述中提取表征危险的关键词，根据所述关键词对存在危险的初始动作进行微调或逻辑修正，以生成反事实动作；

12、其中，所述微调包括修正所述初始动作的动作路径、动作高度、动作速度中的至少一项；所述逻辑修正包括改变所述初始动作的动作路径。

13、在一种可能的实现方式中，基于安全的反事实动作和危险的初始动作构建成对的训练数据，并结合强化学习更新所述具身多模态大模型，具体包括：

14、基于安全的反事实动作和危险的初始动作构建偏好对：（i_t,t,a'_t,a_t），其中，i_t表示当前环境图像，t表示用户指令，a'_t表示安全的反事实动作，a_t表示危险的初始动作，且a'_t对应高奖励，a_t对应高惩罚；

15、使用所述偏好对，采用直接偏好优化或近端策略优化的强化学习算法更新所述具身多模态大模型参数，使其生成符合物理安全约束的动作。

16、在一种可能的实现方式中，所述多模态安全判别器为语义级物理安全判别器；则将所述未来图像和预设安全提示词输入多模态安全判别器进行分析，具体包括：

17、所述语义级物理安全判别器接收未来图像和预设安全提示词，并结合物理常识对作为长程任务的未来图像的潜在后果进行因果推断；其中，所述物理常识包括：易洒、易碎、导电、高温。

18、在一种可能的实现方式中，所述预设概率阈值的取值范围为：0.4-0.8。

19、在一种可能的实现方式中，当判定所述初始动作安全时，所述方法还包括：

20、触发具身多模态大模型对应的机器人直接执行所述初始动作。

21、第二方面，提供了一种具身多模态大模型安全后训练系统，包括：具身多模态大模型、图像生成式世界模型、多模态安全判别器、奖励生成引擎、动作修正引擎和强化学习优化器；其中，

22、所述具身多模态大模型，用于接收用户指令并采集当前环境图像，基于所述用户指令和所述当前环境图像进行预测，输出对应所述用户指令的初始动作；

23、所述图像生成式世界模型，用于接收所述初始动作和所述当前环境图像，并进行预测，输出执行所述初始动作所即将发生的未来图像；

24、所述多模态安全判别器，用于接收所述未来图像和预设安全提示词并进行分析，输出表征所述初始动作安全与否的安全概率和风险描述；

25、所述奖励生成引擎，用于接收所述安全概率并进行判定，如果所述安全概率低于预设概率阈值，则判定所述初始动作存在危险；如果所述安全概率不低于预设概率阈值，则判定所述初始动作安全；

26、所述动作修正引擎，用于根据所述风险描述对存在危险的初始动作进行安全修正，以生成反事实动作，并返回给所述图像生成式世界模型进行验证，以此反复直至所述奖励生成引擎判定修正后的反事实动作安全；

27、所述强化学习优化器，用于基于安全的反事实动作和危险的初始动作构建成对的训练数据，并结合强化学习算法更新所述具身多模态大模型。

28、第三方面，提供了一种电子设备，包括：

29、至少一个处理器；以及

30、与所述至少一个处理器通信连接的存储器；其中，

31、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。

32、第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的方面和任一可能的实现方式的方法。

33、第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。

34、由上述技术方案可知，本技术实施例引入世界模型作为安全训练的沙盒，当具身多模态大模型生成一个初始动作后，输入到该世界模型预测未来图像，然后基于多模态安全判别器对未来图像进行安全风险评估，如果判定初始动作存在危险，则基于风险描述对初始动作进行自动修正，生成反事实动作，并返回世界模型进行验证，以此反复推演直至判定修正后的反事实动作安全，最后将危险的初始动作和安全的反事实动作构建训练数据对，通过强化学习算法更新具身多模态大模型。从而，在不通过真实物理交互产生危害的前提下，提升模型对复杂场景中潜在物理风险的预判能力和拒答/规避能力，从而实现模型在开放指令空间下的行为合规性与安全性。

35、应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。