基于扩散世界模型的机器人操作策略离线强化优化方法与流程

本说明书涉及机器人，尤其涉及基于扩散世界模型的机器人操作策略离线强化优化方法。

背景技术：

1、在机器人智能操作技术快速演进与制造业自动化需求持续增长的双重背景下，机器人操作策略的学习与优化已成为智能制造领域的核心课题。在机器人操作领域，高效、安全且具备泛化能力的策略获取是提升作业成功率和产线适应性的关键。

2、目前，机器人操作策略通常通过人类演示数据、遥操作数据或历史机器人日志进行预训练。模仿学习能够在有限数据下获得可执行的初始策略，但其策略性能严重受限于演示数据的质量与覆盖范围，难以通过训练过程主动发现并超越演示轨迹的次优行为。

3、基于世界模型的离线强化学习为上述难题提供了可行的解决方向。该类方法先利用离线数据学习环境状态转移模型，继而在模型内部生成想象轨迹，并基于想象轨迹计算奖励和策略梯度，从而大幅减少甚至完全避免真实环境交互。扩散模型凭借其强大的多模态生成能力，十分适合建模机器人操作中的非线性状态转移和多解动作结果，因而常被用作世界模型的核心生成器。然而，现有基于扩散世界模型的机器人策略优化方法仍存在离线优化边界不清晰，部分方法在策略迭代过程中仍依赖真实环境补采数据或在线试错，难以满足低风险、低成本的严格离线训练要求。

4、为此，本说明书提供了基于扩散世界模型的机器人操作策略离线强化优化方法。

技术实现思路

1、本说明书提供基于扩散世界模型的机器人操作策略离线强化优化方法，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了基于扩散世界模型的机器人操作策略离线强化优化方法，包括：

4、s1.响应于机器人执行任务的操作策略优化请求，从离线轨迹数据集中采样机器人的初始状态，所述初始状态包括观测状态和语义状态；

5、s2.根据待优化的机器人操作策略和所述初始状态，确定机器人的初始动作；

6、s3.根据所述初始状态、所述初始动作和所述任务，基于训练完成的扩散世界模型，确定所述扩散世界模型输出的完成所述任务的想象轨迹；

7、s4.根据预设的损失计算方法，确定所述想象轨迹的损失，并根据所述损失优化所述待优化的机器人操作策略；

8、s5.基于所述离线轨迹数据集，按照优化后的机器人操作策略，生成新的想象轨迹，并按照预设的评估方法，确定所述新的想象轨迹的评估指标，将评估指标达到预设条件的机器人操作策略作为执行所述任务的机器人部署策略。

9、根据上述技术手段，本方案仅依赖离线轨迹数据集和扩散世界模型生成的想象轨迹，不通过真实机器人在线试错更新轨迹和模型参数，强制执行“不向真实环境提交探索动作”的铁律，从根本上消除了硬件磨损、安全风险和任务重置困难等问题，实现了低风险、低成本的纯数据驱动策略进化。将策略优化与策略选择进行了解耦。它避免了过拟合于想象世界的策略被部署到真实机器人上，保证了最终部署策略在真实环境中的高成功率、强泛化性和安全执行，这是从仿真到现实转移成功的核心保障。

10、进一步的，s2具体包括：

11、根据待优化的机器人操作策略和所述初始状态，确定机器人的候选动作；

12、确定通过所述离线轨迹数据集训练得到的行为先验策略；

13、通过所述行为先验策略对所述候选动作进行过滤，将通过过滤的候选动作作为机器人的初始动作。

14、进一步的，所述扩散世界模型包括粗粒度语义扩散模块、细粒度观测扩散模块、共享潜在空间编码器；

15、s3具体包括：

16、s31.将当前时刻的所述初始状态、所述初始动作和所述任务输入训练完成的扩散世界模型，所述初始状态经所述共享潜在空间编码器，得到所述共享潜在空间编码器输出的共享潜变量；

17、s32.将所述初始状态的语义状态、所述初始动作和所述任务输入所述粗粒度语义扩散模块，得到所述粗粒度语义扩散模块输出的下一时刻的语义状态；

18、s33.将所述下一时刻的语义状态、所述初始状态的观测状态、所述初始动作和所述共享潜变量输入所述细粒度观测扩散模块，得到所述细粒度观测扩散模块输出的下一时刻的观测状态；

19、s34.将所述下一时刻的语义状态和所述下一时刻的观测状态融合并作为所述扩散世界模型的输出的下一时刻的机器人的状态，并基于所述下一时刻的机器人的状态，确定下一时刻的机器人的动作；

20、s35.重复执行步骤s31~s34，直至确定预设时刻的机器人的状态和动作为止，并基于所述预设时刻的机器人的状态和动作，确定完成所述任务的想象轨迹。

21、根据上述技术手段，粗粒度语义模块负责任务阶段、接触关系和物体位姿等高层转移，细粒度观测模块负责像素或点云细节变化，两者通过共享潜在空间和条件约束协同生成，减少单一粒度模型的幻觉和长期漂移。

22、进一步的，s4中根据预设的损失计算方法，确定所述想象轨迹的损失，具体包括：

23、根据预设的损失计算方法，确定所述想象轨迹的可信度加权损失项、行为先验损失项和分布外惩罚项；

24、根据所述可信度加权损失项、所述行为先验损失项和所述分布外惩罚项，确定所述想象轨迹的损失。

25、进一步的，根据预设的损失计算方法，确定所述想象轨迹的可信度加权损失项，具体包括：

26、针对所述想象轨迹中每一时刻的状态和动作，确定在该时刻的状态下，按照所述待优化的机器人操作策略输出该时刻的动作的对数概率；

27、根据训练完成的成功分类器和进展估计网络，确定所述想象轨迹中每一时刻的累积奖励；

28、根据训练完成的序列判别器、预设的模型不确定度评估器和支持域评估器，确定所述想象轨迹的可信度权重；

29、根据各对数概率、各累积奖励和所述可信度权重，确定所述想象轨迹的可信度加权损失项。

30、根据上述技术手段，通过序列判别器、模型不确定度和行为支持域评估对想象轨迹加权或截断，使高质量想象轨迹贡献更大，低可信轨迹对策略梯度影响减小。

31、进一步的，根据训练完成的成功分类器和进展估计网络，确定所述想象轨迹中每一时刻的累积奖励，具体包括：

32、从所述想象轨迹中确定一个时刻的状态，作为评估状态；

33、将所述评估状态输入训练完成的成功分类器，得到所述训练完成的成功分类器输出的成功概率值；

34、针对所述想象轨迹中每一时刻，将该时刻的状态、该时刻的动作、该时刻的下一时刻的状态和所述任务输入训练完成的进展估计网络，得到所述进展估计网络输出的该时刻的任务进展增量；

35、根据该时刻的任务进展增量、预设的约束惩罚，确定该时刻的累积奖励；其中，当该时刻为所述想象轨迹中的最终时刻时，根据该时刻的任务进展增量、预设的约束惩罚和所述成功概率值，确定该时刻的累积奖励。

36、根据上述技术手段，通过成功分类器和进展估计网络，将终点成功信号扩展为每一步的进展反馈，使想象轨迹能够提供更稳定的优势估计和更快的策略收敛。

37、进一步的，根据训练完成的序列判别器、预设的模型不确定度评估器和支持域评估器，确定所述想象轨迹的可信度权重，具体包括：

38、将所述想象轨迹的各状态、各动作和所述任务输入训练完成的序列判别器，得到所述训练完成的序列判别器输出的离线数据分布概率；

39、将所述想象轨迹输入所述预设的模型不确定度评估器，得到所述模型不确定度评估器输出的不确定度；

40、针对所述想象轨迹中每一时刻，将该时刻的状态、该时刻的动作输入预设的支持域评估器，得到所述支持域评估器输出的该时刻的偏离度，并根据各偏离度，确定整体偏离度；

41、根据所述离线数据分布概率、所述不确定度、所述整体偏离度，确定所述想象轨迹的可信度权重。

42、进一步的，根据预设的损失计算方法，确定所述想象轨迹的行为先验损失项，具体包括：

43、确定通过所述离线轨迹数据集训练得到的行为先验策略；

44、基于所述待优化的机器人操作策略和所述行为先验策略之间的kl散度，确定所述想象轨迹的行为先验损失项。

45、进一步的，根据预设的损失计算方法，确定所述想象轨迹的分布外惩罚项，具体包括：

46、根据预设的支持域函数，确定所述想象轨迹的分布外惩罚项。

47、进一步的，s4中根据所述损失优化所述待优化的机器人操作策略，具体包括：

48、以所述损失最大为优化目标，更新所述待优化的机器人操作策略。

49、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

50、本方案仅依赖离线轨迹数据集和扩散世界模型生成的想象轨迹，不通过真实机器人在线试错更新轨迹和模型参数，强制执行“不向真实环境提交探索动作”的铁律，从根本上消除了硬件磨损、安全风险和任务重置困难等问题，实现了低风险、低成本的纯数据驱动策略进化。将策略优化与策略选择进行了解耦。它避免了过拟合于想象世界的策略被部署到真实机器人上，保证了最终部署策略在真实环境中的高成功率、强泛化性和安全执行，这是从仿真到现实转移成功的核心保障。