一种流匹配策略的在线强化学习微调方法与流程

本说明书涉及机器人，尤其涉及一种流匹配策略的在线强化学习微调方法。

背景技术：

1、在机器人学习与具身智能领域，流匹配模型通过学习从简单噪声分布到目标动作数据分布的连续速度场，能够以神经常微分方程的形式生成连续动作或动作序列。相较于传统多步扩散采样，流匹配策略通常具有推理路径更平滑、采样步数更少以及动作连续性较好等特点，已被广泛应用于视觉-语言-动作模型、机械臂操作策略和多模态动作生成等任务中。

2、然而，将预训练的流匹配策略直接用于在线强化学习微调时，，仍存在在线强化学习所需的随机探索能力较弱，策略容易停留在预训练行为附近，难以有效探索更优动作。

3、为此，本说明书提供了一种流匹配策略的在线强化学习微调方法。

技术实现思路

1、本说明书提供一种流匹配策略的在线强化学习微调方法，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种流匹配策略的在线强化学习微调方法，包括：

4、s1.获取执行任务的目标机器人当前的状态，所述当前的状态包括观测状态和所述目标机器人执行上一步动作后的自身状态；

5、s2.基于所述当前的状态，通过预设的动作预测策略，确定所述目标机器人当前的执行动作，所述动作预测策略包括预设的噪声注入网络和流匹配速度场网络；

6、s3.重复执行s1~s2，确定所述目标机器人完成所述任务的各状态和各动作，直至确定所述目标机器人完成任务的轨迹；

7、s4.计算所述轨迹中每一个执行动作的单步误差，并对各单步误差进行加权求和，确定所述轨迹的动作误差；

8、s5.计算所述动作预测策略和历史动作预测策略之间的概率比率；

9、s6.基于所述概率比率和所述动作误差，确定调整所述动作预测策略的损失，并基于所述损失在线调整所述动作预测策略。

10、根据上述技术手段，本方案通过噪声注入网络为流匹配策略提供可控随机性，使原本确定性的采样路径具备在线强化学习所需的探索能力，这种探索遵循速度场方向，能在稳定完成任务的附近探索更优路径，既保证了安全性，又保留了发现更优策略的可能。通过限制新旧策略的差异，避免了策略在单步更新中因剧烈变化而崩溃，实现平滑、精细的微调。由于流匹配策略本身已能生成较好轨迹，在线微调不需要从零开始探索，大大减少了无效试错，同时，在线调整能力使机器人部署后，能持续根据新环境、硬件磨损等变化实时自适应，具备终身学习的能力。

11、进一步的，所述轨迹表示为，其中，为所述轨迹，为所述轨迹中所述目标机器人t时刻的状态，为所述轨迹中所述目标机器人t时刻的执行动作，为所述目标机器人执行后的任务奖励，为所述目标机器人执行后的惩罚。

12、进一步的，s2中还包括s21：

13、通过预设的动作屏蔽器检查所述目标机器人当前的执行动作是否满足预设约束；

14、若是，则执行步骤s3；

15、若否，则对所述目标机器人当前的执行动作进行矫正，重新确定执行动作并执行步骤s3。

16、进一步的，s3中还包括s31：

17、针对所述轨迹中的每一个执行动作，通过预设的约束代价计算器，确定所述轨迹中的每一个执行动作的惩罚。

18、进一步的，s3中还包括s32：

19、针对所述轨迹中的每一个所述目标机器人的状态，通过预训练的状态价值网络，确定所述轨迹中的每一个所述目标机器人的状态的状态价值。

20、进一步的，s4中单步误差和动作误差的计算表达式分别为：

21、

22、其中，为执行动作的单步误差，为预设的约束代价参数，为执行动作的惩罚，和分别为所述目标机器人的状态和状态的状态价值，和分别为预设的权重参数，为所述轨迹中每一个执行动作的单步误差之和。

23、进一步的，s5具体包括：

24、通过预设的可计算对数似然模块，分别计算所述动作预测策略和历史动作预测策略确定所述目标机器人执行所述任务的轨迹的对数似然。

25、根据所述动作预测策略对应的对数似然和所述历史动作预测策略对应的对数似然，确定概率比率。

26、进一步的，s6还包括s61：

27、根据所述动作预测策略和所述历史动作预测策略之间的散度，确定散度损失；

28、确定在线调整所述动作预测策略的在线训练进度；

29、根据所述在线训练进度，确定在线调整所述动作预测策略的熵正则项。

30、进一步的，采用近端策略优化算法在线调整所述动作预测策略；

31、s6中基于所述概率比率和所述动作误差，确定调整所述动作预测策略的损失，具体包括：

32、基于所述概率比率和所述动作误差，确定近端策略优化损失；

33、根据所述近端策略优化损失、所述散度损失和所述熵正则项，确定调整所述动作预测策略的损失。

34、进一步的，所述方法还包括步骤s7：

35、按照预设的评估方法，确定所述轨迹的评估指标，将评估指标达到预设条件的动作预测策略进行下一轮在线调整。

36、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

37、本方案通过噪声注入网络为流匹配策略提供可控随机性，使原本确定性的采样路径具备在线强化学习所需的探索能力，这种探索遵循速度场方向，能在稳定完成任务的附近探索更优路径，既保证了安全性，又保留了发现更优策略的可能。通过限制新旧策略的差异，避免了策略在单步更新中因剧烈变化而崩溃，实现平滑、精细的微调。由于流匹配策略本身已能生成较好轨迹，在线微调不需要从零开始探索，大大减少了无效试错，同时，在线调整能力使机器人部署后，能持续根据新环境、硬件磨损等变化实时自适应，具备终身学习的能力。

1.一种流匹配策略的在线强化学习微调方法，其特征在于，包括：

2.如权利要求1所述的一种流匹配策略的在线强化学习微调方法，其特征在于，所述轨迹表示为，其中，为所述轨迹，为所述轨迹中所述目标机器人时刻的状态，为所述轨迹中所述目标机器人t时刻的执行动作，为所述目标机器人执行后的任务奖励，为所述目标机器人执行后的惩罚。

3.如权利要求1所述的一种流匹配策略的在线强化学习微调方法，其特征在于，s2中还包括s21：

4.如权利要求2所述的一种流匹配策略的在线强化学习微调方法，其特征在于，s3中还包括s31：

5.如权利要求4所述的一种流匹配策略的在线强化学习微调方法，其特征在于，s3中还包括s32：

6.如权利要求5所述的一种流匹配策略的在线强化学习微调方法，其特征在于，s4中单步误差和动作误差的计算表达式分别为：

7.如权利要求6所述的一种流匹配策略的在线强化学习微调方法，其特征在于，s5具体包括：

8.如权利要求1所述的一种流匹配策略的在线强化学习微调方法，其特征在于，s6还包括s61：

9.如权利要求8所述的一种流匹配策略的在线强化学习微调方法，其特征在于，采用近端策略优化算法在线调整所述动作预测策略；

10.如权利要求1所述的一种流匹配策略的在线强化学习微调方法，其特征在于，所述方法还包括步骤s7：