一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法、装置及设备与流程

本发明涉及分布式强化学习、分布式并行数值仿真、智能控制以及复杂系统协同演练等交叉，特别涉及一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法、装置及设备。

背景技术：

1、分布式强化学习训练通常需要将多个仿真环境节点、智能体决策节点以及训练计算节点接入同一闭环系统中运行。由于不同仿真引擎的数据格式、坐标表达、状态字段、推进步长和计算负载存在差异，系统在训练过程中需要持续完成状态对齐、动作下发、仿真推进和训练更新等操作。

2、现有分布式训练同步方式多侧重于网络时钟同步、通信延迟控制或固定步长推进，通常仅根据节点时钟差或消息到达时间判断是否同步，而未将异构仿真数据标准化后的状态变化、智能体策略输出变化、动作生效延迟以及训练价值敏感度纳入同一同步管控依据。由此，在智能体决策周期与仿真环境推进周期不一致时，系统难以准确判断当前失配来源，也难以区分应当调整仿真推进、调整训练分发，还是仅对局部相关实体进行状态处理。

3、有鉴于此，提出本申请。

技术实现思路

1、本发明公开了一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法、装置及设备，旨在解决异构分布式强化学习训练中，智能体决策输出节奏与仿真环境推进步频不一致时，缺乏对状态时效、节点推进偏差、实体约束关系及训练更新节奏进行统一同步管控的问题。

2、本发明第一实施例提供了一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，包括：

3、接收多个异构仿真引擎发送的原始态势数据流，将所述原始态势数据流转换为标准状态空间向量，并基于所述标准状态空间向量、智能体观测时间、动作端到端延迟以及策略网络输出分布变化，构建智能体决策信息年龄指标；

4、采集各仿真引擎节点的本地推进时钟，结合所述决策信息年龄指标识别当前步频失配类型；

5、基于所述标准状态空间向量构建实体间因果依赖图，并根据实体位置、当前动作和约束边界计算探索风险；

6、当所述探索风险满足预设触发条件时，从所述因果依赖图中提取与风险动作相关的局部因果连通子图，仅对该子图内实体执行动作屏蔽、局部冻结、状态回滚和安全替代动作注入，并将回滚及替代动作注入后的实体状态写回所述标准状态空间向量；

7、基于写回的标准状态空间向量以及在未触发所述预设触发条件时的标准状态空间向量，按照所述步频失配类型执行物理保真调控和/或训练价值调控；在局部处理完成且满足全局推进条件时，广播全局逻辑时间推进信号。

8、本发明第二实施例提供了一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控装置，包括：

9、时效信息构建单元，用于接收多个异构仿真引擎发送的原始态势数据流，将所述原始态势数据流转换为标准状态空间向量，并基于所述标准状态空间向量、智能体观测时间、动作端到端延迟以及策略网络输出分布变化，构建智能体决策信息年龄指标；

10、步频失配识别单元，用于采集各仿真引擎节点的本地推进时钟，结合所述决策信息年龄指标识别当前步频失配类型；

11、风险评估单元，用于基于所述标准状态空间向量构建实体间因果依赖图，并根据实体位置、当前动作和约束边界计算探索风险；

12、安全动作注入单元，用于当所述探索风险满足预设触发条件时，从所述因果依赖图中提取与风险动作相关的局部因果连通子图，仅对该子图内实体执行动作屏蔽、局部冻结、状态回滚和安全替代动作注入，并将回滚及替代动作注入后的实体状态写回所述标准状态空间向量；

13、双环同步管控单元，用于基于写回的标准状态空间向量以及在未触发所述预设触发条件时的标准状态空间向量，按照所述步频失配类型执行物理保真调控和/或训练价值调控；在局部处理完成且满足全局推进条件时，广播全局逻辑时间推进信号。

14、本发明第三实施例提供了一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控设备，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上任意一项所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法。

15、本发明第四实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被所述计算机可读存储介质所在设备的处理器执行，以实现如上任意一项所述一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法。

16、有益效果：

17、通过将多路异构仿真引擎输出的原始态势数据统一映射至标准状态空间，并在该标准状态空间基础上构建决策信息年龄指标、节点推进时钟偏差和步频失配类型判定机制，使智能体决策输出的时效性、仿真环境推进节奏以及不同仿真节点之间的同步偏差能够在同一管控框架下被度量和识别。由此，系统能够避免仅依赖单一时钟或单一状态观测进行同步判断所带来的误判问题，提高分布式强化学习训练过程中的状态一致性、同步判断准确性和整体运行稳定性。

18、通过基于动态因果依赖图识别与风险动作相关的局部实体集合，并对该局部实体集合执行动作屏蔽、局部冻结、时序回滚及安全替代动作注入，同时结合内环物理仿真步长调控和外环训练价值更新调控，使系统能够在出现局部步频失配或风险探索动作时，对受影响的局部实体进行定向修正，而无需对全部仿真节点进行统一暂停或整体回退。由此，能够降低局部异常推进对全局训练流程的扰动，提升仿真执行的连续性、安全性以及多智能体训练收敛过程的可靠性。

1.一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，包括：

2.根据权利要求1所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，所述标准状态空间向量通过多维状态映射矩阵对原始态势数据进行统一转换获得：

3.根据权利要求1所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，所述各仿真引擎节点的时钟一致性同步误差为：

4.根据权利要求1所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，所述因果依赖图为动态有向无环图，其表达式为：

5.根据权利要求1所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，所述探索风险由下式确定：

6.根据权利要求5所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，所述当所述探索风险满足预设触发条件时，从所述因果依赖图中提取与风险动作相关的局部因果连通子图，仅对该子图内实体执行动作屏蔽、局部冻结、状态回滚和安全替代动作注入，并将回滚及替代动作注入后的实体状态写回所述标准状态空间向量，具体为：

7.根据权利要求1所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，当识别为仿真负载失配态时，根据物理稳定约束确定快节点仿真引擎的弹性仿真推进步长，其表达式为：

8.根据权利要求1所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法，其特征在于，当识别为决策过载失配态时，根据状态价值梯度和队列积压深度确定自适应推进跳帧数，其表达式为：

9.一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控装置，其特征在于，包括：

10.一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控设备，其特征在于，包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如权利要求1至8任意一项所述的一种面向强化学习智能体-仿真环境步频失配的分布式训练同步管控方法。