深度强化学习驱动的平行仿真自适应校准方法与系统与流程

本发明涉及平行仿真校准，具体涉及深度强化学习驱动的平行仿真自适应校准方法与系统。

背景技术：

1、平行仿真（parallel simulation）是指仿真系统与真实系统同时运行，并实时比对二者状态，从而对真实系统的未来演变进行预测或控制。平行仿真技术在工业设备运维、交通网络管理、能源系统调度、战场态势推演等领域具有广泛的应用前景。

2、然而，现有的大多数平行仿真系统在实际应用中存在以下突出的技术问题：

3、1.模型固定性：传统仿真模型一旦建立，其参数和结构不再变化，但真实系统会随时间漂移（如设备老化、环境变化），导致仿真误差逐渐增大；

4、2.人工校准瓶颈：当误差超过阈值时，需要专家手动调整参数或切换模型，响应慢、成本高，且无法自适应快速变化场景；

5、3.缺少闭环自适应性：现有方法大多采用离线校准（如利用历史数据重新拟合参数），无法在不中断系统运行的前提下持续优化。

技术实现思路

1、为此，本发明提供深度强化学习驱动的平行仿真自适应校准方法与系统，以解决现有技术中如何实时评估仿真模型与真实系统之间的仿真误差；如何在不中断系统运行的前提下，自动选择最优混合校准动作（参数调整或模型切换）；如何利用有限的真实反馈数据持续提升校准策略，使系统具备自适应演化能力的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、第一方面，深度强化学习驱动的平行仿真自适应校准方法，包括以下步骤：

4、s1：构建基础仿真模型库，模型库包括多个不同精度和复杂度的仿真子模型，且每个仿真子模型具有参数向量；

5、s2：通过部署于真实物理系统上的数据接口，以预设的采样周期实时获取真实系统的状态特征向量；

6、s3：通过当前仿真子模型接收上一时刻的系统输入，基于当前参数向量进行前向推演计算，输出当前时刻的仿真状态；

7、s4：基于当前时刻的仿真状态计算仿真误差向量和综合误差标量，并计算误差的变化率，用于衡量当前仿真子模型的整体拟合程度；

8、s5：基于s4输出的仿真误差向量、综合误差标量和误差的变化率以及当前时刻的仿真状态拼接形成状态空间；

9、s6：智能体策略网络接收s5中构造的状态空间作为输入，经计算后输出；

10、s7：基于s6输出的更新当前仿真子模型；

11、s8：基于综合误差标量计算仿真精度的负惩罚与计算代价的负惩罚之和的奖励值，计算公式如下：

12、

13、其中，为综合误差的平方项；和为预设的权重系数；为执行所造成的计算额外开销；

14、s9：将s5中构造的当前状态、s6中智能体输出的、s8中计算得到的奖励值以及下一时刻按照s2至s5重新构造的新状态，四个元素组合为完整交互元组，存入初始化的经验回放缓冲区b中；

15、s10：重复执行上述s2至s9，进行在线自适应校准。

16、进一步的，所述s4中仿真误差向量和综合误差标量的计算公式如下：

17、

18、

19、其中，为s2中通过传感器实时采集的真实系统状态特征向量，为当前时刻的仿真状态。

20、进一步的，所述s6中的的计算公式如下：

21、

22、其中，为连续动作向量，用于调整当前仿真子模型的参数向量；为离散动作向量。

23、进一步的，所述s7中的更新规则如下：

24、若离散动作向量=0，则保持当前仿真子模型不变，仅根据对参数向量进行更新；

25、若离散动作向量，则将当前仿真子模型切换至目标模型，并将当前仿真子模型的参数向量作为新的参数向量。

26、进一步的，所述s8中执行混合校准动作所造成的计算额外开销的取值规则如下：

27、当离散动作向量= 0时，取值为预设的基础开销值；

28、当离散动作向量时，取值为预设的基础开销值与切换至目标模型所增加的额外计算开销之和。

29、进一步的，所述s4中误差的变化率的计算公式如下：

30、

31、其中，为上一时刻的综合误差标量，其中时默认取=0；为综合误差标量。

32、进一步的，若所述s7的执行过程中发生模型切换失败或更新后的仿真模型产生不稳定输出，则在奖励值的计算公式上额外给予一个负奖励，负奖励为预设的负常数。

33、第二方面，深度强化学习驱动的平行仿真自适应校准系统，包括数据采集接口模块、可参数化仿真模型库模块、差异评估模块、深度强化学习智能体模块、模型更新执行模块和经验回放存储模块；

34、所述数据采集接口模块用于以预设采样周期实时获取真实系统的状态特征向量；

35、所述可参数化仿真模型库模块包括多个预先构建的异构仿真子模型，且每个仿真子模型配置有能够调节的参数向量；

36、所述差异评估模块用于计算真实状态与仿真状态之间的差异，并输出仿真误差向量与综合误差标量及变化率；

37、所述深度强化学习智能体模块能够基于当前状态输出包括连续参数调整和离散模型选择的混合校准动作；

38、所述模型更新执行模块用于接收深度强化学习智能体模块输出的混合校准动作，按照预设的两种情形分别执行仿真模型的更新操作，并基于差异评估模块输出的综合误差标量的平方项计算奖励值；

39、所述经验回放存储模块用于接收深度强化学习智能体模块输出的当前状态和混合校准动作、模型更新执行模块输出的奖励值以及在下一采样周期按照相同流程重新构造的新状态，并将这四个元素组合为完整交互元组。

40、进一步的，所述深度强化学习智能体模块包括状态构造单元和输出单元；

41、所述状态构造单元用于接收数据采集接口模块输出的真实系统状态特征向量、可参数化仿真模型库输出的仿真状态、差异评估模块输出的仿真误差向量、综合误差标量和综合误差变化率，以及上下文信息向量，并拼接形成状态空间；

42、所述输出单元将状态空间作为输入，经计算后输出包括连续动作向量和离散动作变量的混合校准动作。

43、本发明具有如下优点：本发明通过构建包括多个仿真子模型的基础仿真模型库，并利用深度强化学习智能体输出的离散动作与连续动作协同决策，实现了仿真模型在结构与能够调节的参数向量两个维度上的在线自适应校准。同时，基于实时采集的真实系统状态特征向量，结合仿真误差向量、综合误差标量及其变化率构造的状态空间，智能体在每个采样周期内自主决策是否切换仿真子模型或微调参数，形成从数据采集、差异评估到校准执行的闭环迭代流程。有效解决了传统仿真模型因模型固定性导致的误差累积问题，同时消除了对人工校准的依赖，提升了系统在真实物理状态漂移场景下的快速响应能力与持续跟踪精度。

44、同时，本发明通过在计算奖励值时引入综合误差标量的平方项作为仿真精度负惩罚和校准动作的计算额外开销作为计算代价负惩罚，通过预设权重系数使智能体在学习过程中自动权衡精度收益与实时性成本，进而能够选择低开销且满足精度需求的校准动作。

45、通过经验回放缓冲区，保障了策略网络在持续在线更新中的训练稳定性和样本效率。整个闭环流程在每个采样周期内重复执行，使仿真模型在不中断系统运行的前提下持续优化，最终实现综合误差标量随迭代逐步收敛并维持低位，提高了平行仿真在全生命周期内的可信度与自适应能力。

46、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书变得显而易见，或者通过实施本发明而了解。