一种基于多智能体强化学习的多网耦合配电系统恢复方法

本发明涉及配电网灾后恢复及多智能体强化学习，尤其涉及一种基于多智能体强化学习的多网耦合配电系统恢复方法。

背景技术：

1、随着新型电力系统的建设，配电网与交通网、通信网及信息计算资源（如数据中心）的耦合日益紧密，极端灾害下的故障恢复已演变为涉及多类基础设施协同的多网耦合恢复问题。现有技术虽已采用故障隔离、网络重构、抢修调度、移动电源接入及负荷转移等手段进行应对，但其核心局限性在于：一是恢复策略往往侧重于单一电力网络内部的优化，将道路交通、通信可用性和数据中心算力迁移等动态因素视为外生给定条件，未能充分揭示并利用它们与配电网运行状态之间的深度耦合与交互影响，难以实现抢修、供电、负荷调节等多类异构资源的统一协同调度；二是当面对灾后故障位置、设备状态和道路通行能力等高度不确定的场景时，传统的集中式数学优化方法（如混合整数规划）高度依赖精确的全局模型，需针对每个新场景反复求解含大量高维变量和复杂约束的优化模型，不仅在线求解压力巨大、难以满足快速决策需求，而且对网络规模扩展和未知故障场景的适应能力明显不足。

技术实现思路

1、本发明提供了一种基于多智能体强化学习的多网耦合配电系统恢复方法，用于解决现有的配电网灾后恢复方法对多网耦合动态交互考虑不足导致协同能力欠缺，且传统优化方法依赖精确模型、在线求解效率低、难以适应不确定故障场景的问题。

2、本发明的目的可以通过以下技术方案实现：

3、本发明第一方面是提供一种基于多智能体强化学习的多网耦合配电系统恢复方法，包括：

4、s1、构建面向深度强化学习的多网耦合配电网环境，基于所述多网耦合配电网环境，建立包含负荷恢复模型、信息物理耦合模型、交通网模型和数据中心运营及响应模型在内的多网耦合配电网恢复环境模型；

5、s2、将灾后多网耦合配电系统恢复过程建模为多智能体马尔可夫决策过程，将抢修队伍、移动电源与数据中心分别定义为具有不同观测空间、动作空间和奖励函数的异构智能体，其中，s1构建的所述多网耦合配电网恢复环境模型用于向各智能体提供交互环境，根据各智能体的联合动作执行网络重构并更新系统状态，同时向各智能体反馈奖励；

6、s3、采用多智能体近端策略优化算法对所述多智能体马尔可夫决策过程进行求解，各智能体分别配置独立的策略网络和价值网络，通过与s1构建的所述多网耦合配电网恢复环境模型进行离线交互训练，学习协同恢复策略，以在在线阶段根据实时观测状态快速输出恢复动作；所述恢复动作包括：抢修队伍的动作、移动电源的动作以及数据中心的动作。

7、进一步地，所述负荷恢复模型以最大化加权恢复负荷为目标函数，以功率平衡约束、节点电压约束和辐射状拓扑约束为约束条件，并将移动电源接入处理为节点注入功率的增量。

8、进一步地，所述信息物理耦合模型通过为配电网的拓扑结构中每个物理节点映射一个对应的信息节点，并采用环状拓扑配置通信链路，根据信息节点的供电状态和通信可达状态共同确定其可用状态，以约束远动开关的操作可行性。

9、进一步地，所述交通网模型将交通网络抽象为二维网格图结构，建立交通节点与配电网设备之间的空间映射关系，并引入实时拥堵系数计算抢修队伍和移动电源在不同路段上的通行时间；

10、其中，实时拥堵系数是每个时刻在每个路段上的实际车辆通行速度与对应路段在畅通状态下的自由流行驶速度之间的比值。

11、进一步地，所述数据中心运营及响应模型通过空间迁移比例和时间迁移比例描述数据中心负载的时空调节行为，并建立包含本地电费成本、异地执行与同步成本、带宽传输与拥塞成本以及关停违约损失在内的数据中心运营成本函数，同时将负载削减后ups的剩余供电能力作为配电网的临时功率支撑。

12、进一步地，所述抢修队伍智能体的动作空间采用双层结构，上层动作决定移动或抢修，下层动作执行具体的移动方向或抢修操作；所述移动电源智能体的动作空间也采用双层结构，上层动作决定移动或供电，下层动作执行具体的移动方向或连续出力比例；所述数据中心智能体的动作空间为包含空间迁移比例和时间迁移比例的连续动作。

13、进一步地，所述多智能体近端策略优化算法为各智能体分别配置高层策略网络、低层策略网络和价值网络，采用裁剪机制对策略网络和价值网络进行参数更新，并通过离线训练学习多种随机故障场景下的协同恢复策略。

14、进一步地，所述多网耦合配电网恢复环境模型在离线训练阶段用于供各智能体交互采集经验轨迹以更新网络参数，在在线阶段用于根据实时观测状态快速输出恢复动作，实现抢修调度、移动电源配置和数据中心负载响应的协同决策。

15、本发明第二方面是提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种基于多智能体强化学习的多网耦合配电系统恢复方法。

16、本发明第三方面是提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述一种基于多智能体强化学习的多网耦合配电系统恢复方法。

17、与现有技术相比，本发明的有益效果是：s1、构建面向深度强化学习的多网耦合配电网环境，基于所述多网耦合配电网环境，建立包含负荷恢复模型、信息物理耦合模型、交通网模型和数据中心运营及响应模型在内的多网耦合配电网恢复环境模型；通过统一建模电力、交通、通信和数据中心的多网耦合关系，为智能体提供了真实反映灾后协同演化规律的交互环境，提高了恢复策略的可行性和对多类资源协同调度的建模精度；s2、将灾后多网耦合配电系统恢复过程建模为多智能体马尔可夫决策过程，将抢修队伍、移动电源与数据中心分别定义为具有不同观测空间、动作空间和奖励函数的异构智能体，其中，s1构建的所述多网耦合配电网恢复环境模型用于向各智能体提供交互环境，根据各智能体的联合动作执行网络重构并更新系统状态，同时向各智能体反馈奖励；通过将异构资源定义为独立智能体并设计差异化的观测、动作和奖励，实现了多类资源的协同决策，提升了恢复策略对复杂多网耦合场景的适应能力；s3、采用多智能体近端策略优化算法对所述多智能体马尔可夫决策过程进行求解，各智能体分别配置独立的策略网络和价值网络，通过与s1构建的所述多网耦合配电网恢复环境模型进行离线交互训练，学习协同恢复策略，以在在线阶段根据实时观测状态快速输出恢复动作；所述恢复动作包括：抢修队伍的动作、移动电源的动作以及数据中心的动作。通过离线训练学习多种故障场景下的协同规律，并在在线阶段快速输出动作，显著降低了在线求解复杂度，提高了恢复决策效率和未知场景的泛化能力；解决了现有的配电网灾后恢复方法对多网耦合动态交互考虑不足导致协同能力欠缺，且传统优化方法依赖精确模型、在线求解效率低、难以适应不确定故障场景的问题。

1.一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，所述负荷恢复模型以最大化加权恢复负荷为目标函数，以功率平衡约束、节点电压约束和辐射状拓扑约束为约束条件，并将移动电源接入处理为节点注入功率的增量。

3.根据权利要求1所述的一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，所述信息物理耦合模型通过为配电网的拓扑结构中每个物理节点映射一个对应的信息节点，并采用环状拓扑配置通信链路，根据信息节点的供电状态和通信可达状态共同确定其可用状态，以约束远动开关的操作可行性。

4.根据权利要求1所述的一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，所述交通网模型将交通网络抽象为二维网格图结构，建立交通节点与配电网设备之间的空间映射关系，并引入实时拥堵系数计算抢修队伍和移动电源在不同路段上的通行时间；

5.根据权利要求1所述的一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，所述数据中心运营及响应模型通过空间迁移比例和时间迁移比例描述数据中心负载的时空调节行为，并建立包含本地电费成本、异地执行与同步成本、带宽传输与拥塞成本以及关停违约损失在内的数据中心运营成本函数，同时将负载削减后ups的剩余供电能力作为配电网的临时功率支撑。

6.根据权利要求1所述的一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，所述抢修队伍智能体的动作空间采用双层结构，上层动作决定移动或抢修，下层动作执行具体的移动方向或抢修操作；所述移动电源智能体的动作空间也采用双层结构，上层动作决定移动或供电，下层动作执行具体的移动方向或连续出力比例；所述数据中心智能体的动作空间为包含空间迁移比例和时间迁移比例的连续动作。

7.根据权利要求1所述的一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，所述多智能体近端策略优化算法为各智能体分别配置高层策略网络、低层策略网络和价值网络，采用裁剪机制对策略网络和价值网络进行参数更新，并通过离线训练学习多种随机故障场景下的协同恢复策略。

8.根据权利要求1所述的一种基于多智能体强化学习的多网耦合配电系统恢复方法，其特征在于，所述多网耦合配电网恢复环境模型在离线训练阶段用于供各智能体交互采集经验轨迹以更新网络参数，在在线阶段用于根据实时观测状态快速输出恢复动作，实现抢修调度、移动电源配置和数据中心负载响应的协同决策。

9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述一种基于多智能体强化学习的多网耦合配电系统恢复方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述一种基于多智能体强化学习的多网耦合配电系统恢复方法。