基于多智能体软演员评论家学习的城市能源-交通耦合系统应急资源协同恢复优化方法

本发明属于智慧城市能源-交通耦合系统韧性提升，具体涉及一种基于多智能体软演员评论家强化学习的城市能源-交通耦合系统应急资源协同恢复优化方法。

背景技术：

1、随着全球城市化进程的加速，智慧城市作为未来城市发展的重要方向，正逐步成为提升城市管理效率、优化资源配置、改善居民生活质量的关键载体。智慧城市的核心在于通过信息化、智能化技术实现城市各系统的互联互通与协同运行，能源系统和交通系统是支撑城市正常运转的两大关键基础设施，也是建设智慧城市的关键环节。随着城市电气化交通的普及和综合能源系统的发展，能源系统和交通系统等关键基础设施的耦合程度日益加深，逐渐形成了高度互联、动态交互的城市能源-交通耦合系统。然而，耦合程度的加深在实现能源高效传输和交通智能化调度的同时，也使得系统脆弱性呈现出新的特征，局部故障或外部冲击极易通过系统间的耦合关系迅速扩散，导致整个城市系统的功能受损甚至瘫痪。

2、为了提升城市能源系统应对极端事件的能力，保障供能安全，建设“韧性能源系统”已成为重要发展方向。通过统筹优化城市电力系统网架结构，构建“源网荷储”协同保障体系，可以提升城市电网在极端事件下的运行灵活性。移动应急资源凭借灵活的时空转移特性可通过城市交通系统主动前往受灾区域执行任务，从而加快系统恢复进程。移动储能车是一种能够将电能存储并灵活输送到不同地点的车辆，在自然灾害或电力中断时，移动储能车可以迅速接入充电站节点为重要设施和设备提供临时电力供应，是使用最为广泛的电网应急供电资源。随着智慧城市建设纵深推进，城市能源系统和交通系统深度融合，电力、天然气等多能流协同运行成为常态。此外，极端事件在对能源系统基础设施（电力线路、天然气管道）造成损坏导致能源供应不足的同时，也对交通系统中的基础设施（交通道路、交通信号灯）造成破坏，导致城市交通系统通行能力下降和城市交通用户出行成本增加。因此，派遣移动储能车和能源系统抢修队协同能源互补转换对能源系统进行紧急负荷支撑和修复故障电力线路、天然气管道，降低能源系统负荷损失，快速恢复能源供应。同时，派遣交通系统抢修队修复故障交通道路和交通信号灯，降低用户出行成本和恢复交通系统通行效率，在提升交通系统韧性，辅助移动储能车和能源系统抢修队提升能源系统韧性。

3、然而，现有研究在开展多类型移动应急资源协同调度过程中所构建的数学模型和求解算法存在一定缺陷。首先，现有研究成果中仅对灾后短时间内的电力负荷紧急支撑开展研究，所构建的韧性提升数学模型忽略了电力线路故障状态、天然气管道故障状态、交通道路故障状态动态变化、交通信号灯故障状态动态变化、道路交通流时空分布和能源互补效应的影响，。其次，部分韧性提升数学模型未考虑交通道路和交通信号灯故障对移动应急资源路由策略的影响，同时忽略了道路故障状态变化对城市交通用户出行路径选择的限制，粗略地对城市交通车流量分布进行确定性假设。最后，现有模型求解算法在面对高动态、强不确定性的能源-交通耦合系统以及移动应急资源协同优化决策导致邻系统复杂度显著提升、系统间耦合关系更加紧密、能量流与交通流交互更加紧密和运行约束更严苛时，难以准确高效求解多类型移动应急资源协同调度策略。基于上述分析，亟需构建一种能够综合考虑电力线路故障状态、天然气管道故障状态、交通道路故障状态动态变化、交通信号灯故障状态动态变化、道路交通流时空分布和能源互补效应等不确定性因素影响的多类型移动应急资源协同调度数学模型；同时，需要开发一种模型求解算法以高效、准确能够协同调度多种类型移动应急资源的优化调度策略，有效提升极端事件发生后的能源-交通耦合系统韧性。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于多智能体软演员评论家学习的城市能源-交通耦合系统应急资源协同恢复优化方法。针对现有数学模型和求解算法存在的问题，该方法协同调度了移动储能车、能源系统抢修队和交通系统抢修队开展紧急负荷支撑和故障修复任务，增强系统灾后快速恢复能力，提升智慧城市能源-交通耦合系统韧性。该方法提出了考虑随机效用的基于改进半动态用户均衡的城市交通出行分配模型，以精准刻画极端灾害后交通系统道路交通流的时空分布，为移动应急资源的协同调度提供交通系统基础数据；同时，综合考虑电力线路故障状态、天然气管道故障状态、交通道路故障状态动态变化、交通信号灯故障状态动态变化、道路交通流时空分布和能源互补效应等不确定性因素的影响，构建面向智慧城市能源-交通耦合系统韧性提升的多类型移动应急资源协同调度模型。为了能够高效、准确地求解该数学模型，该方法提出了一种考虑部分信息共享的多智能体软演员评论家强化学习算法（conservative q-learning soft actor-critic, cql-sac）。该算法创新性地将反映其它移动应急资源智能体行为的关键信号加入到状态中，以在保障个体决策自主性的前提下增强智能体间的协同感知与系统动态响应能力。另一方面，考虑到灾后场景下交通出行用户无法掌握交通路网的完整、实时信息，且不同出行用户对路径通行时间、拥堵程度、道路损毁状况的感知与偏好存在显著差异，该方法采用logit随机效用模型计算交通用户出行路径的选择概率，并采用连续平均算法求解城市交通出行分配模型以获取道路车流量分布。

2、为实现上述目的，本发明采用如下技术方案：一种基于多智能体软演员评论家学习的城市能源-交通耦合系统应急资源协同恢复优化方法，包括如下步骤：

3、步骤s1：初始化智慧城市能源-交通耦合系统模型、移动应急资源多智能体软演员评论家强化学习模型、能源-交通耦合系统故障场景以及城市交通用户出行需求；

4、步骤s2：多智能体软演员评论家强化学习算法环境初始化、能源-交通耦合系统故障场景初始化、城市交通用户出行需求初始化；

5、步骤s3：根据能源-交通耦合系统信息、多类型移动应急资源自身状态信息和部分状态共享信息，构建多智能体软演员评论家强化学习算法的移动储能车状态信息、能源系统抢修队状态信息和交通系统抢修队状态信息；

6、步骤s4：根据贪婪探索策略和多智能体软演员评论家强化学习算法计算移动储能车路由策略、能源系统抢修队路由策略和交通系统抢修队路由策略；

7、步骤s5：分别执行移动储能车路由策略、能源系统抢修队路由策略和交通系统抢修队路由策略，并对移动储能车、能源系统抢修队和交通系统抢修队的状态进行更新；

8、步骤s6：初始化连续平均算法的迭代次数，基于当前交通系统道路故障状态和交通信号灯故障状态，求解考虑随机效用的基于改进半动态用户均衡的城市交通出行分配模型，获取道路车流量分布、滞留车流量和用户出行时间成本；

9、步骤s7：将移动储能车调度模型、能源系统抢修队修复模型、交通系统抢修队修复模型、最优电气能量流模型和电力系统重构模型转化为混合整数二阶锥规划模型，求解移动储能车功率调度策略、能源系统抢修队修复策略和交通系统抢修队修复策略，并计算各移动应急资源的奖励函数值；

10、步骤s8：更新多智能体软演员评论家强化学习算法的移动储能车状态、能源系统抢修队状态和交通系统抢修队状态；

11、步骤s9：将包含当前状态、当前动作、当前奖励和下一时刻状态的经验样本分别存储于移动储能车记忆单元、能源系统抢修队记忆单元和交通系统抢修队记忆单元；

12、步骤s10：对各记忆单元进行样本随机采样，并基于随机梯度下降方法对考虑部分信息共享的多智能体软演员评论家强化学习算法进行更新；

13、步骤s11：判断当前时刻是否到达预设结束时间，若否，则重复执行步骤s3至步骤s10；

14、步骤s12：判断当前训练幕数是否到达预设结束幕数，若否，则重复执行步骤s2至步骤s11；若是，则输出多智能体软演员评论家强化学习算法神经网络权重参数以及移动储能车、能源系统抢修队和交通系统抢修队的路由策略、调度策略和修复策略。

15、进一步地，在步骤s1中，初始化智慧城市能源-交通耦合系统模型、移动应急资源多智能体软演员评论家强化学习模型、能源-交通耦合系统故障场景以及城市交通用户出行需求，包括以下步骤：

16、步骤s11：智慧城市能源-交通耦合系统模型初始化，包括：设置电力系统节点电压限制、线路和变压器参数、分布式发电机电压和出力上下限约束、可再生能源出力、电力系统负荷负载率、充电站在电力系统的接入位置以及燃气轮机在电力系统的接入位置；设置天然气系统节点气压限制、管道和压缩机参数、燃气轮机耗气量和出力上下限约束、天然气系统负荷负载率以及燃气轮机在天然气系统的接入位置；设置交通系统节点、道路长度、道路容量及自由行驶速度，以及充电站在交通系统中的位置；设置移动储能车的初始充电站位置、能源系统抢修队仓库位置和交通系统抢修队仓库位置；

17、步骤s12：移动应急资源多智能体软演员评论家强化学习模型初始化，包括：设置神经网络层数和神经元数量、初始化权重参数；初始化学习率、采样批大小以及各记忆单元容量；

18、步骤s13：智慧城市能源-交通耦合系统故障场景初始化，包括：模拟极端事件发生后，在电力系统中随机设置部分线路中断，构建损坏线路集合；在天然气系统中随机设置部分管道中断，构建损坏管道集合；在交通系统中随机设置部分道路和交通信号灯损坏，构建损坏道路集合和损坏交通信号灯集合；

19、步骤s14：城市交通用户出行需求初始化，包括：加载所有城市交通出行需求起点终点对集合，设置城市交通用户出行总需求量以及每个出行需求占总出行需求量的比例系数，计算得到每个出行需求在不同时刻下的基础出行需求量；

20、步骤s15：初始化训练幕数。

21、进一步地，在步骤s2中，多智能体软演员评论家强化学习算法环境初始化、能源-交通耦合系统故障场景初始化、城市交通用户出行需求初始化，包括以下步骤：

22、步骤s21：初始化训练时间；

23、步骤s22：多智能体软演员评论家强化学习算法环境中的各项变量初始化，包括：初始化电力系统各节点负荷负载率、可再生能源出力、燃气轮机出力；初始化天然气系统各节点负荷负载率、燃气轮机耗气量；初始化交通系统各条道路交通流量和速度；初始化移动储能车的初始位置、初始电池荷电状态和初始速度；初始化能源系统抢修队的初始位置、维修材料和初始速度；初始化交通系统抢修队的初始位置、维修材料和初始速度；

24、步骤s23：智慧城市能源-交通耦合系统故障场景初始化，包括：初始化步骤s1中构建的故障线路集合、故障管道集合、故障道路集合和故障交通信号灯集合；

25、步骤s24：城市交通用户出行需求初始化，包括：初始化步骤s1中每个城市交通出行需求的基础出行需求量。

26、进一步地，在步骤s3中，根据能源-交通耦合系统信息、多类型移动应急资源自身状态信息和部分状态共享信息，构建多智能体软演员评论家强化学习算法的移动储能车状态信息、能源系统抢修队状态信息和交通系统抢修队状态信息，包括以下步骤：

27、步骤s31：构建移动储能车状态信息，该状态信息包括：移动储能车自身状态信息，具体包含移动储能车在交通系统中的实时节点位置编号、初始节点位置编号、实时道路位置编号以及剩余荷电状态值；电力系统节点负荷数据；风力发电机出力数据；移动储能车所在位置的相邻电力线路信息；移动储能车所在位置的相邻道路交通信息，具体包含相邻道路的道路通行时间、交通信号灯状态和交通道路状态；以及各移动应急资源之间的共享信息，具体包含当前时刻电力系统负荷恢复率、电力系统故障线路状态、天然气系统故障管道状态、交通信号灯故障状态和交通道路故障状态；

28、步骤s32：构建能源系统抢修队状态信息，该状态信息包括：能源系统抢修队自身状态信息，具体包含能源系统抢修队在交通系统中的实时节点位置编号、初始节点位置编号、实时道路位置编号以及剩余修复材料数量；电力系统中的故障线路信息；天然气系统中的故障管道信息；能源系统抢修队修复故障所需的维修时长；能源系统抢修队所在位置的相邻道路交通信息；以及各移动应急资源之间的共享信息；

29、步骤s33：构建交通系统抢修队状态信息，该状态信息包括：交通系统抢修队自身状态信息，具体包含交通系统抢修队在交通系统中的实时节点位置编号、初始节点位置编号、实时道路位置编号以及剩余修复材料数量；交通系统中的故障交通信号灯信息；交通系统中的故障道路信息；交通系统抢修队修复故障所需的维修时长；交通系统抢修队所在位置的相邻道路交通信息；以及各移动应急资源之间的共享信息。

30、进一步地，在步骤s4中，根据贪婪探索策略和多智能体软演员评论家强化学习算法计算移动储能车路由策略、能源系统抢修队路由策略和交通系统抢修队路由策略，包括以下步骤：

31、步骤s41：生成当前时刻的随机数，采用贪婪探索策略比较当前贪婪值与随机数的大小关系，若随机数小于当前贪婪值，则采用随机选取方法从路由动作集合中分别生成移动储能车路由行为策略、能源系统抢修队路由行为策略和交通系统抢修队路由行为策略；其中，路由动作集合中的动作值为零表示移动应急资源停止在当前目的地位置，准备接受后续的调度和修复决策；动作值非零表示移动应急资源选择进入下一条交通道路前往其目的地；

32、步骤s42：若随机数大于或等于当前贪婪值，则通过多智能体软演员评论家强化学习算法生成移动储能车路由策略、能源系统抢修队路由策略和交通系统抢修队路由策略，具体为：通过多智能体软演员评论家强化学习算法的评论家网络，基于当前各移动应急资源的状态信息和当前网络参数，分别计算各移动应急资源各候选路由动作的价值函数，选取价值函数最大的动作作为对应的路由策略。

33、进一步地，在步骤s6中，初始化连续平均算法的迭代次数，基于当前交通系统道路故障状态和交通信号灯故障状态，求解考虑随机效用的基于改进半动态用户均衡的城市交通出行分配模型，获取道路车流量分布、滞留车流量和用户出行时间成本，包括以下步骤：

34、步骤s61：构建基于改进半动态用户均衡的城市交通出行分配模型，该模型中：将道路通行时间表示为道路状态、道路车流量、道路自由通行时间、道路容量、道路延迟系数以及交通信号灯状态的函数；将道路车流量表示为各出行需求在各可行路径上的流量分配与路径-道路关联关系的加权和；将路径通行时间表示为路径上各道路通行时间之和；将各出行需求的滞留车流量表示为该出行需求所有可行路径上流量与通行时间乘积之和除以时间间隔；采用需求修正法，根据初始出行需求量、上一时刻滞留车流量和当前时刻滞留车流量计算当前时刻实际出行需求量；约束每条可行路径流量非负、路径通行时间不低于该出行需求的最低出行时间成本，且所有可行路径车流量之和等于实际出行需求量；

35、步骤s62：初始化连续平均算法的迭代次数；

36、步骤s63：采用连续平均算法迭代求解所述考虑随机效用的基于改进半动态用户均衡的城市交通出行分配模型，具体包括：进入当前时刻后，根据上一时刻交通系统抢修队的道路修复决策和交通信号灯修复决策更新交通系统的道路和交通信号灯故障状态；基于当前时刻道路故障状态，对每个用户出行需求采用最短路径算法得到可行路径集合；进行连续平均算法的迭代计算；将所有用户出行需求分配到对应的可行路径集合中，计算交通系统各道路流量，并更新道路通行时间和路径通行时间；计算当前时刻的剩余车流量，并根据剩余车流量和基础出行需求量计算修正后的实际出行需求量；根据随机效用模型计算每个出行需求在各可行路径上的选择概率；根据当前迭代次数下的可行路径流量、路径选择概率和当前迭代次数，计算下一次迭代的可行路径流量；判断是否满足收敛精度条件，若满足则结束迭代，输出当前时刻交通系统道路车流量分布、道路通行时间、滞留车流量和用户出行时间成本。

37、进一步地，在步骤s7中，将移动储能车调度模型、能源系统抢修队修复模型、交通系统抢修队修复模型、最优电气能量流模型和电力系统重构模型转化为混合整数二阶锥规划模型，求解移动储能车功率调度策略、能源系统抢修队修复策略和交通系统抢修队修复策略，并计算各移动应急资源的奖励函数值，包括以下步骤：

38、步骤s71：构建移动储能车调度模型、电力系统重构模型和最优电气能量流模型；所述移动储能车调度模型包含移动储能车的充放电功率约束、荷电状态时序递推约束、荷电状态上下限约束以及充放电状态互斥约束；所述电力系统重构模型包含电力网络的辐射状拓扑约束和虚拟潮流约束；所述最优电气能量流模型包含电力系统节点有功无功功率平衡约束、风力发电机出力约束、线路潮流约束、节点电压约束、天然气系统节点气流平衡约束、管道气流约束、节点气压约束以及燃气轮机能耗约束；

39、步骤s72：构建能源系统抢修队修复模型，包含能源系统抢修队对故障线路和故障管道的修复决策约束、同一时刻至多修复一个故障组件的约束、故障组件修复时间约束以及是否继续调度能源系统抢修队的判定约束；

40、步骤s73：构建交通系统抢修队修复模型，包含交通系统抢修队对故障交通信号灯和故障交通道路的修复决策约束、同一时刻至多修复一个故障设施的约束以及故障设施修复时间约束；

41、步骤s74：以移动应急资源调度成本最小化和能源-交通耦合系统损失成本最小化为目标构建目标函数，其中能源-交通耦合系统损失成本包括能源系统负荷损失成本和城市交通用户出行时间成本，移动应急资源调度成本根据各移动应急资源的单位时间调度成本与调度时长的乘积进行计算；

42、步骤s75：对所述混合整数二阶锥规划模型中的非线性约束采用线性化处理，包括采用大m法对乘积项进行线性化，采用二阶锥松弛方法对线路容量约束进行线性化；

43、步骤s76：以步骤s74的目标函数、以步骤s71至步骤s73的模型为约束构建混合整数二阶锥规划模型，采用商业求解器进行求解，得到移动储能车功率调度策略、能源系统抢修队修复策略和交通系统抢修队修复策略，并分别计算移动储能车奖励函数值、能源系统抢修队奖励函数值和交通系统抢修队奖励函数值；

44、其中，移动储能车奖励函数值根据移动时间成本和移动储能车恢复的电力系统负荷量进行综合计算；

45、能源系统抢修队奖励函数值根据能源系统抢修队的移动时间成本、完成修复任务所获得的固定奖励以及修复故障组件所获得的贡献奖励进行综合计算；所述贡献奖励根据被修复线路上传输的有功功率和被修复管道中传输的天然气流量进行计算；

46、交通系统抢修队奖励函数值根据交通系统抢修队的移动时间成本、完成修复任务所获得的固定奖励以及修复故障设施所获得的贡献奖励进行综合计算；所述贡献奖励根据被修复道路上的车流量与恢复正常运行的交通信号灯所在交叉路口的车流量之和占交通系统总车流量的比例进行计算。

47、进一步地，在步骤s10中，对各记忆单元进行样本随机采样，并基于随机梯度下降方法对考虑部分信息共享的多智能体软演员评论家强化学习算法进行更新，包括以下步骤：

48、步骤s101：在各移动应急资源的记忆单元中以随机采样方式分别采集预设数量的经验样本，根据采集的样本分别对策略网络和评论家网络进行损失函数计算；其中，策略网络的损失函数根据策略熵值和评论家网络输出的动作价值函数进行计算；评论家网络的损失函数根据时序差分误差进行计算，并引入保守学习正则化项，该正则化项通过计算当前状态下所有动作的指数化价值之和与采样动作的平均价值之差来衡量策略的保守程度；

49、步骤s102：基于随机梯度下降方法，根据步骤s101计算的损失函数分别对策略网络和评论家网络的神经网络参数进行梯度更新，其中温度系数用于平衡奖励最大化目标和策略熵最大化目标。

50、本发明还提供了一种基于多智能体软演员评论家学习的城市能源-交通耦合系统应急资源协同恢复优化系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述方法的步骤。

51、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述方法的步骤。

52、本发明聚焦于智慧城市建设背景下能源-交通耦合系统的韧性提升问题，提供了一种基于多智能体软演员评论家学习的城市能源-交通耦合系统应急资源协同恢复优化策略。与现有技术相比，本发明具有以下有益效果：

53、首先，针对现有数学模型忽略交通系统中道路状态和交通信号灯状态动态变化、道路交通流时空分布和能源系统中电力线路状态和天然气管道状态动态变化的不足，本发明协同调度了移动储能车、能源系统抢修队和交通系统抢修队三种移动应急资源对灾后能源系统供应中断和交通系统通行效率下降进行修复，致力于将能源-交通耦合系统性能恢复至正常水平，提升智慧城市能-交耦合系统韧性，保障城市安全稳定运行。本发明避免了现有技术存在的忽略电力线路故障、天然气管道故障状态动态变化以及交通道路和交通信号灯故障情况，且仅对灾后短时间内韧性提升策略开展研究的问题，使得本发明相比于现有技术能够获得更好的能源-交通耦合系统韧性提升效果。

54、其次，针对现有数学模型忽略城市交通流分布动态变化的问题，本发明基于改进半动态用户均衡理论构建了可行路径动态变化的城市交通出行分配模型，以探究道路故障动态变化对城市交通用户出行车流量分布、出行时间成本以及移动应急资源优化调度策略的影响。同时，考虑到灾后场景下交通出行用户无法掌握交通路网的完整、实时信息，且不同出行用户对路径通行时间、拥堵程度、道路损毁状况的感知与偏好存在显著差异，本发明在改进半动态用户均衡交通分配模型中引入随机效用理论，以描述城市交通用户在有限理性下做出的出行路径选择决策，并采用连续平均算法对基于改进半动态用户均衡的城市交通出行分配模型进行求解。

55、最后，针对现有模型求解算法存在的策略求解效率低下和实时性不足的问题，本发明提出了一种考虑部分信息共享的多智能体软演员评论家强化学习算法对面向智慧城市能-交耦合系统韧性提升的多类型移动应急资源协同调度模型进行求解。该算法创新性地将反应其它移动应急资源智能体行为的关键信号加入到状态中，以在保障个体决策自主性的前提下增强智能体间的协同感知与系统动态响应能力。