一种算电协同的多智能体频率调控方法
本发明属于电力系统频率控制与算力网络协同优化,具体涉及一种算电协同的多智能体频率调控方法。
背景技术:
1、电力系统在遭受故障扰动后,会产生功率缺额,导致系统频率跌落。当频率跌落超过安全阈值时,低频减载作为最后一道防线被触发,通过切除部分负荷来恢复功率平衡。传统低频减载策略采用固定轮次、固定阈值的方案,难以适应不同故障场景下的差异化调控需求。
2、近年来,随着数据中心、边缘计算节点等算力基础设施的规模化部署,电力系统与算力网络之间的耦合关系日益紧密。一方面,算力设施的运行需要电力支撑,其负荷特性受计算任务到达模式的影响;另一方面,电网稳定控制对通信时延和计算资源的响应速度提出了更高要求。已有研究表明,算力网络的负载状态会影响电网控制信号的传输时延和调控指令的计算响应时间,进而影响频率恢复性能。然而,现有方法尚未充分计及新能源出力不确定性对多智能体协调决策的影响,也未考虑算力网络状态与新能源波动之间的耦合关系。
3、现有的多智能体强化学习方法在电力系统频率控制中已有应用,但现有方法存在以下不足:第一,未将算力网络的状态显式纳入建模,忽略了算力负载对电网调控效果的间接影响;第二,通信时延模型过于简化,通常采用固定的通信时延常数,无法反映区域间通信拥堵程度的变化;第三,缺乏电力与算力之间的跨域耦合机制设计,无法量化算力侧压力对电网频率恢复性能的影响。
技术实现思路
1、本发明针对现有技术的不足,提供一种算电协同的多智能体频率调控方法。
2、本发明的发明目的在于提供一种算电协同的多智能体频率调控方法,通过构建算力网络仿真环境和算力电网耦合模型,将算力侧状态纳入电网频率调控决策,实现电力系统与算力网络的跨域协同优化。
3、为了实现上述目的,所采用的技术方案为:
4、一种算电协同的多智能体频率调控方法,包括以下步骤:
5、s1:将电网划分为多个控制区域,每个区域设置一个智能体,构建电网物理仿真环境和算力网络仿真环境;
6、s2:在每个调控时间步内,依次执行推进仿真时钟、动作解码、任务生成、通信时延计算、任务路由调度、算力执行、通信时延刷新、算力-电网耦合、切负荷执行、故障推进、电网动态更新、智能体状态构建与maddpg协同控制、奖励计算、网络更新与经验回放的串行编排流程。
7、进一步的,所述步骤s1中,所述电网物理仿真环境通过摇摆方程近似计算系统频率动态,通过pi控制器模拟二次调频过程,通过直流潮流方程求解节点相角和支路功率;
8、所述算力网络仿真环境包含4类计算任务,分别为态势感知、潮流计算、故障诊断、负荷预测,每类任务携带有计算量、截止时间、电网控制类标记、紧急度权重和优先通道折扣系数属性。
9、进一步的,所述步骤s2中,通信时延计算采用三段式动态通信时延模型,总时延由传播时延和排队时延合成;
10、所述传播时延按拓扑距离分为区内时延、相邻区域时延和跨多区时延;
11、所述排队时延采用m/m/1排队模型,其公式如下:
12、;
13、其中,表示通信拥堵阈值,为链路负载率取两端区域算力负载率的较大值。
14、进一步的,所述步骤s2中,任务路由调度采用启发式规则引擎:当某区域的算力负载率超过过载阈值且其任务队列中存在电网控制类任务时,从所有未过载的区域中按等效通信时延升序选取最多2个候选目标区域,所述等效通信时延=通信时延/紧急度权重;对潮流计算类任务,将算力量对半拆分后分别路由至两个候选目标节点;对其他电网控制类任务,整体迁移至通信时延最小的1个候选节点;路由产生的额外等待步数叠加至该任务后续的截止时间超时判断中。
15、进一步的,所述步骤s2中,算力-电网耦合的过程为:通过算力与电网三因子耦合模型,将算力侧的算力过载因子、通信拥堵因子、电网任务超时因子合成为调速器响应时间常数,并注入电网动态更新中的调速器一阶滞后模型。
16、再进一步的,所述步骤s2中,合成调速器响应时间常数的公式如下:
17、延迟因子;
18、调速器响应时间常数;
19、其中,为算力过载因子,为通信拥堵因子,为电网任务超时因子;、分别表示典型电力系统调速器的最小值与最大值。
20、再进一步的,所述算力过载因子的公式如下:
21、 ;
22、式中,表示过载阈值,表示单位超载的惩罚因子;
23、通信拥堵因子的公式如下:
24、 ;
25、式中,为通信时延拥堵阈值,表示区域间最大通信时延;
26、电网任务超时因子公式如下:
27、 ;
28、式中,为超时惩罚系数,为超时标志,当任意区域存在电网控制类任务在当前步被判超时丢弃时,,反之为0。
29、进一步的,所述步骤s2中,智能体状态构建与maddpg协同控制过程中,各所述智能体基于maddpg算法进行集中式训练和分布式执行,每个智能体的actor网络根据其8维状态向量输出2维动作向量;将所述智能体的状态向量和动作向量拼接作为输入,联合critic网络评估各智能体的q值;
30、其中,所述智能体接受的8维状态向量包括:电网侧4维状态、算力侧4维状态,输出的2维动作向量包括:切负荷比例、电网任务算力优先级比例;
31、所述电网侧4维状态,分别为归一化的频率偏差、归一化的频率变化率、区域平均电压偏差和故障发生标志;
32、所述算力侧4维状态,分别为当前算力负载率、归一化的任务队列长度、归一化的最大跨区通信时延和当前任务完成率。
33、进一步的,所述步骤s2中,奖励计算为计算9项子奖励的加权和,包括:频率偏差惩罚项、低频加重惩罚项、过切惩罚项、切负荷量惩罚项、重要负荷额外惩罚项、频率稳定正奖励项、精准切负荷正奖励项、任务完成率奖励项和算力与电网耦合延迟惩罚项;
34、所述频率偏差惩罚项与频率偏差绝对值成正比,所述低频加重惩罚项在频率低于第一频率阈值时按偏差平方加重惩罚,所述过切惩罚项在频率高于第二频率阈值时按偏差平方惩罚,所述切负荷量惩罚项在有功率缺额时仅惩罚过切部分、无缺额时按切除量惩罚,所述精准切负荷正奖励项在切除量接近各智能体均摊缺额时给予正向激励
35、进一步的,所述步骤s2中,构建经验回放缓冲池,每间隔设定步数采样批次经验,通过最小化critic的均方误差损失和最大化actor的策略梯度更新网络参数,并对目标网络进行polyak averaging软更新。
36、与现有技术相比,本发明的有益效果在于:
37、本发明是一种基于多智能体深度强化学习的算电协同频率调控方法,适用于含高比例新能源和分布式计算资源的电力系统在故障扰动后的频率恢复控制,改进点为:
38、1、将电网各区域控制器建模为独立智能体,基于多智能体深度确定性策略梯度(maddpg)框架实现协同决策。
39、2、构建算力网络仿真环境,引入三段式动态通信时延模型表征区域间通信质量。
40、3、建立算力与电网三因子耦合模型,将算力负载率、电网任务超时状态和跨区通信拥堵程度合成为调速器响应时间常数,量化算力状态对电网频率恢复性能的影响。
41、4、设计包含9项子奖励的综合奖励函数,引导智能体在维持频率稳定的同时最小化切负荷量与算力任务超时率。
42、本发明通过上述改进,实现了电力系统与算力网络的跨域协同调控,在算力资源紧张场景下可显著降低切负荷量并改善频率恢复特性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com