基于多智能体复合安全学习的配电网多微网低碳调度方法与流程

摘要: 本发明涉及配电网运行优化与控制,具体涉及基于多智能体复合安全学习的配电网多微网低碳调度方法。背景技术:1、全球能源转型推动电力系统向低碳化方向发展,主动配电网与...
基于多智能体复合安全学习的配电网多微网低碳调度方法与流程

本发明涉及配电网运行优化与控制,具体涉及基于多智能体复合安全学习的配电网多微网低碳调度方法。

背景技术:

1、全球能源转型推动电力系统向低碳化方向发展,主动配电网与多微网构成分布式能源管理的核心架构。多智能体深度强化学习因其分布式决策能力被引入该领域,通过集中式训练-分散式执行框架实现协同优化。然而,现有安全多智能体深度强化学习方法在约束体系、梯度链路和惩罚权重三个技术层面仍存在不足。

2、具体而言,现有主动配电网-多微网安全调度方法存在以下技术瓶颈:1)在约束体系层面,系统级硬约束与设备级软约束在违反后果和恢复特性上存在本质差异,现有方法未按约束性质分级处理,导致安全投影过度束缚优化空间或惩罚力度无法有效遏制危险约束违反;2)在梯度链路层面,安全投影包含不可微操作,其投影雅可比被隐式取为单位矩阵,引入随动作偏差增大的梯度近似误差,现有方法尚未给出理论分析与纠正方案;3)在惩罚权重层面,惩罚系数全程固定不变,未考虑训练进程阶段性和智能体间异构性对惩罚强度的动态需求;综上所述,现有技术在约束分级处理、梯度链路精度和惩罚权重适应性等方面存在显著不足,因此有必要设计一种能够按约束性质分类处理、消除梯度近似误差并根据训练进程自适应调整惩罚力度的新方法来满足实际需求。

技术实现思路

1、本发明针对主动配电网-多微网低碳经济调度中,现有安全多智能体深度强化学习方法在约束分级、梯度链路和惩罚权重三方面的不足,从约束体系、梯度修正和惩罚调度三个层面构建多智能体复合安全学习机制,旨在保证安全约束满足的前提下实现更优的经济收益与碳排放表现。

2、基于多智能体复合安全学习的配电网多微网低碳调度方法,包括以下步骤:

3、步骤1:建立主动配电网-多微网双层低碳经济调度模型,构建分层约束体系,根据违反后果的严重性和恢复可行性,将运行约束划分为硬约束和软约束两个层级,硬约束通过物理投影强制满足以保证系统安全,软约束以惩罚项形式加入奖励函数引导策略逐步规避;

4、步骤2:将调度问题形式化为部分可观马尔可夫博弈模型,并进行评价网络输入修正,使评价网络直接以智能体策略网络输出的原始动作作为输入学习值函数

q(

s,

a),将安全投影吸收为环境动力学的一部分,消除策略网络梯度链路中因投影雅可比被隐式取为单位矩阵所引入的梯度近似误差;

5、步骤3:设计两阶段自适应惩罚系数调度策略,第一阶段采用全局线性衰减统一建立安全基线,第二阶段切换为个体化指数衰减,根据各智能体的累计原始动作违规次数差异化调整惩罚系数,释放安全表现良好智能体的优化自由度;

6、步骤4:整合分层约束体系、评价网络输入修正与自适应惩罚系数调度策略,构成改进多智能体深度强化学习算法,在目标配电网系统上执行日前低碳经济调度。

7、进一步地:步骤1中,分层约束体系的硬约束包括:线路过载约束、节点电压越限约束和燃气轮机出力超限约束,保留在安全投影环节内通过物理投影强制满足;所述物理投影包括设备动作边界裁剪和基于交流潮流约束的可行域修正,以投影动作与边界裁剪后动作之间的偏差最小为目标,获得满足硬约束的安全动作;软约束包括:储能荷电状态边缘越限约束、燃气轮机爬坡率超限约束和需求响应日累积偏差约束,从物理投影中移除以惩罚项形式加入奖励函数。

8、进一步地:步骤1中,主动配电网-多微网双层低碳经济调度模型包含主动配电网运营商优化模型与多微网运营商优化模型两层;主动配电网运营商以内部电价为决策变量,优化目标为经济收益与网络清洁度的加权和。

9、进一步地:各微网运营商以燃气轮机出力、储能充放功率和需求响应负荷转移量为决策变量,优化目标为运行成本与碳排放成本之和的最小化;主动配电网与各微网通过内部电价和交易功率相互耦合;碳排放成本基于时空碳强度评估方法计算,所述时空碳强度评估方法通过售电微网计算自身碳强度并上报、主动配电网合成系统碳强度并向所有微网广播、购电微网基于广播值计算自身碳强度的分布式层级计算顺序,实现碳强度的公平分配。

10、进一步地:步骤2中,部分可观马尔可夫博弈模型定义为包含

n个智能体的七元组:,其中

n=5,分别对应1个主动配电网运营商与4个微网运营商;

s为全局状态空间;为第

n个智能体的动作空间,主动配电网对应一维电价调整量,各微网对应由燃气轮机出力、储能充放功率和需求响应负荷转移量构成的三维向量;为第

n个智能体的局部观测空间,主动配电网的局部观测包含公共连接点聚合交易功率、上级电网注入功率与碳强度及电价、自身碳强度,各微网的局部观测包含公共连接点交易功率、内部燃气轮机出力与负荷及储能荷电状态、内部电价、主动配电网广播的碳强度;

t为状态转移函数;为第

n个智能体的奖励函数;

γ为折扣因子。

11、进一步地:步骤2中所述评价网络输入修正的数学原理为,定义修正后的状态转移函数和修正后的奖励函数,将安全投影吸收为环境动力学的一部分,使得四元组构成标准马尔可夫决策过程。

12、进一步地:步骤3中,两阶段自适应惩罚系数调度策略以总训练回合数

t=800的中点

t/2=400为切换点;第一阶段

t ≤

t/2,采用全局线性衰减;第二阶段

t >

t/2,切换为个体化指数衰减。

13、进一步地:两阶段自适应惩罚系数调度策略与分层约束体系形成协同,软约束惩罚权重、采用与eap惩罚系数

λ相同的两阶段调度逻辑。

14、进一步地:步骤4中,改进多智能体深度强化学习算法采用集中式训练-分散式执行架构,训练时集中式双评价网络获取全局状态和全局原始动作进行集中学习,执行时各智能体仅需局部策略网络,以局部观测为输入独立输出原始动作,经仅含硬约束的安全投影修正后下发执行,评价网络不参与执行阶段。

15、进一步地:改进多智能体深度强化学习算法在训练阶段每个回合内执行以下流程:首先计算当前自适应惩罚系数

λ值;随后遍历24小时调度周期,各智能体依据局部观测经策略网络输出原始动作并叠加探索噪声,原始动作经仅含硬约束的安全投影修正为安全动作后送入环境执行;环境返回奖励后叠加软约束惩罚项;转移元组存入经验回放缓冲区;当缓冲区累积样本数量达到预设批大小后采样小批量进行网络更新,其中评价网络以原始动作

a为输入计算时序差分误差学习,策略网络以

q值最大化与eap惩罚加权和为目标,每固定步数通过确定性策略梯度更新一次参数。

16、本发明采用上述技术方案后具有的有益效果是:

17、1、解决了约束分级处理缺失的问题。本发明将运行约束按违反后果和恢复特性划分为硬约束与软约束,硬约束强制满足保证安全,软约束惩罚引导逐步优化,在保障系统安全底线的同时释放了设备级约束的调度灵活性。

18、2、消除了安全投影引入的梯度近似误差。本发明将安全投影吸收为环境动力学的一部分,使评价网络直接在原始动作空间学习值函数,梯度链路中不再包含不可微投影环节,从根本上避免了投影雅可比被隐式近似为单位矩阵所造成的梯度偏差。

19、3、实现了惩罚系数对训练进程和智能体个体的双重自适应。前期全局线性衰减统一建立安全基线,后期个体化指数衰减根据原始动作违规次数差异化调整,在避免探索噪声偏差固化为偏倚的同时,使安全表现良好的智能体获得更大优化自由度。

20、4、综合技术效果显著。实施例结果表明,原始动作违规次数降幅约73%,微网总碳排放降低约13.3%,总奖励提升约10.3%,三项改进叠加效果递增,在保证硬约束严格满足的前提下取得优于现有方法的经济收益与碳排放表现。