基于深度强化学习的源网荷储调度控制方法及系统与流程

摘要: 本发明涉及电力调度,特别是涉及基于深度强化学习的源网荷储调度控制方法及系统。背景技术:1、随着光伏、风电在园区电力结构中的占比不断提升,源网荷储各环节的运行状态...
基于深度强化学习的源网荷储调度控制方法及系统与流程

本发明涉及电力调度,特别是涉及基于深度强化学习的源网荷储调度控制方法及系统。

背景技术:

1、随着光伏、风电在园区电力结构中的占比不断提升,源网荷储各环节的运行状态呈现出高度不确定性与强耦合特征,可再生能源出力的随机波动与负荷需求的动态变化持续造成供需功率偏差,储能充放电边界和联络线传输容量的双重约束进一步收窄了调度可行域,多重物理限制下实现协同高效的源网荷储调度是当前园区能源管理面临的核心挑战。

2、现有调度方法主要分为启发式规则方法和模型优化方法两类:前者对复杂运行场景的自适应能力有限,难以有效应对随机性较强的可再生能源接入场景;后者依赖对电网运行状态的精确建模,当功率预测与实际出力之间存在偏差时优化结果的可靠性难以保证;更重要的是,两类方法均缺乏对调度动作安全合规性的自适应保障机制,调度指令在实际执行中可能突破功率传输或储能荷电的物理约束边界,且难以对重复发生的约束违规行为进行识别与针对性修正。

技术实现思路

1、本发明公开基于深度强化学习的源网荷储调度控制方法及系统,旨在通过误差感知的多尺度特征构建、面向消纳的复合奖励设计、调度动作安全校正以及归因导向的策略定向优化,实现对园区源网荷储运行状态的智能协同调度,在提升可再生能源消纳水平的同时保障调度指令的安全合规性。

2、本发明第一方面提出基于深度强化学习的源网荷储调度控制方法,包括:

3、采集园区源网荷储运行数据并按多时间尺度建模形成预测集,基于所述预测集识别误差突变特征形成误差突变标记,针对所述预测集与所述误差突变标记开展特征融合形成状态空间;

4、对所述状态空间和所述误差突变标记执行非均匀降维形成状态特征矩阵,定位所述状态特征矩阵的高波动区间形成优先级权重矩阵;

5、利用所述状态特征矩阵与所述优先级权重矩阵量化弃电裕量形成复合奖励函数,通过所述状态特征矩阵与所述复合奖励函数进行深度策略梯度训练建立调度策略网络;

6、针对所述调度策略网络进行调度动作越限检测确定功率越限项与荷电越限项,对所述功率越限项解析约束偏差形成修正向量,对所述荷电越限项与所述误差突变标记执行动态约束边界匹配确定合规动作,依照所述修正向量与所述合规动作实施安全校正生成指令序列;

7、基于所述指令序列对所述调度策略网络进行越限优先级经验回放采样形成梯度更新序列,针对所述梯度更新序列分析归因特征形成越限归因映射,依据所述越限归因映射对所述调度策略网络进行选择性软更新输出调度控制指令。

8、本发明第二方面提出基于深度强化学习的源网荷储调度控制系统,包括:

9、状态构建单元,用于采集园区源网荷储运行数据并按多时间尺度建模形成预测集,基于所述预测集识别误差突变特征形成误差突变标记,针对所述预测集与所述误差突变标记开展特征融合形成状态空间;

10、权重优先单元,用于对所述状态空间和所述误差突变标记执行非均匀降维形成状态特征矩阵,定位所述状态特征矩阵的高波动区间形成优先级权重矩阵;

11、策略训练单元,用于利用所述状态特征矩阵与所述优先级权重矩阵量化弃电裕量形成复合奖励函数,通过所述状态特征矩阵与所述复合奖励函数进行深度策略梯度训练建立调度策略网络;

12、动作校正单元,用于针对所述调度策略网络进行调度动作越限检测确定功率越限项与荷电越限项,对所述功率越限项解析约束偏差形成修正向量,对所述荷电越限项与所述误差突变标记执行动态约束边界匹配确定合规动作,依照所述修正向量与所述合规动作实施安全校正生成指令序列;

13、指令输出单元,用于基于所述指令序列对所述调度策略网络进行越限优先级经验回放采样形成梯度更新序列,针对所述梯度更新序列分析归因特征形成越限归因映射,依据所述越限归因映射对所述调度策略网络进行选择性软更新输出调度控制指令。

14、本发明的有益效果体现在以下几点:首先,针对园区多能源运行数据,通过多时间尺度预测建模与预测误差突变事件的识别,将误差的时序分布信息融入状态特征的构建过程,使状态表示对高波动运行区间具有针对性的感知能力;非均匀降维策略依据各特征维度对误差突变的超前响应能力差异化分配压缩权重,在压缩状态维度的同时保留了对可再生能源出力扰动最具预警价值的特征信息,进而以高波动区间的优先级标注为后续训练采样提供场景敏感的权重导向。其次,以弃电裕量量化为核心设计面向消纳的复合奖励函数,将接近满消纳状态的临界时段识别出来并赋予差异化的激励权重,引导调度策略网络优先学习高消纳价值时段的动作选择模式;消纳激励与约束合规惩罚的联合驱动使策略网络在追求可再生能源消纳效益的同时建立对安全边界的基本约束意识,两类目标在训练过程中形成动态平衡。最后,调度动作在输出前对功率类和荷电类越限行为进行独立检测,结合频发越限模式识别与前瞻性偏差预估生成预防性修正向量,并通过动态约束边界匹配确定合规调度动作,从而在指令下发环节形成安全校正保障;在策略更新阶段,以越限事件的历史分布为依据构建优先级经验回放机制,通过梯度归因分析定位策略网络中对越限行为贡献最高的参数维度,采用选择性软更新对高归因维度实施针对性校正,在保留已习得合规动作模式的前提下持续改善策略网络对约束边界的遵守能力。

1.基于深度强化学习的源网荷储调度控制方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述针对所述预测集与所述误差突变标记开展特征融合形成状态空间,包括:

3.根据权利要求1所述的方法,其特征在于,所述对所述状态空间和所述误差突变标记执行非均匀降维形成状态特征矩阵,包括:

4.根据权利要求1所述的方法,其特征在于,所述利用所述状态特征矩阵与所述优先级权重矩阵量化弃电裕量形成复合奖励函数,包括:

5.根据权利要求1所述的方法,其特征在于,所述定位所述状态特征矩阵的高波动区间形成优先级权重矩阵,包括:

6.根据权利要求1所述的方法,其特征在于,所述对所述功率越限项解析约束偏差形成修正向量,包括:

7.根据权利要求1所述的方法,其特征在于,所述对所述荷电越限项与所述误差突变标记执行动态约束边界匹配确定合规动作,包括:

8.根据权利要求3所述的方法,其特征在于,所述针对所述维度分组集与所述误差突变标记进行误差超前响应度评估生成超前响应度排序,包括:

9.根据权利要求5所述的方法,其特征在于,所述识别所述波动加速度序列的多源同步加速跃迁区段生成同步波动候选集,包括:

10.基于深度强化学习的源网荷储调度控制系统,其特征在于,包括: