基于强化学习的储能柜充放电优化控制方法与流程
本发明涉及储能系统智能控制,具体是指基于强化学习的储能柜充放电优化控制方法。
背景技术:
1、随着储能柜在新能源发电、负荷调节以及并网运行中的应用不断深入,储能柜充放电控制逐渐由基于固定规则和预设策略的控制方式向数据驱动和强化学习控制方式发展。储能柜运行过程中同时受到电池状态、温度、光伏出力、负荷需求以及并网运行状态等多维因素影响,传统单一目标控制方式难以全面描述复杂运行过程,因此,利用强化学习建立能够根据实时运行状态自主调整充放电策略的控制方法成为一种发展方向。
2、现有储能柜强化学习充放电控制在实际应用中仍存在较明显的局限。一方面,经济性、健康性和安全性目标之间存在动态耦合关系,采用固定奖励权重难以根据不同工况和历史运行表现调整优化重点,而且不同阶段的奖励信号在量纲和数值范围上存在差异,会影响策略训练过程。另一方面,强化学习智能体输出的动作主要基于策略网络决策,若缺少独立的安全约束层,可能出现超出荷电状态边界、热约束、析锂约束、并网约束或长期稳定性约束的动作,同时固定安全边界又难以反映不同荷电状态和温度区域的实际风险差异。因此,如何在强化学习策略自主优化的同时实现多目标动态协调、动作安全修正以及安全边界自适应调节,是储能柜充放电优化控制中需要进一步解决的问题。
技术实现思路
1、针对上述情况,为克服现有技术的缺陷,本发明提供了基于强化学习的储能柜充放电优化控制方法,针对现有储能柜强化学习充放电控制中通常采用固定奖励权重,难以同时适应经济性、健康性和安全性目标随运行工况变化而动态变化的问题,本方案通过构建分层自适应奖励函数,根据经济优先、健康保护优先和安全约束优先三类典型工况生成初始权重,并结合近期实际运行效果对目标权重进行动态修正,同时对各分项奖励实施饱和融合和自适应归一化,使奖励目标能够随储能柜实际运行状态和历史运行表现持续调整,从而形成面向多目标协调控制的动态奖励机制;针对现有储能柜强化学习控制中智能体输出动作可能直接违反荷电状态、温度、析锂风险、并网功率以及长期运行稳定性约束,导致强化学习探索过程存在安全风险的问题,本方案通过设计动作安全护盾机制,将荷电状态容量约束、热降额约束、低温析锂限流约束和并网约束共同构成动作安全边界,并进一步引入离散李雅普诺夫稳定性约束,将智能体原始功率指令通过可行域最近点投影修正为满足多重安全约束的实际执行功率,同时依据护盾触发情况形成安全惩罚反馈并对不同状态区域的安全边界进行双向自适应调节。
2、本发明采取的技术方案如下:基于强化学习的储能柜充放电优化控制方法,该方法包括以下步骤:
3、步骤s1:状态空间构建,对储能柜内部电池及运行环境的多源异构数据进行同步采集和时间对齐,将不同设备、不同采样频率的数据统一映射到控制周期下,并进一步对各类物理量进行归一化处理,同时利用历史序列预测未来短时窗口内的光伏出力与负荷需求,最终将电池自身状态、预测信息以及运行信息共同构建为强化学习状态向量;
4、步骤s2:分层自适应奖励函数构建,针对经济性、健康性和安全性三类运行目标建立分层奖励机制,根据当前工况生成初始权重,并分别构建经济性奖励、健康度惩罚和安全护盾惩罚的计算机制,结合近期实际运行效果对各目标权重进行动态修正,在获得当前控制周期的实际执行功率及对应安全护盾修正量后,对各分项奖励进行饱和融合,并对融合后的综合奖励进行自适应归一化,得到用于策略训练的标准化奖励信号;
5、步骤s3:智能体网络结构设计,将储能柜控制动作设计为离散充放电模式和连续功率比例共同组成的混合动作,并构建共享特征提取网络以及离散策略头、连续策略头组成的双分支策略网络,同时配置两个独立的价值网络,通过双重价值估计和广义优势估计为策略更新提供训练依据;
6、步骤s4:设计动作安全护盾机制,在强化学习智能体输出原始功率指令后增加安全护盾机制,根据电池温度、荷电状态以及并网条件计算充放电安全边界,并进一步利用李雅普诺夫稳定性约束构建安全可行域,通过最近点投影方式将原始动作修正到满足安全约束的执行功率,同时根据护盾修正程度生成安全惩罚反馈,并利用护盾触发频率对不同状态区域的安全边界进行自适应调节;
7、步骤s5:策略迭代优化,将智能体产生的原始动作、安全护盾修正后的实际执行功率、标准化综合奖励以及下一时刻状态构建为转移样本,并结合时序差分误差和安全护盾触发情况确定经验样本的优先级,再利用实际执行动作进行目标策略更新,同时根据训练过程中的护盾触发频率动态调整连续策略头的探索标准差。
8、进一步地,在步骤s1中,所述状态空间构建,具体包括以下步骤:
9、步骤s11:储能柜异构数据采集,按照统一的采样周期对储能柜内部电池单体电压、电池单体电流、电池表面温度、电池荷电状态、逆变器输出功率、光伏实时出力、负荷实时需求、电网分时电价以及环境温湿度进行同步采集,并通过时间戳标记机制将不同物理设备、不同采样频率的原始数据统一映射到同一离散时间基准下,形成按控制周期对齐的多维观测数据序列;
10、步骤s12:状态向量构建,对每一类物理量分别采用滑动窗口内的历史最小值与最大值进行归一化处理,将各类物理量统一映射至同一数值区间,并在归一化数据基础上引入基于历史序列训练的轻量级预测网络,对未来一个短时窗口内的光伏出力与负荷需求进行滚动预测,将预测结果与电池自身状态、电价信息共同拼接为完整的强化学习状态向量。
11、进一步地,在步骤s2中,所述分层自适应奖励函数构建,具体包括以下步骤:
12、步骤s21:初始权重生成,分别针对经济优先工况、健康保护优先工况与安全约束优先工况三类典型工况设计特征提取函数,经济工况特征取当前电价相对历史均价的偏离程度,健康工况特征取电池温度相对适宜温度区间中心的偏离程度,安全工况特征取荷电状态相对安全边界中点的偏离程度,通过高斯隶属度函数计算当前状态对三类工况的隶属程度,并归一化生成初始权重;
13、步骤s22:老化效应奖励子函数设计,经济性奖励部分根据当前时段电价与实际执行功率计算购电成本,并对偏离调度计划功率的行为进行惩罚;健康度惩罚部分构建同时包含日历老化项与循环老化项的容量衰减动力学模型,日历老化项由温度驱动的阿伦尼乌斯形式描述,循环老化项由放电深度驱动并叠加与充放电电流相关的极化耦合因子,用于表征高倍率充放电对容量衰减速率的加剧作用;
14、步骤s23:引入权重动态修正机制,对经济性、健康性、安全性三类分项奖励分别维护一个随时间指数衰减更新的累计效用估计值,用于反映该分项目标在近期实际运行中的达成程度,并以三类累计效用相对均值的偏差为依据,对步骤得到的初始权重进行指数温度修正,使某一分项目标在近期表现持续偏差较大时自动获得更高的权重份额,从而在初始模糊隶属度划分基础上引入基于历史真实运行效果的反馈修正;
15、步骤s24:多目标饱和融合,将经济性奖励分量、健康度惩罚奖励分量以及步骤s44中生成的安全护盾惩罚分量分别通过饱和函数限制在预设合理数值区间内,避免个别时刻某一分项奖励数值异常偏大导致其在加权融合中过度主导策略更新方向,随后按步骤s23求得的动态权重进行加权求和,形成智能体在时刻实际接收的综合奖励信号;
16、步骤s25:自适应归一化,对融合后的综合奖励维护随时间滑动更新的均值与方差估计,并利用该均值方差估计对每一时刻的综合奖励进行标准化处理,将不同训练阶段、不同运行工况下量纲与数值范围存在差异的奖励信号统一映射为均值趋近于0、方差趋近于1的标准化奖励。
17、进一步地,在步骤s3中,所述智能体网络结构设计,具体包括以下步骤:
18、步骤s31:混合动作空间定义,将智能体动作定义为离散模式变量与连续功率比例变量共同构成的混合动作,离散模式变量表示充放电模式的切换决策,连续功率比例变量表示在所选模式下的功率调节幅度;
19、步骤s32:网络结构设计,构建共享底层特征提取网络后分支为离散策略头与连续策略头的双分支网络,离散策略头输出三类模式的选择概率分布,连续策略头输出功率比例变量高斯分布的均值与探索标准差;同时构建两个独立初始化的网络分别估计状态价值;
20、步骤s33:广义优势估计,基于双重网络的较小价值估计计算时序差分误差,并沿轨迹进行加权累加得到广义优势估计值,指导策略更新方向。
21、进一步地,在步骤s4中,所述设计动作安全护盾机制,具体包括以下步骤:
22、步骤s41:安全边界计算,构建基于电池温度、荷电状态、充电电流以及端电压响应特征的析锂风险限流模型,将荷电状态容量约束、热降额约束、析锂限流约束和并网点功率约束共同确定当前时刻允许的最大充电功率,并按照对称原则结合荷电状态下限、热降额约束和并网点功率约束确定最大放电功率,其中析锂限流约束仅作用于充电方向;
23、步骤s42:安全域稳定性约束推导,以荷电状态相对参考值的偏离能量构造离散李雅普诺夫函数,通过限定所述李雅普诺夫函数在相邻控制周期之间的变化量满足指数收敛条件,推导得到针对当前执行功率的附加约束;所述李雅普诺夫稳定性约束被构造成关于执行功率的凸二次不等式,使所述可行域保持为一维区间或闭区间的凸集合;
24、步骤s43:动作最近点修正投影,将动作安全修正问题构建为以最小化执行功率与原始功率指令偏差为目标、以充放电容量约束、热降额约束、并网约束、相邻周期功率变化率约束以及步骤导出的李雅普诺夫稳定性约束为可行域的一维凸二次规划问题,先由线性约束确定可行区间边界,再判断李雅普诺夫二次约束在该边界内的满足情况,若不满足则在可行区间内求取满足二次约束且与原始指令距离最近的功率取值作为最终执行功率;
25、步骤s44:惩罚反馈生成,计算原始功率指令与经安全护盾修正后实际执行功率指令之间偏差的归一化平方值,转化为负向惩罚信号,作为步骤中安全性分项奖励的输入;
26、步骤s45:双向安全边界自适应调节机制,将荷电状态与温度构成的二维状态空间按预设粒度划分为若干网格单元,对每一网格单元维护随时间指数衰减更新的护盾触发频率估计,当某一网格单元触发频率持续高于预设阈值时收紧该单元对应的荷电状态安全上限,当触发频率持续低于预设阈值且当前边界仍严于初始标定边界时逐步将该单元边界向初始标定值恢复,由此形成安全边界随历史真实越限情况在不同状态区域分别双向调整的机制。
27、进一步地,在步骤s5中,所述策略迭代优化,具体包括以下步骤:
28、步骤s51:优先经验回放,将每一控制步中的状态、原始混合动作、安全护盾修正后的实际执行功率、标准化综合奖励、下一控制时刻状态以及安全护盾触发标记构成转移样本并存入经验回放缓冲区,其中原始动作及其对应的旧策略概率用于后续重要性采样比率计算,实际执行功率用于环境状态转移和奖励反馈,并根据时序差分误差及安全护盾触发情况确定样本优先级;
29、步骤s52:目标策略更新,根据转移样本中的原始混合动作及其旧策略概率计算新旧策略的重要性采样比率,并采用裁剪代理目标函数限制单次策略更新幅度,同时将安全护盾产生的修正信息作为策略优化过程中的约束反馈;
30、步骤s53:探索标准差调整,根据训练过程中整体护盾触发频率动态调整连续策略头探索标准差,触发频率较高时降低探索强度,触发频率较低时逐步恢复探索强度。
31、采用上述方案本发明取得的有益效果如下:
32、(1)针对现有储能柜强化学习充放电控制中通常采用固定奖励权重,难以同时适应经济性、健康性和安全性目标随运行工况变化而动态变化的问题,本方案通过构建分层自适应奖励函数,根据经济优先、健康保护优先和安全约束优先三类典型工况生成初始权重,并结合近期实际运行效果对目标权重进行动态修正,同时对各分项奖励实施饱和融合和自适应归一化,使奖励目标能够随储能柜实际运行状态和历史运行表现持续调整,从而形成面向多目标协调控制的动态奖励机制,提高强化学习策略在复杂运行工况下的适应能力和优化稳定性。
33、(2)针对现有储能柜强化学习控制中智能体输出动作可能直接违反荷电状态、温度、析锂风险、并网功率以及长期运行稳定性约束,导致强化学习探索过程存在安全风险的问题,本方案通过设计动作安全护盾机制,将荷电状态容量约束、热降额约束、低温析锂限流约束和并网约束共同构成动作安全边界,并进一步引入离散李雅普诺夫稳定性约束,将智能体原始功率指令通过可行域最近点投影修正为满足多重安全约束的实际执行功率,同时依据护盾触发情况形成安全惩罚反馈并对不同状态区域的安全边界进行双向自适应调节,使强化学习策略优化与储能设备实际安全约束形成闭环耦合,在保持策略自主学习能力的同时对高风险动作进行在线约束和修正。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com