基于深度强化学习的储能参与调频市场自适应有功响应方法与流程

本发明涉及储能控制与电力系统辅助服务，更具体地说，本发明涉及一种基于深度强化学习的储能参与调频市场自适应有功响应方法。

背景技术：

1、新型电力系统中可再生能源高比例并网削弱了系统物理惯性，导致电网频率偏差发生频次显著增加，亟需电池储能系统提供高精度的双向有功功率调节以参与辅助服务市场调频。在满足调频跟踪精度的同时，如何兼顾电池非线性老化控制与设备物理安全边界保护，是实现储能自适应响应的技术关键。

2、目前，现有技术多采用基于无模型深度强化学习的自适应控制策略，通过构建马尔可夫决策过程输出连续功率指令，并在奖励函数中引入基于雨流循环计数法拟合的电池容量衰减成本；同时，在神经网络输出端级联规则截断或安全过滤层，以防止变流器功率超出物理界限。

3、然而，上述现有技术在工程实施中仍存在以下缺陷：其一，雨流循环计数法具有非因果特性，需依赖完整波形闭合方可计算衰减，导致强化学习单步训练时容量衰减成本面临时间信用归因困难，易产生容量衰减计算偏差；其二，现有安全过滤机制仅针对当期单步物理状态进行局部裁切，忽略了调频需求在时域上的累积响应效应，在连续单向调频工况下，易导致储能荷电状态持续趋向物理极值边界，进而引发后续控制周期内无法提供响应的容量死锁；其三，强化学习在试错探索过程中仅依赖奖励惩罚项进行隐式引导，在策略未收敛或环境剧烈波动时，策略输出仍会突破设备安全运行空间，并引发控制指令的高频抖动。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明提供一种基于深度强化学习的储能参与调频市场自适应有功响应方法，通过构建含残差栈特征向量，按荷电状态变化比例将闭合衰减成本重分配至样本奖励训练网络，并利用二次规划约束后续荷电状态落入预测收缩区间，以解决容量衰减归因困难、单向调频死锁与功率越界问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于深度强化学习的储能参与调频市场自适应有功响应方法，包括以下步骤：获取包括储能荷电状态、电网调频指令及未闭合荷电状态极值点残差栈的环境特征向量；利用根据历史样本奖励重分配训练得到的策略网络，根据所述环境特征向量输出初始功率指令；其中，所述历史样本奖励根据未闭合荷电状态极值点残差栈闭合时的容量衰减成本按历史荷电状态变化比例重分配确定；基于二次规划模型，以所述初始功率指令作用下的后续荷电状态落入预测收缩区间为约束条件，求解得到目标响应功率指令；其中，所述预测收缩区间由未来调频累积能量极值对储能荷电状态物理上下限收缩得到。

4、优选地，所述环境特征向量还包括调频里程价格与平滑单位容量衰减成本的比值；其中，所述比值通过将调频里程价格除以经过指数加权移动平均平滑处理的单位容量衰减折算成本计算得到。

5、另外，本发明还提供一种基于深度强化学习的储能参与调频市场自适应有功响应系统，包括：状态采集模块，用于获取包括储能荷电状态、电网调频指令及未闭合荷电状态极值点残差栈的环境特征向量；初步调控模块，用于利用根据历史样本奖励重分配训练得到的策略网络，根据所述环境特征向量输出初始功率指令；其中，所述历史样本奖励根据未闭合荷电状态极值点残差栈闭合时的容量衰减成本按历史荷电状态变化比例重分配确定；功率调控模块，用于基于二次规划模型，以所述初始功率指令作用下的后续荷电状态落入预测收缩区间为约束条件，求解得到目标响应功率指令；其中，所述预测收缩区间由未来调频累积能量极值对储能荷电状态物理上下限收缩得到。

6、本发明提供一种计算机设备，包括处理器以及存储器：所述存储器用于存储计算机程序，并将所述计算机程序的指令发送至处理器；所述处理器根据所述计算机程序的指令执行所述一种基于深度强化学习的储能参与调频市场自适应有功响应方法。

7、本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述一种基于深度强化学习的储能参与调频市场自适应有功响应方法。

8、综上，本发明具有以下有益效果：：

9、本发明通过构建包含未闭合荷电状态极值点残差栈的环境特征向量，在残差栈闭合时将容量衰减成本按历史荷电状态变化比例重分配至样本奖励中训练策略网络，并利用二次规划模型约束初始功率指令作用下的后续荷电状态落入由未来调频累积能量极值对物理上下限收缩得到的预测收缩区间内求解目标响应功率指令，解决了雨流计数非因果性导致的容量衰减成本时间信用归因困难、储能系统在连续单向调频工况下易发生响应死锁以及策略探索引发的越界抖动问题，实现了电池容量衰减成本在历史样本上的准确归因，降低了连续单向调频工况下的荷电状态死锁风险，保障了储能系统运行的物理安全性与调频响应的连续性。

1.一种基于深度强化学习的储能参与调频市场自适应有功响应方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述策略网络的训练过程包括：

3.根据权利要求2所述的方法，其特征在于，在将所述容量衰减成本重分配至经验回放池中对应的历史样本奖励中之后，还包括：

4.根据权利要求2或3所述的方法，其特征在于，所述将所述容量衰减成本重分配至经验回放池中对应的历史样本奖励中，包括：

5.根据权利要求4所述的方法，其特征在于，还包括：

6.根据权利要求1所述的方法，其特征在于，所述未来调频累积能量极值通过以下步骤确定：

7.根据权利要求6所述的方法，其特征在于，所述预测收缩区间通过以下步骤确定：

8.根据权利要求1或7所述的方法，其特征在于，当当前时刻的储能荷电状态超出所述预测收缩区间时，将所述二次规划模型的约束条件由所述预测收缩区间调整为储能荷电状态物理上下限，并在所述二次规划模型的目标函数中增加用于拉回荷电状态的纠偏惩罚项。

9.根据权利要求1所述的方法，其特征在于，所述未闭合荷电状态极值点残差栈具有预设的最大深度，当新入栈的极值点导致栈深度超过所述预设的最大深度时，强制将栈中最早入栈的极值点与所述新入栈的极值点进行匹配闭合，并计算容量衰减成本，并将所述最早入栈的极值点移出所述未闭合荷电状态极值点残差栈。

10.根据权利要求1所述的方法，其特征在于，所述环境特征向量还包括调频里程价格与平滑单位容量衰减成本的比值；其中，所述比值通过将调频里程价格除以经过指数加权移动平均平滑处理的单位容量衰减折算成本计算得到。