基于CLF-CBF约束残差强化学习的三电平NPC储能变流器控制方法

本发明涉及储能系统调控，具体是一种基于clf-cbf约束残差强化学习的弱电网三电平npc储能变流器控制方法。

背景技术：

1、随着高比例新能源接入电力系统，电源侧与负荷侧的双重随机性导致系统惯量支撑能力与频率调节特性显著恶化。为平抑功率波动、削峰填谷并提供紧急功率支撑，以电化学储能为代表的新型储能装机规模迎来爆发式增长。储能变流器(power conversionsystem，pcs)作为电池与电网之间的核心接口装置，其控制性能直接决定并网电能质量、系统运行稳定性与电池使用寿命。在中大功率储能电站应用中，三相三电平中点钳位(neutral point clamped，npc)拓扑凭借器件电压应力低、输出谐波特性优、单台容量大的优势，已成为主流技术方案。

2、在新能源高比例渗透的偏远地区、末端配电网等场景中，电网普遍呈现弱电网特性，表现为短路比(short circuit ratio，scr)低、电网阻抗大且波动、电压畸变与频率偏移明显，给npc型储能变流器的稳定运行带来严峻挑战。弱电网环境下，lcl滤波器谐振点易随电网阻抗偏移，同时npc拓扑固有的中点电位平衡问题会被扰动进一步放大，导致器件应力不均、谐波畸变升高，严重时甚至引发系统失稳。

3、目前工业界主流的npc普遍采用固定参数pi电流控制器，该方案结构简单、可靠性高，在强电网标称工况下可实现良好的电流跟踪效果。但其存在固有局限：首先是pi参数针对标称工况整定，当弱电网下电网阻抗波动、器件参数随温度漂移时，电流跟踪精度下降、总谐波畸变率(total harmonic distortion，thd)升高，且中点电位波动加剧，无法同时兼顾谐波抑制与电位平衡，极端情况下甚至引发lcl滤波器谐振，导致系统失稳；其次是传统pi控制多针对单向并网逆变器设计，对储能变流器pcs的双向充放电运行适配不足，充放电电流过零切换时易出现畸变与电流冲击，加速电池老化；另外该控制逻辑仅关注并网侧电气指标与拓扑自身的中点电位约束，未将电池荷电状态(state of charge，soc)、充放电倍率等电池侧安全约束纳入实时控制闭环，依赖电池管理系统的事后跳闸保护，无法从控制源头避免过充过放与电流冲击损伤。例如授权专利cn202311176424.9提出一种三电平储能变流器的控制方法，通过建立输出电压及中点电压预测模型，对不同开关状态进行预测评价并选择最优空间矢量，实现输出控制及直流侧中点电位平衡。但该方案本质仍属于基于精确模型的预测控制：一方面其控制性能高度依赖系统模型精度，弱电网下电网阻抗波动、器件参数随温度漂移时，模型失配会直接导致电流跟踪精度下降、总谐波畸变率升高、中点电位波动加剧；另一方面该方案未设置独立的实时安全约束层，电池侧的运行安全仅依赖电池管理系统的事后跳闸保护，无法从控制源头规避过充过放与电流冲击损伤。

4、为提升复杂工况下逆变器的控制性能，现有研究开始将强化学习(reinforcementlearning，rl)引入电力电子控制领域，主要分为两类技术路线：一类是完全替换式方案，用强化学习控制器直接替代传统pi电流环，部分研究已针对npc拓扑开展探索，该方案虽自适应能力强，但缺乏安全约束机制，训练与运行过程中的探索动作易引发过流、过压与中点电位越限故障，且无可靠兜底控制回路，可解释性与工业可靠性不足，无法应用于安全关键的储能场景；另一类是增益调度式方案，用强化学习在线调整pi控制器的比例、积分系数，该方案保留了pi控制结构，但性能提升空间有限，且仍未解决实时安全约束的问题。例如授权专利cn202410397056.9提出基于强化学习的模块化多电平变流器底层控制方法，通过强化学习智能体直接生成底层控制动作，通过奖励函数兼顾电压跟踪、电容电压平衡和开关损耗。但该方案采用强化学习完全替代传统控制器的架构，无稳定基线控制器兜底，可解释性与工业可靠性不足，训练与运行过程中的探索动作易引发过流、过压故障；同时其安全约束仅通过奖励函数实现软引导，不具备确定性的约束满足能力，且未针对储能变流器的双向充放电特性与电池侧安全需求做专属设计，无法直接适配npc型储能变流器的工程场景。

5、现有针对npc拓扑的相关研究均面向单向光伏并网场景，安全约束仅覆盖并网侧电气指标，完全未考虑储能系统的双向运行特性与电池侧运行安全，且未与残差强化学习架构、npc拓扑约束深度融合，尚未形成“基线兜底-性能优化-安全强制”的三层完整控制体系，也无法同时覆盖并网电气安全、拓扑自身约束与电池运行安全三重目标。

6、综上，现有技术无法同时满足弱电网下npc型储能变流器pcs的三大核心需求：优异的电流控制与中点电位平衡性能、可靠的并网电气安全、严格的电池运行安全。因此，亟需一种适配双向充放电运行、兼顾三重约束的npc型储能变流器控制方法，解决现有技术的上述缺陷。

技术实现思路

1、针对现有技术的不足，本发明拟解决的技术问题是，提供一种基于clf-cbf约束残差强化学习的弱电网三电平npc储能变流器控制方法。该方法针对面向弱电网场景下的三电平npc储能变流器而设定，构建了pi基线兜底、残差强化学习性能优化、clf-cbf-qp安全强制的三层串联式控制体系，通过架构层面的解耦协同，使其能够同时兼顾并网电气安全、拓扑自身约束与电池运行安全的问题。

2、本发明是采用如下技术方案实现的：

3、一种基于clf-cbf约束残差强化学习的三电平npc储能变流器控制方法，应用于三相三电平中点钳位型储能变流器，所述储能变流器直流侧连接配套电池管理系统的电池储能单元，交流侧经lcl滤波器接入电网，采用由pi基线控制器、残差强化学习校正模块、clf-cbf-qp安全滤波模块构成的三层串联式控制架构，所述方法包括以下步骤：

4、s1、实时采集并网侧三相电流、三相电网电压、直流母线电压、电池荷电状态及充放电电流状态量，经锁相环与park变换转换为同步旋转dq坐标系下的电气分量；

5、s2、pi基线控制器接收d、q轴电流参考指令与实时反馈电气分量，输出基线电压控制指令，作为系统稳定基底保障标称工况下的闭环稳定运行；

6、s3、残差强化学习校正模块采集并网侧与电池侧的全量系统状态，输出有界的残差电压校正量并叠加至基线电压控制指令，得到标称控制指令，以补偿建模误差、电网扰动与器件参数漂移；

7、s4、clf-cbf-qp安全滤波模块在每个控制周期对标称控制指令进行实时校验，通过求解二次规划问题，以对标称控制指令修正量最小为目标，强制满足并网侧电气安全与电池侧运行安全的全部约束，输出最终安全控制指令；

8、s5、将最终安全控制指令输入空间矢量脉宽调制模块，转换为功率开关器件的驱动信号，驱动三相三电平中点钳位型储能变流器运行。

9、本发明还保护使用上述控制方法的基于clf-cbf约束残差强化学习的三电平npc储能变流器控制系统。

10、与现有技术相比，本发明的有益效果是：

11、本方法采用三层串联式控制架构，分别设计pi基线控制器、残差强化学习校正、clf-cbf-qp实时安全滤波三项核心方案遵循“解耦分工、逐层兜底”的设计原则，pi层保障系统基础稳定，rl层提升动态控制性能，安全层严守运行安全底线，任意一层失效均不会导致系统崩溃。

12、本发明采用“无约束热启动+带约束精调”的两阶段训练流程，第一阶段关闭安全层让智能体快速掌握基础校正规律，第二阶段开启安全层使策略主动适配安全边界，有效破解了约束下训练易震荡、收敛慢的工程难题。同时统一三层模块的约束边界，强化学习的soc自适应动作限幅与cbf安全约束的阈值梯度对齐，pi基线的标称稳定区间作为clf与cbf约束的基础可行域，让三层约束从松到严逐层收敛，保证二次规划始终存在可行解，避免了约束冲突。

13、1、pi基线控制器模块：pi基线控制器是整个系统的可靠性核心，作为底层稳定基底接收电流参考指令与实时采样反馈量，输出基线电压控制指令，保证标称工况下的闭环稳定。

14、该模块采用同步dq坐标系下的双向电流控制结构，针对储能变流器的宽soc波动与双向运行特性做专属优化：通过锁相环获取电网电压相位，将采样得到的三相并网电流、三相电网电压经park变换转换为同步旋转dq坐标系下的直流量，放电运行时d轴电流参考为正值、充电运行时为负值，通过单电流环即可实现双向功率控制；采用比例-积分控制结构实现电流无静差跟踪，同时加入dq轴交叉耦合补偿项抵消轴间耦合，引入电网电压前馈项加快电网扰动响应速度，积分器支持双向饱和限幅，适配正负电流的双向无静差跟踪。

15、针对电池端电压随soc宽范围波动的特性，在pi原始输出基础上引入直流电压前馈校正，抵消直流电压变化对pwm调制增益的影响，保证不同soc、不同直流电压水平下调制环路等效增益一致，提升宽soc区间的控制一致性。

16、2、残差强化学习校正模块：本模块作为性能优化层，采集并网侧与电池侧的全量系统状态，输出有界的残差电压校正量叠加至pi基线指令上，得到标称控制指令，用于补偿建模误差、电网扰动与参数漂移，提升电流跟踪精度与谐波抑制效果。模块采用近端策略优化算法训练，核心设计如下：

17、状态空间设计：选取9维物理可测系统变量构成状态向量，涵盖d/q轴电流跟踪误差、逆变器侧电感电流实测值、电网电压实测值、电池荷电状态、实时直流母线电压、有功功率跟踪误差，所有状态量基于标称值归一化映射至[-1,1]区间，使智能体可同时感知并网侧与电池侧完整运行信息。

18、动作空间设计：智能体输出d、q轴残差电压校正量并直接叠加至pi基线输出；采用soc自适应动态限幅机制，标称soc工作区间保留完整校正权限，高soc区间收窄充电方向限幅、放宽放电方向限幅，低soc区间收窄放电方向限幅、放宽充电方向限幅，从动作生成层面降低电池越界风险。

19、多目标奖励函数：围绕“电流精度优先、动作适度干预、兼顾电池安全”原则，由电流跟踪误差惩罚项、残差动作幅值惩罚项、动作平滑度惩罚项、功率跟踪误差惩罚项、电池电流变化率惩罚项、soc边界风险惩罚项加权组成，所有系数经量纲归一化处理，平衡各优化目标权重。

20、两阶段训练策略：采用无约束热启动和带约束精调的训练流程，第一阶段在soc标称工作区间内关闭安全层开展基础工况训练，使智能体快速掌握基础校正规律；第二阶段开启完整安全层，在全soc区间、弱电网阻抗波动、器件参数漂移等极端复合工况下精调策略，兼顾训练效率与最终运行安全性。

21、3、clf-cbf-qp实时安全滤波模块：本模块作为顶层独立安全防线，不依赖pi参数与强化学习策略优劣，在每个控制周期对标称控制指令进行实时校验，通过求解小规模二次规划问题，在对标称控制指令修正量最小的前提下强制满足所有安全约束，输出最终安全控制指令。

22、clf稳定约束：基于dq轴电流跟踪误差构建二次型控制李雅普诺夫函数，强制满足电流误差指数收敛的约束条件，并配置松弛变量避免极端工况下约束冲突，从数学上保证闭环系统的电流跟踪稳定性，避免弱电网扰动或残差校正动作引发振荡失稳。

23、cbf安全约束：基于控制障碍函数的前向不变性原理，构建并网侧电气安全与电池侧运行安全共5类安全约束：并网侧包含并网电流幅值约束、随soc动态变化的直流母线电压安全约束、npc中点电位平衡约束；电池侧包含soc安全域约束、充放电倍率约束，从控制源头保证系统状态始终处于安全区间。

24、qp优化求解：以最小化最终控制指令与标称控制指令的偏差为目标函数，将clf稳定约束与全部cbf安全约束转化为线性不等式约束，构建标准凸二次规划问题实时求解；求解得到的最优解即为最终安全控制指令，经空间矢量脉宽调制模块转换为开关驱动信号，驱动npc变流器的功率开关器件运行。

25、本发明考虑储能系统的双向运行特性与电池侧运行安全，并网电气、npc拓扑、电池安全三类约束耦合性强，仅靠奖励函数无法实现严格的硬约束满足，固定动作限幅无法匹配soc动态变化的安全边界，性能与安全难以平衡的问题，创造性地将多应用于功率外环、配电网电压调节等慢动态场景残差强化学习(residual reinforcement learning，rrl)应用于快速内环电流控制（内环控制周期短、实时性要求极高，常规强化学习推理延迟难以适配；电力电子系统强耦合、非线性强，残差校正易激发lcl谐振、破坏闭环稳定；快动态场景下策略训练收敛难度大，易出现震荡）中，再集合clf-cbf-qp安全滤波和pi基线控制器形成整体协同架构，通过在基线控制器之上叠加微小的残差校正量实现性能优化，兼顾了基线控制的稳定性与强化学习的自适应能力。选取低维物理可测状态量、采用轻量全连接网络，将推理时延控制在控制周期内；以pi控制器为稳定基线，限制残差校正量幅值，保留基线稳定兜底能力；搭配带clf稳定约束的安全滤波层，通过clf-cbf-qp安全层将多约束转化为确定性线性硬约束，与奖励函数形成“软引导+硬拦截”的双层防护，兼顾性能优化与安全底线，从数学上保障电流误差收敛，抑制振荡风险，直接适配npc型储能变流器的工程需求。

26、控制障碍函数(control barrier function，cbf)与控制李雅普诺夫函数(control lyapunov function，clf)相结合的二次规划(quadratic programming，qp)框架，可在控制端实现确定性的约束满足与稳定保证，储能变流器双向充放电、soc宽范围波动，安全约束呈动态时变特性，针对储能特性构建动态cbf约束，将直流电压、soc安全域设计为随运行状态自适应变化的形式，同时为clf约束配置松弛变量，避免多约束冲突导致的求解不可行；适配快动态实时性要求：将全部稳定与安全约束转化为线性不等式，构建小规模凸二次规划问题，采用有效集法快速求解，满足内环短控制周期的实时性要求；以三层串联架构实现深度融合：clf-cbf-qp作为独立后置安全层，以最小干预为修正原则，既保留rl的性能优化收益，又实现确定性安全兜底；配合两阶段训练策略让rl策略主动适配安全约束，减少无效修正，形成“基线兜底-性能优化-安全强制”的三层完整控制体系，同时覆盖并网电气安全、拓扑自身约束与电池运行安全三重目标。

27、本技术面向弱电网场景下的三电平npc储能变流器，首次与各模块针对储能场景的定制化改进，同时解决现有方案自适应能力不足、安全约束缺失、未适配储能双向运行与电池安全的三类技术问题。针对储能变流器双向充放电、宽soc运行：设计支持双向饱和限幅的电流环结构，适配正负电流的双向无静差跟踪，改善充放电电流过零切换畸变；新增直流电压前馈校正环节，抵消电池soc波动导致的直流母线电压变化对pwm调制增益的影响，提升全soc区间的控制一致性。改进解决了传统pi控制直接应用于储能pcs时的性能劣化问题，具备场景适配层面的创造性。残差强化学习中使智能体同时感知并网侧与电池侧运行信息，突破现有方案仅关注并网侧电气量的局限，在动作生成层面主动适配电池安全边界，实现标称区间保性能、边界区间降风险的差异化控制，本技术首次将clf-cbf-qp与残差强化学习架构深度融合并应用于npc储能变流器控制，在变流器电流环控制层面，同时覆盖并网侧电气安全、npc 拓扑自身约束、电池侧运行安全三重维度共5类安全约束，突破现有方案仅覆盖并网侧指标的局限；构建随soc动态变化的直流母线电压安全域，替代传统固定阈值约束，更贴合电池充放电伏安特性，避免误限制与漏保护；以“最小干预”为原则将其作为独立后置安全层，与前端残差强化学习形成奖励软引导+约束硬拦截的双重安全防护，既保证安全约束的确定性满足，又最大限度保留强化学习的性能优化收益，解决现有强化学习控制安全可靠性不足的痛点。三层架构遵循解耦分工、逐层兜底的设计原则，任意一层失效均不会导致系统崩溃，显著提升工业场景下的运行可靠性；同时三者协同实现了稳定、性能、安全三大目标的同时最优，产生了1+1+1>3的技术效果。