一种基于强化学习的三相逆变器并联下垂控制方法与流程

摘要: 本发明涉及电力电子控制,尤其涉及一种基于强化学习的三相逆变器并联下垂控制方法。背景技术:1、随着分布式电源、微电网和新能源供电场景的不断发展,针对三相逆变器并联...
一种基于强化学习的三相逆变器并联下垂控制方法与流程

本发明涉及电力电子控制,尤其涉及一种基于强化学习的三相逆变器并联下垂控制方法。

背景技术:

1、随着分布式电源、微电网和新能源供电场景的不断发展,针对三相逆变器并联运行的下垂控制及功率协调技术受到广泛关注。现有的三相逆变器并联控制方法主要依赖固定下垂系数、预设虚拟阻抗参数以及经验调节策略进行功率分配,但是在实际应用中普遍存在以下问题:

2、并联运行过程中不同逆变器的额定容量、线路阻抗和负载分担条件存在差异,固定下垂参数难以同时兼顾有功功率分配、无功功率分配和环流抑制,容易导致功率状态偏离和并联偏差状态持续累积;虚拟阻抗参数通常依赖人工设定,面对负载突变、电压频率波动和采样扰动时缺少在线自适应整定能力,使参数整定评价值难以稳定下降并导致调节过程出现反复振荡;传统参数寻优方法在扰动下垂系数和虚拟阻抗参数时容易引入公共母线扰动,候选更新参数缺少运行边界约束和评价迟滞判定,可能造成输出电流越限、电压频率偏离扩大以及并联下垂控制结果不稳定。

3、因此,如何提供一种基于强化学习的三相逆变器并联下垂控制方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于强化学习的三相逆变器并联下垂控制方法,本发明利用改进型kiefer-wolfowitz参数整定过程,对三相逆变器并联运行中的下垂系数和虚拟阻抗参数进行自适应整定,并通过加权和为零的镜像扰动向量、安全投影和评价迟滞判定实现参数稳定更新,具备功率分配更均衡、环流抑制能力更强、电压频率偏离更小以及并联运行稳定性更高的优点。

2、根据本发明实施例的一种基于强化学习的三相逆变器并联下垂控制方法,包括如下步骤:

3、步骤一:采集每一台三相逆变器的运行采样数据、容量标识和现行下垂控制参数,形成并联运行数据;

4、步骤二:对并联运行数据执行功率换算和偏差归集,形成功率状态以及表征功率分配、环流与电压频率偏离的并联偏差状态;

5、步骤三:基于并联偏差状态形成参数整定状态量,并将并联偏差状态按偏差幅值归并为参数整定评价值;

6、步骤四:以下垂系数和虚拟阻抗参数作为待整定参数,建立改进型kiefer-wolfowitz参数整定过程;

7、步骤五:依据容量标识确定逆变器容量权重,按逆变器容量权重形成加权和为零的镜像扰动向量,并由镜像扰动向量与待整定参数形成正向扰动参数组和反向扰动参数组;

8、步骤六:采用改进型kiefer-wolfowitz参数整定过程分别处理正向扰动参数组和反向扰动参数组对应的参数整定评价值,形成梯度估计量和候选更新参数;

9、步骤七:按运行边界约束对候选更新参数进行安全投影,并对投影结果执行评价迟滞判定,形成目标下垂控制参数;

10、步骤八:依据目标下垂控制参数执行三相逆变器并联下垂控制,生成并联下垂控制结果。

11、可选的,三相逆变器为接入同一交流母线并参与并联下垂控制的电力电子变换设备,每一台三相逆变器具有独立的逆变器标识、容量标识和现行下垂控制参数。

12、可选的,所述步骤一具体为:

13、按照统一采样周期采集每一台三相逆变器的交流侧电压采样值、交流侧电流采样值、直流母线电压采样值和输出频率采样值,并按照逆变器标识归集采样结果,形成运行采样数据;

14、读取每一台三相逆变器的容量标识,将容量标识与逆变器标识进行配对,使容量标识用于表征对应三相逆变器的额定容量;

15、获取每一台三相逆变器在采样时刻执行的现行下垂控制参数,现行下垂控制参数包括下垂系数和虚拟阻抗参数;

16、以采样时刻和逆变器标识为索引,将运行采样数据、容量标识和现行下垂控制参数进行关联编排,形成并联运行数据。

17、可选的,所述步骤二具体为:

18、从并联运行数据中提取同一采样时刻下每一台三相逆变器的运行采样数据,对运行采样数据中的交流侧电压采样值、交流侧电流采样值、直流母线电压采样值与输出频率采样值执行相位对齐、幅值标定与时间位置校正,形成电压电流同步记录;

19、对电压电流同步记录执行三相坐标变换,将交流侧电压采样值与交流侧电流采样值转换为旋转坐标系下的电压分量与电流分量,并依据电压分量与电流分量执行功率换算,生成每一台三相逆变器的功率状态;

20、从并联运行数据中提取容量标识,依据容量标识对功率状态进行容量基准归一,计算每一台三相逆变器相对于容量基准的功率分配偏差,并依据电压电流同步记录计算环流偏差与电压频率偏差,形成偏差归集记录;

21、按照采样时刻排列偏差归集记录,将功率分配偏差、环流偏差与电压频率偏差关联整理,形成表征功率分配、环流与电压频率偏离的并联偏差状态。

22、可选的,所述步骤三具体为:

23、从并联偏差状态中提取同一采样时刻对应的功率分配偏差、环流偏差和电压频率偏差,按照逆变器标识和采样时刻进行排列,形成偏差状态记录;

24、对偏差状态记录执行幅值归一和方向标定,将功率分配偏差、环流偏差和电压频率偏差转换为同一量纲下的偏差分量,按照偏差分量的排列结果形成参数整定状态量;

25、将参数整定状态量作为改进型kiefer-wolfowitz参数整定过程的学习状态,使参数整定状态量用于表征待整定参数在当前采样时刻的调整依据;

26、按照偏差分量的幅值为功率分配偏差、环流偏差和电压频率偏差分配评价权重,依据评价权重对偏差分量进行归并计算,形成作为强化学习收益反馈的参数整定评价值。

27、可选的,所述步骤四具体为:

28、从现行下垂控制参数中提取每一台三相逆变器的下垂系数和虚拟阻抗参数,将下垂系数按照有功调节方向和无功调节方向划分,将虚拟阻抗参数按照电阻调节方向和电抗调节方向划分,并按逆变器标识排列形成待整定参数;

29、将参数整定状态量确定为改进型kiefer-wolfowitz参数整定过程的学习状态,将参数整定评价值确定为改进型kiefer-wolfowitz参数整定过程的强化学习收益反馈,并建立学习状态、待整定参数和强化学习收益反馈之间的参数整定关联关系;

30、围绕待整定参数配置双侧扰动规则,双侧扰动规则用于在同一待整定参数上形成幅值相同且方向相反的参数扰动,并为正向扰动参数组和反向扰动参数组提供生成规则;

31、围绕待整定参数配置随机逼近更新规则,随机逼近更新规则用于依据正向扰动参数组对应的参数整定评价值和反向扰动参数组对应的参数整定评价值计算梯度估计量,并依据梯度估计量生成候选更新参数;

32、将参数整定关联关系、双侧扰动规则和随机逼近更新规则合并,建立改进型kiefer-wolfowitz参数整定过程。

33、可选的,所述步骤五具体为:

34、从并联运行数据中提取容量标识,依据容量标识确定每一台三相逆变器的额定容量,将额定容量占并联额定容量总和的比例确定为逆变器容量权重;

35、按照逆变器标识排列待整定参数,将同一台三相逆变器对应的下垂系数和虚拟阻抗参数归入同一参数单元,并在参数单元内确定有功调节方向、无功调节方向、电阻调节方向和电抗调节方向对应的参数位置;

36、依据扰动尺度为每一参数位置配置初始扰动分量,按照同一调节方向对初始扰动分量执行容量加权修正,使每一台三相逆变器对应的扰动分量与逆变器容量权重的乘积求和为零,形成镜像扰动向量;

37、将镜像扰动向量沿正向叠加至待整定参数,形成正向扰动参数组,将镜像扰动向量沿反向叠加至待整定参数,形成反向扰动参数组;

38、将正向扰动参数组、反向扰动参数组与参数整定状态量建立对应关系,使正向扰动参数组和反向扰动参数组进入改进型kiefer-wolfowitz参数整定过程。

39、可选的,所述步骤六具体为:

40、采用改进型kiefer-wolfowitz参数整定过程,在同一参数整定状态量下分别以正向扰动参数组和反向扰动参数组执行三相逆变器并联下垂控制,获得正向扰动参数组对应的参数整定评价值和反向扰动参数组对应的参数整定评价值;

41、对正向扰动参数组对应的参数整定评价值和反向扰动参数组对应的参数整定评价值执行差值计算,形成评价差值,并按照参数位置将评价差值与镜像扰动向量中的扰动分量进行关联;

42、依据评价差值、扰动尺度和扰动分量,按照kiefer-wolfowitz随机逼近规则计算待整定参数在有功调节方向、无功调节方向、电阻调节方向和电抗调节方向的梯度估计量;

43、依据梯度估计量和更新步长对待整定参数执行参数修正,形成候选更新参数,使候选更新参数作为安全投影的处理对象。

44、可选的,所述步骤七具体为:

45、从并联运行数据和并联偏差状态中提取电压频率边界、输出电流边界、环流边界和参数边界,依据电压频率边界、输出电流边界、环流边界和参数边界形成运行边界约束;

46、按照运行边界约束对候选更新参数进行边界比对,将边界比对未通过的参数分量映射至运行边界约束限定范围内,将边界比对通过的参数分量保留为原数值,形成投影结果;

47、依据投影结果对应生成投影评价值,将投影评价值与参数整定评价值进行比较,形成评价变化记录;

48、按照连续控制窗口对评价变化记录执行评价迟滞判定,评价迟滞判定用于判断投影结果在连续控制窗口内是否保持参数整定评价值下降状态;

49、在评价迟滞判定通过时,将投影结果确定为目标下垂控制参数,在评价迟滞判定未通过时,将现行下垂控制参数确定为目标下垂控制参数。

50、可选的,所述步骤八具体为:

51、按照逆变器标识对目标下垂控制参数进行参数分配,将每一台三相逆变器对应的下垂系数和虚拟阻抗参数整理为目标参数分配记录;

52、利用目标参数分配记录中的下垂系数对功率状态进行下垂换算,计算每一台三相逆变器的频率参考量和电压参考量,形成下垂控制参考记录;

53、利用目标参数分配记录中的虚拟阻抗参数对运行采样数据进行阻抗补偿换算,计算每一台三相逆变器的虚拟阻抗补偿量,并将虚拟阻抗补偿量与下垂控制参考记录进行合成,形成并联控制参考记录;

54、依据并联控制参考记录生成每一台三相逆变器的调制控制量,并按照调制控制量执行三相逆变器并联下垂控制,形成并联运行控制记录;

55、对并联运行控制记录执行功率状态更新和并联偏差状态更新,并将目标下垂控制参数、更新后的功率状态和更新后的并联偏差状态进行关联整理,生成并联下垂控制结果。

56、本发明的有益效果是:

57、本发明通过采集每一台三相逆变器的运行采样数据、容量标识和现行下垂控制参数,形成能够同时反映运行状态、容量差异和控制参数状态的并联运行数据,再通过功率换算和偏差归集形成功率状态以及并联偏差状态,使三相逆变器并联运行中的功率分配偏差、环流偏差和电压频率偏差能够被统一纳入参数整定链路。与固定下垂系数和人工设定虚拟阻抗参数的传统控制方式相比,本发明能够根据并联偏差状态形成参数整定状态量,并将偏差幅值归并为参数整定评价值,使下垂系数和虚拟阻抗参数的调整不再依赖人工经验,而是能够围绕功率分配均衡、环流抑制和电压频率稳定建立闭环评价依据。通过将参数整定状态量作为改进型kiefer-wolfowitz参数整定过程的学习状态,将参数整定评价值作为强化学习收益反馈,本发明能够在三相逆变器并联运行过程中持续识别不同采样时刻下的偏差变化趋势,使待整定参数的调整方向与实际运行偏差之间建立稳定对应关系,从而提高并联逆变器在额定容量不一致、负载变化和线路阻抗差异条件下的自适应控制能力。

58、本发明进一步利用逆变器容量权重构造加权和为零的镜像扰动向量,使正向扰动参数组和反向扰动参数组围绕待整定参数成对形成,避免普通扰动寻优在并联母线中引入共模扰动,降低参数整定过程中对公共电压和公共频率的冲击。通过改进型kiefer-wolfowitz参数整定过程分别处理正向扰动参数组和反向扰动参数组对应的参数整定评价值,并依据评价差值、扰动尺度和扰动分量计算梯度估计量,本发明能够在不依赖精确线路阻抗模型的情况下得到待整定参数的有效更新方向,提高虚拟阻抗参数和下垂系数协同整定的准确性。进一步地,本发明按运行边界约束对候选更新参数进行安全投影,并对投影结果执行评价迟滞判定,使目标下垂控制参数只有在运行边界满足并且参数整定评价值持续下降时才被确定,能够抑制采样噪声、瞬态负载扰动和单次评价波动造成的参数误更新,降低输出电流越限、电压频率偏离扩大和环流增大的风险。由此,本发明能够在保证安全边界的基础上提升并联下垂控制结果的稳定性,使三相逆变器并联系统获得更均衡的功率分担、更平稳的电压频率响应和更可靠的并联运行效果。