一种基于DQN算法的并网逆变器混合同步控制方法

摘要: 本发明涉及电气工程,具体为一种基于dqn算法的并网逆变器混合同步控制方法。背景技术:1、随着新能源发电在电力系统中渗透率的不断提高,并网逆变器作为新能源与电网之...
一种基于DQN算法的并网逆变器混合同步控制方法

本发明涉及电气工程,具体为一种基于dqn算法的并网逆变器混合同步控制方法。

背景技术:

1、随着新能源发电在电力系统中渗透率的不断提高,并网逆变器作为新能源与电网之间的关键接口,其控制策略对系统的稳定性和动态性能具有重要影响。目前并网逆变器主要分为跟网型(grid-following, gfl)和构网型(grid-forming, gfm)两大类,单一控制模式难以同时适应强弱电网的复杂运行工况,亟需兼顾两类控制优势的新型同步策略。

2、针对单一控制模式的不足,有学者提出了混合同步控制策略(hybridsynchronization control, hsc),通过锁相环与功率同步环的融合实现gfl与gfm特性的结合。该策略通常引入一个融合系数,用以权衡跟网与构网两种特性的权重。然而,常规做法是将该系数设为固定值,这导致在电网强度大范围变化时,无法兼顾系统稳定性与动态性能要求,因此,如何实现混合同步控制比例系数的精准自适应调整,在不同电网强度下均能兼顾系统稳定性与动态性能,成为本领域亟待解决的技术问题。针对这一问题,专家学者展开了诸多研究:

3、中国发明专利公开说明书cn121150220a于2025年12月16日公开的《一种构网型逆变器自适应混合同步控制方法》,是根据电网电压跌落程度自适应调节混合同步控制中的自适应系数

k,在保证暂态稳定性的同时,有效改善有功功率传输能力。但是,该自适应控制方法存在以下不足:

4、(1)仅以提高电网电压跌落后

p

eq-

θ曲线幅值、改善暂态稳定性为核心目标,但未将动态响应速度等动态性能指标纳入优化目标,难以在保证暂态稳定的同时实现最优的动态响应特性;

5、(2)自适应系数

k的调节依据单一,在复杂工况下的适应性有限;

6、(3)模式切换点

λ

c的确定缺乏自适应机制,当系统参数或电网条件发生变化时,固定的切换点可能导致控制模式切换不及时或不准确,影响控制效果。

7、中国发明专利公开说明书cn119401547a于2025年2月7日公开的《一种基于跟网和构网混合控制的并网变流器控制方法》,该专利根据短路比scr的大小分段调整跟网型特性占比,显著提升了系统对复杂电网环境的适应性和稳定性,但是,该自适应控制方法存在以下不足:

8、(1)该方法将scr划分为若干区间,每个区间对应固定的跟网型特性占比,无法实现占比的连续、精细化调节,在区间边界处可能出现控制量的突变,影响并网过程的平滑性;

9、(2)各scr区间的划分和对应的占比值依赖人工设定和经验判断,缺乏根据实际系统状态自适应优化调整的机制,难以保证在全工况下的最优控制效果;

10、(3)scr的在线估计依赖特定假设,误差可能影响控制效果,进而影响占比调整的准确性。

技术实现思路

1、本发明所要解决的技术问题是现有混合同步控制策略中固定、分段融合系数调节方式难以兼顾不同电网强度下系统稳定性与动态性能,以及自适应调节融合系数所需电网强度难以获取的问题。

2、本发明的技术方案如下:

3、一种基于dqn算法的并网逆变器混合同步控制方法,该控制方法所涉及的系统的拓扑结构包括依顺序连接的直流电压源、三相桥逆变器、lc滤波器、电网阻抗、电网侧等效电压源及控制器;所述混合同步控制方法包括以下步骤:

4、步骤1,采样得到并网点的三相并网电压

u

a,

u

b,

u

c和三相并网电流

i

a,

i

b,

i

c,并经坐标变换得到

αβ轴并网电压

u

α,

u

β和

αβ轴并网电流

i

α,

i

β;

5、步骤2,根据瞬时功率计算公式计算得到瞬时有功功率值

p

e和瞬时无功功率值

q

e;

6、步骤3,调节有功功率参考值

p

ref,根据瞬时有功功率值

p

e动态响应过程计算得到有功功率调节时间

t

s;

7、步骤4,建立多目标优化模型,确定优化目标和优化指标,所述优化目标为兼顾不同电网强度下系统的稳定性及动态性能,选取短路比

scr来表征电网强度;所述优化指标为稳定裕度pm和有功功率带宽

ω

c

,所述稳定裕度

pm作为表征系统稳定性的性能指标,所述有功功率带宽

ω

c作为表征系统动态性能的性能指标;

8、步骤5,根据步骤4建立的多目标优化模型,确定状态集合

s、动作集合

a和奖励函数

r;

9、步骤6,根据步骤5得到的状态集合

s、动作集合

a和奖励函数

r,利用深度强化学习的dqn算法进行离线学习,得到最优策略

π(

s

y);所述dqn算法包含2个神经网络,分别为在线

q网络和目标

q网络,其中,在线

q网络的神经网络参数记为在线神经网络参数

θ,目标

q网络的神经网络参数记为目标神经网络参数

θ’;所述最优策略

π(

s

y)的表达式如下:

10、

11、式中,

s

y为输入的状态值,

a

y为该状态下经过最优策略

π(

s

y)输出的动作值,

s

y=[

p

ey,

t

sy,

k

’

pscy],其中,

p

ey为状态集合

s中任一状态中的有功功率值,

t

sy为状态集合

s中任一状态中的有功功率表调节时间,

k

’

pscy为状态集合

s中任一状态中上一时刻的融合系数;

a

y=[

k

pscy],其中,

k

pscy为在任一状态

s

y下,经过最优策略后输出的融合系数。

12、优选地,步骤5的实现过程如下:

13、步骤5.1,确定状态集合

s和动作集合

a

14、记系统的当前时刻为

t,

t=1, 2, 3  t,t为系统终止状态的时刻,将系统当前时刻

t的状态记为状态

s

t,st=[

p

e,

t

s,

k

’

psc],式中,

k

’

psc为混合同步控制中功率同步环在

t-1时刻所占比例,记为初始融合系数

k

’

psc;

15、所述状态集合

s为t个状态

s

t的集合,

s={

s1,

s2, …,

st, …,

st},且

s∈{[

p

e,

t

s,

k

psc]};

16、将系统在当前时刻

t采取的动作记为动作

a

t,

a

t=[

k

psc],式中,

k

psc为混合同步控制中功率同步环在当前时刻

t所占比例,记为融合系数

k

psc;

17、所述动作集合

a为t个动作

a

t的集合,

a={

a1,

a2, …,

at, …,

at},且

a{

k

psc |

k

psc∈[0, 1]};

18、步骤5.2,确定奖励函数

r

19、对两个优化指标赋予权值,设置奖励函数

r;所述奖励函数

r表示系统从当前状态到终止状态之间所有动作产生的奖励值的加权和,表达式如下:

20、

21、式中,

γ为折扣因子,折扣因子

γ表示时间的长短对奖励值的影响程度,

r

t为系统在当前时刻

t的状态

s

t采取动作

a

t后得到的单步奖励值,

r

t表达式如下:

22、

23、式中,

k

a为权重系数,

a=1, 2, 3, 4, 5, 6, 7,

s(

x)为标志位函数,当条件

x满足时,

s(

x)=1。

24、优选地,步骤6所述利用深度强化学习的dqn算法进行离线学习,得到最优策略

π(

s

y)的具体实现过程如下:

25、步骤6.1,初始化在线神经网络参数

θ和目标神经网络参数

θ

’,并令

θ

’=

θ;初始化经验回放池

p的容量为

d;

26、记在线

q网络的输入为状态

s,输出为各动作对应的

q值向量

q(

s|

θ);其中

s对应所述状态集合

s中的个体;

q值向量中每个元素对应一个动作的期望累积奖励,动作对应所述动作集合

a的个体;

27、步骤6.2,将系统在当前时刻

t的状态

s

t输入到在线

q网络,采用

ε-贪婪策略选择最终动作

a

t;

28、所述

ε-贪婪策略为以概率

ε从动作集合中随机选取一个动作,以概率1-

ε选取在线

q网络输出

q值最大的对应动作;

29、步骤6.3,系统根据状态

s

t执行动作

a

t,转换到新的状态

s

t+1,同时得到执行动作

a

t后的单步奖励值

r

t,将(

s

t,

a

t,

r

t,

s

t+1)称为状态转换序列,并把(

s

t,

a

t,

r

t,

s

t+1)存入经验回放池

p,系统进入下一时刻

t+1的状态

s

t+1;

30、循环执行步骤6.2~步骤6.3,记经验回放池

p中状态转换序列的个数为

n,若

n=

d,进入步骤6.4,否则返回步骤6.2;

31、步骤6.4,从经验回放池

p中随机抽取

n个状态转换序列,且

n<

d,将

n个状态转换序列作为训练在线

q网络的小批量数据,将小批量数据中的第

k个状态转换序列记为(

s

k,

a

k,

r

k,

s

k+1),

k=1,2,3…n;

32、步骤6.5,根据步骤6.4得到的小批量数据(

s

k,

a

k,

r

k,

s

k+1),计算得到目标

q值

y

k和误差函数

l(

θ),具体表达式如下:

33、

34、式中:max

q(

s

k+1,

a

k+1;

θ

’)表示目标

q网络在下一个状态

s

k+1下输出所有可能动作的最大

q值,

e为期望符号,

q(

s

k,

a

k;

θ)表示在线

q网络在当前状态

s

k执行动作

a

k所输出的

q值;

35、步骤6.6,在线

q网络通过最小化误差函数

l(

θ)更新在线神经网络参数

θ;目标

q网络采用软更新方式更新目标神经网络参数

θ

’,具体表达式如下:

36、

37、式中:

α为学习率,▽为偏导符号,▽

θ

l(

θ)表示损失函数

l(

θ)对

θ求偏导,

τ为软更新系数;

38、步骤6.7,给定步长step,最大步长stepmax,训练回合数

m和最大训练回合数m,step=1, 2, 3, …, stepmax,m=1, 2, 3, …, m;

39、当完成一次步骤6.4~步骤6.6时,一个步长的训练过程完成;重复执行步骤6.4~步骤6.6,当stepmax个步长的训练过程完成时,一个回合的训练过程完成;

40、下一个回合的训练过程从步骤6.2开始,到步骤6.6结束;重复执行步骤6.2~步骤6.6,当m个回合的训练过程完成时,dqn算法的学习过程结束;

41、记一个训练回合的平均奖励为,在线神经网络参数

θ和目标神经网络参数

θ

’朝着最大化的方向更新,最终得到最优策略

π(

s

y)。

42、优选地,步骤2所述瞬时功率计算公式为:

43、。

44、优选地,步骤3所述有功功率调节时间

t

s的表达式为:

45、

46、式中,

p

e(

τ)为任意时刻

τ时的瞬时有功功率值,

p’

ref为调节后新的有功功率参考值,

p

e(

t0)为有功功率参考值发生改变的

t0时的瞬时有功功率值,

δ为误差带系数。

47、与现有技术相比,本发明的有益效果为:

48、1.本发明采用基于dqn算法对并网逆变器混合同步控制融合系数进行优化配置,实现了融合系数的连续自适应精准调节,可在不同电网强度的全工况范围内实现融合系数的动态最优匹配,显著提升了控制策略的调节精度与工况适配能力。

49、2.本发明无需直接获取电网强度信息,仅通过本地电气量与历史控制量即可驱动dqn算法输出最优融合系数,完成融合系数的自适应优化,规避了传统自适应控制方案依赖短路比实时检测的技术局限,降低了控制方案的工程实现门槛与硬件成本,提升了方案的现场适用性与运行可靠性。