一种基于深度强化学习的提升风能捕获的转速跟踪目标优化方法与流程

1.本发明属于风机控制领域，具体涉及一种基于深度强化学习的提升风能捕获的转速跟踪目标优化方法。


背景技术：

2.在额定风速以下的变速阶段，变速风机的最大化风能捕获一般依靠最大功率点跟踪(maximum power point tracking，mppt)控制来实现。mppt控制具有多种实现方法，包括叶尖速比法、最优转矩法和爬山法等，其原理均是通过转速控制，使风机运行于最优叶尖速比所对应的最优转速，从而使风能利用系数达到最大值。叶尖速比法实现起来较为简单,其通过估计算法计算得到风速信息,在此基础上计算最优转速,即当风机以此转速运行时,可实现最大的风能捕获。
3.早期的mppt控制大多没有考虑到风速及受其影响的最优转速的波动特性。由于风速不断变化，风机难以始终运行于最优叶尖速比，进而导致风能捕获效率低于理论上的最大值。随着低风速地区风能资源的开发利用以及单机容量的不断增大，上述问题愈加凸显。更低的平均风速、更高的湍流强度和更大的转动惯量都给依靠mppt控制实现最大化风能捕获带来了挑战。
4.近年来，针对叶尖速比法的改进已考虑到转速跟踪目标的波动特性，非线性反馈控制、滑模控制、预测控制等方法的应用有效提升了风机在湍流风况下的转速跟踪性能。然而，转速跟踪性能的提升往往依赖于增大风机的不平衡转矩，依旧受制于其慢动态特性：一方面，发电机有限的电磁转矩调节范围使不平衡转矩不能无限地增大，导致大转动惯量风机难以实时精确地跟踪快速变化的参考转速指令；另一方面，激进的电磁转矩调节会增大风机的结构载荷，同时更为剧烈的风电功率波动也不利于电网的接入和消纳。
5.面对大型风机固有的慢动态特性和湍流风速的快速波动，传统的以最优转速为跟踪目标的mppt控制实际上已很难实现最大化风能捕获。为此，包括参考输入优化和利用预估风速在内的新视角也被引入叶尖速比法中，以进一步提升风机的风能捕获效率。研究指出：给定一个相对保守(相对于最优转速的变化频率或/和变化幅值更低)但更为匹配风机慢动态特性的转速跟踪目标反而可以有效提升其风能捕获效率。不同于跟踪最优转速的方式，跟踪优化后的转速跟踪目标可以使风机在快速波动的湍流风下始终运行在预先设定的参考轨迹下，有助于实现最大化风能捕获。
6.然而，从参考输入的设定到转速跟踪的实现再到风能捕获效率的计算是一系列复杂的过程，不仅涉及风机自身的非线性气动特性，还会受到转速跟踪控制器性能的影响。因此，很难直接对转速跟踪目标进行优化求解，这也提高了该问题的复杂程度。


技术实现要素：

7.本发明所解决的技术问题在于提供一种基于深度强化学习的提升风能捕获的转
速跟踪目标优化方法，在考虑风机慢动态特性和风能分布特性的基础上，通过ddpg深度强化学习算法给出优化后的参考转速以提升风机的风能捕获效率。
8.实现本发明目的的技术解决方案为：一种基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，包括以下步骤：
9.步骤1、获取风速、风机转速信息；
10.步骤2、基于ddpg算法构建参考转速优化模型；
11.步骤3、对神经网络智能体进行训练；
12.步骤4、判断神经网络智能体是否训练成熟，若训练成熟，转至步骤5；否则，转至步骤1；
13.步骤5、将验证风速输入到成熟的神经网络智能体中，神经网络智能体输出参考转速变化量δω
ref
，对其进行积分运算得到优化后的参考转速ω
ref
。
14.本发明与现有技术相比，其显著优点为：
15.(1)本发明综合考虑了风机的慢动态特性和风能分布特性对风能捕获的影响，不仅可以匹配风机的慢动态特性，而且更侧重高风速下的转速跟踪。
16.(2)本发明提出的方法并不需要重新设计转速跟踪控制器，在能够保证良好转速跟踪效果的同时，也能有效提升湍流风速下风机的风能捕获效率。
17.下面结合附图和实施例对本发明作进一步详细描述。
附图说明
18.图1为本发明的步骤流程图。
19.图2为本发明实施例中使用的风速序列，其中图(a)为训练过程使用的风速序列，图(b)为验证过程使用的风速序列。
20.图3为本发明实施例中的智能体训练曲线图。
21.图4为本发明实施例中优化转速跟踪目标后的转速跟踪效果图。
22.图5为本发明实施例中不同方法下转速跟踪效果对比图。
具体实施方式
23.结合图1，一种基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，包括以下步骤：
24.步骤1、获取风速、风机转速信息；
25.步骤2、基于ddpg算法构建参考转速优化模型，具体为：
26.步骤2
‑
1：设定状态空间，包括风机的转速ω
r
和风速v；
27.步骤2
‑
2：设定动作空间，包括参考转速的变化量δω
ref
；
28.步骤2
‑
3：设定单步奖励函数，对增大风能捕获进行正奖励，同时对增大参考转速变化进行负奖励，即
29.r=r

r
‑
30.其中，为正奖励，k1为奖励系数且k1＞0，p
a
为风机捕获的风功率，为风机转速加速度，δt为计算时间间隔；r
‑
＝k2δω
ref
为负奖励，k2奖励系数k2＜0。
31.步骤3、对神经网络智能体进行训练，具体为：
32.所述神经网络智能体包括执行网络和评价网络；
33.所述执行网络输入风机的转速ω
r
和风速v，输出动作信号，即参考转速的变化量δω
ref
，并通过评价网络输出的价值函数值进行网络参数更新迭代；
34.所述评价网络输入风机的转速ω
r
和风速v和参考转速的变化量δω
ref
，输出价值函数信号，并利用单步奖励函数值和价值函数值进行网络参数更新迭代。
35.所述评价网络输出的价值函数具体为：
36.依据设定的步长和风速v，确定神经网络智能体训练中一个回合的步数，所述价值函数用于表征智能体在当前状态和动作下平均奖励值的大小，即多个回合奖励的平均值，所述回合奖励指一个回合中所有步数的单步奖励值的总和。
37.步骤4、判断神经网络智能体是否训练成熟，若训练成熟，转至步骤5；否则，转至步骤1；
38.神经网络智能体成熟的标志在于评价网络和执行网络的网络参数趋于稳定，而且回合奖励和平均奖励也趋于一致。
39.步骤5、将验证风速输入到成熟的神经网络智能体中，神经网络智能体输出参考转速变化量δω
ref
，对其进行积分运算得到优化后的参考转速ω
ref
；
40.成熟的神经网络智能体建立了参考转速变化量δω
ref
和风速v的函数关系，只需给定风速就能够输出参考转速变化量δω
ref
，从而得到相应优化后的参考转速ω
ref
。该成熟的智能体在奖励函数的引导下，确定能够获取最大奖励的动作，使得转速跟踪目标易于被风机控制器跟踪，而且使得风机捕获更多的风能。
41.一种基于深度强化学习的提升风能捕获的转速跟踪目标优化系统，包括以下模块：
42.参考转速优化模型构建模块：用于基于ddpg算法构建参考转速优化模型；
43.神经网络智能体训练模块：用于训练神经网络智能体训练模块，并判断神经网络智能体是否训练成熟；
44.参考转速输出模块：用于利用成熟的神经网络智能体，输入风速序列，即可得到参考转速变化量，从而确定优化后的参考转速。
45.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
46.步骤1、获取风速、风机转速信息；
47.步骤2、基于ddpg算法构建参考转速优化模型；
48.步骤3、对神经网络智能体进行训练；
49.步骤4、判断神经网络智能体是否训练成熟，若训练成熟，转至步骤5；否则，转至步骤1；
50.步骤5、将验证风速输入到成熟的神经网络智能体中，神经网络智能体输出参考转速变化量δω
ref
，对其进行积分运算得到优化后的参考转速ω
ref
。
51.一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
52.步骤1、获取风速、风机转速信息；
53.步骤2、基于ddpg算法构建参考转速优化模型；
54.步骤3、对神经网络智能体进行训练；
55.步骤4、判断神经网络智能体是否训练成熟，若训练成熟，转至步骤5；否则，转至步骤1；
56.步骤5、将验证风速输入到成熟的神经网络智能体中，神经网络智能体输出参考转速变化量δω
ref
，对其进行积分运算得到优化后的参考转速ω
ref
。
57.下面结合实施例对本发明作进一步详细的描述。
58.实施例
59.利用美国国家能源部可再生能源实验室(national renewable energy laboratory，nrel)提供的开源的专业风力机仿真软件fast(fatigue,aerodynamics,structures,and turbulence)来对本发明提出的方法进行验证。风机模型采用nerl开发的600kw cart3试验机型，其主要参数见表1。
60.表1 nrel 600kw cart3风力机主要参数
[0061][0062]
仿真使用的风速序列如图2所示，风速基于kaimal功率谱生成，平均风速为6m/s，符合iec
‑
61400
‑
1标准a类湍流级别。如图2(a)为训练过程使用的风速序列。
[0063]
本发明所使用的评价网络与执行网络均为5层全连接深度神经网络；其中，评价网络输入状态和动作层分别通过2层和1层全连接层合并；执行网络输出层后加入权重项，用于缩放网络输出。
[0064]
除输入输出层外，每层全连接层神经元个数为48。ddpg算法主要参数见表2。智能体的训练曲线如图3所示。
[0065]
可以看出，智能体通过训练迭代1000步逐渐成熟。此基础上，将该智能体应用于图2(b)所示湍流风速序列，对转速跟踪目标进行优化，进一步验证本发明所提方法。
[0066]
表2 ddpg算法的主要参数
[0067][0068]
优化转速跟踪目标后的风机转速跟踪效果如图4所示，可以看到风机的实际转速和优化后的参考转速高度吻合。由于匹配了风机的慢动态特性，经优化后的转速跟踪目标更加易于跟踪，因此获得了较好的转速跟踪效果。
[0069]
为了能够反映转速跟踪目标优化对风能捕获效率的影响，这里将本发明所提出的最大化风能捕获方法(ro
‑
tsr)与常用的最优转矩法(ot)和仅对最优转速进行低通滤波处理的叶尖速比法(tsr)进行比较。
[0070]
利用下式计算以上3种方法的风能捕获效率：
[0071][0072]
其中，p
a
为不同方法捕获的风能，p
opt
为理论上最大捕获的风能，[t0,t
f
]为积分区间。
[0073]
不同方法的风能捕获效率对比如表3所示。
[0074]
表3 不同方法的风能捕获效率对比
[0075][0076]
如图5所示，通过对比三种方法的转速跟踪效果可以明显看出优化转速跟踪目标后风机更加偏重于较高风速下的风能捕获，在风速较低时主动维持较高的转速，以此减小风速回升后因无法及时提高转速而造成的风能捕获损失。与两种对照方法相比，转速跟踪目标的优化以部分放弃较低风速下的转速跟踪效果为代价来换取了较高风速下更好的转速跟踪效果，因此进一步提升了风能捕获效率。