一种基于深度强化学习的提升风能捕获的转速跟踪目标优化方法与流程

技术特征：
1.一种基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，其特征在于，包括以下步骤：步骤1、获取风速、风机转速信息；步骤2、基于ddpg算法构建参考转速优化模型；步骤3、对神经网络智能体进行训练；步骤4、判断神经网络智能体是否训练成熟，若训练成熟，转至步骤5；否则，转至步骤1；步骤5、将验证风速输入到成熟的神经网络智能体中，神经网络智能体输出参考转速变化量δω
ref
，对其进行积分运算得到优化后的参考转速ω
ref
。2.根据权利要求1所述的基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，其特征在于，所述步骤2中基于ddpg算法构建参考转速优化模型，具体包括以下步骤：步骤2
‑
1：设定状态空间，包括风机的转速ω
r
和风速v；步骤2
‑
2：设定动作空间，包括参考转速的变化量δω
ref
；步骤2
‑
3：设定单步奖励函数，对增大风能捕获进行正奖励，同时对增大参考转速变化进行负奖励，即r＝r

r
‑
其中，为正奖励，k1为奖励系数且k1＞0，p
a
为风机捕获的风功率，为风机转速加速度，δt为计算时间间隔；r
‑
＝k2δω
ref
为负奖励，k2奖励系数k2＜0。3.根据权利要求1所述的基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，其特征在于，所述步骤3中的对神经网络智能体进行训练，具体为：所述神经网络智能体包括执行网络和评价网络；所述执行网络输入风机的转速ω
r
和风速v，输出动作信号，即参考转速的变化量δω
ref
，并通过评价网络输出的价值函数值进行网络参数更新迭代；所述评价网络输入风机的转速ω
r
和风速v和参考转速的变化量δω
ref
，输出价值函数信号，并利用单步奖励函数值和价值函数值进行网络参数更新迭代。4.根据权利要求3所述的基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，其特征在于，所述评价网络输出的价值函数具体为：依据设定的步长和风速v，确定神经网络智能体训练中一个回合的步数，所述价值函数用于表征智能体在当前状态和动作下平均奖励值的大小，即多个回合奖励的平均值，所述回合奖励指一个回合中所有步数的单步奖励值的总和。5.根据权利要求4所述的基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，其特征在于，所述步骤4中神经网络智能体成熟的标志在于评价网络和执行网络的网络参数趋于稳定。6.根据权利要求1所述的基于深度强化学习的提升风能捕获的转速跟踪目标优化方法，其特征在于，步骤5中成熟的神经网络智能体建立了参考转速变化量δω
ref
和风速v的函数关系，只需给定风速就能够输出参考转速变化量δω
ref
，从而得到相应优化后的参考转速ω
ref
。7.一种基于深度强化学习的提升风能捕获的转速跟踪目标优化系统，其特征在于，包
括以下模块：参考转速优化模型构建模块：用于基于ddpg算法构建参考转速优化模型；神经网络智能体训练模块：用于训练神经网络智能体训练模块，并判断神经网络智能体是否训练成熟；参考转速输出模块：用于利用成熟的神经网络智能体，输入风速序列，即可得到参考转速变化量，从而确定优化后的参考转速。8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1
‑
6中任一项所述方法的步骤。9.一种计算机可存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1
‑
6中任一项所述的方法的步骤。

技术总结
本发明公开了一种基于深度强化学习的提升风能捕获的转速跟踪目标优化方法。该方法在传统叶尖速比法的基础上，通过深度确定性策略梯度强化学习算法获得优化后的转速跟踪目标。与传统变速风机的基于最大功率点跟踪控制的风能捕获方法相比，本发明提出的方法综合考虑了风机的慢动态特性和风能分布特性对风能捕获的影响，不仅可以匹配风机的慢动态特性，而且更侧重高风速下的转速跟踪，在不改变转速跟踪控制器的情况下，保证良好转速跟踪效果的同时，有效提升了湍流风速下风机的风能捕获效率。率。率。


技术研发人员：殷明慧 周晓炅 陈载宇 周连俊 李群 李强 顾伟峰 李阳 汪成根 刘建坤 周前 杨炯明 卜京 邹云 谢云云
受保护的技术使用者：国网江苏省电力有限公司电力科学研究院 江苏金风科技有限公司
技术研发日：2021.07.13
技术公布日：2021/10/8