基于分层强化学习的海上风电集群多目标动态优化方法及系统与流程
本技术涉及海上风电智能控制，尤其涉及一种基于分层强化学习的海上风电集群多目标动态优化方法及系统。
背景技术：
1、随着双碳目标的推进，海上风电已成为我国新能源发展的核心方向之一。当前海上风电集群正朝着大规模、远海化、高装机容量的方向快速发展，单机数量与集群控制维度呈指数级增长，同时海上环境具有强动态、强耦合、强不确定性的特点，风电集群控制面临着严峻的挑战。
2、现有海上风电集群控制技术主要存在以下缺陷：
3、控制架构存在固有瓶颈：集中式控制方法面对数十台甚至上百台风机的大规模集群，存在状态空间维度爆炸的问题，计算延迟高，无法满足海上强动态风况的实时控制要求；分布式控制方法仅实现单机自主优化，缺乏集群级全局协同，无法有效抑制风机间的尾流效应，导致集群整体发电效率损失可达 10%~20%，同时难以兼顾电网全局调度需求。
4、传统模型依赖度高，鲁棒性不足：现有基于模型预测控制、pid 等的传统控制方法，高度依赖精确的风机气动模型、尾流模型、电网模型，而海上风速、风向、海浪的强随机性，以及设备运行过程中的性能退化，极易导致模型失配，在极端工况下控制精度大幅下降，甚至触发风机紧急停机，影响运行安全。
5、多目标协同优化能力不足：海上风电集群运行需同时兼顾发电效率、设备寿命、电网稳定性、运维成本等多个相互冲突的优化目标，现有方法大多采用固定权重的加权求和方式处理多目标优化问题，无法根据实时工况动态调整目标优先级，难以实现不同场景下的多目标帕累托最优，往往顾此失彼。
6、现有强化学习应用存在局限：现有基于强化学习的风电控制方法，大多采用单层级架构，无法解耦全局长周期优化与局部短周期实时控制的时序矛盾，样本效率低，模型收敛难度大，难以适配大规模风电集群的高维决策空间，同时缺乏完善的现场安全训练机制，直接在线训练存在较大的运行风险。
技术实现思路
1、本技术的目的在于提供一种基于分层强化学习的海上风电集群多目标动态优化方法及系统，用于解决相关技术中，大规模海上风电集群在复杂动态海洋环境与电网工况下，集中式控制维度灾难、分布式控制协同性不足、传统控制依赖精确物理模型、多目标动态优化适配性差、在线训练安全风险高的技术问题。
2、为解决上述技术问题，本技术是采用下述技术方案实现的：
3、本技术提供一种基于分层强化学习的海上风电集群多目标动态优化方法，包括：
4、构建海上风电集群数字孪生仿真环境；
5、基于分层马尔可夫决策过程，构建包括集群协同优化层、分区协调层、单机实时控制层的三层分层强化学习控制模型，并分别定义所述三层分层强化学习控制模型的状态空间、动作空间与多目标奖励函数；
6、构建多目标动态权重自适应机制，动态调整所述三层分层强化学习控制模型奖励函数中不同优化目标的权重系数；
7、对所述三层分层强化学习控制模型进行模型训练和收敛验证，并将训练完成的所述三层分层强化学习控制模型部署至风电集群现场控制系统；
8、获取风电集群在线运行数据，基于所述在线运行数据对所述三层分层强化学习控制模型持续进行模型增量更新。
9、可选的，所述基于马尔可夫决策过程，构建包括集群协同优化层、分区协调层、单机实时控制层的三层分层强化学习控制模型，包括：
10、将风电集群整体控制任务分解为三个时间尺度互耦的子马尔可夫决策过程；
11、基于三个子马尔可夫决策过程分别构建集群协同优化层、分区协调层对应中周期决策和单机实时控制层。
12、可选的，所述基于马尔可夫决策过程，构建包括集群协同优化层、分区协调层、单机实时控制层的三层分层强化学习控制模型，包括：
13、将风电集群整体控制任务分解为三个时间尺度互耦的子马尔可夫决策过程；
14、基于三个子马尔可夫决策过程分别构建集群协同优化层、分区协调层对应中周期决策和单机实时控制层。
15、可选的，所述集群协同优化层采用基于近端策略优化算法的全局智能体，定义所述集群协同优化层的状态空间包括风电集群整体运行状态、海洋环境宏观预测数据、电网调度全局指令、集群多目标优化基准值，动作空间为各分区的功率分配指令、尾流抑制全局优化目标、各分区多目标权重约束边界、集群安全运行约束阈值，奖励函数以集群综合发电效益最大化、电网功率波动最小化、全生命周期运维成本最低化为优化目标；
16、所述分区协调层为每个风电分区配置基于多智能体深度强化学习算法的分区智能体，定义所述分区协调层的状态空间包括分区内各风机运行状态、分区内实时风场分布、分区尾流效应实测数据、上级集群层下发的功率指令与优化目标，动作空间为分区内各风机的偏航角优化区间、有功功率分配指令、桨距角调节约束、载荷控制目标，奖励函数以分区内尾流损失最小化、功率跟踪误差最小化、分区内载荷均衡化为优化目标；
17、所述单机实时控制层为每台风机配置基于深度确定性策略梯度算法的单机智能体，定义所述单机实时控制层的状态空间包括风机实时运行参数、设备健康状态、上级分区层下发的控制指令、实时环境扰动数据，动作空间为风机的桨距角调节量、转子转速调节量、偏航角实时修正量、无功功率输出值，奖励函数以单机风能捕获效率最大化、疲劳载荷最小化、运行安全约束满足度最大化为优化目标。
18、可选的，所述集群协同优化层、所述分区协调层、所述单机实时控制层的奖励函数，均采用线性加权与约束惩罚项结合的形式，表达式为：
19、，
20、其中，r为总奖励值，ωi为第i个优化目标的动态权重系数，fi(s,a)为第i个优化目标的归一化收益函数，λ为惩罚项系数，cj(s,a)为第j个安全约束的违例惩罚函数，当控制动作满足安全约束时cj(s,a)=0，违例时输出对应惩罚值。
21、可选的，所述构建多目标动态权重自适应机制，动态调整各层级智能体奖励函数中不同优化目标的权重系数，包括：
22、基于实时采集的环境与运行数据，进行工况分类识别，所述工况包括正常发电工况、高湍流极端风况、电网故障/弱电网工况、设备亚健康工况、电网调峰调度工况；
23、建立工况-权重映射专家库，针对不同工况预设各优化目标的初始权重区间；
24、基于实时工况识别结果，调用专家库对应的初始权重区间，结合当前运行状态的多目标冲突度，采用模糊推理算法动态计算各优化目标的实时权重系数；
25、基于实时权重系数，更新奖励函数。
26、可选的，所述工况分类识别采用基于轻量级卷积神经网络的分类模型，输入特征为风速、湍流强度、电网频率偏差、设备健康状态评分、电网调度指令偏差，输出为对应的工况类别。
27、可选的，所述对三层分层强化学习控制模型进行模型训练和收敛验证的过程包括：
28、采集并预处理全维度历史运行数据，基于所述全维度历史运行数据构建构建覆盖全工况的训练样本集和验证样本集，其中，全工况包括正常工况、极端风况、电网故障工况、设备退化工况；
29、基于所述训练样本集对所述集群协同优化层、所述分区协调层、所述单机实时控制层进行层级式离线预训练；
30、基于验证样本集进行仿真验证，通过多目标帕累托前沿分析验证模型优化效果，满足收敛条件后，迁移至现场边缘控制系统；
31、构建增量样本池，对超出模型泛化边界的工况样本进行优先存储，采用小批量梯度下降进行模型增量微调，同时冻结模型核心参数。
32、可选的，所述全维度历史运行数据包括：
33、风机运行数据包括风电集群内各风机的有功功率、无功功率、转子转速、桨距角、偏航角、齿轮箱温度、轴承振动、疲劳载荷累计值、设备健康状态评分；
34、海洋环境数据包括实时风速、风向、湍流强度、有效波高、波周期、海流速度；
35、电网工况数据包括并网点电压、频率、电网调度指令功率、电网负荷波动、电网接纳能力限值。
36、可选的，获取风电集群在线运行数据，基于在线运行数据对三层分层强化学习控制模型持续进行模型增量更新，包括：
37、实时采集风电集群、海洋环境与电网的全维度数据，将所述全维度数据进行预处理后输入至三层分层强化学习控制模型；
38、所述集群协同优化层基于所述全维度数据，生成分区控制指令与全局优化目标；
39、所述分区协调层基于所述分区控制指令、全局优化目标与分区内实时数据，生成分区内各风机的控制约束与优化目标；
40、所述单机实时控制层基于所述控制约束、所述优化目标与单机实时状态，生成风机控制执行信号；
41、基于所述风机控制执行信号对风机变桨、偏航、变流器执行机构进行调整，并采集控制执行后的运行反馈数据，计算各层级奖励值，持续进行模型参数的增量更新与优化。
42、另一方面，本技术提供一种基于分层强化学习的海上风电集群多目标动态优化系统，包括：
43、数字孪生仿真模块，用于构建海上风电集群数字孪生仿真环境；
44、分层强化学习控制模块，用于在所述数字孪生仿真环境中，基于分层马尔可夫决策过程，构建包括集群协同优化层、分区协调层、单机实时控制层的三层分层强化学习控制模型，并分别定义三层分层强化学习控制模型的状态空间、动作空间与多目标奖励函数；
45、多目标权重自适应模块，用于构建多目标动态权重自适应机制，动态调整三层分层强化学习控制模型奖励函数中不同优化目标的权重系数；
46、模型训练，用于对三层分层强化学习控制模型进行模型训练和收敛验证，并将训练完成的三层分层强化学习控制模型部署至风电集群现场控制系统；
47、更新模块，用于获取风电集群在线运行数据，基于所述在线运行数据对所述三层分层强化学习控制模型持续进行模型增量更新。
48、与现有技术相比，本技术所达到的有益效果：
49、1.本发明通过三层分层强化学习架构，将大规模风电集群的高维全局控制问题，解耦为不同时间尺度、不同空间维度的低维子决策问题，相比传统集中式控制，计算效率提升，彻底解决了维度灾难问题；同时相比分布式控制，实现了全局协同与局部响应的兼顾，可有效抑制集群尾流效应，使集群整体发电效率提升。
50、2.本发明通过多目标动态权重自适应机制，可根据实时工况动态调整优化目标优先级，突破了传统固定权重多目标优化的局限，在不同场景下均可实现多目标帕累托最优寻优；相比传统方法，可使设备关键部件疲劳载荷降低，电网功率波动抑制效果提升，大幅延长设备使用寿命，提升风电集群的电网友好性。
51、3.本发明构建的数字孪生驱动的离线预训练 + 在线增量微调训练框架，大幅提升了强化学习模型的样本效率，样本利用率提升，模型收敛速度提升；同时避免了强化学习在线训练的安全风险，保证了现场运行的安全性，模型对未知极端工况的泛化能力显著增强。
52、4.本发明采用数据驱动的强化学习方法，无需依赖精确的物理模型，可自适应学习海上复杂环境的动态特性，相比传统基于模型的控制方法，在模型失配场景下的控制精度提升，鲁棒性与抗干扰能力大幅提升；同时可兼顾发电效率、设备寿命、电网稳定性、运维成本的全生命周期多目标协同，使海上风电集群全生命周期综合效益提升。