考虑电解槽退化的光-电-热-氢微网DRL优化调度方法

本发明涉及离网型园区优化调度，具体为一种考虑电解槽退化的光-电-热-氢微网drl优化调度方法。

背景技术：

1、离网型工业园区微网通常集成了光伏发电、储能电池、熔盐塔式光热发电以及固体氧化物电解槽（solid oxide electrolysis cell，soec）高温制氢等设备。由于系统无外部大电网支撑，内部的电、热、氢负荷必须完全由本地新能源提供，对多能流耦合和供需实时平衡提出了极高要求。为提升新能源消纳与系统调节能力，目前主流技术思路主要分为两类：一是通过配置储能来实现电能错峰使用、平抑功率波动；二是将富余的新能源电力应用于电解制氢、清洁采暖等场景，拓宽了消纳渠道。

2、在长期的频繁高频调节和高负荷波动下，微网内部的电解槽材料会发生不可逆的性能退化。这种退化不仅直接降低了各设备的有功换能效率，也缩减了设备的全生命周期使用寿命，大幅抬高了离网微网的长期重置与运维成本。现有研究多集中于园区微网的短期经济性优化与常规数量平衡调度，缺少从核心设备全生命周期衰减特性的视角构建调度模型，忽略了设备在时序控制过程中的长周期动态退化特性。另一方面，高比例新能源优化调度问题因其高维度、强耦合、多重不确定性及强非线性设备退化特征，对求解方法提出了更高要求。传统最优化算法在处理复杂动态约束时计算效率不足，而启发式算法则易陷入局部最优且泛化能力有限。

3、进一步地，在涉及soec退化建模的少数现有研究中，退化模型普遍采用单一经验公式将运行表观电阻直接表达为运行温度、湿度和累积运行时间的函数。在此类单一公式模型中，由材料不可逆累积损伤引起的电阻增长与由工况条件变化（温度升降、电流密度波动）引起的可逆电阻波动被捆绑在同一表达式中，彼此无法分离。在离线规划场景下，该混叠并不构成障碍——规划仅需估算设备全生命周期内的总电阻演变以确定容量配置方案，无需区分每一次电阻变化的具体成因。然而，在离网型微网的实时调度场景下，该混叠将导致soec的退化状态在运行过程中不可观测：调度智能体无法判断当前观测到的电阻升高是设备真实发生不可逆劣化（需要触发延寿保护策略），还是仅仅由于运行温度正常提升引起的可逆瞬时响应（无需调整调度决策）。退化信息的不可观测性使得任何退化感知调度决策均建立在模糊信息之上，从而动摇了短期运行经济性与长期设备寿命保护之间权衡决策的有效性。

技术实现思路

1、针对上述问题，本发明的目的在于提供一种考虑电解槽退化的光-电-热-氢微网drl（deep reinforcement learning，深度强化学习）优化调度方法，建立园区微网的精细化调度模型框架，并在环境建模中引入各电解槽的实时性能退化与寿命衰减模型；引入深度强化学习，将调度问题转化为马尔可夫决策过程（markovian decision process，mdp），采用td3（twin delayed deep deterministic policy gradient，双延迟深度确定性策略梯度）算法进行求解，通过在状态空间中引入设备退化状态，并在奖励函数中计及退化导致的性能衰减惩罚与寿命成本，实现高频动态调节与长周期防退化延寿的有效协同。技术方案如下：

2、考虑电解槽退化的光-电-热-氢微网drl优化调度方法，包括以下步骤：

3、步骤1：构建离网型工业园区微网系统架构与核心设备的物理数学模型，所述离网型工业园区微网与外部电网、热网无任何能量及信息交互；所述物理数学模型中深度嵌入soec高温运行极化与材料劣化引起的性能退化模型，所述性能退化模型将soec运行的表观电阻划分为不可逆老化项和可逆动态响应项，并将工作温度限制和温度变化斜率限制作为约束条件嵌入；

4、步骤2：建立所述离网型工业园区微网的马尔科夫决策过程，包括状态空间、动作空间和奖励函数；

5、所述状态空间至少包括：光伏发电功率、soec制氢热功率、电加热器热功率、储热容量、soec产氢速率、蓄电池储电量、电负荷需求、氢负荷需求、热负荷需求、集热场获取热量、soec实时运行电流以及soec运行表观电阻；

6、所述动作空间至少包括：soec制氢电功率、储热充放热功率、蓄电池充放电功率、电加热器电功率、储氢罐充放氢速率、soec运行温度以及功率模块输出电功率；

7、所述奖励函数基于系统综合运行成本与违反约束惩罚构建；

8、步骤3：采用标准td3算法对智能体进行交互训练，以系统综合运行成本最低确定目标函数和约束条件，通过actor网络与critic网络的参数交替更新获得日前最优调度策略并在线应用。

9、本发明的有益效果是：

10、1）本发明通过将soec运行表观电阻分解为不可逆老化项与可逆动态响应项，克服了现有单一公式模型中退化状态在实时调度中不可观测的技术壁垒；该双通道分解使调度智能体能够在每个时间步从表观电阻l中分离出表征材料累积损伤的不可逆老化项和表征工况瞬时影响的可逆动态响应项，从而获得准确的退化状态感知能力，使得短期运行经济性与长期设备寿命保护之间的权衡决策建立在可靠信息之上，从根本上避免了因工况波动与真实老化混叠而导致的误判。

11、2）本发明实现了日前经济平衡与长周期设备防退化延寿的解耦协同：通过在深度强化学习的设计中融入基于电解槽退化与弃光、弃电、弃负荷的惩罚项，改变了传统调度忽视soec退化会导致调度决策偏离实际情况的局限，为了验证所提模型在长周期运行中的有效性，并精确刻画系统在复杂工况下的真实物理特性，基于系统寿命演化路径模拟可变电流密度和可变温度条件下动态负载和热应力变化，设计了soec的典型阶段动态退化评估算例。

12、3）本发明有效克服了传统优化算法难以处理强非线性退化约束的缺陷：利用td3算法的双孪生值网络（twin critic）机制与延迟策略更新机制，显著缓解了传统ddpg（deepdeterministic policy gradient，深度确定性策略梯度）算法中普遍存在的q值过估计问题，使得智能体在面对电-热-氢复杂强耦合不确定性环境时，调度策略更加稳定高效。

1.考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤1中所述性能退化模型为：

3.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤1中，所述物理数学模型还包括吸热器集热功率模型，表示为：

4.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤1中，所述物理数学模型还包括光伏发电模型；

5.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤1中，所述物理数学模型还包括双罐熔盐储热系统模型，所述双罐熔盐储热系统模型采用电耦合形式的稳态能量流模型，表示为：

6.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤1中，所述物理数学模型还包括功率模块模型，表示为：

7.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤1中，所述物理数学模型还包括储能电站模型和储氢罐模型；

8.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤1中，所述物理数学模型还包括电加热器模型；具体如下：

9.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤2中，建立所述离网型工业园区微网的马尔科夫决策过程，具体如下：

10.根据权利要求1所述的考虑电解槽退化的光-电-热-氢微网drl优化调度方法，其特征在于，步骤3中，采用标准td3算法对智能体进行交互训练时，综合光伏、光热发电、高温固体氧化物电解水制氢装置、储能电站、储氢罐运行维护成本、弃光成本以及弃热成本，并以系统运行的综合运行成本f最低为目标，建立系统调度优化成本模型，目标函数为：