一种基于深度强化学习的电-热-氢综合能源系统优化调度方法

本发明属于综合能源系统的优化调度，具体涉及一种基于深度强化学习的电-热-氢综合能源系统优化调度方法。

背景技术：

1、随着风电、光伏发电技术的不断发展，可再生能源装机容量实现了快速增长。但可再生能源的间歇性与随机性给电网安全稳定运行带来诸多挑战。综合能源系统已被证实是一种极具前景的方案，其能够有效整合利用各种能源设备，提高能源使用效率以及可再生能源的消纳能力。氢能作为一种清洁能源，具备零污染、能量密度高、储存周期长、利用形式多元等优势，可在综合能源系统中与其他能源形式耦合，构建灵活性更强的能源系统。因此，电-热-氢综合能源系统不仅能够满足多元化用能需求，还可通过储氢、氢能转化环节缓解可再生能源并网带来的电网消纳压力，进一步推动能源系统高效利用。

2、目前，基于模型驱动的优化方法已广泛应用于综合能源系统优化调度领域，但此类方法高度依赖精准的模型构建，难以处理多能系统中普遍存在的非线性耦合关系。此外，系统内部的复杂能流、可再生能源与负荷的不确定性，进一步加大了优化问题的求解难度，计算复杂度大幅上升。近年来，人工智能技术快速兴起，基于马尔可夫决策过程的强化学习凭借强大的决策能力，在综合能源系统领域获得大量关注。强化学习通过智能体与环境持续交互迭代优化策略，最大化智能体从环境中获取的累积奖励。深度神经网络与强化学习结合的深度强化学习模型具备更强的自适应学习能力，能够高效求解非线性优化问题。本发明构建的电-热-氢综合能源系统具有多维连续动作空间、多能流强耦合与多重不确定性等挑战，因此，亟需提出一种基于深度强化学习的电-热-氢综合能源系统优化调度方法，以提升系统在复杂工况下的自适应决策能力。

技术实现思路

1、为了实现电-热-氢综合能源系统的优化调度问题，本发明提供了一种基于深度强化学习的电-热-氢综合能源系统优化调度方法。

2、本发明技术方案如下：

3、一种基于深度强化学习的电-热-氢综合能源系统优化调度方法，包括：

4、首先构建电-热-氢综合能源系统各机组设备的数学模型，将系统运行经济性作为目标对该综合能源系统的优化调度问题进行数学描述；

5、其次将优化调度问题表述为马尔可夫决策过程，构建系统的状态空间、动作空间和奖励函数；

6、然后采用sac算法进行经济调度决策，训练完成后获取稳定的优化调度策略模型；

7、最后实时获取系统当前状态，输入训练完成的优化调度策略模型，输出各设备在每一时间步的调度指令。

8、所述的电-热-氢综合能源系统的优化调度问题为顺序决策问题，其调度目标是在最大限度降低系统的日运行成本的同时确定各机组在每个时间步上的输出功率。其中系统环境包括电-热-氢综合能源系统中的电能流、热能流、氢能流以及各能源之间的转换与传输等，同时基于系统中的各类能源设备以及能源的供需平衡来构建综合能源系统的环境模型。该环境是指与智能体进行交互的综合能源系统环境，是一种马尔可夫决策过程，智能体通过观测环境的实时状态进行调度决策并生成此刻各机组对应的动作来调整每个设备的功率输出，然后环境将转换到下一个状态，智能体将该状态作为新状态并更新各机组动作。

9、所述电-热-氢综合能源系统主要包含电、热、氢三种异质能源形式，通过多种能源转化设备满足系统内多元化的用能需求。该系统包含了能源供应、转换、存储和需求四层结构。能源供应层集成了上级电网、风力发电和光伏发电。能源转换层集成了热电联产机组、质子交换膜电解槽、燃料电池、电锅炉和燃气锅炉进行能量间的协调转换。能源存储层主要为蓄电池和储氢罐，各储能设备通过存储和释放来满足供需平衡。能源需求层包含了用户侧的电负荷和热负荷。该系统通过多能流耦合，充分利用各设备的协调运行实现能源的高效分配与供需平衡。

10、各能源设备的模型构建包括：

11、（1）热电联产机组建模：

12、热电联产机组通过消耗天然气产生电能和热能，是热电联产场景下重要的能流枢纽设备，物理模型如下：

13、；

14、；

15、式中，pchp,t, hchp,t 和gchp,t分别表示热电联产机组在t时刻输出的电功率、热功率及输入功率；ηchp_e和ηchp_h分别表示热电联产机组的发电效率与供热效率；

16、（2）燃气锅炉建模：

17、燃气锅炉通过消耗天然气来产生热能以满足热负荷需求，其物理模型如下：

18、；

19、式中，ηgb代表燃气锅炉的转换效率；ggb,t代表燃气锅炉的输入气功率；hgb,t代表燃气锅炉的输出热功率；

20、（3）电锅炉建模：

21、电锅炉通过消耗电能来产生热能以满足热负荷需求，其物理模型如下：

22、；

23、式中，ηeb代表电锅炉的转换效率；peb,t代表电锅炉的输入电功率；heb,t代表电锅炉的输出热功率。

24、（4）质子交换膜电解槽建模：

25、质子交换膜电解槽通过将电能转化成氢气，产生的氢气质量流量为：

26、；

27、式中，ηpeme是质子交换膜电解槽的转换效率；ppeme,t代表质子交换膜电解槽的输入电功率；mpeme,t是产氢质量流量；lhv是氢气的低热值；

28、（5） 燃料电池建模：

29、燃料电池运行过程中，通过消耗氢气产生电能和余热，其计算公式如下：

30、；

31、式中，ηhfc_e和ηhfc_h分别代表燃料电池的电效率和热效率；phfc,t和hhfc,t分别代表燃料电池的输出电功率和热功率；

32、（6） 储能设备建模：

33、储能设备包括蓄电池和储氢罐，每个时刻t下的soc状态可以表示为：

34、；

35、；

36、式中，socbess,t和sochst,t分别代表蓄电池和储氢罐的soc状态；pcha,t , pdis,t,ηcha_e,t和ηdis_e,t代表蓄电池的充/放电功率和效率；mcha,t和mdis,t代表储氢罐的充/放氢气质量；ebess和ehst分别代表蓄电池和储氢罐的额定容量。

37、构建的电-热-氢综合能源系统还包括如下约束条件：

38、（1）电功率平衡约束：

39、系统中的光伏、风力所产生的电功率、各机组设备产生/消耗的电功率、储能装置的能量交换功率要与系统的电负荷需求保持平衡，能量平衡方程如下：

40、；

41、式中，pload,t代表系统的电负荷需求；pgrid,t是系统向上级电网购买的电力；ppv,t和pwt,t代表光伏出力和风电出力；phfc,t代表燃料电池输出的电功率；pchp,t代表热电联产机组输出的电功率；ppeme,t代表质子交换膜电解槽消耗的电功率；peb,t代表电锅炉消耗的电功率；pdis,t代表蓄电池释放的电功率；pcha,t代表蓄电池存储的电功率。

42、（2）热功率平衡约束：

43、；

44、式中，hload,t代表系统的热负荷需求；hhfc,t代表燃料电池输出的热功率；hchp,t代表热电联产机组输出的热功率；hgb,t代表燃气锅炉输出的热功率；heb,t代表电锅炉输出的热功率。

45、（3）功率约束：

46、；

47、；

48、；

49、；

50、；

51、；

52、；

53、式中，pgrid,max、ppeme,max、phfc,max、ggb,max、gchp,max、peb,max分别代表上级电网购电以及各机组设备的功率上限，pgrid,min、ppeme,min、phfc,min、ggb,min、gchp,min和peb,min分别代表上级电网购电以及各机组设备的功率下限；socn,max和socn,min分别两种储能设备的soc上/下限；

54、（4）爬坡约束：

55、；

56、；

57、；

58、；

59、；

60、式中，δppeme,up、δphfc,up、δggb,up、δgchp,up、δpeb,up分别代表各机组设备的爬坡功率上限，δppeme,down、δphfc,down、δggb,down、δgchp,down和δpeb,down分别代表各机组设备的爬坡功率下限。

61、电-热-氢综合能源系统优化调度问题的目标函数为：

62、；

63、式中，f为系统的总运行成本，com,t为各机组的运行维护成本，cgrid,t为向上级电网的购电成本。

64、构建面向电-热-氢综合能源系统运行优化的深度强化学习模型为：

65、本发明采用sac算法进行调度训练，sac算法作为一种融合了最大熵理论的方法，其架构包含一个actor网络、两个critic网络及两个对应的目标critic网络。该网络中actor网络根据当前的状态采样动作并于环境进行交互以获取即时奖励和下一时刻状态，两个critic网络负责评估状态-动作对的价值，两个目标critic网络通过软更新的方式生成稳定的价值估计，在复杂的综合能源系统中对调度策略能够实现更好的探索；其中：

66、（1）sac算法可以实现复杂动作空间中的探索，防止模型陷入局部最优，从而找到更好的策略，提高系统的鲁棒性。sac算法的最优策略函数可表示为：

67、；

68、式中，π*表示能够最大化期望累积回报的策略函数；st是t时刻的环境状态；at是t时刻的动作；α为温度系数，用于平衡期望奖励与熵之间的权衡；是策略熵项；

69、修正后的贝尔曼方程可以表述为：

70、；

71、；

72、式中，q(st,at)表示状态-动作价值函数；v(st)表示软状态价值函数；p表示状态转移概率；γ代表折扣因子，取值在[0,1]范围内，表明未来奖励的重要性；r(st,at)表示时间步t的即时奖励值；

73、在智能体策略提升过程中，通过最小化kl散度去最小化2个分布的差距，其表达式为：

74、；

75、式中，dkl()表示kl散度；π为策略集合；zπold(st)通常由标准高斯分布表示，用于对分布进行归一化。

76、q值网络通过最小化残差实现参数自适应更新，表述为：

77、；

78、；

79、；

80、式中，jq(θ)表示q网络的损失函数，θ和分别表示价值网络及其对应目标网络的参数，训练过程中用如下更新方式赋值：

81、；

82、式中，k表示更新参数。

83、策略网络的更新如下：

84、；

85、式中，ϕ是策略网络的系数。

86、（2）状态空间设计：

87、本发明的电-热-氢综合能源系统以1h为调度周期，将电负荷、热负荷、风电出力、光伏出力、分时电价、储能的soc作为深度强化学习的状态信息，其t时刻的状态空间定义为：

88、；

89、式中，ppv,t和pwt,t代表光伏出力和风电出力；cgrid,t是分时电价；hload,t代表系统的热负荷需求；pload,t代表系统的电负荷需求；socbess,t和sochst,t分别代表蓄电和储氢罐的soc状态；

90、（3）动作空间设计：

91、本发明的动作空间设计如下：

92、；

93、式中，ppeme,t代表质子交换膜电解槽消耗的电功率；peb,t代表电锅炉消耗的电功率；pgrid,t是系统向上级电网购买的电力；hchp,t代表热电联产机组输出的热功率；hgb,t代表燃气锅炉输出的热功率；hhfc,t代表燃料电池输出的热功率；pbess,t表示t时刻下bess的充/放功率；phst,t表示t时刻hst的充/放功率。

94、（4）奖励函数设计：

95、电-热-氢综合能源系统的目标是在满足电、热负荷需求的基础上最小化各机组的运行成本以及购电成本。本发明设计的智能体奖励函数包含三部分：运行成本、购电成本以及约束惩罚，其公式为：

96、；

97、式中，com,t是系统各机组的运行成本；f1是热不平衡的惩罚成本；β1是热不平衡惩罚系数；f2是电不平衡的惩罚成本；β2是电不平衡惩罚系数。

98、本发明的技术效果和优点：

99、1、本发明针对含多种设备和能流的电-热-氢综合能源系统，构建了计及多能流协同的深度强化学习调度模型。以系统综合运行成本最小化为目标，合理设计了连续动作空间、状态空间及奖励函数。仿真结果表明，该方法能够充分协调多种设备的运行出力，有效降低系统综合运行成本。

100、2、本发明所提出的基于深度强化学习的电-热-氢综合能源系统优化调度方法，能够对电、热、氢三条能流所涉及的多种设备进行统一、连续的动作优化控制。该方法有效避免了传统基于模型的优化方法因复杂建模导致的精度不足，以及难以适应源荷随机波动等实际动态变化的问题。该方法在新能源出力与负荷需求波动的复杂环境下，仍能保持高效、稳定的求解能力。

101、3、本发明通过将电、热负荷需求与可再生能源出力信息统一纳入状态空间，使深度强化学习模型能够自适应学习不同运行场景下的调度规律。训练完成后，模型无需针对新的负荷或新能源出力场景重新训练，即可求解出最优调度策略，表现出良好的泛化性能与工程实用性。