一种基于图神经网络的深度强化学习综合能源系统优化调度方法

摘要: 本发明属于综合能源系统的优化调度,具体涉及一种基于图神经网络的深度强化学习综合能源系统优化调度方法。背景技术:1、随着风电、光伏技术的快速发展,可再生能源在电力...
一种基于图神经网络的深度强化学习综合能源系统优化调度方法

本发明属于综合能源系统的优化调度,具体涉及一种基于图神经网络的深度强化学习综合能源系统优化调度方法。

背景技术:

1、随着风电、光伏技术的快速发展,可再生能源在电力系统中的渗透率不断提高,为推动能源结构转型提供了重要支撑。综合能源系统已被证实是一种极具前景的方案,其能够有效整合利用各种能源设备,提高能源使用效率以及可再生能源的消纳能力。目前,现有针对综合能源系统优化调度方法的研究主要集中在数学规划与混合整数优化等传统建模思路中。随着综合能源系统结构复杂度和规模的增长,在求解精度方面,以上方法依赖模型的精确线性化与凸近似,需对综合能源系统中模型的非线性问题进行等效近似的线性化处理,从而导致调度模型精度不足。同时,在计算效率方面,随着各种能源机组的接入,系统优化问题出现高纬度、强非线性特征,使混合整数规划问题的求解时间呈指数级爆炸,以上优化算法的计算耗时难以满足系统的时效性要求。

2、随着人工智能的发展,深度强化学习为传统模型在高维、非线性、强不确定性问题上的瓶颈提供了解决方案,其通过与环境不断交互以训练智能体并做出最优决策,以实现长期累积奖赏的最大化,能够有效应对可再生能源波动、负荷变化等不确定因素。部分文献已采用多种深度强化学习算法对综合能源系统的优化调度展开了研究,通过将综合能源系统的优化调度问题建模为马尔可夫决策过程,并针对动作空间的特性选取相应算法进行求解,验证了深度强化学习算法在解决优化调度问题上的潜力。但现有的深度强化学习算法通常将综合能源系统的节点状态作为扁平化向量输入,完全忽视了电、热能流之间的拓扑结构与物理传输特性,从而导致智能体无法在空间维度上学习到电-热能流的最优传输路径与动态平衡策略,限制了调度方案的经济性与安全性。

3、因此,亟需一种基于图神经网络的深度强化学习综合能源系统优化调度方法,以解决传统深度强化学习方法在应对多能源网络空间拓扑特征提取不足的问题,从而提升算法对系统的调度决策能力。

技术实现思路

1、为了实现综合能源系统的优化调度问题,本发明提供了一种基于图神经网络的深度强化学习综合能源系统优化调度方法。

2、本发明技术方案如下:

3、一种基于图神经网络的深度强化学习综合能源系统优化调度方法,包括:

4、s1、首先构建包含电和热两个能流的综合能源系统,包括了风力发电机、光伏发电机、热电联产机组、燃气锅炉、电锅炉、蓄电池机组。基于各机组的数学模型,以系统运行经济性为目标对综合能源系统的优化调度问题进行数学描述;

5、s2、其次将该综合能源系统的优化调度问题表述为马尔可夫决策过程,详细设计系统的状态空间、动作空间和奖励函数;

6、s3、然后结合图神经网络对sac算法进行针对性改进,显式建模电、热网络拓扑以优化能流分配;

7、s4、最后采用改进后的深度强化学习算法进行综合能源系统优化调度决策,训练完成后获取稳定的优化调度策略模型。

8、进一步地,所述的综合能源系统的优化问题是一个顺序决策问题,其优化调度以最小化系统的运行成本为目标,确定各机组在每个时间步上的输出功率。所提出的改进深度强化学习算法中的智能体与环境的交互是一种马尔可夫决策过程,其中系统环境包括电能流和热能流,智能体通过观测环境的实时状态进行调度决策并生成机组对应的动作来调整每个设备的功率输出,然后环境将转换到下一个状态,智能体将该状态作为新状态并更新各机组动作。

9、进一步地,所述的综合能源系统是一种结合电力和热能综合能源系统,主要包含电、热两种能源形式,并通过热电联产机组、燃气锅炉、电锅炉等多种能源转化设备来满足负荷需求。其中能源供应包括来自上级电网、风力发电机和光伏发电的能量。热电联产机组、电锅炉和燃气锅炉被用来进行能量间的协调转换。蓄电池作为储能装置进行备用,当供能大于负荷需求时进行存储,当供能小于负荷需求时进行释放。能源需求包含了用户侧的电负荷和热负荷。该系统通过多能流耦合以及各设备间的协调运行实现供需平衡与经济运行。

10、进一步地,各能源设备的数学建模为:

11、(1)热电联产机组建模:

12、热电联产机组通过消耗天然气产生电能和热能,其物理模型如下:

13、;

14、;

15、式中,pchp,t, hchp,t和gchp,t分别表示t时刻的电功率、热功率及热电联产机组的输入功率;ηchp_e和ηchp_h分别表示发电效率与供热效率;

16、(2)燃气锅炉建模:

17、燃气锅炉是利用天然气的燃烧产生热功率的一种设备,其物理模型如下:

18、;

19、式中,ηgb代表转换效率;ggb,t代表燃气锅炉的输入功率;hgb,t代表燃气锅炉产生的热功率;

20、(3)电锅炉建模:

21、电锅炉将风光等可再生能源发出的电能转化为热能,无需燃料燃烧,减少碳排放的同时也提高了可再生能源的消纳,其物理模型如下:

22、;

23、式中,ηeb代表电锅炉的电转热效率;peb,t代表电锅炉的用电量;heb,t代表电锅炉的制热功率;

24、(4)蓄电池建模;

25、蓄电池作为电储能装置,通过存储和释放电能来满足供需平衡,每个时刻t下的soc状态可以表示为:

26、;

27、式中,socbess,t代表蓄电池的soc状态;pcha,t , pdis,t, ηcha_e,t和ηdis_e,t代表蓄电池的充/放电功率和效率;ebess代表蓄电池的额定容量。

28、进一步地,构建的综合能源系统约束条件包括:

29、(1)电功率平衡约束;

30、构建的综合能源系统的电功率平衡方程如下:

31、;

32、式中,pload,t代表系统的电负荷所需功率;pgrid,t是综合能源系统向电网购入的电功率;ppv,t和pwt,t代表光伏发电和风力发电产生的电功率;pchp,t代表热电联产机组输出的电功率;peb,t代表电锅炉所需的电功率;pdis,t代表蓄电池释放的电功率;pcha,t代表蓄电池存储的电功率。

33、(2)热功率平衡约束;

34、构建的综合能源系统的热功率平衡方程如下:

35、;

36、式中,hload,t代表系统的热负荷所需功率;hchp,t代表热电联产机组输出的热功率;hgb,t代表燃气锅炉输出的热功率;heb,t代表电锅炉输出的热功率。

37、(3)约束条件;

38、;

39、;

40、;

41、;

42、;

43、式中,pgrid,max、ggb,max、gchp,max、peb,max、pgrid,min、ggb,min、gchp,min和peb,min分别代表从电网购入电功率以及各机组设备功率的上限和下限;socbess,max和socbess,min分别蓄电池的soc上限和下限。

44、(4)爬坡约束;

45、;

46、;

47、;

48、式中,δggb,up、δgchp,up、δpeb,up、δggb,down、δgchp,down和δpeb,down分别代表各机组设备的爬坡功率上限和下限。

49、进一步地,综合能源系统最佳运行的目标是降低成本,同时确保每个系统设备在指定的容量范围内安全稳定运行。因此,本发明中综合能源系统优化调度问题的核心目标是在维持系统正常运行的情况下使系统的总运行成本最小,其中目标函数的表达式如下:

50、;

51、式中,f为系统的总运行成本,t为调度周期,com,t为设备的运行维护成本,cgrid,t为向电网购电的成本。

52、进一步地,构建面向综合能源系统运行优化的深度强化学习模型为:

53、本发明通过基于sac算法框架的深度强化学习方法来优化综合能源优化调度。该算法包含了一个actor网络、两个critic网络及两个对应的目标critic网络。其中actor网络根据当前的状态采样动作并与环境进行交互以获取即时奖励和下一时刻状态,两个critic网络负责评估状态-动作对的价值,两个目标critic网络通过软更新的方式生成稳定的价值估计,具体包括:

54、(1)sac算法的最优策略函数可表示为:

55、;

56、式中,π*表示能够最大化期望累积回报的策略函数;st是t时刻的环境状态;at是t时刻的动作;α为温度系数,用于平衡期望奖励与熵之间的权衡;是策略熵项;ρπ为策略π形成的状态-动作轨迹分布;r(st,at)表示时间步t的即时奖励值;

57、sac算法的q值函数和状态值函数分别定义如下:

58、;

59、;

60、式中,p表示状态转移概率;γ代表折扣因子,取值在[0,1]范围内,表明未来奖励的重要性;

61、在智能体策略提升过程中,通过最小化kl散度去最小化2个分布的差距,其表达式为:

62、;

63、式中,dkl()表示kl散度;π为策略集合;为旧策略下的分配函数,为对q值进行归一化分布;表示为旧策略πold下的值函数;

64、采用最小化残差实现参数自适应更新,表述为:

65、;

66、;

67、;

68、式中,jq(θ)表示q网络的损失函数,θ和分别表示价值网络及其对应目标网络的参数,训练过程中用如下更新方式赋值:

69、;

70、式中,k表示更新参数。

71、策略网络的更新如下:

72、;

73、式中,ϕ是策略网络的参数。

74、(2)状态空间设计;

75、通过观察系统的状态,智能体决定系统中每个设备的最佳输出。光伏、风电、电价、电负荷、热负荷和蓄电池的状态均包含在状态空间中,其t时刻的状态空间定义为:

76、;

77、式中,ppv,t和pwt,t代表光伏和风电产生的电功率;cgrid,t是分时电价;hload,t代表系统的热负荷需求;pload,t代表系统的电负荷需求;socbess,t代表蓄电池的soc状态;

78、(3)动作空间设计;

79、本发明的动作空间设计如下:

80、;

81、式中,peb,t代表电锅炉消耗的电功率;pgrid,t是系统向上级电网购买的电功率;hchp,t代表热电联产机组输出的热功率;hgb,t代表燃气锅炉输出的热功率;pbess,t表示t时刻下bess的充/放功率。

82、(4)奖励函数设计;

83、本发明所构建的综合能源系统的目标是在满足电、热负荷需求的基础上最小化各机组的运行成本以及购电成本。其中智能体的奖励函数包含三部分:运行成本、购电成本以及约束惩罚,其公式为:

84、;

85、其中,com,t是系统各机组的运行成本;f1是热不平衡的惩罚成本;β1是热不平衡惩罚系数;f2是电不平衡的惩罚成本;β2是电不平衡惩罚系数。

86、进一步地,本发明采用图神经网络进一步改进sac算法:

87、本发明考虑了综合能源系统中各设备的异质性以及拓扑复杂性从而将图神经网络融入到sac算法中并进行针对性改进。首先引入了可学习的3维节点类型嵌入向量以增强对设备功能异质性的表征;其次通过堆叠gcn与残差连接实现结构感知的深度信息聚合;最后采用节点顺序保持的展平策略,以适配节点级调度任务的输出需求。改进后的架构能够提供精准的空间拓扑与状态融合特征,具体包括:

88、本发明改进后的算法以图神经网络提取的图特征为状态输入,其中改进后的双critic网络通过最小化残差实现参数自适应更新,公式为:

89、;

90、式中,gt表示输入的图状态;

91、改进算法的策略网络更新如下所示:

92、;

93、式中,ϕ代表策略网络的参数。

94、本发明的技术效果和优点:

95、1、本发明考虑了综合能源系统中异质能源网络在空间尺度上的复杂耦合特性,采用sac算法,并在空间维度上引入图神经网络并进行针对性改进,显式建模电、热网络拓扑以优化能流分配;

96、2、本发明以系统的综合运行成本为目标,详细构建动作空间、状态空间以及奖励函数。通过仿真验证,结果表明本发明所提方法具有良好的调度能力,能够进一步提升系统经济性;

97、3、本发明所提出的一种基于图神经网络的深度强化学习综合能源系统优化调度方法通过引入了图神经网络对sac的actor和critic网络进行改进,将传统深度强化学习的扁平化节点状态向量转化为包含节点属性与边关联的图结构,显式建模各机组间的空间分布与供需耦合关系,进一步提升智能体对电、热能源的能流传输与分配的优化能流,提升系统的全局经济性。