一种基于强化学习的电热负荷消纳新能源方法与流程

1.本发明属于综合能源系统运行技术领域，特别是涉及一种基于强化学习的新能源和电热负荷互动方法。


背景技术：

2.新能源泛指风电、光伏等新型环境友好型能源，新能源替代传统能源将成为电力系统转型升级的必然趋势，但区别于传统能源的稳定形式，新能源“靠天吃饭”的随机性存在着无法完全消纳的问题，例如北方地区冬季由于供暖需求受“以热定电”的运行模式限制，弃风弃光问题较为明显。并且新能源装机比例不断提升，使电力系统惯性降低且调峰调频能力降低，系统的不确定性和波动性随之上升，由于新能源机组几乎不提供旋转惯性，电网抗干扰能力降低且稳定裕度不足，给电网稳定运行带来了新的挑战。
3.新能源消纳困难的技术原因在于：新能源生产特征与负荷消费水平的不匹配，与传统机组强迫出力的不平衡以及电网结构的薄弱与外送通道容量狭窄的不协调。传统办法通过降低常规机组出力以增加新能源上网空间，但这会使辅助服务费用高昂并降低系统的稳定性和抵御风险的能力。
4.热用户提供了消纳新能源的新思路，通过电热转换设备将电网与热网耦合，成为连接起新能源厂商与热负荷的新平台。常见的电热转换设备包括电锅炉、电热膜和热泵等，不同的设备供热方式不同，即可直接供热，也可蓄热供热。面向调节作用最强的弹性热用户，不同种类的电采暖设备以其廉价的运行管理成本和方便快捷的调节速率，为其大规模部署应用提供了可能，借由热用户的包容性和灵活性可提高净负荷水平，为新能源并网营造新的上网空间。
5.电价水平不仅取决于电力市场需求侧影响，新能源发电出力的不确定性同样会导致电价波动。当风电、光伏出力不足时，较高的负荷水平会引起电价上升；而产生弃风弃光冗余电量时，会促使电价降低。用户侧行为将受电价水平影响，为了使用电成本降低，用户侧会自发参与需求响应改变自己的负荷水平。如何在不同的电价水平下调整电热设备的运行状态使系统运行成本最优成为了电力市场机制下消纳新能源的新问题。
6.因此，现有技术中亟需一种新的技术方案来解决上述问题。


技术实现要素：

7.本发明所要解决的技术问题是：提供一种基于强化学习的电热负荷消纳新能源方法，克服传统消纳新能源的辅助服务费用高昂和系统运行风险增大等弊端，通过强化学习过程无需对电热转换设备进行精细建模，能够适应容量不同、规格不同和老旧程度不同的分布式电热设备，在实时市场中仅根据当前的电价和负荷水平给出目前状态的最优制热策略。
8.一种基于强化学习的电热负荷消纳新能源方法，其特征是：包括以下步骤，且以下步骤顺次进行，
9.步骤一、建立电热用户与新能源消纳系统
10.将风电厂、光伏厂、火电厂以及热电厂与电热负荷间接相连，建立非直接供电系统；
11.步骤二、基于强化学习的电热负荷与新能源互动消纳
12.将所述步骤一建立的系统中新能源出力的不确定性和电热用户负荷变化的随机性互动消纳视为不确定条件下的序贯决策问题，在离散的开环滚动时域中计算电采暖设备的最优制热策略序列，将其表征成为马尔科夫决策过程；系统的动作状态空间为系统的电负荷功率，热负荷需求功率和新能源发电功率以及运行时间，系统的动作空间为电热转换设备的制热功率、蓄热设备的传输功率和传统方式供热功率。
13.所述步骤二电热负荷与新能源互动表征为马尔科夫决策过程的强化学习组成要素包括智能体agent要素为分布式电采暖设备，环境environment要素为电采暖设备制热功率ph与电价的ρ的组合，状态state要素为当前第i个电采暖设备的运行状态与控制周期t的耦合s
i,t
，动作action要素为指从一个供热状态s
i,t
转移到另一个供热状态s
i,t 1
所采取的制热策略a
i,t
,奖赏reward要素为当前制热策略a
i,t
所带来的奖励值r
i.t
，值函数equation要素为非当前时刻的评价，从长期视角评价一个状态或状态动作对系统影响的好坏，是一个自定义的隐式函数。
14.通过上述设计方案，本发明可以带来如下有益效果：一种基于强化学习的电热负荷消纳新能源方法，基于强化学习的马尔科夫决策过程，区别于传统的模型预测控制方法，本发明不需要新能源波动性的日前调度精确预测数据，则排除了预测精度和预测偏差对互动过程准确性和可靠性的影响，而是根据历史数据在实时市场下做出最优决策，调整当前电热负荷功率以获得长期运行收益的最大化。
15.通过电热用户的负荷转移特性，可以移峰填谷以平稳负荷波动水平、提升负荷容量，为新能源消纳增加新的上网空间，提升系统的调节能力。并且，利用负荷峰谷时段的价格差，电热负荷在低谷时蓄热，峰荷时放热，所带来的利润空间刺激电热用户积极参与需求侧响应，充分激发了用户侧参与新能源消纳的积极性。同时，受电热转换设备机械结构的限制，调节功率和次数有限，运用强化学习可选出当前时刻最优状态变化以实现电热用户长期累计运行成本最小。
附图说明
16.以下结合附图和具体实施方式对本发明作进一步的说明：
17.图1为本发明电热负荷互动消纳新能源发电的系统结构示意图。
18.图2为本发明强化学习的电热负荷消纳新能源的计算流程图。
具体实施方式
19.一种基于强化学习的电热负荷消纳新能源方法，包括以下步骤，
20.步骤一、建立电热用户与新能源消纳系统
21.电热用户与新能源企业互动消纳的系统架构如图1所示。区别于传统的热电机组供热系统，本发明在负荷侧布置电热设备作为分布式供热资源。由于风电厂、光伏电厂等新能源厂站大多位于远离电热负荷的偏远地区，修建专门线路为电热设备供电会大幅增加成
本，因此分布式供热设备采用通过电网间接相连的非直接供电模式，因此即使布置在负荷侧，当风电、光伏等新能源机组出力不足时仍可从电网购电，保证了系统安全可靠运行。
22.步骤二、基于强化学习的电热负荷与新能源互动消纳
23.采用基于强化学习的动态互动消纳方法，系统优化管理电热设备在当前时间段内的功率水平，从而获得较长周期内系统总收益最大。由于本系统中新能源出力的不确定性和电热用户负荷变化的随机性，本系统的二者互动消纳问题可以看做是不确定条件下的序贯决策问题，在离散的开环滚动时域中计算电采暖设备的最优制热策略序列，本技术将其表征成为马尔科夫决策过程markov decision process,以下简称mdp。系统的动作状态空间为系统的电负荷功率，热负荷需求功率和新能源发电功率以及运行时间，系统的动作空间为电热转换设备的制热功率、蓄热设备的传输功率和传统方式供热功率。
24.表1 mdp要素
[0025][0026]
mdp过程的强化学习组成要素如表1所示，两大关键成分为智能体和环境，把智能体学习看成一个不断试错反馈的过程，目的是在更新过程中寻找使累计奖励r最大的动作策略。由于系统转移到下一状态s
t 1
时的奖励值和概率仅有当前状态s
t
和动作a决定，和历史动作无关，所以电热设备的当前时段的收益r仅与当前周期初始时供热状态和电价有关。
[0027]
具体的基于q-learning算法的强化学习过程是在离散时间空间内求解电热用户动态决策的马尔科夫决策过程。其具体更新过程如图2所示。
[0028]
强化学习伪代码
[0029]
[0030][0031]
实施例一、灵活热负荷的需求响应模型
[0032]
为描述电热用户的时空动态特征，对具有灵活性的电热负荷进行需求响应分析。热用户分为刚性热用户和弹性热用户，以工业大用户为代表的刚性负荷调节空间小，消纳波动性的新能源能力不强，本发明算法中不予考虑。而以普通居民用户为代表的弹性热用户具有数量大且分布广泛的特点，受电价信号的影响需求响应作用强。以分析热用户的热水需求和室温采暖需求为例。
[0033]
(1)热泵通过消耗电能对水进行加热，并且将水温保持在一定水平内波动，以随时供给负荷的热水需求。假定热泵向水箱和负荷供给一定量的热水后，会向热泵中自动补充相同体积的冷水，则由热力学第二定律可得热水的消耗模型为：
[0034][0035]
式中：和δc分别为t时刻的热水温度和补充的冷水温度；ρw、vw、v
tcold
和cw分别为水的密度，水箱的体积，补充的冷水体积和水的比热容；为热泵向水箱或负荷提供的热功率；δt为单位时间变化长度。
[0036]
上式中等式右边第一项为补充的冷水对水箱内温度的影响，第二项为热泵制热为水箱和负荷供热后引起的温度变化。且热水温度需要保持在一定范围内：
[0037][0038]
式中：和分别为水箱内温度需求的最大值和最小值。
[0039]
(2)室温采暖需求建模。由于在同一空间分布条件下每个房屋的采暖需求基本相同，因此基于热平衡原理对单个房屋的热负荷进行分析，对应到用户集群后只需将单个模型按对应比例聚合。房屋建筑的电采暖需求指标受墙体传热量、屋顶传热量、门传热量、窗户传热量和太阳辐射五个部分组成，式1-6为其计算模型。
[0040]qcl
(t)＝qw(t) qr(t) qg(t) qd(t) qs(t)
[0041]
[0042][0043][0044]
qr(t)＝k
rfr
(t
out
(t)-t
in
(t))
[0045][0046]
式中：q代表与外界交换的热量，单位w；k表示传热系数，单位w/(m2·
℃)；f表示房屋的采暖面积，单位m2；t
out
(t)和t
in
(t)分别表示室外、室内的平均温度；各变量下标w、g、d、r、s分别表示墙体、地板、门、屋顶和窗户；下标i表示各个朝向；t表示时间；γ表示位置修正系数；sc表示窗户的辐射系数，单位w/m2。
[0047]
实施例二、系统优化运行问题的数学描述
[0048]
1、目标函数
[0049]
本技术提出的电热用户消纳新能源系统的优化目的是协调系统各单元出力，使负荷侧电热用户运行费用最小且获得更大的新能源消纳量。系统的运行成本主要由电采暖设备与主网能量交互的购电费用、电热设备运行机械结构磨损所带来的折旧成本、电采暖供热不足时传统供热成本和新能源上网的发电收入组成。
[0050]
min f＝min(cb cz c
q-cs)
[0051]
式中：f表示系统优化目标；cb表示购电费用，cz表示折旧成本，cs表示新能源的发电效益。各项费用具体表示如下：
[0052][0053][0054][0055][0056]
式中：γb(t)、γq和γs(t)分别为电热用户从电网购电价格、电热用户从热网购热价格和新能源厂站发电并网的补贴价格；δz为电采暖设备的折旧惩罚因子；ni(t)为该时间段电热设备的运行调节次数；p
ib
(t)、qb(t)和p
ire
(t)分别为时刻t电热用户的购电量、购热量和新能源发电的上网量。t为总运行周期。
[0057]
2、约束条件
[0058]
(1)电量平衡约束
[0059]
下式为系统电量平衡约束的数学表达，式左包括系统从电网购电量与新能源并网量，式右包括系统常规电负荷和电采暖设备耗电量。
[0060]
[0061]
式中：p
load
(t)为系统在t时刻常规电负荷水平；p
ihp
(t)为热泵i在t时刻的耗电量。
[0062]
(2)热量平衡约束
[0063]
式为系统热量平衡约束的数学表达。式左包括系统从热网的购热量、热泵的制热功率和水箱的供热功率，式右为系统的热负荷水平。
[0064][0065]
式中：q
load
(t)为系统在t时刻的供热需求量。
[0066]
(3)设备运行约束
[0067][0068][0069][0070][0071][0072][0073]
式中：和和与和分别为热泵制热功率以及其爬坡速率和水箱蓄热水平的最小值和最大值；和分别为水箱对外交换功率的最小值和最大值；为水箱i对外传输热功率，当其大于0时水箱蓄热，当其小于0时水箱放热，其分为两部分，为水箱的放热功率，为水箱i的蓄热功率；αi为电热功率比，表征电采暖设备的制热效率；p
ihp
为热泵i消耗的电功率。