一种基于强化学习的电热负荷消纳新能源方法与流程

技术特征：
1.一种基于强化学习的电热负荷消纳新能源方法，其特征是：包括以下步骤，且以下步骤顺次进行，步骤一、建立电热用户与新能源消纳系统将风电厂、光伏厂、火电厂以及热电厂与电热负荷间接相连，建立非直接供电系统；步骤二、基于强化学习的电热负荷与新能源互动消纳将所述步骤一建立的系统中新能源出力的不确定性和电热用户负荷变化的随机性互动消纳视为不确定条件下的序贯决策问题，在离散的开环滚动时域中计算电采暖设备的最优制热策略序列，将其表征成为马尔科夫决策过程；系统的动作状态空间为系统的电负荷功率，热负荷需求功率和新能源发电功率以及运行时间，系统的动作空间为电热转换设备的制热功率、蓄热设备的传输功率和传统方式供热功率。2.根据权利要求1所述的一种基于强化学习的电热负荷消纳新能源方法，其特征是：所述步骤二电热负荷与新能源互动表征为马尔科夫决策过程的强化学习组成要素包括智能体agent要素为分布式电采暖设备，环境environment要素为电采暖设备制热功率p
h
与电价的ρ的组合，状态state要素为当前第i个电采暖设备的运行状态与控制周期t的耦合s
i,t
，动作action要素为指从一个供热状态s
i,t
转移到另一个供热状态s
i,t 1
所采取的制热策略a
i,t
,奖赏reward要素为当前制热策略a
i,t
所带来的奖励值r
i.t
，值函数equation要素为非当前时刻的评价，从长期视角评价一个状态或状态动作对系统影响的好坏，是一个自定义的隐式函数。

技术总结
一种基于强化学习的电热负荷消纳新能源方法，属于综合能源系统运行技术领域，本发明基于强化学习的马尔科夫决策过程，区别于传统的模型预测控制方法，无需新能源波动性的日前调度精确预测数据，而是根据历史数据在实时市场下做出最优决策，调整当前电热负荷功率以获得长期运行收益的最大化；无需对电热转换设备进行精细建模，在实时市场中仅根据当前的电价和负荷水平给出目前状态的最优制热策略，能够提高新能源的消纳水平并实现市场各主体收益最大化。最大化。最大化。


技术研发人员：李宝聚 孙勇 杨冬梅 刘刚 刘畅 傅吉悦 李德鑫 郭雷 刘友波 曹政 王尧 范东川 王佳蕊 张海锋
受保护的技术使用者：国网电力科学研究院有限公司 国网吉林省电力有限公司电力科学研究院 吉林省电力科学研究院有限公司 国家电网有限公司
技术研发日：2021.12.01
技术公布日：2022/4/15