基于强化学习的交直流混联输电走廊传输能力最大化控制方法及系统与流程

摘要: 本发明属于输电走廊传输能力控制领域,具体涉及一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法及系统。背景技术:1、高压直流输电系统以超大输电容量著称,...
基于强化学习的交直流混联输电走廊传输能力最大化控制方法及系统与流程

本发明属于输电走廊传输能力控制领域,具体涉及一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法及系统。

背景技术:

1、高压直流输电系统以超大输电容量著称,特别适合异步交流电网之间的长距离互联,这种配置通常被称为跨区域高压直流。除了这些优势,高压直流技术还能灵活精准地控制传输功率,使系统能主动参与电网功能,比如调节功率和维持频率稳定。基于这种可控性,嵌入式高压直流系统(即整流器和逆变器都集成在同一个同步交流电网中)正在研发和部署中。与跨区域高压直流不同,嵌入式高压直流系统能提升受限输电走廊内的电力传输能力,同时增强电网整体灵活性。凭借先进的控制技术,它还能辅助电力调节、缓解事故后的违规行为,并抑制机电振荡。

2、此前已有研究致力于高压直流输电(high-voltage direct current,hvdc)的潮流控制。然而这些研究主要聚焦于跨区域高压直流输电应用,对于考虑嵌入式高压直流输电系统的关键走廊输电能力提升,系统性潮流优化仍存在研究空白。

3、虽然在传统优化框架中,嵌入式高压直流链路可被建模为整流器端的可控负载和逆变器端的发电源,但交流潮流方程固有的非线性和非凸性导致求解过程计算量巨大,阻碍了实时应用。此外,传统 opf 模型往往难以整合电力潮流求解器中常见的离散自动化控制动作——例如变压器抽头调节或电容器切换。强化学习(reinforcement learning,rl)作为一种基于人工智能的方法,通过将电力潮流求解器视为黑箱环境,绕过了此类离散控制的显式建模,从而提供了一种有前景的替代方案。

4、(1)现有高压直流输电控制研究主要聚焦跨区域配置,优先考虑基于区域发电成本差异的跨区域电力交换经济调度。对于嵌入式高压直流输电而言,该目标适用性较低,其运营方旨在安全约束条件下,通过最大化区域电网内部输电容量来降低损耗并提升资产利用率。

5、(2)尽管强化学习算法在处理大规模系统中的非线性潮流约束方面已展现出潜力,但其在嵌入式高压直流输电控制中的应用仍待深入探索,特别是在具有多个嵌入式高压直流输电链路的电网中。

技术实现思路

1、针对上述问题,本发明提出一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法及系统,能够安全地最大化交流与直流混合走廊的功率传输能力。

2、为了实现上述技术目的,达到上述技术效果,本发明通过以下技术方案实现:

3、第一方面,本发明提供了一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,包括:

4、以交直流混联走廊中的直流输电线路的有功功率和电力系统中灵敏度符合要求的有效火力发电机的有功功率控制措施下,交直流混联输电走廊的总效益最大化为优化目标,构建传输能力优化模型;

5、将所述传输能力优化模型转化为马尔可夫决策过程模型,确定所述马尔可夫决策过程模型的状态空间、动作空间以及奖励函数,其中,所述状态空间反映了电力系统在各个时刻的运行状态,所述动作空间包含各个时刻下交直流混联走廊中的直流输电线路的有功功率和有效火力发电机的有功功率,所述奖励函数由所述传输能力优化模型的优化目标确定;

6、采用深度强化学习算法对所述马尔可夫决策过程模型进行求解,得到各个时刻下交直流混联走廊中的直流输电线路的最优有功功率和电力系统中灵敏度符合要求的有效火力发电机的最优有功功率。

7、第二方面,本发明提供了一种基于强化学习的交直流混联输电走廊传输能力最大化控制系统,包括存储介质和处理器;

8、所述存储介质用于存储指令;

9、所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。

10、与现有技术相比,本发明的有益效果:

11、本发明以交直流混联走廊中的直流输电线路的有功功率和电力系统中灵敏度符合要求的有效火力发电机的有功功率控制措施下,交直流混联输电走廊的总效益最大化为优化目标,构建传输能力优化模型;将所述传输能力优化模型转化为马尔可夫决策过程模型,确定所述马尔可夫决策过程模型的状态空间、动作空间以及奖励函数,其中,所述状态空间反映了电力系统在各个时刻的运行状态,所述动作空间包含各个时刻下交直流混联走廊中的直流输电线路的有功功率和有效火力发电机的有功功率,所述奖励函数由所述传输能力优化模型的优化目标确定;采用深度强化学习算法对所述马尔可夫决策过程模型进行求解,得到各个时刻下直流输电线路的最优有功功率和火力发电机的最优有功功率,可实现在不违反交流电网约束的前提下,安全地最大化交流与直流混合走廊的功率传输能力。

12、本发明采用灵敏度选择法,实时选择最优的有效火力发电机,并开发了可屏蔽机制,实时取消不可控火力发电机的选中(即仅选择灵敏度符合要求的火力发电机参与调控,灵敏度不符合要求的火力发电机自动被屏蔽掉),以提高控制性能。

1.一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于,包括:

2.根据权利要求1所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于,所述传输能力优化模型的目标函数为:

3.根据权利要求2所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于:所述传输能力优化模型的约束条件包括节点的功率平衡约束,以及安全与稳定约束;

4.根据权利要求1所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于:所述动作空间的表达式为:

5.根据权利要求1所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于:定义交直流混联输电走廊中包含的交流输电线路为关键交流输电线路,电力系统中其他的交流输电线路为非关键交流输电线路;所述状态空间的表达式为:

6.根据权利要求1所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于:定义交直流混联输电走廊中包含的交流输电线路为关键交流输电线路,电力系统中其他的交流输电线路为非关键交流输电线路;所述奖励函数的表达式为:

7.根据权利要求1所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于:所述电力系统中灵敏度符合要求的有效火力发电机通过以下步骤筛选获得:

8.根据权利要求1所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于:所述采用深度强化学习算法对所述马尔可夫决策过程模型进行求解,得到各个时刻下直流输电线路的最优有功功率和火力发电机的最优有功功率,包括:

9.根据权利要求1所述的一种基于强化学习的交直流混联输电走廊传输能力最大化控制方法,其特征在于:所述智能体在训练过程中,其训练集通过以下步骤生成:

10.一种基于强化学习的交直流混联输电走廊传输能力最大化控制系统,其特征在于,包括存储介质和处理器;