基于图强化学习的大规模柔性互联配电网规划方法和系统与流程

本发明涉及配电网，更具体的说，是涉及基于图强化学习的大规模柔性互联配电网规划方法和系统。

背景技术：

1、配电网是分布式新能源接入和消纳的主战场，承担着构建以新能源为主体的新型电力系统的重要使命。传统配电网规划优化求解方法都较为简单，随着源网荷储的发展，传统配电网已逐步发展为新型配电网，而灵活性资源的主动参与和响应是新型配电网安全经济运行的重要保证。在新型配电网运行期间，源网荷储中的灵活性资源可依据具体的激励信号，结合自身情况积极响应电网运行的需求，在机制的引导下对分布式能源进行协调管理，从而提升能源效率，保证系统高效灵活经济运行。针对此状况，常见的做法是，传统配电网优化规划考虑的主要问题是以需求为主导的负荷预测，以及通过计算分析确定设备的最佳位置、容量和接入变电站的方式等特定问题。由于灵活性资源的接入，新型配电网的优化对象、目标、考虑的因素逐渐多元化。在综合考虑经济性、灵活性及低碳性等多方面因素后，后续做法是，针对配电网低碳转型和灵活性资源优化规划问题，对分布式发电出力与负荷进行分析，并划分典型日场景，然后采用基于数学模型进行建模与求解。

2、但是，基于数学模型的传统求解方法往往面临严重的维数灾难，求解耗时巨大，难以在有效计算时间内寻优。为了突破传统数学模型在求解时面临的算力瓶颈，图强化学习为电力系统优化规划提供了全新视角。

技术实现思路

1、本发明为新型配电网提供基于图强化学习的兼顾经济-清洁多目标的大规模柔性互联配电网源网荷储规划方法，满足大规模配网多元发展需求。通过研究配电网与先进的图强化学习技术融合发展的模式，提出图强化学习技术在配电网规划建设中的应用场景，为配电网与图强化学习技术的统一规划、协调发展提供技术支撑。

2、具体，本发明提供基于图强化学习的大规模柔性互联配电网规划方法，包括如下步骤：

3、s1、获取配电网原始的源荷历史运行数据，并对所述数据进行预处理，采用k-medoids聚类方法进行典型日的划分，获得多个具有代表的典型日场景以及对应的概率；

4、s2、构建包含经济性和清洁性的统筹sop选址定容及多类型分布式资源协同规划的综合模型，并确定模型的约束条件；

5、s3、提出基于图强化学习的配电网扩展规划模型，采用结合图卷积网络与多分支近端策略优化的求解框架对所述规划模型进行求解；其中，设计ac/dc解耦与连通分量溯源拓扑强制投影机制，所述投影机制在动作解码阶段对交流线路与sop直流互联侧实行差异化映射与严格校验；

6、s4、基于模型求解结果，获得主动配电网的网架扩展改造方案、柔性开关选址定容方案以及分布式资源的协同配置方案，并获得兼顾经济性、可靠性与清洁性的最优综合规划决策。

7、进一步的，所述基于图强化学习的配电网扩展规划模型包括：

8、将配电网状态定义为具有深层耦合特征的图数据，对于任意节点，其特征向量为：

9、；

10、式中：和分别为节点的基准有功与无功负荷标幺值；为布尔型指示变量，分别表征节点是否为光伏、风电、储能、无功补偿装置和sop的候选规划节点；

11、依托 actor-critic 架构，设计高维离散的多分支动作输出层，规划决策动作扩展定义为：

12、；

13、式中：代表候选线路的投建决策；代表变电站的扩建或新建0-1决策；分别为各候选节点上对应设备的离散容量档位决策向量。

14、进一步的，ac/dc解耦与连通分量溯源拓扑强制投影机制包括：

15、ac/dc走廊互斥的交流网架投影：为实现解耦，当智能体决策在某候选走廊建设sop时，赋予该走廊极大的物理阻断权重，严禁该走廊再作为交流线路连通，逼迫交流网架从两侧绕行以避免孤岛，并为系统包含固有线路与候选线路在内的所有可行支路分配拓扑连通权重；

16、基于连通分量溯源的跨区防环校验：为确保sop真正发挥跨区互济功能，采用图论中的连通分量算法对生成的交流森林拓扑进行全局溯源；遍历每个连通分量，追溯并记录其中每个节点所归属的变电站根节点，对于智能体选定的每一条sop候选动作，比对其两端节点在中追溯的根节点标识；若sop两端节点归属于同一变电站，即形成站内闭环，则系统判定该sop动作无效，并向强化学习智能体施加较高的拓扑惩罚，同时在物理层面上强制取消该sop投建决策，以此引导智能体的神经网络将探索方向聚焦于真正跨越不同馈线区域的有效联络节点；

17、柔性互联映射：避开mst的剪枝校验，将选中的sop直接映射为处于对应节点上的成对可控虚拟源/荷，并代入后续潮流计算。

18、进一步的，基于图强化学习的配电网扩展规划模型的综合奖励函数定义为各项物理评估成本与越限软惩罚函数之和的负值：

19、；

20、其中，为dn总等年值投资成本，为模拟运行成本，为固定运维成本，为年度碳排成本，惩罚项由拓扑强行连通惩罚、电压越限非线性惩罚、红线切负荷惩罚、sop孤岛效应惩罚以及sop站内环网违规惩罚构成。

21、进一步的，针对包含线路投建、变电站扩建、sop选址定容及多种分布式资源定容的超高维复合决策空间，在actor网络中设计了多分支的离散输出层，假设规划决策动作包含个离散子维度，actor网络采用并行的全连接层独立计算各个子维度的动作偏好得分：

22、；

23、随后，利用softmax函数将得分转化为动作的概率分布：

24、；

25、由于各个子决策维度之间相互独立，该状态下联合规划动作的总体对数概率可通过各子维度概率连乘求得：

26、；

27、式中：为critic网络接收gcn提取的图级状态嵌入；和为第个分支的全连接层参数；为包含gcn特征提取器与actor网络的联合参数集合；为动作在第维的具体取值。

28、进一步的，将规划模型转化为单步马尔可夫决策过程，令表示新旧策略的概率比值，actor网络的目标损失函数设计为：

29、；

30、式中：更新前收集交互数据时的旧策略参数；为超参数，用于将概率比限制在区间范围内；代表单步mdp下的优势函数估计值；

31、对于critic网络，采用均方误差作为其价值网络损失函数：

32、；

33、式中：为critic网络参数；r代表单步综合经济-清洁奖励；代表状态价值函数；

34、在总损失函数中引入了策略分布的信息熵奖励，网络参数更新的总体目标损失函数定义为：

35、；

36、式中：为价值损失系数；为信息熵系数；

37、模型通过adam优化器进行反向传播更新参数，直至平均奖励收敛或达到最大交互回合数。

38、进一步的，构建包含经济性和清洁性的统筹sop选址定容及多类型分布式资源协同规划的综合模型，并确定模型的约束条件的方法为：

39、所述模型以等年值投资成本、模拟运行成本、固定运维成本与低碳清洁成本之和最小为目标函数：

40、；

41、所述约束条件包括拓扑结构约束、潮流与节点功率平衡约束、节点电压限制约束、变电站容量约束、sop 变流器有功与无功运行约束、储能系统运行约束。

42、基于图强化学习的大规模柔性互联配电网规划系统，包括：

43、典型日场景获取模块，用于获取配电网原始的源荷历史运行数据，并对所述数据进行预处理，采用k-medoids聚类方法进行典型日的划分，获得多个具有代表的典型日场景以及对应的概率；

44、综合模型及约束条件确定模型，用于构建包含经济性和清洁性的统筹sop选址定容及多类型分布式资源协同规划的综合模型，并确定模型的约束条件；

45、配电网扩展规划模型构建及求解模块，用于提出基于图强化学习的配电网扩展规划模型，采用结合图卷积网络与多分支近端策略优化的求解框架对所述规划模型进行求解；其中，设计ac/dc解耦与连通分量溯源拓扑强制投影机制，所述投影机制在动作解码阶段对交流线路与sop直流互联侧实行差异化映射与严格校验；

46、协同配置方案及最优综合规划决策获取模块，用于基于模型求解结果，获得主动配电网的网架扩展改造方案、柔性开关选址定容方案以及分布式资源的协同配置方案，并获得兼顾经济性、可靠性与清洁性的最优综合规划决策。

47、一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的基于图强化学习的大规模柔性互联配电网规划方法。

48、一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于图强化学习的大规模柔性互联配电网规划方法。

49、本发明的有益技术效果为：

50、1、本发明提出的基于图强化学习的大规模柔性互联配电网规划方法，通过考虑源网荷储模式的多目标协同规划，提高电网在新能源消纳方面的能力，减少运营成本；

51、2、本发明采用图强化学习的复杂规划模型求解框架，构建多资源选址定容、sop选址的高维混合决策空间，可以高效求解复杂规划场景，显著提升求解效率；

52、3、本发明通过提升配电网对新能源的消纳能力和优化能源分配，能够大幅提高清洁能源的比例，减少传统化石能源的使用，促进绿色低碳的电力生产和消费模式，助力降低电力行业的碳排放，为国家和地区的碳中和目标提供支撑。