一种基于强化学习的电缆线路低碳调度方法及系统与流程

摘要: 本发明涉及电力调度,尤其涉及一种基于强化学习的电缆线路低碳调度方法及系统。背景技术:1、随着新能源接入比例提高以及电力负荷波动增强,电缆线路承担的功率传输状态呈...
一种基于强化学习的电缆线路低碳调度方法及系统与流程

本发明涉及电力调度,尤其涉及一种基于强化学习的电缆线路低碳调度方法及系统。

背景技术:

1、随着新能源接入比例提高以及电力负荷波动增强,电缆线路承担的功率传输状态呈现明显的动态变化。现有电缆线路调度通常采集线路载流状态、节点电压、线路损耗及节点负荷,根据线路运行约束和负荷变化情况调整功率分配关系、负荷供电路径及电源出力,以维持线路载流容量和节点电压处于允许范围,并通过新能源出力参与供电降低传统电源的供电比例。

2、现有电缆线路低碳调度通常根据当前调度周期的线路负荷、新能源出力及线路损耗确定负荷转移方向,当检测到其他供电路径具有剩余承载能力或具有更低线路损耗时,将对应负荷转移至目标供电路径。部分方法进一步采用强化学习,根据当前电网运行状态选择功率转移量和供电路径,并根据调度后的运行状态对调度策略进行更新,从而实现不同运行条件下的动态调度。

3、然而,上述调度方式通常将各调度周期作为相对独立的决策过程,缺少对前一调度动作与当前供电状态之间承接关系的持续分析。当负荷、新能源出力或线路损耗发生短时波动时,容易出现负荷刚转移至另一供电路径又被重新转回的情况,造成反向功率转移及供电路径重复切换,调度动作执行后缺少与未执行该调度动作状态的对应校验,使部分低碳收益不足的转供动作被持续保留,增加线路附加损耗并降低电缆线路低碳调度的稳定性。

4、因此,如何提供一种基于强化学习的电缆线路低碳调度方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于强化学习的电缆线路低碳调度方法及系统,本发明充分利用改进dreamerv3模型、分级调度让渡及反事实承接校验方法,构建电缆供电承接关系并识别低碳转供触发状态,通过逐级执行负荷转移与功率转移、校验实际调度与对照线路状态以及锁定最终供电路径,实现电缆线路连续低碳调度,具备减少反向功率转移、降低供电路径重复切换、降低线路损耗及提高低碳调度稳定性的优点。

2、根据本发明实施例的一种基于强化学习的电缆线路低碳调度方法,包括:

3、采集电缆线路低碳运行数据,连接当前供电路径及满足载流容量与节点电压约束的可转供路径,生成电缆供电承接图;

4、沿电缆供电承接图连续读取各调度周期的可转供路径,当可转供路径连续满足负荷承接条件,且对应线路损耗或高碳电源供电占比低于当前供电路径时,生成低碳转供触发段;

5、将电缆供电承接图及低碳转供触发段输入改进dreamerv3模型,所述改进dreamerv3模型设置连续调度动作承接编码层、反向调度轨迹抑制层及低碳电气状态联合价值层,生成分级调度让渡轨迹;

6、沿分级调度让渡轨迹逐级执行负荷转移及功率转移,每完成一级调度即采集对应线路载流状态、节点电压、线路损耗及电源出力,按照执行次序生成实际让渡响应序列;

7、基于实际让渡响应序列对各级调度建立未执行对应负荷转移的对照线路状态,将对照线路状态与实际线路状态进行比较,保留满足载流容量及节点电压约束且线路损耗或高碳电源供电占比降低的调度,撤销其余调度,生成低碳承接结果;

8、依据低碳承接结果确定最终供电路径,将最终供电路径写入电缆供电承接图并设置驻留锁定标记,在驻留锁定期间保持最终供电路径,检测到线路载流状态或节点电压不满足对应约束时解除驻留锁定标记,生成电缆线路低碳调度结果。

9、可选的,所述电缆线路低碳运行数据包括电缆线路拓扑连接关系、线路载流状态、节点电压、线路损耗、节点负荷、电源出力、新能源可用出力及电源碳排放因子。

10、可选的,所述连接当前供电路径及满足载流容量与节点电压约束的可转供路径,生成电缆供电承接图,包括:

11、读取电缆线路低碳运行数据中的电缆线路拓扑连接关系,按照电源节点、电缆线路及负荷节点之间的实际供电连接次序进行追踪,确定各负荷节点对应的当前供电路径;

12、以各负荷节点为追踪起点,沿未处于当前供电路径的电缆线路反向追踪至对应电源节点,将能够连续连接负荷节点与电源节点的电缆线路组合确定为待校验转供路径;

13、读取各待校验转供路径对应电缆线路的线路载流状态及节点电压,按照对应负荷节点的节点负荷加入待校验转供路径后的功率传输状态进行潮流计算,获得转供后线路载流状态及转供后节点电压;

14、将转供后线路载流状态与对应线路载流容量进行比较,并将转供后节点电压与预设节点电压运行范围进行比较,保留同时满足线路载流容量及节点电压约束的待校验转供路径,确定可转供路径;

15、将各负荷节点对应的当前供电路径与可转供路径按照共同负荷节点建立承接关系,并记录当前供电路径与可转供路径对应的电源节点、电缆线路及负荷节点;

16、按照所述承接关系连接当前供电路径、可转供路径及对应负荷节点,将对应转供后线路载流状态及转供后节点电压写入可转供路径,生成电缆供电承接图。

17、可选的,所述生成低碳转供触发段,包括:

18、沿电缆供电承接图按照调度周期读取各负荷节点对应的当前供电路径及可转供路径,获取对应线路载流状态、节点电压、线路损耗、节点负荷、电源出力及电源碳排放因子;

19、将节点负荷加入对应可转供路径,确定负荷转移后的线路载流状态及节点电压,保留线路载流状态满足线路载流容量且节点电压处于节点电压运行范围内的调度周期,生成负荷承接周期;

20、基于负荷承接周期分别确定当前供电路径与可转供路径的线路损耗,并依据对应电源出力及电源碳排放因子确定高碳电源供电占比,标记线路损耗降低或高碳电源供电占比降低的负荷承接周期;

21、按照时间顺序连接同一可转供路径对应且连续具有标记的负荷承接周期,在连续周期数量达到预设触发周期数量时,确定对应可转供路径的触发起始调度周期及触发终止调度周期;

22、截取触发起始调度周期至触发终止调度周期之间对应的负荷承接周期,并关联对应当前供电路径、可转供路径及负荷节点,生成低碳转供触发段。

23、可选的,所述生成分级调度让渡轨迹,包括:

24、获取dreamerv3模型,在世界模型的状态编码输入端接入调度承接状态编码层,在世界模型的想象轨迹输出端与价值网络输入端之间接入反向转供轨迹抑制层,在价值网络的价值输出端接入低碳承接价值校正层,并保持世界模型、策略网络及价值网络之间的强化学习连接关系,构建改进dreamerv3模型;

25、读取电缆供电承接图中低碳转供触发段对应的当前供电路径、可转供路径及负荷节点,提取连续调度周期对应的线路载流状态、节点电压、线路损耗、节点负荷、电源出力及电源碳排放因子,生成调度承接状态序列;

26、将调度承接状态序列输入调度承接状态编码层,按照调度周期关联前一调度周期的供电路径、功率转移方向及功率转移量与当前调度周期的线路运行状态,生成调度承接状态特征,并将调度承接状态特征输入世界模型;

27、通过世界模型按照不同负荷转移次序及功率转移量生成候选调度动作,基于候选调度动作递推对应的未来线路载流状态、节点电压、线路损耗及电源出力,将连续递推结果按照调度周期连接,生成候选调度推演轨迹;

28、将候选调度推演轨迹输入反向转供轨迹抑制层,比较相邻调度周期对应的功率转移方向及供电路径变化状态,剔除存在功率反向转移、退出后的供电路径重新进入、线路载流状态超过线路载流容量或节点电压超出节点电压运行范围的候选调度推演轨迹,生成可行调度推演轨迹;

29、将可行调度推演轨迹输入低碳承接价值校正层,依据各调度周期对应的线路损耗、电源出力及电源碳排放因子确定低碳承接价值,利用低碳承接价值校正价值网络对对应可行调度推演轨迹的价值评价结果,生成调度轨迹价值排序结果;

30、基于调度轨迹价值排序结果确定对应可转供路径的负荷转移次序及各级功率转移量,将对应调度动作按照执行先后次序连接,并关联对应当前供电路径、可转供路径及负荷节点,生成分级调度让渡轨迹。

31、可选的,所述按照执行次序生成实际让渡响应序列,包括:

32、读取分级调度让渡轨迹中的负荷转移次序、各级功率转移量、当前供电路径、可转供路径及负荷节点,按照负荷转移次序确定各级调度动作对应的执行位置及执行顺序;

33、按照执行顺序选取当前级调度动作,将对应功率转移量从当前供电路径逐步转移至可转供路径,并同步调整对应电源节点的电源出力,完成当前级负荷转移及功率转移;

34、保持当前级调度动作执行后的供电路径及功率分配状态,采集当前供电路径与可转供路径对应的线路载流状态、节点电压、线路损耗及电源出力,生成当前级实际线路状态;

35、将当前级实际线路状态作为下一级调度动作的初始线路状态,按照分级调度让渡轨迹继续执行下一级负荷转移及功率转移,直至完成分级调度让渡轨迹中的各级调度动作,获得各级实际线路状态;

36、按照各级调度动作的执行顺序连接各级实际线路状态,并将对应负荷节点、当前供电路径、可转供路径及各级功率转移量写入对应实际线路状态,生成实际让渡响应序列。

37、可选的,所述生成低碳承接结果,包括:

38、按照执行顺序读取实际让渡响应序列中的各级实际线路状态,提取当前级调度动作执行前的供电路径、功率分配状态、负荷节点及对应功率转移量,确定当前级调度动作的校验起始状态;

39、保持校验起始状态中的负荷节点处于当前供电路径,并取消当前级调度动作对应的功率转移量及电源出力调整,对取消当前级调度动作后的电缆线路进行潮流计算,生成当前级对照线路状态;

40、将当前级实际线路状态与当前级对照线路状态进行对应,分别比较线路载流状态与线路载流容量、节点电压与节点电压运行范围,并比较线路损耗及高碳电源供电占比,生成当前级让渡校验结果;

41、当当前级实际线路状态满足线路载流容量及节点电压约束,且线路损耗或高碳电源供电占比相对于当前级对照线路状态降低时,保留当前级调度动作,否则撤销当前级调度动作并恢复至对应校验起始状态,将保留或撤销后的线路状态作为下一级调度动作的校验起始状态;

42、按照各级调度动作的执行顺序重复进行对照线路状态构建及让渡校验,直至完成实际让渡响应序列中全部调度动作的校验,连接各级保留调度动作对应的负荷节点、可转供路径及功率转移量,生成低碳承接结果。

43、可选的,所述生成电缆线路低碳调度结果,包括:

44、读取低碳承接结果中各负荷节点对应的保留调度动作、可转供路径及功率转移量,将完成全部保留调度动作后的可转供路径确定为对应负荷节点的最终供电路径;

45、将最终供电路径替换电缆供电承接图中对应负荷节点的当前供电路径,将对应负荷节点、最终供电路径及完成转移后的功率分配状态建立关联,对最终供电路径设置驻留锁定标记;

46、在驻留锁定标记保持期间维持对应负荷节点与最终供电路径的供电连接关系,按照调度周期采集最终供电路径对应的线路载流状态及节点电压,将采集结果写入电缆供电承接图;

47、将各调度周期的线路载流状态与对应线路载流容量进行比较,并将节点电压与节点电压运行范围进行比较,当线路载流状态满足线路载流容量且节点电压处于节点电压运行范围内时,保持驻留锁定标记;

48、当线路载流状态不满足线路载流容量或节点电压超出节点电压运行范围时,解除对应最终供电路径的驻留锁定标记,将解除驻留锁定标记后的电缆供电承接图重新作为低碳转供触发段的识别输入;

49、汇总保持驻留锁定标记的最终供电路径、解除驻留锁定标记后重新确定的最终供电路径及对应功率分配状态,生成电缆线路低碳调度结果。

50、根据本发明实施例的一种基于强化学习的电缆线路低碳调度系统,包括如下模块:

51、供电承接模块,用于采集电缆线路低碳运行数据,连接当前供电路径与可转供路径,生成电缆供电承接图;

52、转供触发模块,用于基于电缆供电承接图连续校验可转供路径的负荷承接及低碳状态,生成低碳转供触发段;

53、调度让渡模块,用于将电缆供电承接图及低碳转供触发段输入改进dreamerv3模型,生成分级调度让渡轨迹;

54、让渡响应模块,用于沿分级调度让渡轨迹逐级执行负荷转移及功率转移,采集各级线路运行状态,生成实际让渡响应序列;

55、承接校验模块,用于基于实际让渡响应序列建立对照线路状态,校验并保留满足运行约束及低碳条件的调度,生成低碳承接结果;

56、路径驻留模块,用于基于低碳承接结果确定最终供电路径并设置驻留锁定标记,依据运行约束控制驻留锁定状态,生成电缆线路低碳调度结果。

57、本发明的有益效果是:

58、本发明通过采集电缆线路低碳运行数据,连接当前供电路径与满足载流容量及节点电压约束的可转供路径,形成电缆供电承接图,并沿电缆供电承接图连续校验各调度周期的负荷承接状态、线路损耗及高碳电源供电占比,在可转供路径连续满足对应条件时形成低碳转供触发段,能够减少由瞬时负荷波动或新能源出力变化引起的不必要转供,提高低碳调度触发的稳定性。

59、本发明通过改进dreamerv3模型对连续调度动作进行承接分析,对不同负荷转移次序及功率转移量对应的未来线路状态进行推演,并对反向功率转移、重复供电路径调整及不满足电气运行约束的调度轨迹进行抑制,形成分级调度让渡轨迹,使负荷转移和功率转移按照连续承接关系逐级执行,从而减少相邻调度周期之间的反复转供及供电路径频繁切换,降低由重复调度产生的线路附加损耗。

60、本发明在各级调度执行后建立未执行对应负荷转移的对照线路状态,将实际线路状态与对照线路状态进行校验,仅保留满足载流容量、节点电压及低碳条件的调度,并对最终供电路径设置驻留锁定标记,使已经形成低碳收益的供电路径能够保持稳定运行,在运行约束被破坏时重新启动调度,实现调度动作执行、低碳收益校验及供电路径保持的闭环控制,提高新能源利用水平和电缆线路低碳调度的可靠性。