基于双重奖励塑形的负载率优化方法、介质及系统

摘要: 本技术涉及电力系统调控,特别涉及一种基于双重奖励塑形的负载率优化方法、介质及系统。背景技术:1、电力系统是现代社会运行的重要基础设施,配电网又是连接电源侧与用户...
基于双重奖励塑形的负载率优化方法、介质及系统

本技术涉及电力系统调控,特别涉及一种基于双重奖励塑形的负载率优化方法、介质及系统。

背景技术:

1、电力系统是现代社会运行的重要基础设施,配电网又是连接电源侧与用户侧的关键环节。随着风电、光伏等新能源高比例接入,配电网运行呈现源荷波动增强、拓扑状态频繁变化、局部设备重载风险增大等特点。配电网重构通过控制可控开关改变网络拓扑,在满足辐射运行、潮流约束和设备安全约束的前提下,实现负载均衡、过载消除、网损降低和供电可靠性提升,是新能源并网背景系提升配电系统灵活性的重要技术手段之一。

2、相关技术中,在进行配电网重构时,多采用启发式及元启发式优化方法。这类方法不要求目标函数具有良好的解析性质,能够在复杂约束下搜索较优拓扑方案。然而,动态配电网重构的搜索空间通常远大于静态重构;当可控开关数量、时间步长和运行约束同时增加时,算法容易出现计算开销大、收敛速度慢、结果稳定性不足的问题,难以满足在线或准在线调度需求。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明的一个目的在于提出一种基于双重奖励塑形的负载率优化方法,能够对动态配电网环境进行有效重构,提高结果稳定性;同时,可有效降低电力系统整体负载率。

2、第一方面,本发明实施例提出了一种基于双重奖励塑形的负载率优化方法,包括以下步骤:获取配电网运行环境数据,所述配电网运行环境数据包括线路或变压器负载率、可控开关当前开合状态、各开关历史开启率和关闭率、调度时间、潮流计算结果和每一时间步终止标志;基于线路或变压器负载率构建负载率观测序列,并根据所述负载率观测序列提取负载率统计特征;根据所述调度时间生成时间特征,并根据所述可控开关当前开合状态、各开关历史开启率和关闭率生成开关行为统计特征;基于所述负载率观测序列、所述负载率统计特征、所述时间特征和所述开关行为统计特征生成当前时间步的状态向量;将所述当前时间步的状态向量输入到近端策略优化网络,以通过所述近端策略优化网络输出对应的可控开关动作;根据所述可控开关动作计算下一时间步的预估配电网环境数据,并计算所述下一时间步的预估配电网环境数据对应的下一状态向量;根据所述当前时间步的状态向量和所述下一状态向量计算基础负载率奖励、历史最低负载率势能塑形项、连续降载辅助奖励和价值网络差分塑形项;对所述基础负载率奖励、所述历史最低负载率势能塑形项、所述连续降载辅助奖励和所述价值网络差分塑形项进行融合,以生成最终训练奖励;将所述当前时间步的状态向量、可控开关动作、下一状态向量、最终训练奖励和当前时间步的终止标志作为交互样本写入采样缓冲区;基于采样缓冲区中的交互样本更新网络参数。能够对动态配电网环境进行有效重构,提高结果稳定性;同时,可有效降低电力系统整体负载率。

3、在一些实施例中,基于线路或变压器负载率构建负载率观测序列,包括:基于所述线路或变压器负载率提取各受监控线路或受监控变压器的负载率,以根据所述各受监控线路或受监控变压器的负载率构建当前时间步的负载率观测序列;基于预设规则对所述负载率观测序列进行处理,以剔除所述负载率观测序列中的异常值,补全缺失值;对补全后的负载率观测序列中的负载率执行加一对数变换,以得到最终负载率观测序列。

4、在一些实施例中,所述负载率统计特征包括:负载率总量、负载率均值、最大负载率、次大负载率、最小负载率和标准差。

5、在一些实施例中,根据所述调度时间生成时间特征,包括:对所述调度时间进行归一化处理,以生成归一化时间信息;生成正弦周期编码和余弦周期编码,以得到周期编码信息;将所述归一化时间信息和所述周期编码信息作为时间特征。

6、在一些实施例中,根据所述可控开关动作计算下一时间步的预估配电网环境数据,包括:根据所述可控开关动作更新开关拓扑、当前时段节点负荷和电源出力,并将更新后的开关拓扑、当前时段节点负荷和电源出力提交到配电网仿真平台;所述配电网仿真平台基于接收到的数据进行潮流计算,以输出对应的下一时间步的预估配电网环境数据。

7、在一些实施例中,所述基础负载率奖励通过以下公式计算:

8、;

9、其中,表示基础负载率奖励,表示保留小数的舍入操作,表示下一状态向量对应的负载率均值,表示下一状态向量对应的最大负载率特征,表示下一状态向量对应的次大负载率特征,表示最大值乘法系数,表示次大值乘法系数,表示保护下界。

10、在一些实施例中,所述历史最低负载率势能塑形项通过以下公式计算:

11、;

12、;

13、;

14、其中,表示历史最低负载率势能塑形项,表示折扣因子,、表示下一状态向量对应的势能,、表示当前时间步对应的势能,表示下一状态向量对应的负载率均值,表示历史最低负载率均值,表示时刻状态对应的势能,表示时刻状态对应的势能。

15、在一些实施例中,所述连续降载辅助奖励通过以下公式计算:

16、;

17、其中,表示连续降载辅助奖励,表示下一状态向量对应的势能,表示当前时间步对应的势能,表示时刻的负载率,表示时刻的负载率,表示连续降载辅助奖励函数;;

18、所述价值网络差分塑形项通过以下公式计算:

19、;

20、其中,表示价值网络差分塑形项,表示折扣因子,表示价值塑形缩放因子,表示第次策略更新时的价值网络参数,表示在第次策略更新时,对动作执行后的状态计算得到的势能函数值,表示在第次策略更新时,对动作执行后的状态计算得到的势能函数值,表示参数为的价值网络对动作执行后状态的状态价值估计,即从该状态继续执行策略所能获得的预期累计回报,表示参数为的价值网络对当前状态的状态价值估计,即从当前状态继续执行策略所能获得的预期累计回报;

21、所述最终训练奖励通过以下公式计算:

22、;

23、其中,表示最终训练奖励,表示基础负载率奖励,表示价值网络差分塑形项,表示历史最低负载率势能塑形项,表示连续降载辅助奖励。

24、第二方面,本发明实施例提出了一种计算机可读存储介质,其上存储有基于双重奖励塑形的负载率优化程序,该基于双重奖励塑形的负载率优化程序被处理器执行时实现如上所述的基于双重奖励塑形的负载率优化方法。

25、第三方面,本发明实施例提出了一种基于双重奖励塑形的负载率优化系统,包括:获取模块,所述获取模块用于获取配电网运行环境数据,所述配电网运行环境数据包括线路或变压器负载率、可控开关当前开合状态、各开关历史开启率和关闭率、调度时间、潮流计算结果和每一时间步终止标志;提取模块,所述提取模块用于基于线路或变压器负载率构建负载率观测序列,并根据所述负载率观测序列提取负载率统计特征;统计模块,所述统计模块用于根据所述调度时间生成时间特征,并根据所述可控开关当前开合状态、各开关历史开启率和关闭率生成开关行为统计特征;状态向量生成模块,所述状态向量生成模块用于基于所述负载率观测序列、所述负载率统计特征、所述时间特征和所述开关行为统计特征生成当前时间步的状态向量;开关动作生成模块,所述开关动作生成模块用于将所述当前时间步的状态向量输入到近端策略优化网络,以通过所述近端策略优化网络输出对应的可控开关动作;预估模块,所述预估模块用于根据所述可控开关动作计算下一时间步的预估配电网环境数据,并计算所述下一时间步的预估配电网环境数据对应的下一状态向量;计算模块,所述计算模块用于根据所述当前时间步的状态向量和所述下一状态向量计算基础负载率奖励、历史最低负载率势能塑形项、连续降载辅助奖励和价值网络差分塑形项;融合模块,所述融合模块用于对所述基础负载率奖励、所述历史最低负载率势能塑形项、所述连续降载辅助奖励和所述价值网络差分塑形项进行融合,以生成最终训练奖励;存储模块,所述存储模块用于将所述当前时间步的状态向量、可控开关动作、下一状态向量、最终训练奖励和当前时间步的终止标志作为交互样本写入采样缓冲区;更新模块,所述更新模块用于基于采样缓冲区中的交互样本更新网络参数。

26、根据本发明实施例的基于双重奖励塑形的负载率优化方法,首先,获取配电网运行环境数据,所述配电网运行环境数据包括线路或变压器负载率、可控开关当前开合状态、各开关历史开启率和关闭率、调度时间、潮流计算结果和每一时间步终止标志;接着,基于线路或变压器负载率构建负载率观测序列,并根据所述负载率观测序列提取负载率统计特征;然后,根据所述调度时间生成时间特征,并根据所述可控开关当前开合状态、各开关历史开启率和关闭率生成开关行为统计特征;通过上述方式,可对动态电力系统的特征进行有效刻画;接着,基于所述负载率观测序列、所述负载率统计特征、所述时间特征和所述开关行为统计特征生成当前时间步的状态向量;然后,将所述当前时间步的状态向量输入到近端策略优化网络,以通过所述近端策略优化网络输出对应的可控开关动作;接着,根据所述可控开关动作计算下一时间步的预估配电网环境数据,并计算所述下一时间步的预估配电网环境数据对应的下一状态向量;然后,根据所述当前时间步的状态向量和所述下一状态向量计算基础负载率奖励、历史最低负载率势能塑形项、连续降载辅助奖励和价值网络差分塑形项;接着,对所述基础负载率奖励、所述历史最低负载率势能塑形项、所述连续降载辅助奖励和所述价值网络差分塑形项进行融合,以生成最终训练奖励;然后,将所述当前时间步的状态向量、可控开关动作、下一状态向量、最终训练奖励和当前时间步的终止标志作为交互样本写入采样缓冲区;接着,基于采样缓冲区中的交互样本更新网络参数。可以理解,本发明实施例提出的基于双重奖励塑形的负载率优化方法引入强化学习来实现配电网重构,以提高重构效率和重构结果的稳定性。并且,同时引入历史最低负载率势能塑形项和价值网络差分塑形项,历史最低负载率势能塑形项提供反应负载率历史演化趋势的外部先验引导,价值网络差分塑形项提供反映当前策略价值估计变化的内部学习反馈;二者共同修正原始奖励信号,使得策略更新过程既关注电力系统运行目标,又兼顾强化学习算法内部的价值评估结果;进而能够强化负载率的优化效果,进一步提高结果的稳定性。

27、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。