基于深度强化学习的配电网电压预测方法、设备及系统与流程
本申请涉及配电网运行与控制,具体涉及基于深度强化学习的配电网电压预测方法、设备及系统。
背景技术:
1、分布式光伏在配电网中的接入规模和渗透率持续攀升,光伏出力受光照强度、环境温度、云层遮挡等气象因素的综合影响,具有强随机性和波动性,导致配电网节点电压频繁波动乃至越限,严重威胁电网安全稳定运行。准确预测配电网电压分布并制定相应的调控策略,已成为保障高光伏渗透率配电网安全运行的关键技术问题。
2、现有配电网电压预测方法主要分为以下几类:
3、其一,基于机理模型的确定性预测方法。该类方法的缺陷在于完全忽视光伏出力的随机波动特性,预测结果过于绝对化,难以反映实际运行中电压的真实变化范围。当光伏渗透率较高时,预测精度显著下降。
4、其二,基于概率建模的随机预测方法。此类方法通过建立光伏出力的概率分布模型,采用场景法或解析法进行概率潮流计算,获得电压的概率分布信息。然而,概率建模需要精确的光伏出力分布参数,在实际工程中获取困难;同时从概率预测结果到电压控制指令之间缺乏有效的转化机制,预测结果与工程应用脱节。
5、其三,基于深度强化学习的电压控制方法。现有方法多聚焦于控制策略的在线优化,而非电压预测本身。这类方法虽然在控制决策方面取得了一定进展,但大多侧重于控制,未能及时给出电压分布的概率性预测结果,另外,智能体间协作效率低、信用分配困难,算法稳定性不足。
技术实现思路
1、为了解决上述技术问题,本申请的目的在于提供基于深度强化学习的配电网电压预测方法、设备及系统,所采用的技术方案具体如下:
2、第一方面,本申请实施例提供了基于深度强化学习的配电网电压预测方法,包括以下步骤:
3、步骤s1,获取配电网的拓扑结构参数、线路阻抗参数、节点负荷数据、各光伏接入点的历史出力数据及对应时刻的节点电压量测数据,以构建配电网仿真环境;
4、步骤s2,将配电网电压预测问题建模为马尔可夫决策过程,定义状态空间、动作空间、状态转移概率和奖励函数,其中状态空间包含节点电压幅值、光伏出力、负荷功率和时序特征,动作空间为各光伏逆变器的无功功率调整量;
5、步骤s3,构建基于深度强化学习的电压预测智能体,所述智能体包含策略网络和价值网络,策略网络用于根据当前观测状态输出动作概率分布,价值网络用于评估当前状态的价值;
6、步骤s4,采用近端策略优化算法对所述智能体进行训练,智能体通过与所述配电网仿真环境交互,以最大化累积奖励为目标更新网络参数;
7、步骤s5,将训练完成后的策略网络部署为电压预测模型,输入当前时刻的系统观测状态,所述策略网络输出下一时刻各节点电压的预测值及对应的光伏逆变器无功功率调整量。
8、优选的,所述步骤s1中构建配电网仿真环境的具体方式为:基于配电网拓扑结构和线路参数建立三相不平衡潮流计算模型,以历史光伏出力数据和负荷数据作为输入,通过潮流计算得到各节点的电压分布;在训练过程中,以历史数据中实际观测到的光伏出力波动和负荷变化作为环境动态的来源。
9、优选的,所述步骤s2中定义状态空间的具体方式为:将当前时刻的系统状态组成多维的状态向量,所述系统状态包括四类:第一类是各节点当前的电压幅值;第二类是各光伏接入点当前的有功出力值;第三类是各节点的有功负荷和无功负荷值;第四类是时间编码特征,所述时间编码特征包含当前时刻在一天中的位置信息和在一年中的位置信息。
10、优选的,所述步骤s2中动作空间的定义方式为:将每个光伏接入点所连接逆变器的无功功率调整量作为动作向量的各元素,其中,各逆变器的无功功率调整量的上限和下限由逆变器的当前有功出力决定。
11、优选的,所述步骤s2中奖励函数包含三个惩罚项:第一项为电压越限惩罚项,当节点电压超出安全运行上限或下限时给予惩罚,惩罚程度与越限幅度呈正相关关系;第二项为电压波动惩罚项,当相邻时刻节点电压变化幅度超过预设阈值时给予惩罚;第三项为无功调节代价惩罚项,当逆变器无功功率调整量超过无功功率调整量的上限时给予惩罚;所述奖励函数的计算方式为上述三个惩罚项的加权负值。
12、优选的,所述步骤s3中策略网络的结构为:以状态向量作为输入,经过多个全连接隐藏层的非线性变换后,输出层输出动作空间中每一个可选动作的概率值,智能体根据概率分布进行动作采样;所述价值网络的结构为:以状态向量作为输入,经过多个全连接隐藏层的非线性变换后,输出层输出一个标量值,用于估计当前状态的累积奖励期望。
13、优选的,所述步骤s4中采用近端策略优化算法进行训练的具体方式为:将智能体与仿真环境交互过程中产生的状态序列、动作序列、奖励序列和下一状态序列存入经验回放池;从经验回放池中随机采样批次数据用于更新策略网络和价值网络的参数;其中,更新策略网络时采用裁剪操作限制策略的变化幅度;更新价值网络时采用时序差分方法。
14、优选的,所述步骤s5中策略网络输出电压预测值的具体方式为:将当前时刻的系统状态输入策略网络,策略网络输出一个无功功率调整量向量,将该调整量向量代入配电网潮流方程进行求解,求解后得到的各节点电压幅值作为策略网络对下一时刻电压的预测值。
15、第二方面,本申请实施例还提供了基于深度强化学习的配电网电压预测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一项所述基于深度强化学习的配电网电压预测方法的步骤。
16、第三方面,本申请实施例还提供了基于深度强化学习的配电网电压预测设备,存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述基于深度强化学习的配电网电压预测方法。
17、由以上可见,本申请提供的基于深度强化学习的配电网电压预测方法、设备及系统,至少具有如下有益效果:
18、(一)创新性地将电压预测问题建模为深度强化学习框架下的时序决策问题。区别于现有技术中将电压预测与电压控制分离处理的思路,本申请通过将预测问题转化为马尔可夫决策过程,使智能体在与仿真环境的持续交互中学习从观测状态到未来电压分布的端到端映射关系。策略网络不仅输出电压预测值,同时输出为实现该预测结果所需采取的无功调控动作,实现了预测结果与调控指令的天然内在一致,从根本上解决了传统方法中预测与控制脱节的技术难题。
19、(二)采用近端策略优化算法训练智能体,具有优异的学习稳定性和收敛性能。相比于现有方法中常用的多智能体深度确定性策略梯度算法存在的信用分配困难和超参数敏感等问题,本申请采用的近端策略优化算法通过裁剪操作限制策略更新的幅度,在保证学习效率的同时显著提升了训练稳定性,对超参数的选择不敏感,更适合于实际工程应用。
1.基于深度强化学习的配电网电压预测方法,其特征在于,包括以下步骤:
2.如权利要求1所述的基于深度强化学习的配电网电压预测方法,其特征在于,所述步骤s1中构建配电网仿真环境的具体方式为:基于配电网拓扑结构和线路参数建立三相不平衡潮流计算模型,以历史光伏出力数据和负荷数据作为输入,通过潮流计算得到各节点的电压分布;在训练过程中,以历史数据中实际观测到的光伏出力波动和负荷变化作为环境动态的来源。
3.如权利要求1所述的基于深度强化学习的配电网电压预测方法,其特征在于,所述步骤s2中定义状态空间的具体方式为:将当前时刻的系统状态组成多维的状态向量,所述系统状态包括四类:第一类是各节点当前的电压幅值;第二类是各光伏接入点当前的有功出力值;第三类是各节点的有功负荷和无功负荷值;第四类是时间编码特征,所述时间编码特征包含当前时刻在一天中的位置信息和在一年中的位置信息。
4.如权利要求1所述的基于深度强化学习的配电网电压预测方法,其特征在于,所述步骤s2中动作空间的定义方式为:将每个光伏接入点所连接逆变器的无功功率调整量作为动作向量的各元素,其中,各逆变器的无功功率调整量的上限和下限由逆变器的当前有功出力决定。
5.如权利要求1所述的基于深度强化学习的配电网电压预测方法,其特征在于,所述步骤s2中奖励函数包含三个惩罚项:第一项为电压越限惩罚项,当节点电压超出安全运行上限或下限时给予惩罚,惩罚程度与越限幅度呈正相关关系;第二项为电压波动惩罚项,当相邻时刻节点电压变化幅度超过预设阈值时给予惩罚;第三项为无功调节代价惩罚项,当逆变器无功功率调整量超过无功功率调整量的上限时给予惩罚;所述奖励函数的计算方式为上述三个惩罚项的加权负值。
6.如权利要求3所述的基于深度强化学习的配电网电压预测方法,其特征在于,所述步骤s3中策略网络的结构为:以状态向量作为输入,经过多个全连接隐藏层的非线性变换后,输出层输出动作空间中每一个可选动作的概率值,智能体根据概率分布进行动作采样;所述价值网络的结构为:以状态向量作为输入,经过多个全连接隐藏层的非线性变换后,输出层输出一个标量值,用于估计当前状态的累积奖励期望。
7.如权利要求1所述的基于深度强化学习的配电网电压预测方法,其特征在于,所述步骤s4中采用近端策略优化算法进行训练的具体方式为:将智能体与仿真环境交互过程中产生的状态序列、动作序列、奖励序列和下一状态序列存入经验回放池;从经验回放池中随机采样批次数据用于更新策略网络和价值网络的参数;其中,更新策略网络时采用裁剪操作限制策略的变化幅度;更新价值网络时采用时序差分方法。
8.如权利要求3所述的基于深度强化学习的配电网电压预测方法,其特征在于,所述步骤s5中策略网络输出电压预测值的具体方式为:将当前时刻的系统状态输入策略网络,策略网络输出一个无功功率调整量向量,将该调整量向量代入配电网潮流方程进行求解,求解后得到的各节点电压幅值作为策略网络对下一时刻电压的预测值。
9.基于深度强化学习的配电网电压预测系统,包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-8任意一项所述基于深度强化学习的配电网电压预测方法的步骤。
10.基于深度强化学习的配电网电压预测设备,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8任意一项所述基于深度强化学习的配电网电压预测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com