一种母线负荷预测自动跟随电网运行方式调整方法与流程

1.本发明属于电网调度技术领域，具体涉及一种基于强化学习与模型融合，跟随电网运行方式调整，母线负荷预测的方式自动变化的方法。


背景技术：

2.母线负荷可以定义为由变电站的主变压器供给一个相对较小的供电区域的负荷总和。母线负荷的类型可分为五类，分别为城市民用负荷，商业负荷，办公负荷，农业负荷以及工业负荷。母线负荷预测，就是考虑系统运行特性，增容决策，自然条件与社会影响的条件下，研究一套处理过去与未来母线负荷的数学方法，满足一定的精度要求，确定未来某时刻的母线负荷数值。
3.电网系统中母线数目众多，不同的母线负荷具有“量大面广”的特点，各个母线变化规律有其各自特点，难以深入分析各母线的具体特点。且受电网计划操作的相关因素。母线负荷受到电网拓扑变化的影响较大。电网线路检修，负荷转供都会对母线负荷产生影响。现阶段的母线负荷预测工作，往往忽视对负荷自身规律性的挖掘，过分关注各种算法，忽略了电力系统自身的特色。为保证负荷分析的全面性和准确性，需要对电网运行方式调整与拓扑结构变动的场景进行分析学习，找出负荷变化的规律，寻找合适的预测方法。以某省全省城市电网为例，电网运行特性的不确定性和复杂程度不断加剧，随着“双碳”目标的确定，以风电、光伏为主的新能源并网规模持续快速扩大，风电光伏大发，负荷小方式的新能源输电通道将面临更严重的阻塞问题，导致原有电力负荷预测的精度难以在使用传统预测方法基础上有质的提升。


技术实现要素：

4.发明目的：本发明的目的在于克服现有技术中的不足，提供了一种母线负荷预测自动跟随电网运行方式调整方法，解决了母线负荷预测的即时性问题。
5.为解决上述技术问题，本发明提供了一种母线负荷预测自动跟随电网运行方式调整方法，包括以下步骤：
6.(1)从与母线负荷相关联的数据中提取特征因素并进行特征相关性分析；
7.(2)以步骤(1)得到的特征因素作为母线负荷预测模型的数据基础，采用异常数据清洗处理的方式建立训练集，利用模型融合的方式对母线负荷进行针对性的建模训练，建立母线负荷预测模型；
8.(3)基于电网的拓扑状态，以及所有母线当前的实测负荷与预测负荷，构建仿真交互环境；
9.(4)结合步骤(3)构建的仿真交互环境和步骤(2)得到的母线负荷预测模型，通过基于母线负荷预测模型组合为动作的策略函数，设计基于母线实测负荷与预测负荷差值的动作价值函数与奖励，实现强化学习智能体的训练；
10.以权重文件的形式保存步骤(4)生成的强化学习智能体。
11.进一步的，步骤(1)中所述特征因素包括历史母线负荷统计数据、节假日数据、天气信息数据；
12.所述特征相关性分析包括：对预测目标相关性大的特征因素进行提取，排除与预测目标相关性小的特征因素；以及计算时序数据前后数据的相关性，进而决定特征因素的构造和使用方式。
13.进一步的，所述异常数据清洗处理的方式包括以下步骤：
14.21)通过缺失值检测，跳变检测，越限检测或者归一化后机器学习异常检测方法，进行异常数据检测；
15.22)根据异常数据的异常情况，采用统计方法，插值方法或者机器学习回归方法进行针对性填充。
16.进一步的，所述模型融合的方式是根据不同的母线负荷的特点与预测场景需求，动态调整算法模型的组合形式与输出比例进行预测。
17.进一步的，所述构建仿真交互环境包括：
18.依据电网的拓扑状态，以及所有母线当前的实测负荷构建仿真环境，且根据时间的推移与拓扑结构变动而改变仿真环境；所述拓扑结构变动包括计划检修与动态故障；依据电网所有母线当前的预测负荷构建仿真交互环境，且仿真交互环境根据时间的推移与母线负荷预测模型组合的改变而改变交互环境。例如当前的母线负荷预测模型组合由(0.4，lstm；0.6，xgboost)改变为(0.5，lstm；0.5，gbdt)，即母线负荷预测值等于40％的lstm模型输出值加上60％的xgboost模型输出值，改变为50％的lstm模型输出值加上50％的gbdt模型输出值；
19.进一步的，所述强化学习智能体的训练，包括以下步骤：
20.(41)设计两个相同结构的神经网络q1和q2，设置网络参数w和w_；
21.(42)设置奖励r为母线实测负荷与母线预测负荷距离的倒数，距离越小，奖励值越大；
22.(43)一个训练回合，可设定为长度为n的时间段，由时间t1～tn组成；强化学习智能体在每一个训练回合中的时间t，基于q1向前推理，逐一输入所有候选动作a与当前时刻的环境变量st，所述环境变量st包括电网拓扑状态、母线实测负荷、母线预测负荷，输出相应的q值，依据ε-贪心算法，概率选择q值最大时的动作at与st，动作at与环境交互，获得下一时刻的环境变量st 1与当前时刻的奖励rt；训练样本δ
t
(st，st 1，at，rt)保存至随机缓存区；
23.(44)强化学习智能体在随机缓存区抽取batch个训练样本δ
t
(st，st 1，at，rt)，batch为q1全连接层输入维度；以rt maxaq2(st 1，a)为目标，梯度计算q1(st，at)的损失函数l；
24.(45)强化学习智能体统计每隔c个时间t，更新q2网络参数w_，将q1网络参数w赋值w_。
25.进一步的，所述步骤(42)中奖励r的公式如下：
26.r＝1/d(p,q)
27.其中p为母线实测负荷向量，q为母线预测负荷向量，d(p,q)为欧几里得距离；
28.29.其中pi为第i条母线的实测负荷向量，qi为第i条母线的预测负荷向量。
30.进一步的，所述步骤(43)中ε-贪心算法公式如下：
[0031][0032]
1-ε的概率按照q函数决定动作，即在动作集中选择使q函数的输出q最大时的动作a，ε的概率动作集中随机选择动作a。
[0033]
进一步的，所述步骤(44)中损失函数l公式如下：
[0034][0035]
batch为q1全连接层输入维度，γ为比例系数，损失函数l是目标值rt maxaq2(st 1，a)与q1(st，at)的方差。
[0036]
有益效果：本发明能够在满足配电网动态重构实时性要求的前提下，实现随运行方式变化的负荷预测数据自动跟随计算功能，满足母线负荷预测的即时性。
附图说明
[0037]
图1是本发明实施实例提供的一种母线负荷预测自动跟随电网运行方式调整方法示意图
[0038]
图2是历史数据异常辨识的流程图
[0039]
图3是历史数据异常填充的流程图
[0040]
图4是本发明实施实例提供的强化学习智能体训练流程示意图
具体实施方式
[0041]
以下结合实施例和说明书附图，详细说明本发明的实施过程。
[0042]
实施例一：
[0043]
本发明是基于强化学习与模型融合的母线负荷预测自动跟随电网运行方式调整方法，如图1所示，包括以下5个步骤：
[0044]
1)母线负荷预测特征工程：
[0045]
对于母线负荷预测特征工程，包含特征收集、特征相关性分析两个部分。
[0046]
特征收集涉及的数据是历史母线负荷统计数据、节假日数据、天气信息数据。历史母线负荷数据包含有一定的用户群体用电规律特性。是最重要的学习特征。随着节假日的变化，母线负荷呈现出一定的变化规律，因此将节假日作为母线负荷预测的特征。天气的变化会影响用户的用电行为，进而影响母线负荷，所以将天气信息也作为母线负荷预测的特征之一。
[0047]
特征相关性分析一方面对预测目标影响大的特征进行提取，去掉与预测目标相关性小的特征，进而避免无效特征的干扰；另一方面计算时序数据前后数据的相关性，进而决定特征的构造和使用方式。
[0048]
2)母线负荷预测建模
[0049]
母线负荷量测历史数据，一般为时间加负荷值的形式，例如(2022-10-0123:45:
00，100)。在数据传输阶段，在特定的连续时间范围内，一定概率出现0点或者空点的异常情况；在调度操作阶段的母线检修，负荷转供等操作时，母线负荷同样表现异常；在配电用电阶段，通常会出现母线负荷异常阶跃。需要对母线负荷量测历史数据进行异常辨识与填充。
[0050]
历史数据异常辨识的流程如图2所示，首先对负荷数据做时序对齐，每日负荷量测起始时间均调整为当日的零点十五分，例如2022-10-01 00:15:00，每日负荷量测结束时间均调整为第二日的零点，例如2022-10-02 00:00:00。
[0051]
按顺序依次判定，判定负荷是否缺失，缺失则置为空值；判定负荷是否跳变，跳变则置为空值；判定负荷是否越限，越限则置为空值。
[0052]
将负荷依据最大最小值归一化，利用svm支持向量机等算法，学习确定正常观测值的决策边界，考虑个别离群点，如果存在负荷值落在决策边界内，则模型将其认为是正常的，反之认为其是异常的。
[0053]
历史数据异常填充的流程如图3所示，首先同样对负荷数据做时序对齐，调整每日负荷量测起始时间与结束时间。提供三大类共六种可选方法进行异常值修正填充：前向填充；热卡填充；均值填充；牛顿插值；拉格朗日插值；xgboost回归；lstm回归。根据实际数据异常情况，六选一的方式，采用对应方法进行针对性填充。
[0054]
母线负荷预测模型建模与训练，以模型融合的方式，将基础的树模型与时序模型组合使用，并将母线负荷的训练数据集按时段划分，训练对应模型。母线负荷预测模型总数计算方式如下：
[0055]
母线负荷预测模型总数＝基础模型组合数
×
数据集总数
[0056]
3)仿真交互环境构建
[0057]
依据电网的拓扑状态，以及所有母线当前的实测负荷与预测负荷构建仿真交互环境，具体步骤如下：
[0058]
(1)仿真环境构建
[0059]
仿真环境依据电网的拓扑状态，以及所有母线当前的实测负荷构建，且根据时间的推移与拓扑结构变动而改变。拓扑结构变动的情景划分为计划检修与动态故障。
[0060]
在检修计划的情境下，根据已知的电网运行方式调整历史发文，改变电网拓扑结构，包含开断断路器(刀闸)，投切电容器，调整主变档位，调整发电机出力等操作。
[0061]
例如“220kv吴江变i段或ii段母线检修，水乡变母联2510开关运行，水乡变母线接排恢复，吴水2527线吴江变侧充电、水乡变侧热备用，水乡变经金水4x45线馈供金家坝正母线(带#1变)并经金黎4x43线馈供黎里变正母线(带#1变)，金家坝变母联2510开关、黎里变母联2510开关热备用，吴江(i～iv段母线)－黎里(副母线)－金家坝(副母线)－吴江(i～iv段母线)单电源环网合环运行”，即执行以下操作：220kv吴江变i段或ii段母线实测负荷归零；水乡变母联2510开关运行；金家坝变母联2510开关、黎里变母联2510开关断开，刀闸均保持合上。
[0062]
在动态故障的情景下，根据事故处理预案故障后方式说明，改变电网拓扑结构，包含母线停，主变停，线路停等。
[0063]
例如“望亭三厂220千伏全停，其220千伏所有开关跳闸，#01启动变失电。梅里#1、#2、#3主变主变潮流上升至3083mw(限额2300mw),严重越限”，即执行以下操作：望亭三厂220千伏侧所有开关均断开。
[0064]
(2)交互环境构建
[0065]
交互环境依据电网所有母线当前的预测负荷构建，且根据时间的推移与母线负荷预测模型组合的改变而改变。
[0066]
选择某一动作a时，即对应一种母线负荷预测模型组合，新的组合替换交互环境中旧的组合，生成的预测负荷改变；也可选择不动作，即保持当前的母线负荷预测模型组合，生成的预测负荷不变。将本环境的母线预测负荷以及仿真环境的电网拓扑状态、母线实测负荷反馈智能体。
[0067]
4)强化学习智能体训练
[0068]
如图4所示，强化学习智能体的训练流程如下：
[0069]
1.某一时刻的仿真交互环境的状态st输入评价网络q1，遍历动作集{a1，a2,......}输入，以ε-贪心算法统计评价网络q1的输出值，选出动作at；
[0070]
2.动作at与仿真交互环境交互，获得下一状态st 1与奖励rt；
[0071]
3.将状态st，下一状态st 1，动作at以及奖励rt汇总存入随机缓存区；
[0072]
4.缓存区中随机抽取batch个(st，st 1，at，rt)，st 1输入目标网络q2，遍历动作集{a1，a2,......}输入，选择最大目标网络q2输出值与动作a；st、at输入入评价网络q1，得到q1输出值，将最大q2输出值，q1输出值以及rt。按照4-d-1)损失函数公式l，做均方误差梯度计算，更新评价网络q1；
[0073]
5.统计时刻数，满足阈值c时，将评价网络的参数w赋值给目标网络的参数w_，时刻数清零重新统计，实现目标网络q2的延迟更新。
[0074]
5)强化学习智能体保存
[0075]
保存神经网络q1、q2的权重w、w_，通常以权重文件的形式。
[0076]
实施例二：
[0077]
一种母线负荷预测自动跟随电网运行方式调整方法，包括负荷模型选择模块和母线负荷预测模块，其包括以下步骤：
[0078]
1)对于母线负荷预测的特征，通过分析与母线负荷相关的数据，提取相关特征因素为预测建模提供高质量的数据基础；
[0079]
2)异常数据清洗处理建立训练集，利用模型融合的方式对母线负荷进行针对性的建模训练，以实现高精度的预测；
[0080]
3)基于电网的拓扑状态，以及所有母线当前的实测负荷与预测负荷，构建仿真交互环境；
[0081]
4)结合步骤3)构建的仿真交互环境和2)的母线负荷预测模型，通过基于母线负荷预测模型组合为动作的策略函数，设计基于母线实测负荷与预测负荷差值的动作价值函数与奖励，实现强化学习智能体的训练；
[0082]
5)将步骤4)生成的强化学习智能体保存。
[0083]
本发明母线负荷预测自动跟随的负荷特征工程方案中，所述步骤2)中，母线负荷特征训练集按照如下步骤处理提取：
[0084]
2-a)母线负荷异常数据的辨识通过缺失值检测，跳变检测，越限检测，归一化后机器学习异常检测等方法，进行异常数据检测；
[0085]
2-b)异常数据填充需要根据实际数据异常情况，采用对应方法进行针对性填充。
本方案共提供三种方法进行异常值修正和填充，这三种方法分别为统计方法，插值方法、以及机器学习回归方法。
[0086]
本发明母线负荷预测自动跟随的方案中，所述步骤2)的模型融合是根据不同的母线负荷“量大面广”的特点，以机器学习方法为主，开发多种学习模型库，根据不同母线负荷预测场景需求，调用不同算法模型进行预测。
[0087]
本发明母线负荷预测自动跟随的方案中，所述步骤3)的电网拓扑状态包含：断路器(刀闸)开断状态、电容器投切状态、主变档位状态、线路过载状态，发电机出力状态；其中每种状态的含义如下：
[0088]
3-a)断路器(刀闸)开断状态：分为断开状态与合上状态。断开时线路中断无电流，合上时线路恢复有电流；
[0089]
3-b)电容器投切状态：分为投入状态与切出状态。投入时释放电荷，补偿无功，提升电压，切出时存储电荷，减少无功，降低电压；
[0090]
3-c)主变档位状态：分为高压侧、中压侧、低压侧，档位调节依次从低压侧调节至高压侧，电压上升，档位调节依次从高压侧调节至低压侧，电压下降；
[0091]
3-d)线路过载状态：线路实际负荷占额定负荷的百分比；
[0092]
3-e)发电机出力状态：包含有功功率与无功功率，有功功率即对外输出用于做功被消耗，转化为热能、光能、机械能或化学能等，无功功率即建立磁场，输送有功，维持设备运行的功率。
[0093]
本发明母线负荷预测自动跟随的方案中，所述步骤4)的强化学习智能体训练步骤如下：
[0094]
4-a)设计两个相同结构的神经网络q1，q2，网络参数w和w_指定为服从均值为0，方差为0.01的高斯分布；
[0095]
4-b)设计奖励r为母线实测负荷与预测负荷之差的倒数，差值越小，奖励值越大；
[0096]
4-c)在每一个训练回合，在每一个时间t，基于q1前向推理，逐一输入所有候选动作a与当前时刻的环境变量st(电网拓扑状态、母线实测负荷、母线预测负荷)，输出相应的q值，依据ε-贪心算法，概率选择q值最大时的动作at与st，动作at与环境交互，获得下一时刻的环境变量st 1与4-b)中当前时刻的奖励rt。(st，st 1，at，rt)保存至随机缓存区。
[0097]
4-d)随机缓存区抽取batch个(st，st 1，at，rt)，batch为q1全连接层输入维度，以rt maxaq2(st 1，a)为目标，梯度计算q1(st，at)的损失函数；
[0098]
4-e)统计每隔c个时间t，更新q2网络参数w_，将q1网络参数w赋值w_；
[0099]
本发明强化学习智能体训练的方案中，所述步骤4-b)中奖励r公式如下：
[0100]
b-1)r＝1/d(p,q)，其中p为母线实测负荷向量，q为母线预测负荷向量，d(p,q)为欧几里得距离；
[0101]
4-b-2)pi为第i条母线的实测负荷，qi为第i条母线的预测负荷；
[0102]
本发明强化学习智能体训练的方案中，所述步骤4-c)中ε-贪心算法公式如下：
[0103]
4-c-1)
[0104]
4-c-2)1-ε的概率按照q函数决定动作，即在动作集中选择使q函数的输出q最大时的动作a，ε的概率动作集中随机选择动作a；
[0105]
本发明强化学习智能体训练的方案中，所述步骤4-d)中损失函数l公式如下：
[0106][0107]
4-d-2)batch为q1全连接层输入维度，γ为比例系数，损失函数l是目标值rt maxaq2(st 1，a)与q1(st，at)的方差。
[0108]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。