基于注意力机制的DWT-LSTM电力负荷预测方法与流程

基于注意力机制的dwt-lstm电力负荷预测方法
技术领域
1.本发明属于电力系统负荷人工智能技术预测技术领域，具体涉及一种基于注意力机制的dwt-lstm电力负荷预测方法。


背景技术：

2.准确的电力负荷预测有利于电网安全、经济运行，为电网规划提供基础数据依据，对现代电力系统发展起着重要作用，对电网规划的质量有决定性影响。如何提高负荷预测的准确率一直以来是学者们研究的热点问题。
3.目近年来人工智能技术凭借其非线性拟合的优势，其已被广泛应用于电力负荷预测场景中。伴随着智能电网的发展，电网数据变得丰富，越来越多的影响因素受到考虑，但影响因素的数据出现越来越多的时间尺度，数据颗粒度更细，以及非等时间间隔采集的特征。需探索多时间尺度数据的处理方法来实现将这些数据融入一个模型中。
4.电力负荷预测方法的发展趋势是将越来越多的因素纳入考虑。在较多因素交互影响的情况下，从解析的方法向非解析的、智能的方向发展。当前常用的负荷预测方法存在以下问题：伴随着智能电网的快速发展，电网组成更加丰富，影响电力负荷的因素也呈现于更多时间尺度，且其对于负荷的影响程度不一致。
5.神经网络越深，表达能力越强，允许在更大的函数空间中寻找对真实规律的近似映射。在一个合适的优化方法的辅助下，神经网络能够收敛到良好的预测效果。


技术实现要素：

6.考虑不同时间尺度因素的重要程度，本发明提供一种基于注意力机制的dwt-lstm电力负荷预测方法，首先，利用离散小波分解将历史负荷数据分解至不同频率尺度，为使预测模型更好的把握长、中、短期因素对电力负荷的影响程度，在模型中引入注意力机制，在提升关键信息的被关注程度的同时，抑制噪声干扰；然后，利用改进的粒子群算法对长短期记忆神经网络模型参数进行寻优，进一步提升模型预测精度。该方法能在多因素交互影响的情况下，准确的预测电力负荷数据。可以为电力部门制定检修计划、进行决策规划的提供重要数据，对于保障电力系统的安全、经济运行具有重要意义。
7.本发明采取的技术方案为：
8.基于注意力机制的dwt-lstm电力负荷预测方法，包括以下步骤：
9.步骤一：采用离散小波分解方法对采集到的原始负荷数据进行分解，得到不同尺度负荷分量；
10.步骤二：引入注意力机制，根据各尺度负荷分量的重要程度进行自适应赋权，完成负荷数据的预处理；
11.步骤三：利用改进的pso粒子群算法对lstm长短期记忆神经网络模型参数进行寻优，得到优化后的lstm模型；
12.步骤四：将赋权后的各负荷分量分别代入优化后的lstm模型进行训练，得到各个
负荷分量的lstm负荷预测模型；
13.步骤五：将注意力机制处理后得到的负荷分量作为输入，输入到相应分量的lstm负荷预测模型，即得到各个分量的负荷预测值，然后将各个分量的负荷预测值累加，即为下一时刻电力负荷的预测值。
14.所述步骤一中，离散小波分解方法在保留时域信息的前提下，能够对原始负荷数据中具有特征差异的各个分量进行有效分离，即每一层小波分解都将得到高频分量d和低频分量a两个部分：
15.离散小波变换是将原始负荷序列x
t
通过一系列半带宽的低通滤波器h和高通滤波器g，将原始数据分解成不同频率的信号:
[0016][0017]
式(1)中，j＝1,2，
…
,j为当前小波分解层数，j为小波分解总层数；k为时间序号，即第k个小波系数；h为低通滤波系数，g为高通滤波系数，a
nj
为n维信号在第j层分解出的近似分量；的n维信号在第j层分解出的细节分量。
[0018]
为n维信号在第1层的分解出的近似分量；h
n-2k
为n维信号在第k维时间序列上的低通滤波系数；xk为原始信号在第k维时间序列上的大小；为n维信号在第1层的分解出的近似分量；g
n-2k
为n维信号在第k个时间序列上的高通滤波系数；为第k维时间序列在第j-1层分解出的近似分量；
[0019]
小波分解后的输出为:
[0020][0021]
式(2)中，x为原始负荷数据；a
1j
为第j层的分解出的第1维近似分量；a
2j
为第j层的分解出的第2维近似分量；为第j层的分解出的第t维近似分量；d
11
为第1层的分解出的第1维细节分量；d
21
为第1层的分解出的第2维细节分量；d
t1
为第1层的分解出的第t维细节分量；d
1j
为第j层的分解出的第1维细节分量；为第j层的分解出的第2维细节分量；为第j层的分解出的第t维细节分量。
[0022]
所述步骤二包括以下步骤：
[0023]
第一步、求解权重得分：
[0024]
计算各频率分量x
it
与原始负荷序列x
t
的相关性。
[0025][0026]
式(3)中，s(x
it
，x
t
)是评价各频率分量与原始序列相关性的函数；v
t
和b均为超参数，wa、wb、为注意力机制中的权重矩阵，维度为h
×
d，d代表样本维度，即样本的时间跨度，h
为lstm中隐藏层神经元个数；tanh为双曲正切激活函数；x
it
为x
t
的第i行。
[0027]
第二步、对第一步中的的原始分值进行归一化处理，即求解加权系数：
[0028][0029]
式(4)中，为第i个分量x
it
与x
t
的加权系数，x
t
为x
it
为x
t
的第i行,x
t
为原始序列。
[0030]
为经过小波分解后的第i个分量；为经过小波分解后的第i个分量与原始序列的相关性函数；
[0031]
注意力权重系数由分解出来的各频率分量与原始序列决定，表明了不同频率分量对其贡献程度，考虑加注意力权重系数后的小波分解结果为：
[0032][0033]
式(5)中,为第1个分量的加权系数；为第2个分量的加权系数；为第j 1个分量的加权系数；为第j层的分解出的第t-d 1维近似分量；为第j层的分解出的第t-d 2维近似分量；为第j层的分解出的第t维近似分量；为第1层的分解出的第t-d 1维细节分量；为第1层的分解出的第t-d 2维细节分量；为第1层的分解出的第t维细节分量；为第j层的分解出的第t-d 1维细节分量；为第j层的分解出的第t-d 2维细节分量；为第j层的分解出的第t维细节分量；
[0034]
所述步骤三中，改进后的pso算法寻优步骤如下：
[0035]
步骤3.1：初始化粒子群，包括群体规模n，每个粒子的位置xi和速度vi；
[0036]
步骤3.2：计算每个粒子的适应度值f(i)；
[0037]
步骤3.3：对每个粒子，用它的适应度值f(i)和个体极值pi比较，如果f(i)》pi，则用f(i)替换掉pi；
[0038]
步骤3.4：对每个粒子，用它的适应度值f(i)和全局极值pg比较，如果f(i)》pg则用f(i)代替pg；
[0039]
步骤3.5：根据公式(10)，(11)更新粒子的速度vi和位置si；
[0040][0041]
si(j 1)＝si(j) vi(j 1)
ꢀꢀ
(11)
[0042]
式(10)、(11)中,c3为加速度常数；r3是区间[0,1]上的随机数；si(j)为粒子i在j次迭代后的空间位置。
[0043]
式(10)中，c3r3(pr(j)-si(j))部分表示为当前粒子位置与在群体中随机选择的粒
子pr之间的距离。
[0044]
式(10)、(11)中,si和vi分别为粒子i的当前位置向量和速度向量，j为迭代次数，ω为惯性权重；c1、c2、c3为加速度常数；r1、r2、r3为区间[0,1]上的随机数；pi(j)为在第j次迭代更新后该粒子找到的个体最优解；pg(j)为在第j次迭代更新后所有粒子中选出的全局最优解；pr(j)为在第j次迭代更新后随机选择的粒子；si(j)为粒子i在j次迭代更新后的空间位置，vi(j)为粒子i在j次迭代更新后的速度大小，si(j 1)为粒子i在j 1次迭代更新后的空间位置，vi(j 1)为粒子i在j 1次迭代更新后的速度大小。c1r1(pi(j)-si(j))描述了粒子当前位置与其已知的最佳位置之间的距离；c2r2(pg(j)-si(j))为当前位置与全局最佳位置之间的距离；c3r3(pr(j)-si(j))部分表示为当前粒子位置与在群体中随机选择的粒子pr之间的距离。
[0045]
步骤3.6：如果满足结束条件退出，否则返回步骤3.2。
[0046]
所述步骤四包括以下步骤：
[0047]
步骤4.1：网络超参数初始化：
[0048]
设置的超参数包括：输入节点数m，隐藏节点数k，输出节点数n，误差阈值cost，最大迭代次数s；lstm的两个隐藏层神经元节点数l1、l2以及学习率yita则采用改进pso算法进行寻优得到；
[0049]
步骤4.2、权重偏置初始化：
[0050]
lstm神经网络前向计算公式如下所示：
[0051][0052]
式(12)表示t时刻lstm的前向计算公式。为t时刻网络的三个输入，为网络的最终输出。其中为t-1时刻的负荷输出值，其为一个n维行向量，n表示需要预测的负荷个数，即输出节点数；为t时刻的网络输入值，其为一个m维的行向量，m为单个样本的维数，即输入节点数；为当前输入单元状态；为t-1时刻网络的单元状态；为t时刻的电负荷输出值，也是一个n维行向量。分别表示t时刻的遗忘门输出，输入门输出，输出门输出和单元状态。σ和tanh均为激活函数，其中σ为sigmoid函数，tanh为双曲正切函数，二者计算公式分别如下：
[0053][0054]
表示按元素乘，当作用于两个向量时，运算如下：
[0055][0056]
式(14)中,为任意向量；a1、a2、a3、an为的第1、2、3、n个元素；b1、b2、b3、bn为的第1、2、3、n个元素。
[0057]
当作用于一个向量和一个矩阵时，运算如下：
[0058][0059]
式(15)中,为任意的n维向量；a1、a2、a3、an为的第1、2、3、n个元素；x为n阶的任意矩阵，x
ij
表示x的第i行、第j列元素。
[0060]
当作用于两个矩阵时，两个矩阵对应位置的元素相乘即可。
[0061]
wf、wi、wc、wo分别代表遗忘门、输入门、当前输入单元状态和输出门的权重矩阵，bf、bi、bc、bo则表示遗忘门、输入门、当前输入单元状态和输出门的偏置矩阵，此8个参数是由网络训练而来，无需人为设置具体数值，但需人为指定矩阵维度，并由计算机产生0～1之间的随机数作为其初值。事实上，每个权重矩阵w都是两个矩阵拼接而成的，以wf为例，它可看作是w
fh
和w
fx
两个矩阵拼接而成，即
[0062][0063]
式(16)中，为t-1时刻的负荷输出值，为t时刻的网络输入值，wf为遗忘门的权重矩阵，w
fh
和w
fx
两个矩阵可拼接成wf。；
[0064]
故网络需要训练的参数包括w
fh
，w
fx
，w
ih
，w
ix
，w
ch
，w
cx
，w
oh
，w
ox
，bf，bi，bc，bo共12个参数。
[0065]
指定w
fx
，w
ix
，w
cx
，w
ox
为m*k的矩阵，w
fh
，w
ih
，w
ch
，w
oh
为n*k的矩阵，bf，bi，bc，bo为1*k的矩阵。
[0066]
步骤4.3、根据损失函数c更新网络权重和偏置。损失函数c表示网络的误差大小，其值越小，则模型越精确，反之模型越不精确。其计算公式如下：
[0067][0068]
式(17)中，l表示训练样本总数，h(b)表示第b个训练样本的网络输出电压或内阻值，a(b)表示第b个训练样本对应的实际电压或内阻值。改变权重偏置值，就可改变c的大
小，利用梯度下降算法可快速找到合适的权重和偏置，使c最小化，以达到误差阈值cost，加快网络收敛速度。
[0069]
步骤4.4、重复步骤4.2～步骤4.3，直到迭代次数等于s或误差小于误差阈值cost，停止训练。
[0070]
所述步骤四中，采用统计误差评估lstm神经网络的性能，采用的统计误差为均方根误差，计算公式分别如下：
[0071][0072]
式(18)中，y
es,y
为网络预测值，y
a,v
为实际值，m为网络预测值个数。若统计误差满足实际需求，则lstm模型精确，可投入实际，若不满足实际需求，则需重新训练网络模型。
[0073]
本发明一种基于注意力机制的dwt-lstm电力负荷预测方法，技术效果如下：
[0074]
1)本发明利用离散小波分解将原始电力负荷数据分解至不同频率尺度，引入注意力机制来衡量各尺度频率分量在原始数据中的重要程度，使得模型在训练时能够自适应的关注重要分量。
[0075]
2)本发明利用改进的粒子群算法对长短期记忆神经网络模型参数进行寻优，降低模型训练成本，提高预测精度。在对粒子速度更新时，添加随机粒子信息。使其在优化lstm模型超参数时避免陷入局部极值，具有更快的收敛速度和更好的搜索能力。
[0076]
3)本发明通过注意力机制使得模型在训练和预测时，更加关注重要信息，将不同频率尺度的影响因素分别考虑。
[0077]
4)本发明方法能够在多因素交互影响的情况下，准确的预测电力负荷数据。
附图说明
[0078]
图1为本发明方法流程示意图。
[0079]
图2为粒子群算法寻优流程图。
[0080]
图3为负荷数据预处理流程图。
[0081]
图4为负荷预测流程图。
[0082]
图5为小波分解示意图。
具体实施方式
[0083]
如图1所示，基于注意力机制的dwt-lstm电力负荷预测方法，包括以下步骤：
[0084]
步骤一：采用离散小波分解方法对采集到的原始负荷数据进行分解，得到不同尺度负荷分量；
[0085]
步骤二：引入注意力机制，根据各尺度负荷分量的重要程度进行自适应赋权，完成负荷数据的预处理；
[0086]
步骤三：利用改进的pso粒子群算法对lstm长短期记忆神经网络模型参数进行寻优，得到优化后的lstm模型；
[0087]
步骤四：将赋权后的各负荷分量分别代入优化后的lstm模型进行训练，得到各个负荷分量的lstm负荷预测模型；
[0088]
步骤五：将注意力机制处理后得到的负荷分量作为输入，输入到相应分量的lstm负荷预测模型，即得到各个分量的负荷预测值，然后将各个分量的负荷预测值累加，即为下一时刻电力负荷的预测值。
[0089]
具体如下：
[0090]
(一)、基于注意力机制的dwt数据预处理：
[0091]
电力负荷数据是在多种复杂因素综合因素作用下的结果，单一的预测模型无法直观体现出相应序列的非线性特征。而小波变换是通过对信号的伸缩和平移实现了对其多尺度分解，能展示目标原始信号各分量的频率信息，非常适合对非平稳信号进行分析。
[0092]
为此本发明在进行负荷预测前，利用小波变换将原始数分解至不同频率尺度。同时，引入注意力机制，根据各尺度频率分量的重要程度进行自适应赋权，完成负荷数据的预处理。
[0093]
1.对原始负荷数据进行离散小波分解：
[0094]
小波分解在保留时域信息的前提下，可对信号中具有特征差异的各个分量进行有效分离，即每一层小波分解都将得到高频分量d和低频分量a两个部分，如图5所示。
[0095]
离散小波变换是将原始时间序列x
t
通过一系列半带宽的低通滤波器h和高通滤波器g，将原始数据分解成不同频率的信号:
[0096][0097]
式(1)中，j＝1,2，
…
,j为当前小波分解层数，j为小波分解总层数；k为时间序号；a
nj
为第j层的低频分量的第n个小波系数；d
nj
为第j层的高频分量第n个小波系数。
[0098]
式(1)中，j＝1,2，
…
,j为当前小波分解层数，j为小波分解总层数；k为时间序号，即第k个小波系数；h为低通滤波系数，g为高通滤波系数，a
nj
为n维信号在第j层的近似分量；d
nj
的n维信号在第j层的细节分量。小波分解后的输出为:
[0099]
小波分解后的输出为:
[0100][0101]
式(2)中，x
t
为原始负荷数据；为第j层的分解出的第t维近似分量；为第j层的分解出的第t维细节分量。
[0102]
2.通过注意力机制对各分量赋权：
[0103]
引入注意力机制，对各频率分量进行关注度分配，突出对重要特征信息的关注，削弱对次要特征或噪声信息的资源倾斜，使得模型能够自适应的关注重要分量，提高模型预测精度。
[0104]
在本发明中attention机制的计算过程可以归纳为两个阶段：
[0105]
第一步、求解权重得分：在本发明中即计算各频率分量x
it
与原始负荷序列x
t
的相
关性。
[0106][0107]
式(3)中，s(x
it
，x
t
)是评价各频率分量与原始序列相关性的函数；v
t
和b均为超参数，wa、wb、为注意力机制中的权重矩阵，维度为h
×
d，d代表样本维度，即样本的时间跨度，h为lstm中隐藏层神经元个数；tanh为双曲正切激活函数；x
it
为x
t
的第i行。
[0108]
第二步：对上一步中的的原始分值进行归一化处理，即求解加权系数。
[0109][0110]
式(4)中，为第i个分量x
it
与x
t
的加权系数，x
t
为x
it
为x
t
的第i行,x
t
为原始序列。
[0111]
注意力权重系数由分解出来的各频率分量与原始序列决定，表明了不同频率分量对其贡献程度。考虑注意力权重系数后的小波分解结果为:
[0112][0113]
式(5)中，x
′
t
为考虑注意力机制后的数据；d为滑动窗口的时间跨度，为第j层分解出的第t-d 1维近似分量；为第j层分解出的第t-d 1维细节分量,为通过式(4)得到的加权系数。如图3所示，基于注意力机制和小波分解的电力负荷数据预处理具体步骤为：
[0114]
步骤
①
：采用matlab中的小波工具箱将收集到的电力负荷数据分解为不同尺度的频率分量。
[0115]
步骤
②
：对分解后得到的高频率a和若干低频分量d分别带入式(3)、(4)中求解注意力权重。整理为式(5)的形式后，进行归一化处理。
[0116]
(二)、pso算法优化：
[0117]
lstm模型在训练与预测过程当中，其隐藏层神经元节点数、迭代次数和学习率等模型参数的选取多依赖实际经验，缺乏科学的确定方法。针对该问题，本发明提出一种应用于lstm模型参数寻优的改进pso算法。
[0118]
粒子群算法(pso)是受到鸟类在觅食过程中根据目标食物修正飞行方向和飞行速度的启发，产生的一种拟生物算法。该算法需要调整的参数少、鲁棒性高且易实现，但存在易陷入局部极值的缺点。pso中粒子的速度、位置更新公式为：
[0119][0120]
si(j 1)＝si(j) vi(j 1)
ꢀꢀ
(9)
[0121]
式(8)、式(9)中，si和vi分别为粒子i的当前位置向量和速度向量，j为迭代次数，ω为惯性权重；c1、c2为加速度常数；r1、r2为区间[0,1]上的随机数；pi为该粒子找到的个体最优解；pg为在所有粒子中选出的全局最优解；si(j)为粒子i在j次迭代更新后的空间位置，vi(j)为粒子i在j次迭代更新后的速度大小。
[0122]
在pso的速度更新公式中，ωvi(j)是通过ω控制全局和局部搜索能力；c1r1(pi(j)-si(j))描述了粒子当前位置与其已知的最佳位置之间的距离；c2r2(pg(j)-si(j))为当前位置与全局最佳位置之间的距离，即认为粒子的移动还取决于种群其余粒子的影响，pg提高收敛速度的同时会减小搜索时的种群多样性，导致搜索结果容易陷入局部极值。
[0123]
为了防止搜索结果陷入局部极值并提高搜索能力，改进的pso算法在对粒子速度更新时，添加随机粒子信息。考虑随机粒子后的粒子速度、方向更新公式如下：
[0124][0125]
si(j 1)＝si(j) vi(j 1)
ꢀꢀ
(11)
[0126]
式(10)、(11)中，c3为加速度常数；r3是区间[0,1]上的随机数；pr为随机选择的粒子；si(j)为粒子i在j次迭代后的空间位置。
[0127]
式(10)中，c3r3(pr(j)-si(j))部分表示为当前粒子位置与在群体中随机选择的粒子pr之间的距离。添加随机粒子pr可为每一次群体搜索提供额外的参考信息，这一步骤可以有效避免某个局部极值对全剧最佳位置吸引力过大，从而陷入局部最优的情况，丰富粒子种群多样性的同时，提高粒子的全局搜索能力。
[0128]
如图2所示，改进后的pso算法寻优步骤如下：
[0129]
步骤1：初始化粒子群，包括群体规模n，每个粒子的位置xi和速度vi；
[0130]
步骤2：计算每个粒子的适应度值f(i)；
[0131]
步骤3：对每个粒子，用它的适应度值f(i)和个体极值pi比较，如果f(i)》pi，则用f(i)替换掉pi；
[0132]
步骤4：对每个粒子，用它的适应度值f(i)和全局极值pg比较，如果f(i)》pg则用f(i)代替pg；
[0133]
步骤5：根据公式(10)，(11)更新粒子的速度vi和位置si；
[0134]
步骤6：如果满足结束条件退出，结束条件包括误差足够好或到达最大循环次数，否则返回步骤2。
[0135]
(三)、lstm的模型训练及验证：
[0136]
1、lstm的模型训练：
[0137]
将预处理后得到的数据分为a、b两组，a组作为训练样本，b组作为测试样本，训练样本组数a一般要大于测试样本组数b。例如，比例可以为70％、30％。训练样本用作lstm网络的输入，测试样本用于检验网络模型的性能。
[0138]
步骤一、网络超参数初始化：
[0139]
本发明需人为设置的超参数包括：输入节点数m，隐藏节点数k，输出节点数n，误差阈值cost，最大迭代次数s；lstm的两个隐藏层神经元节点数l1、l2以及学习率yita则采用改进pso算法进行寻优得到。
[0140]
步骤二、权重偏置初始化：
[0141]
lstm神经网络前向计算公式如下所示：
[0142][0143]
式(12)表示t时刻lstm的前向计算公式。为t时刻网络的三个输入，为网络的最终输出。其中为t-1时刻的负荷输出值，其为一个n维行向量，n表示需要预测的负荷个数，即输出节点数；为t时刻的网络输入值，其为一个m维的行向量，m为单个样本的维数，即输入节点数；为当前输入单元状态；为t-1时刻网络的单元状态；为t时刻的电负荷输出值，也是一个n维行向量。分别表示t时刻的遗忘门输出，输入门输出，输出门输出和单元状态。σ和tanh均为激活函数，其中，σ为sigmoid函数，tanh为双曲正切函数，二者计算公式分别如下：
[0144][0145]
表示按元素乘，当作用于两个向量时，运算如下：
[0146][0147]
当作用于一个向量和一个矩阵时，运算如下：
[0148][0149]
当作用于两个矩阵时，两个矩阵对应位置的元素相乘即可。
[0150]
wf、wi、wc、wo分别代表遗忘门、输入门、当前输入单元状态和输出门的权重矩阵，bf、bi、bc、bo则表示遗忘门、输入门、当前输入单元状态和输出门的偏置矩阵，此8个参数是由网络训练而来，无需人为设置具体数值，但需人为指定矩阵维度，并由计算机产生0～1之间的
随机数作为其初值。事实上，每个权重矩阵w都是两个矩阵拼接而成的，以wf为例，它可看作是w
fh
和w
fx
两个矩阵拼接而成，即
[0151][0152]
式(16)中，为t-1时刻的负荷输出值，为t时刻的网络输入值，wf为遗忘门的权重矩阵，w
fh
和w
fx
两个矩阵可拼接成wf。
[0153]
故网络需要训练的参数包括w
fh
，w
fx
，w
ih
，w
ix
，w
ch
，w
cx
，w
oh
，w
ox
，bf，bi，bc，bo共12个参数。
[0154]
本发明指定w
fx
，w
ix
，w
cx
，w
ox
为m*k的矩阵，w
fh
，w
ih
，w
ch
，w
oh
为n*k的矩阵，bf，bi，bc，bo为1*k的矩阵。
[0155]
lstm的前向计算如式(12)所示，前向计算可得到每个神经元的输出值，即lstm的前向计算如式(12)所示，前向计算可得到每个神经元的输出值，即五个向量的值。通过前向计算，lstm能更加有效地决定哪些信息被遗忘，哪些信息被保留，更加高效的处理长时间序列。
[0156]
步骤四：根据损失函数c更新网络权重和偏置。损失函数c表示网络的误差大小，其值越小，则模型越精确，反之模型越不精确。其计算公式如下：
[0157][0158]
式(17)中，l表示训练样本总数，h(b)表示第b个训练样本的网络输出电压或内阻值，a(b)表示第b个训练样本对应的实际电压或内阻值。改变权重偏置值，就可改变c的大小，利用梯度下降算法可快速找到合适的权重和偏置，使c最小化，以达到误差阈值cost，加快网络收敛速度。
[0159]
步骤四：重复步骤三，直到迭代次数等于s或误差小于误差阈值cost，停止训练。
[0160]
步骤五：将dwt各个分量的预测值相加，即为网络最终负荷预测结果。
[0161]
2.lstm的精度验证：
[0162]
lstm网络训练完成后，采用测试样本b进行测试，将网络模型的最终预测值与真实值进行比较。本发明采用统计误差评估lstm神经网络的性能，本方法中采用的统计误差为均方根误差，计算公式分别如下：
[0163][0164]
式(18)中，y
es,y
为网络预测值，y
a,v
为实际值，m为网络预测值个数。若统计误差满足实际需求，则lstm模型精确，可投入实际，若不满足实际需求，则需重新训练网络模型。如图4所示，基于注意力机制的dwt-lstm电力负荷预测具体步骤为：
[0165]
步骤(1):通过离散小波分解和注意力机制对原始负荷数据进行预处理。
[0166]
步骤(2):对粒子群参数进行初始化。包括确定种群规模、迭代次数、学习因子以及粒子位置、速度的取值区间。
[0167]
步骤(3):初始化lstm负荷预测模型的关参数。生成随机粒子种群，其中，lstm模型
神经元数量、训练迭代次数和学习率作为参数变量，同时设置各参数寻优空间。
[0168]
步骤(4):确定评价函数。将包含lstm模型参数的种群个体适应度值f
fit
定义为：
[0169][0170]
式(19)中，h
t
表示实际负荷,h
′
t
表示lstm网络计算出的预测负荷；n表示训练样本个数。
[0171]
步骤(5):计算粒子适应度大小并相互比较，从而确定粒子全局最优位置pg与局部最优位置pi。
[0172]
步骤(6):根据公式(10)、(11)更新粒子的速度与位置。
[0173]
步骤(7)：判断是否满足循环终止条件。若达到最大迭代次数，则得到优化后的模型参数；否则返回步骤(6)。
[0174]
步骤(8)：将优化的参数赋值给模型，并利用训练好的lstm模型进行负荷预测。
[0175]
综上可以看出，本发明针对复杂的电力负荷数据，提了出基于注意力机制的dwt-lstm的电力负荷预测方法。通过注意力机制与离散小波分解算法的结合，减小训练样本中的高频、低幅值噪声的干扰，提高了对重要分量的关注度。在确定lstm模型参数时，采用改进的pso寻找最优参数。本发明所提方法对于中长期负荷预测具有较好的适应性和准确性，对电力部门制定检修计划、进行决策规划的重要基础，对于保障电力系统的安全、经济运行具有重要意义。