一种基于ResNet-LSTM的配电台区短期负荷预测方法及装置与流程

一种基于resnet-lstm的配电台区短期负荷预测方法及装置
技术领域
1.本发明涉及电力系统调度技术领域，尤其是涉及一种基于 resnet-lstm的配电台区短期负荷预测方法及装置。


背景技术：

2.短期负荷预测指对未来几小时至几天的负荷进行预报。准确的负荷预测结果可以用于安排日前调度、设备检修，监视系统运行状态、预防事故发生，对于提高资源利用率和经济效益，保障社会的正常生产和人们的日常生活有着十分重要的意义。
3.负荷预测的难点主要在于其不确定性。影响负荷预测准确度的因素众多，主要包括温度、湿度、节假日等，负荷在时间序列上具有较强的波动性，且与各因素之间具有很强的非线性关系，难以显式的刻画预测模型。
4.目前，应用于短期负荷预测的方法可分为三类：经典方法、传统方法和智能方法。经典方法中，回归分析法结构简单，计算速度快，外推性能好，但用线性方程表述复杂问题，无法精确预测各种因素对结果的影响；时间序列法所需数据少，能反映短期内负荷的连续特点，但对节假日等对负荷影响较大的不确定因素考虑不足。传统方法中，卡尔曼滤波法表现较好：将负荷划分为随机分量和确定分量，随机分量用状态变量表示，确定分量用一阶线性模型描述，建立状态空间模型实现预测，其将系统下一时刻状态的最佳估计和系统未来的状态相结合，使模型预测结果更准确，但是实际场景下，难以得出噪音的统计特性。伴随数据采集、存储技术的发展，负荷历史数据呈现指数级增长，各种智能方法得以应用，其中神经网络的优势在于能对海量数据进行复杂建模，并基于收敛快、自适应能力强的特点，在回归预测领域独占鳌头


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于resnet-lstm的配电台区短期负荷预测方法及装置，以对短负荷进行高精度的预测，提高配电台区短期负荷预测的自适应能力。
6.第一方面，本发明提供了一种基于resnet-lstm的配电台区短期负荷预测方法，具体包括如下步骤：
7.搭建第一resnet-lstm模型，所述resnet-lstm模型包括cnn层、 lstm层以及全连接层输出层；
8.对所述第一resnet-lstm模型添加注意力机制以获取第二 resnet-lstm模型；
9.获取预处理的历史数据，并对所述第二resnet-lstm模型进行训练对所述以获取第三resnet-lstm模型；
10.将待预测的负荷数据属于所述三resnet-lstm模型中，并对所述待预测的负荷数据进行负荷预测。
11.优选的，所述获取预处理的历史数据的步骤包括：
12.获取历史数据并对所述历史数据进行预处理以获取预处理的历史数据。
13.优选的，所述对所述第二resnet-lstm模型进行训练对所述以获取第三resnet-lstm模型的步骤包括：
14.获取所述预处理的历史数据输出所述第二resnet-lstm模型并获取第一损失函数；
15.采用adam算法对所述第二resnet-lstm模型的参数进行优化并获取第二损失函数；
16.判定第一损失函数是否小于第二损失函数；
17.若是，则获取未优化参数的所述第二resnet-lstm模型为所述第三 resnet-lstm模型；
18.若否，则对所述未优化参数第二resnet-lstm模型的参数进行更新，以获取所述第三resnet-lstm模型，并执行所述获取所述预处理的历史数据输出所述第二resnet-lstm模型并获取第一损失函数的步骤。
19.优选的，所述cnn层包括所第一basicblock残差基本模块、第二 basicblock残差基本模块、第三basicblock残差基本模块以及第四 basicblock残差基本模块；
20.所述第一basicblock残差基本模块、所述第二basicblock残差基本模块、所述第三basicblock残差基本模块以及所述第四basicblock残差基本模块依次相连；
21.所述第一basicblock残差基本模块包括3个第一basicblock残差基本子模块，所述第一basicblock残差基本子模块的卷积核数为64；
22.所述第二basicblock残差基本模块包括4个第二basicblock残差基本子模块，所述第二basicblock残差基本子模块的卷积核数为128；
23.所述第三basicblock残差基本模块包括6个第三basicblock残差基本子模块，所述第三basicblock残差基本子模块的卷积核数为256；
24.所述第四basicblock残差基本模块包括3个第四basicblock残差基本子模块，所述第三basicblock残差基本子模块的卷积核数为512。
25.优选的，所述全连接层输出层采用relu函数为激活函数：
26.y
t
＝relu(wos
t
bo)；
27.y
t
—全连接层输出量；
28.wo—全连接层的权重参数；
29.bo—全连接层的偏置；
30.s
t
—全连接层的输入。
31.优选的，所述获取预处理的历史数据的步骤中，采用如下公式进行归一化：
[0032][0033]
x
std
—归一化之后的数据；
[0034]
x—未进行归一化的数据；
[0035]
x
min
(axis＝0)—未进行归一化的数据中特征的最小值；
[0036]
x
max
(axis＝0)—未进行归一化的数据中特征的最大值；
[0037]
所述全连接层输出层采用如下公式进行反归一化：
[0038]
x
′
＝x
std
*(x
max
(axis＝0)-x
min
(axis＝0)) x
min
(axis＝0)；
[0039]
x
′
—反归一化的数据。
[0040]
优选的，采用如下公式获取第一损失函数以及第二损失函数：
[0041][0042]
x
act
—真实值；
[0043]
x
pred
—预测值；
[0044]ymape
—平均绝对百分比误差
[0045]
adam算法采用如下公式：
[0046][0047]
θ
t
—待更新的参数；
[0048]
α—学习率；
[0049]
—时间步t的梯度的一阶估计的修正量；
[0050]
—时间步t的梯度的二阶估计的修正量；
[0051]
式中：
[0052][0053]
β1—时间步t的梯度的一阶估计衰减率；
[0054]
β2—时间步t的梯度的二阶估计衰减率；
[0055]gt
—时间步t的梯度。
[0056]
优选的，所述对所述第一resnet-lstm模型添加注意力机制以获取第二resnet-lstm模型的步骤包括：
[0057]
所述注意力机制的权重系数为：
[0058]et
＝utanh(wh
t
b)
[0059][0060][0061]ht
—t时刻隐藏层的状态；
[0062]
tanh—激活函数；
[0063]
α
t
—为t时刻注意力机制对隐藏层的注意力权重值；
[0064]et
—t时刻lstm层输出h
t
所决定的注意力概率分布值；
[0065]
u和w—权重系数；
[0066]
b—偏置；
[0067]st
—t时刻注意力机制隐藏层的输出值。
[0068]
优选的，所述lstm层满足如下公式：
[0069]ft
＝σ(w
fx
x
t
w
fhht-1
bf)；
[0070]
wf—隐藏层中间输出；
[0071]ht
与输入数据w
t
是门运算的权值参数；
[0072]bf
—门运算的偏置；
[0073]
σ—非线性激活函数sigmoid。
[0074]
另一方面，本发明提供了一种基于resnet-lstm的配电台区短期负荷预测装置，具体包括如下步骤：
[0075]
模型搭建模块：用于搭建第一resnet-lstm模型，所述resnet-lstm 模型包括cnn层、lstm层以及全连接层输出层；
[0076]
注意力机制引入模块：用于对所述第一resnet-lstm模型添加注意力机制以获取第二resnet-lstm模型；
[0077]
训练模块：用于获取预处理的历史数据，并对所述第二resnet-lstm 模型进行训练对所述以获取第三resnet-lstm模型；
[0078]
预测结果输出模块：用于将待预测的负荷数据属于所述三 resnet-lstm模型中，并对所述待预测的负荷数据进行负荷预测。
[0079]
本发明实施例带来了以下有益效果：本发明提供了一种基于 resnet-lstm的配电台区短期负荷预测方法及装置，所述方法包括：搭建第一resnet-lstm模型，resnet-lstm模型包括cnn层、lstm层以及全连接层输出层；对第一resnet-lstm模型添加注意力机制以获取第二 resnet-lstm模型；获取预处理的历史数据，并对第二resnet-lstm模型进行训练对以获取第三resnet-lstm模型；将待预测的负荷数据属于三 resnet-lstm模型中，并对待预测的负荷数据进行负荷预测。本发明所提方法能显著提高配电台区短期负荷预测的精度。
[0080]
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0081]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0082]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0083]
图1为本发明实施例提供的34层resnet神经网络结构示意图；
[0084]
图2为本发明实施例提供的卷积神经网络基本结构示意图；
[0085]
图3为本发明实施例提供的k折交叉验证方法示意图；
[0086]
图4为本发明实施例提供的resnet-lstm混合结构loss函数曲线示意图；
[0087]
图5为本发明实施例提供的24h预测效果示意图；
[0088]
图6为本发明实施例提供的7天预测效果示意图；
[0089]
图7为本发明实施例提供的attention结构示意图；
[0090]
图8为本发明实施例提供的长短期记忆人工神经网络原理图。
[0091]
图9为本发明实施例提供的一种基于resnet-lstm的配电台区短期负荷预测方法流程图。
具体实施方式
[0092]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0093]
目前，应用于短期负荷预测的方法可分为三类：经典方法、传统方法和智能方法。经典方法中，回归分析法结构简单，计算速度快，外推性能好，但用线性方程表述复杂问题，无法精确预测各种因素对结果的影响；时间序列法所需数据少，能反映短期内负荷的连续特点，但对节假日等对负荷影响较大的不确定因素考虑不足。传统方法中，卡尔曼滤波法表现较好：将负荷划分为随机分量和确定分量，随机分量用状态变量表示，确定分量用一阶线性模型描述，建立状态空间模型实现预测，其将系统下一时刻状态的最佳估计和系统未来的状态相结合，使模型预测结果更准确，但是实际场景下，难以得出噪音的统计特性，基于此，本发明实施例提供的一种基于resnet-lstm的配电台区短期负荷预测方法及装置，可以显著提高配电台区短期负荷预测的精度。
[0094]
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于 resnet-lstm的配电台区短期负荷预测方法及装置进行详细介绍。
[0095]
实施例一：
[0096]
本发明实施例一提供了一种基于resnet-lstm的配电台区短期负荷预测方法，具体包括如下步骤：
[0097]
结合图7、图8、图9所示，搭建第一resnet-lstm模型，所述 resnet-lstm模型包括cnn层、lstm层以及全连接层输出层；
[0098]
进一步的，结合图2所示，所述cnn层包括所第一basicblock残差基本模块、第二basicblock残差基本模块、第三basicblock残差基本模块以及第四basicblock残差基本模块；
[0099]
所述第一basicblock残差基本模块、所述第二basicblock残差基本模块、所述第三basicblock残差基本模块以及所述第四basicblock残差基本模块依次相连；
[0100]
所述第一basicblock残差基本模块包括3个第一basicblock残差基本子模块，所述第一basicblock残差基本子模块的卷积核数为64；
[0101]
所述第二basicblock残差基本模块包括4个第二basicblock残差基本子模块，所述第二basicblock残差基本子模块的卷积核数为128；
[0102]
所述第三basicblock残差基本模块包括6个第三basicblock残差基本子模块，所述第三basicblock残差基本子模块的卷积核数为256；
[0103]
所述第四basicblock残差基本模块包括3个第四basicblock残差基本子模块，所述第三basicblock残差基本子模块的卷积核数为512。
[0104]
在所述第三basicblock残差基本模块第四basicblock残差基本模块
[0105]
在本发明提供的实施例中，attention(注意力机制)本质上是一种资源分配的机
制，能突出重要信息的影响对，在此所述第一resnet-lstm模型添加注意力机制以获取第二resnet-lstm模型；
[0106]
优选的，所述对所述第一resnet-lstm模型添加注意力机制以获取第二resnet-lstm模型的步骤包括：
[0107]
所述注意力机制的权重系数为：
[0108]et
＝utanh(wh
t
b)
[0109][0110][0111]ht
—t时刻隐藏层的状态；
[0112]
tanh—激活函数；
[0113]
α
t
—为t时刻注意力机制对隐藏层的注意力权重值；
[0114]et
—t时刻lstm层输出h
t
所决定的注意力概率分布值；
[0115]
u和w—权重系数；
[0116]
b—偏置；
[0117]st
—t时刻注意力机制隐藏层的输出值。
[0118]
获取预处理的历史数据，并对所述第二resnet-lstm模型进行训练对所述以获取第三resnet-lstm模型；
[0119]
将待预测的负荷数据属于所述三resnet-lstm模型中，并对所述待预测的负荷数据进行负荷预测。
[0120]
优选的，所述获取预处理的历史数据的步骤包括：
[0121]
获取历史数据并对所述历史数据进行预处理以获取预处理的历史数据。
[0122]
进一步的，将小时、月份、周几、是否周末、是否节假日进行one-hot 编码，丢弃原始数据中神经网络模型无法直接利用的特征，添加温度、湿度信息和月份的交互影响，以丰富数据的特征维度；将每连续的24个时刻历史数据作为一个时间序列，即根据过去24个时刻的数据预测下一时刻的负荷，为单步预测；也可根据需要改为多步预测。为了便于运算，将特征维度进行拆分，使其长宽近似相等；数据使用最大最小归一化方法进行归一化，消除奇异样本的不良影响；
[0123]
采用如下公式进行归一化：
[0124][0125]
x
std
—归一化之后的数据；
[0126]
x—未进行归一化的数据；
[0127]
x
min
(axis＝0)—未进行归一化的数据中特征的最小值；
[0128]
x
max
(axis＝0)—未进行归一化的数据中特征的最大值；
[0129]
优选的，所述对所述第二resnet-lstm模型进行训练对所述以获取第三resnet-lstm模型的步骤包括：
[0130]
获取所述预处理的历史数据输出所述第二resnet-lstm模型并获取第一损失函
数；
[0131]
采用adam算法对所述第二resnet-lstm模型的参数进行优化并获取第二损失函数；
[0132]
判定第一损失函数是否小于第二损失函数；
[0133]
若是，则获取未优化参数的所述第二resnet-lstm模型为所述第三 resnet-lstm模型；
[0134]
若否，则对所述未优化参数第二resnet-lstm模型的参数进行更新，以获取所述第三resnet-lstm模型，并执行所述获取所述预处理的历史数据输出所述第二resnet-lstm模型并获取第一损失函数的步骤。
[0135]
采用如下公式获取第一损失函数以及第二损失函数：
[0136][0137]
x
act
—真实值；
[0138]
x
pred
—预测值；
[0139]ymape
—平均绝对百分比误差
[0140]
adam算法采用如下公式：
[0141][0142]
θ
t
—待更新的参数；
[0143]
α—学习率；
[0144]
—时间步t的梯度的一阶估计的修正量；
[0145]
—时间步t的梯度的二阶估计的修正量；
[0146]
式中：
[0147][0148]
β1—时间步t的梯度的一阶估计衰减率；
[0149]
β2—时间步t的梯度的二阶估计衰减率；
[0150]gt
—时间步t的梯度。
[0151]
优选的，所述lstm层满足如下公式：
[0152]ft
＝σ(w
fx
x
t
w
fhht-1
bf)；
[0153]
wf—隐藏层中间输出；
[0154]ht
与输入数据w
t
是门运算的权值参数；
[0155]bf
—门运算的偏置；
[0156]
σ—非线性激活函数sigmoid。
[0157]
优选的，所述cnn层包括所第一basicblock残差基本模块、第二 basicblock残差基本模块、第三basicblock残差基本模块以及第四 basicblock残差基本模块；
[0158]
所述第一basicblock残差基本模块、所述第二basicblock残差基本模块、所述第
三basicblock残差基本模块以及所述第四basicblock残差基本模块依次相连；
[0159]
所述第一basicblock残差基本模块包括3个第一basicblock残差基本子模块，所述第一basicblock残差基本子模块的卷积核数为64；
[0160]
所述第二basicblock残差基本模块包括4个第二basicblock残差基本子模块，所述第二basicblock残差基本子模块的卷积核数为128；
[0161]
所述第三basicblock残差基本模块包括6个第三basicblock残差基本子模块，所述第三basicblock残差基本子模块的卷积核数为256；
[0162]
所述第四basicblock残差基本模块包括3个第四basicblock残差基本子模块，所述第三basicblock残差基本子模块的卷积核数为512。
[0163]
优选的，所述全连接层输出层采用relu函数为激活函数：
[0164]yt
＝relu(wos
t
bo)；
[0165]yt
—全连接层输出量；
[0166]
wo—全连接层的权重参数；
[0167]bo
—全连接层的偏置；
[0168]st
—全连接层的输入。
[0169]
所述全连接层输出层采用如下公式进行反归一化：
[0170]
x
′
＝x
std
*(x
max
(axis＝0)-x
min
(axis＝0)) x
min
(axis＝0)；
[0171]
x
′
—反归一化的数据。
[0172]
在本发明提供的实施例中，在一个深度较浅的卷积神经网络上叠加 y＝x，可以保证神经网络的预测结果比起浅层网络不会退化；
[0173]
进一步的，所述第一basicblock残差基本子模块、所述第二basicblock 残差基本子模块、所述第三basicblock残差基本子模块以及所述第四 basicblock残差基本子模块均包括两个basicblock残差学习基本单元；
[0174]
在本发明提供的实施例中，每个残差单元的预测值h(x)为：
[0175]
h(x)＝f(x,{wi}) x
[0176]
h(x)—预测值；
[0177]
f(x,{wi})—残差；
[0178]
x—观测值。
[0179]
因此残差网络学习的是预测值与观测值之差，即f(x)＝h(x)－x。当卷积层数较深时，即使f(x)中某些参数趋于零，由于观测值y＝x的存在，依旧可以保证学习能力不会下降；
[0180]
结合图8遗忘门决定记忆单元中上一时刻的值由多少会被传入当前时刻进行学习。通过参数σ实现，σ的取值范围为(0,1)，遗忘门函数使用sigmoid函数来控制输出比例：
[0181]ft
＝σ(w
fx
x
t
w
fhht-1
bf)
[0182]
wf是权重系数；
[0183]ht-1
为上一序列的隐藏状态，x
t
是本序列数据；
[0184]bf
是门运算的偏置；
[0185]
σ为非线性激活函数sigmoid；
[0186]
输入门决定让多少新的信息加入到单元中来。实现这个需要包括两个函数：
[0187]it
＝σ(w
ix
x
t
w
ihht-1
bi)
[0188][0189]
类似的，w
tx
、w
th
、w
gx
、w
gh
为权重系数；
[0190]bi
、bg为偏置；
[0191]
为激活函数tanh。
[0192]
输出门决定记忆单元中储存的记忆之有多大比例可以被输出：
[0193]ot
＝σ(w
ox
x
t
w
ohht-1
bo)
[0194]st
＝g
t
⊙it
s
t-1
⊙ft
[0195][0196]
在本发明提供的实施例中，训练方法法使用k折交叉验证方法进行改进，使数据集获得更强的随机性。首先将数据集随机打乱，并平均的分成k 个子数据集。在预测时随机选取k-1个子数据集作为模型的训练集，而将剩余的一个子数据集作为模型的测试集。将上述过程重复k次，最后将得到的k个结果求均值作为最终输出。这样，每一个数据都能参与正向传播与反向传播两个过程。k折交叉验证既防止了模型过拟合，也防止无法充分利用数据。
[0197]
实施例二：
[0198]
另一方面，本发明提供了一种基于resnet-lstm的配电台区短期负荷预测装置，具体包括如下步骤：
[0199]
模型搭建模块：用于搭建第一resnet-lstm模型，所述resnet-lstm 模型包括cnn层、lstm层以及全连接层输出层；
[0200]
注意力机制引入模块：用于对所述第一resnet-lstm模型添加注意力机制以获取第二resnet-lstm模型；
[0201]
训练模块：用于获取预处理的历史数据，并对所述第二resnet-lstm 模型进行训练对所述以获取第三resnet-lstm模型；
[0202]
预测结果输出模块：用于将待预测的负荷数据属于所述三 resnet-lstm模型中，并对所述待预测的负荷数据进行负荷预测。
[0203]
实施例三：
[0204]
结合图5以及图6，选用global energy forecasting数据集中两年的历史数据进行测试，可见在整个训练过程中，loss在稳步下降，红色曲线代表预测值，蓝色曲线为实际值。resnet-lstm模型的预测值与实际值相比，极大值点与极小值点对应的时间完全重合，曲线趋势基本一致。尤其是夜间用电低谷时间段内，预测值与实际值几乎完全吻合，这表明本方法也可用于预测一天甚至一周的负荷，验证了所提方法的有效性。
[0205]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
[0206]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0207]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用
于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/ 或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0208]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0209]
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0210]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0211]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。