一种基于GRU和多核SVM对抗学习的短期电量预测方法及系统与流程

一种基于gru和多核svm对抗学习的短期电量预测方法及系统
技术领域
1.本发明涉及智能用电技术领域，特别涉及一种基于gru和多核svm对抗学习的短期电量预测方法及系统。


背景技术：

2.准确地对用电量进行预测能够保证电网系统准确可靠的运行，避免在电网调度过程中的资源浪费，同时，还有助于制定更经济的发电计划。
3.传统的电量预测方法主要包括回归分析法和时间序列分析法等。这些方法虽然在电力行业的一些应用上比较广泛，但是仍存在对于一些不确定因素考虑不足的缺点，同时也未能很好的利用序列数据的信息。为了提高预测的性能，智能预测方法(如人工神经网络、支持向量机预测模型和深度学习预测方法等)逐渐地被应用于电量预测研究中，其优点在于能够很好的挖掘出各种影响因素与电量之间的关联关系。目前，大多数研究是基于用电量序列进行预测建模，其中循环神经网络(recurrent neural network，rnn)被广泛应用。长短期记忆网络(long short
‑
term memory，lstm)和门控循环单元(gated recurrent unit，gru)是rnn的变种，它们能够有效地解决rnn模型中长期依赖性的不足，是电量预测研究中比较常用的模型。此外，卷积神经网络(convolutional neural networks，cnn)也被应用到负荷预测研究中。发明人发现，虽然这些方法已经取了不错的效果，但是这些方法忽略了电量序列内部之间潜在的关联关系，对于已有信息没有进行充分利用。


技术实现要素：

4.基于上述问题，本发明的第一个方面，提供一种基于改进gru和多核支持向量机对抗学习的用户短期电量预测方法及系统。基于用电量的主要特征因素，以双向gru和多头注意力机制相结合作为生成器、多核svm为判别器，构建基于生成对抗网络模型实现用户短期电力预测，通过生成器和判别器的相互博弈学习提高预测性能，提高了电量预测的准确度。
5.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
6.一种基于gru和多核svm对抗学习的用户短期电量预测方法，其特征在于，包括以下步骤：
7.获取待预测用户的历史用电数据和当前用电相关数据；
8.采用预训练的用户短期电量预测模型进行用电量预测，其中，所述用户短期电量预测模型训练方法包括：
9.基于历史用电数据和用电相关数据，提取影响因素特征及其权重；
10.基于影响因素特征及其权重，对双向gru和多头注意力机制构建的生成器进行训练，输出用户用电量状态预测向量；
11.将用户用电量综合向量和真实数据作为输入，基于多核svm判别器的判别结果对生成器进行参数更新，得到用户短期电量预测模型。
12.进一步地，获取用户用电数据和用电相关数据后，还进行数据清洗，包括删除重复
数据、补全缺失数据和删除错误数据。
13.进一步地，基于灰色关联分析法提取影响因素特征及其权重。
14.进一步地，基于灰色关联分析法提取影响因素特征包括：
15.利用灰色关联分析法，计算特征相关统计量；
16.设定相关统计量阈值作为预设关联度阈值，筛选出与用户用电量行为相关的特征作为影响因素特征。
17.进一步地，对双向gru和多头注意力机制构建的生成器进行训练包括：
18.基于影响因素特征及其权重，通过双向gru学习获取上下文信息；
19.进行多次自注意力计算，将每一次计算结果进行拼接,最后通过线性映射函数得到多头注意力分数，得到用户用电量综合向量；
20.采用用户用电量综合向量，根据softmax预测函数计算损失函数，采用反向传播算法训练双向gru的学习参数，完成生成器的训练。
21.进一步地，通过双向gru学习获取上下文信息包括：
22.将影响因素特征序列向量映射为低维向量集合；
23.通过前向和后向gru分别对低维向量集合进行学习；
24.通过拼接函数对双向gru学习得到的特征进行拼接，得到上下文信息。
25.进一步地，根据实际用电量和生成的用电量预测值计算均方根误差，将均方根误差作为目标函数，对生成器进行参数更新。
26.一个或多个实施例提供了一种基于gru和多核svm对抗学习的用户短期电量预测系统，包括：
27.数据获取模块，被配置为：获取待预测用户的历史用电数据和当前用电相关数据；
28.用电预测模块，被配置为：采用预训练的用户短期电量预测模型进行用电量预测，其中，所述用户短期电量预测模型训练方法包括：
29.基于历史用电数据和用电相关数据，提取影响因素特征及其权重；
30.基于影响因素特征及其权重，对双向gru和多头注意力机制构建的生成器进行训练，输出用户用电量状态预测向量；
31.将用户用电量综合向量和真实数据作为输入，基于多核svm判别器的判别结果对生成器进行参数更新，得到用户短期电量预测模型。
32.一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于gru和多核svm对抗学习的用户短期电量预测方法。
33.一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述基于gru和多核svm对抗学习的用户短期电量预测方法。
34.以上一个或多个技术方案具有以下有益效果：
35.本发明以历史用户用电量数据和用电相关数据为基础，以双向gru和多头注意力机制相结合作为生成器，以多核svm作为判别器，构建基于生成对抗网络模型实现用户短期电力预测，通过生成器和判别器的相互对抗学习来提高预测性能。
36.本发明针对用户历史用电量数据具有时序性和长期依赖性的特征，采用双向gru
预测未来用电量情况；此外，为了能够捕获电量序列的内部结构，学习序列内部数据信息之间的依赖关系，引入了多头注意力机制的思想，从不同维度、不同子空间来表征特征信息，提高模型预测的准确性。
37.本发明提出了采用真实数据和生成数据的均方根误差作为目标函数的一部分，来调整生成器，降低模型出错的概率，提高模型的稳定性。
附图说明
38.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
39.图1为本发明一个或多个实施例提供的基于gru和多核svm对抗学习的用户短期电量预测方法整体流程图；
40.图2为本发明一个或多个实施例提供的数据预处理方法流程图；
41.图3为本发明一个或多个实施例提供的基于改进gru和多核svm对抗学习的用户短期电量预测方法的整体原理图；
42.图4为本发明一个或多个实施例提供的多头注意力机制的架构图；
43.图5为本发明一个或多个实施例提供的基于gru和多核svm对抗学习的用户短期电量预测方法的效果图。
具体实施方式
44.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
45.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
46.如图1所示，本实施例的一种基于改进gru和多核svm对抗学习的用户短期电量预测方法，包括以下步骤：
47.步骤1：获取待预测用户的历史用电数据和当前用电相关数据；
48.步骤2：采用预训练的用户短期电量预测模型进行用电量预测，其中，所述用户短期电量预测模型训练方法包括：
49.s1：获取历史用电数据和用电相关数据，提取影响因素特征及其权重；具体包括：
50.a.对海量电力信息进行相关用电量数据的采集，包含历史用电量数据和用电相关数据，用电相关数据包括天气数据、节假日数据等，本实施例中仅以天气数据为例进行说明。对获取的用电量数据和天气数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义并存储。
51.具体地，基于中国某省级电网公司的用电信息采集系统中获取的用电数据，每小时采集一次，每天采集24个时间点的数据，包括996个用户2019年9月1日到2019年9月14日共334656条用电数据。在这里要说明一点是，本实施将每一个时间点采取的数据都作为一
条用电数据。此外，从中国气象数据服务中心网站上获取了相应城市相应时间的天气数据。
52.b.对海量电量数据进行规范化处理，基于灰色关联分析法(grey relation analysis,gra)对天气情况进行影响用电量的特征选择，消除特征的冗余并提取与影响用电量高关联度的特征。
53.其中，对获取的数据进行数据预处理，包含缺失值处理、数据归一化，并采用卡方检验进行简单的相关性分析，消除重复影响因素及因子选择的任意性，降低问题的复杂性，从而消除特征的冗余并选择更多信息变量以提高预测模型的准确率和效率。
54.在用户用电量预测过程中，天气情况对用电量的预测有着重要的影响。针对获取的电量数据样本，根据灰色关联分析法，判别特征选择的结果如下所示。表1显示了通过gra算法计算天气因素与用户行为之间的相关统计量，并且按统计量从高到低排序，设置阈值(＝0.5)以排除一些无信息的特征。在实验中，可以得出结论，温度和湿度这两个天气因素，对用电量预测的影响较大。
55.表1.天气因素关联度分析
56.因素关联度最高气温0.9819最低气温0.9707湿度0.9674平均温度0.9199总降水量0.8651风速0.8470气压0.6895
57.b.具体地，如图2所示，所述步骤b中基于灰色关联分析法(grey relation analysis,gra)进行天气因素分析的一般生成过程为：
58.b1.对历史电量数据和对应的天气数据进行规范化处理，采用min
‑
max标准化方法对原始数据x进行归一化处理，特征数据取值为[0，1]；
[0059]
b2.假设原样本中各个特征数据经均值化变化后的用电量参考序列为x0＝(x0(1)，x0(2)，......，x0(n))，将包含各种因素特征的历史电力数据设为比较序列为x
k
＝(x
k
(1)，x
k
(2)，......，x
k
(n))，i＝1,2,.....,m。则x0与x
k
的相关系数的计算公式如下：
[0060][0061]
式中，δ
i
(k)表示x
i
对x0在k个数据上的关联度系数。ρ表示分辨系数(ρ＝0.5)；
[0062]
b3.计算各个因素与用户用电量的关联度θ
[0063][0064]
最后，我们可以通过对关联度θ进行排序，根据排序大小选出影响就医迁移的主要特征集合，输出筛选的特征集合，为后面电量预测模型的构建提供基础支撑。
[0065]
s2：基于影响因素特征及其权重，对双向gru和多头注意力机制构建的生成器进行训练，输出用户用电量状态预测向量；具体地，基于获取的因素特征集合及其相应权重来构建双向gru，以实现从正反两个方向学习用户的用电信息；然后结合多头注意力机制，构建
生成器；更新双向gru中各个用户用电序列信息状态预测数据的权重值，输出用户用电量状态预测向量；利用用户用电量状态预测向量，构建softmax预测函数；计算softmax预测函数输出值的损失函数，采用反向传播算法训练双向gru的学习参数，完成生成器的训练。
[0066]
步骤s2具体包括以下步骤：
[0067]
c.基于步骤b预处理后的数据和获取的特征因素集合，采用双向gru和多头注意力相结合构建生成器，实现电量预测，如图3所示。
[0068]
c1.基于获得的影响用户用电量的因素集合构建模型的输入序列{x1，x2，...，x
t
}，经过embedding层操作，将高维稀疏的序列向量映射为低维稠密的向量集合{e1，e2，...e
t
}。
[0069]
e
i
＝w
t
x
i
(i＝1，2，...，t)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0070]
其中w∈r
|t|*d
表示的是特征矩阵，|t|表示的是序列的长度，k表示的是embedding层的嵌入维度。
[0071]
c2.基于获取的低维稠密的向量集合，对于每一个时刻t，gru使用输入e
t
和先前状态h
t
‑1计算h
t
，如下：
[0072]
r
t
＝σ(w
r
e
t
u
r
h
t
‑1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0073]
n
t
＝σ(w
π
e
t
u
π
h
t
‑1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0074][0075][0076]
其中，h
t
,
r
t和π
t
分别是d维度的隐状态，重置门和更新门。w
r
,w
π
,w
c
和u
r
,u
π
,u是gru的参数。σ是sigmoid函数。
[0077]
bi
‑
gru有前向和后向gru组成，通过前后两个方向的学习来更好的获取序列数据的上下文信息。最后，通过concat函数拼接得到最后的隐藏状态h
t
，如下所示：
[0078][0079]
其中，表示的是通过前向gru学习到的隐藏状态表示的是通过前向gru学习到的隐藏状态表示的是从相反方向学习到的隐藏状态
[0080]
c3.为了能够捕获序列的内部结构，学习序列内部数据信息之间的依赖关系，引入多头注意力机制，进行多次自注意力计算，将每一次计算结果进行拼接,最后通过线性映射函数得到多头注意力分数，如图4所示。
[0081]
首先进行自注意力分数计算，计算过程如下：
[0082][0083][0084]
其中，h＝{h1，h2，....，h
t
}表示一个矩阵，它由双向gru层所有时刻的输出向量组成。w
l
，γ，表示参数向量。
[0085]
经过自注意力计算，可以得到单次注意力输出的特征值为：
[0086][0087]
然后，使用公式(9)～(11)进行k次计算。将结果h
*
进行拼接和线性映射，得到最终
的结果：
[0088][0089]
c4.最后，将经过多头注意力机制得出的注意力特征序列输入softmax层进行用电量预测，预测结果为：
[0090]
y＝softmax(w
r
h
final
b
r
)
ꢀꢀꢀꢀꢀꢀꢀ
(13)
[0091]
s3：将用户用电量综合向量和真实数据作为输入，基于多核svm判别器的判别结果对生成器进行参数更新，得到用户短期电量预测模型。具体地，基于获得的用户用电量状态预测向量和真实数据，利用多核svm构建判别器，判别生成器预测的结果是否属于真实数据；基于判别器获得的判别结果，反馈更新生成器中的数据信息，通过相互对抗不断优化模型中的数据权重值，不断完善用户用电量预测。
[0092]
步骤s3具体包括以下步骤：
[0093]
d.基于步骤c获得的用户用电量状态预测向量，结合真实数据，利用多核svm构建判别器，判别生成器预测的结果是否属于真实数据。
[0094]
多核svm是单核svm的拓展，其目标是确定m个核函数的最优组合，使得间距最大，可以用如下优化问题表示：
[0095][0096]
其中δ＝{θ∈r |θ
t
e
m
＝1}表示m个核函数的凸组合的系数；e
m
表示的是m个元素全是1的向量；代表最终的核函数，其中k
j
(
·
，
·
)是第j个核函数。
[0097]
对式(14)使用拉格朗日乘子法转换为如下最优化的形式：
[0098][0099]
其中k
j
∈r
n
×
n
,ω＝{α|α∈[0，c]
n
}，α为拉格朗日乘子；“*”被定义为向量的点积。
[0100]
e.基于步骤d获得的判别结果，反馈更新生成器中的数据信息，通过相互对抗不断优化模型中的数据权重值，不断完善用户用电量预测。采用交叉熵作为损失函数，若y为真实的类别分布，则损失函数定义如下：
[0101][0102]
其中，s
positive
和s
negative
分别表示的正样本数据和负样本数据。p
discriminator
(y
t
，x)表示的是样本(y
t
，x)属于真实数据的概率。
[0103]
在模型训练过程中，生成器的目标函数与真实数据不相关，仅靠判别器的输出来调整生成器的参数。当判别器判别有误时，会使生成器生成的数据出现偏差，导致模型不够稳定。因此，在本实施中，将真实样本与生成样本的均方误差作为生成器目标函数的一部分。当判别器有误时，还可以靠均方根误差来调整生成器，可降低模型出错的概率，提高模型的稳定性。
[0104][0105]
对待预测样本进行用电量预测，将预测结果进行推送，并与实际数据进行结果对
比，采用均方根误差(root mean squared error，rmse)和平均绝对百分比误差(meanabsolute percentage error，mape)两个评价指标进行方法分析。此外，本实施的模型参数初始设置如表2所示。
[0106][0107][0108]
其中，y
t
表示t时刻的真实值；y
′
t
表示的是预测值；n表示数据的个数。
[0109]
表2.模型参数设置
[0110]
参数指标数量嵌入维度100双向gru隐藏层节点数64多头注意力头数8学习率0.001dropout0.5多核svm核数5迭代次数(epoch)100
[0111]
表3描述了用电量预测中方法性能的比较情况：基于表3中的结果可得，本实施例所提出的用电量预测模型的预测性能优于其他预测方法。
[0112]
表3.不同预测方法的性能比较情况
[0113][0114][0115]
实施例二
[0116]
本实施例的目的是提供一种基于gru和多核svm对抗学习的短期电量预测系统。
[0117]
基于上述目的，本实施例提供了一种基于gru和多核svm对抗学习的短期电量预测系统，包括：
[0118]
数据获取模块，被配置为：获取待预测用户的历史用电数据和当前用电相关数据；
[0119]
用电预测模块，被配置为：采用预训练的用户短期电量预测模型进行用电量预测，其中，所述用户短期电量预测模型训练方法包括：
[0120]
基于历史用电数据和用电相关数据，提取影响因素特征及其权重；
[0121]
基于影响因素特征及其权重，对双向gru和多头注意力机制构建的生成器进行训练，输出用户用电量状态预测向量；
[0122]
将用户用电量综合向量和真实数据作为输入，基于多核svm判别器的判别结果对
生成器进行参数更新，得到用户短期电量预测模型。
[0123]
实施例三
[0124]
本实施例的目的是提供一种电子设备。
[0125]
基于上述目的，本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施如实施例一中所述的方法。
[0126]
实施例四
[0127]
本实施例的目的是提供一种计算机可读存储介质。
[0128]
基于上述目的，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实施如实施例一中所述的方法。
[0129]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0130]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0131]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0132]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0133]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0134]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。