稀疏自注意力机制的电力价格预测方法及模型训练方法与流程

1.本发明涉及人工智能领域，尤其涉及一种稀疏自注意力机制的电力价格预测方法及模型训练方法。


背景技术：

2.近年来，大规模新能源正逐渐步入电网，由于风能、光能等新能源的边际成本低，电力市场的日前出清价格出现了降低的趋势，而且电不能大量存储，要时刻满足供需平衡，风能、光能等新能源的随机性和不确定性使得日前出清价格波动强烈，呈现出非平稳的特点。在含高比列新能源电力市场背景下，建立高准确率的日前电价预测模型具有重要的意义。
3.目前国内外对于电价预测的方法主要用统计法和机器学习方法，统计法对于非线性序列的预测效果不佳，而机器学习方法，如公开号为cn110276638a的专利申请公开了一种基于bilstm网络的电价预测方法，可以挖掘电价在时序上的规律，但是网络模型不容易收敛，容易陷入局部最优，模型的泛化能力不强，且无法预测较长一段时间的价格。
4.以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，也不必然会给出技术教导；在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

5.本发明的目的是提供一种电力价格预测方法及预测模型训练方法，基于稀疏自注意力机制的transformer网络，对电力价格作出准确的预测。
6.为达到上述目的，本发明采用的技术方案如下：
7.一种基于稀疏自注意力机制的电力价格预测方法，包括以下步骤：
8.获取目标预测时段之前的当前时段的电力价格数据；
9.将所述当前时段的电力价格数据输入预先训练好的电力价格预测模型；
10.所述电力价格预测模型输出所述目标预测时段内的电力价格预测结果；
11.其中，所述电力价格预测模型通过以下步骤获取：
12.获取电力价格历史数据；
13.对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据；
14.根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；
15.构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所
述构建特征工程后的矩阵数据通过线性变换分别转换为q、k、v矩阵，并计算关于q、k、v矩阵的attention结果；
16.利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。
17.进一步地，承前所述的任一技术方案或多个技术方案的组合，其中一项特征工程为金融特征工程，通过以下方式构建所述金融特征工程：
18.引入金融量化交易中的macd、kdj、ma指标中的一种或多种，作为辅助金融特征加入到所述电力价格历史数据中。
19.进一步地，承前所述的任一技术方案或多个技术方案的组合，其中一项特征工程为传统特征工程，通过以下方式构建所述传统特征工程：
20.所述电力价格历史数据包括价格字段和其他多个字段，构建其他字段与价格字段的相关性矩阵，得到各个其他字段对应的皮尔逊相关系数，将小于预设相关系数阈值的皮尔逊相关系数对应的字段舍弃；和/或，计算各个字段对应的方差，将方差计算结果小于预设方差阈值的对应字段舍弃。
21.进一步地，承前所述的任一技术方案或多个技术方案的组合，其中一项特征工程为全局时间戳工程，通过以下方式构建所述全局时间戳工程：
22.确定时间戳的多个维度，其包括分钟、小时、日、周、月、节假日维度中的部分或全部；
23.将多个维度的时间戳映射成向量，并进行相加操作。
24.进一步地，承前所述的任一技术方案或多个技术方案的组合，为每个query随机采样部分的key，利用以下公式计算每个query的稀疏性得分：
25.其中，softmax()为将数值向量转换为概率分布向量的函数，k
t
为k矩阵的转置矩阵，dk为k矩阵的维度；
26.选取稀疏性得分最高的n个query，计算n个query和随机采样的key的点积结果，得到所述关于q、k、v矩阵的attention结果。
27.进一步地，承前所述的任一技术方案或多个技术方案的组合，预设不同的时间颗粒度，对应训练得到不同的电力价格预测模型。
28.进一步地，承前所述的任一技术方案或多个技术方案的组合，所述预设的时间颗粒度与目标预测时段的时长相等。
29.进一步地，承前所述的任一技术方案或多个技术方案的组合，所述目标预测时段的时长与所述当前时段的时长相等。
30.进一步地，承前所述的任一技术方案或多个技术方案的组合，对所述电力价格历史数据构建多项特征工程之前，对所述电力价格历史数据进行清洗操作，所述清洗操作包括去除异常值和/或去除重复值，以完成清洗操作的电力价格历史数据作为构建特征工程的源数据。
31.根据本发明的另一方面，提供了一种基于稀疏自注意力机制的电力价格预测模型训练方法，包括以下步骤：
32.获取电力价格历史数据；
33.对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据；
34.根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；
35.构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所述构建特征工程后的矩阵数据通过线性变换分别转换为q、k、v矩阵，并计算关于q、k、v矩阵的attention结果；
36.利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。
37.本发明提供的技术方案带来的有益效果如下：
38.a.利用稀疏自注意力机制transformer网络对电力价格进行预测，通过构建稀疏自注意力机制模块来加速transformer网络的收敛速度；
39.b.根据需求采用不同的时间颗粒度，来实现对电力价格短期、中期或长期的预测；
40.c.拟合能力强，电力价格预测准确度高，且适用于不同的电力价格交易市场。
附图说明
41.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明的一个示例性实施例提供的基于稀疏自注意力机制的电力价格预测方法的流程示意图；
43.图2为本发明的一个示例性实施例提供的电力价格预测模型的训练方法流程示意图；
44.图3为本发明的一个具体实施例提供的基于transformer网络模型预测电力价格的流程示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
46.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
47.在本发明的一个实施例中，提供了一种基于稀疏自注意力机制的电力价格预测方法，如图1所示，预测方法包括以下步骤：
48.获取目标预测时段之前的当前时段的电力价格数据；
49.将所述当前时段的电力价格数据输入预先训练好的电力价格预测模型；
50.所述电力价格预测模型输出所述目标预测时段内的电力价格预测结果。
51.其中，所述电力价格预测模型通过图2所示的步骤获取：
52.获取电力价格历史数据，本实施例中，可以选取过去一年的电力价格数据作为电力价格历史数据。在一个实施例中，可以对所述电力价格历史数据进行清洗操作，所述清洗操作包括去除异常值和/或去除重复值，以完成清洗操作的电力价格历史数据作为下一步构建特征工程的源数据。
53.对所述电力价格历史数据构建多项特征工程，每项特征工程将所述电力价格历史数据转换为向量数据，并对各项特征工程得到的向量数据进行相加操作，相加后的向量数据组成构建特征工程后的矩阵数据。本实施例中以构建金融特征工程、传统特征工程、全局时间戳工程这三个部分为例，一一说明如下：
54.一、通过以下方式构建所述金融特征工程：引入金融量化交易中的macd、kdj、ma指标中的一种或多种，作为辅助金融特征加入到所述电力价格历史数据中；这些指标可以反应出电力价格变化的趋势，通过控制变量法进行消融实验，可以提高电力价格预测时精度。
55.二、通过以下方式构建所述传统特征工程：所述电力价格历史数据包括价格字段和其他多个字段，构建其他字段与价格字段的相关性矩阵，得到各个其他字段对应的皮尔逊相关系数，将小于预设相关系数阈值的皮尔逊相关系数对应的字段舍弃；和/或，计算各个字段对应的方差，将方差计算结果小于预设方差阈值的对应字段舍弃。在一个实施例中，将相关系数阈值可以设置为0.4，以下字段demandforecast(需求预测)、dispatchablegeneration(可调度发电)、dispatchableload(可调度负载)、netinterchange(网络交换)的皮尔逊相关系数小于0.4，则将这些字段舍弃；
56.三、通过以下方式构建所述全局时间戳工程：确定时间戳的多个维度，其包括分钟、小时、日、周、月、节假日维度中的部分或全部；将多个维度的时间戳作为embeddings嵌入到网络中去，及将多个维度的时间戳映射成向量作为模型的输入，进行相加操作。
57.通过构建以上三个特征工程，将构建各自特征工程后的向量数据相加，得到构建特征工程后的矩阵数据。
58.根据所述构建特征工程后的矩阵数据，获取多个训练样本，所述训练样本包括历史时间点、电力价格和标签，其中，所述标签为后继时间点的电力价格，所述后继时间点与所述历史时间点之间的时间间隔为根据预测需求而预设的时间颗粒度；可以采用不同的时间颗粒度，比如15分钟、半小时、2小时等，对应训练得到不同的电力价格预测模型，如图3所示的训练时间颗粒度a模型、训练时间颗粒度b模型、训练时间颗粒度c模型等，目的是为了对电力价格进行短期、中期和长期的预测。比如想预测未来2小时内的电价，则将训练样本
中的标签按照如下方式确定：比如一个训练样本的历史时间点为2021年8月25日13点00分，电力价格为0.56元/度，则对应标签为2021年8月25日15点00分的电力价格0.57元/度，其中，2021年8月25日15点00分即为间隔时间颗粒度2小时的后继时间点。在本发明的一个实施例中，一个训练样本中以每5分钟取一个历史时间点，则在2小时内，取24个历史时间点，对应的模型输出预测结果也为24个预测时间点及其对应的预测电价数据。
59.构建稀疏自注意力机制的transformer网络的稀疏自注意力机制模块，包括：将所述构建特征工程后的矩阵数据通过线性变换分别转换为q、k、v矩阵，并计算关于q、k、v矩阵的attention结果；具体地，为每个query随机采样部分的key，利用以下公式计算每个query的稀疏性得分：
60.其中，softmax()为将数值向量转换为概率分布向量的函数，k
t
为k矩阵的转置矩阵，dk为k矩阵的维度；
61.传统的self-attention模块点积结果呈长尾分布，也就是少数的几个query和key的点积计算结果主导了softmax的分布，这种稀疏性分布是有现实含义的，即序列中的某个元素一般只会和少数几个元素具有较高的相似性和关联性。本发明实施例中，通过为每个query随机采样部分的key，计算每个query的稀疏性得分，然后选取稀疏性得分最高的n个query，计算n个query和随机采样的key的点积结果，得到attention结果。通过构建稀疏自注意力机制模块，使得transformer网络收敛地更快，在预测电力价格的时候具有更强的拟合能力和稳定性。
62.最后利用所述稀疏自注意力机制的transformer网络对所述训练样本进行训练，得到电力价格预测模型。如上所述，采用不同的时间颗粒度，比如15分钟、半小时、2小时等，对应训练得到不同的电力价格预测模型，如图3所示的训练时间颗粒度a模型、训练时间颗粒度b模型、训练时间颗粒度c模型等，目的是为了对电力价格进行短期、中期和长期的预测，以弥补现有技术中预测较长一段时间的价格的技术空白。
63.本发明的基于稀疏自注意力机制transformer网络的电力价格预测准确度较高，拟合能力强，适用于不同的电力价格交易市场。
64.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
65.以上所述仅是本技术的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。