一种分布式新能源出力数据质量提升方法和系统

1.本发明属于电力系统数据处理领域，尤其是涉及一种分布式新能源出力数据质量提升方 法和系统。


背景技术：

2.为了满足对能源和环保的双向需求，分布式新能源发电近年来快速发展。与集中式新能 源相比，分布式新能源接入中低压电网，地域分散，受设备、人员等原因的限制，出力数据 质量较差，存在数据异常、数据缺失等问题，对出力数据监测分析工作的开展提出了挑战。 因此，在对出力数据进行挖掘与深入分析之前应对采集到的数据进行数据质量提升，获取准 确、完整、满足分析需求的数据，以支持后续高级的数据挖掘应用。
3.目前针对分布式新能源出力数据的数据质量提升，在异常数据检测方面多采用相似日聚 类或基于统计分析的方法，在数据修复方面多采用插值或利用气象数据完成修复。以上方法 仅考虑了数据在时间尺度上的关联性，忽略了空间尺度，同时在进行异常检测检测或缺失修 复时往往只采用一种方法，未能根据数据特点有针对性地采取不同措施。


技术实现要素：

4.为克服上述现有技术的不足，本发明提出一种分布式新能源出力数据质量提升方法，包 括：
5.获取分布式新能源当前站点待质量提升的出力时间序列和所述出力时间序列对应的相关 变量值；
6.基于所述出力时间序列对应的相关变量值，利用预先建立的bp神经网络模型进行预测得 到出力预测序列；
7.对所述待质量提升的出力时间序列中，与所述出力预测序列存在差异的数据进行修订；
8.其中，所述bp神经网络模型是按季节划分的历史正常出力数据序列及具有时空相关性的 相关变量训练得到。
9.优选的，所述bp神经网络模型的构建，包括：
10.基于相同季节，同一新能源站点的历史正常出力数据的相关变量值作为bp神经网络的输 入数据，和历史正常出力数据的相关变量对应的历史正常出力数据序列作为bp神经网络的输 出数据，采用网格搜索法训练并获取bp神经网络模型。
11.优选的，所述历史正常出力数据的相关变量的获取，包括：
12.基于历史上正常出力数据和对应的正常资源数据，计算所述出力数据与对应的正常资源 数据中所有变量之间的pearson相关系数；
13.分别判断所述出力数据与正常资源数据中各变量间的pearson相关系数是否大于出力数 据的相关度阈值，如果是则所述资源数据的变量为相关变量的待选值；
14.从相关变量的待选值选择一个或多个变量作为历史正常出力数据的相关变量。
15.优选的，所述相关变量，包括：与新能源出力相关性大于相关度阙值的资源数据；其中 资源数据包括：总辐射、直射辐射、散射辐射、环境温度、相对湿度、气压、风速和风向。
16.优选的，所述对所述待质量提升的出力时间序列中，与所述出力预测序列存在差异的数 据进行修订，包括：
17.将所述待质量提升的出力时间序列减去出力预测序列得到残差序列；
18.利用3σ准则判别所述残差序列中的异常值，并剔除所述出力时间序列的异常值；
19.基于剔除异常值后的所述出力时间序列，寻找每一个缺失段的相邻有值点；
20.计算所述每一个缺失段的相邻有值点的时间差；并根据所述时间差的长度选择相应的修 补方法对于所述缺失段进行修复。
21.优选的，所述根据所述时间差的长度选择相应的修补方法对所述缺失段进行修复，包括：
22.判断所述时间差的长度与预设数值的关系；
23.对于时间差的长度小于等于预设数值的所有缺失段，基于时间尺度采用三次样条插值法 进行修补；
24.对于时间差的长度大于预设数值的所有缺失段，基于空间尺度采用附近站点归纳法进行 修补。
25.优选的，所述基于空间尺度采用附近站点归纳法进行修补，包括：
26.获取待质量提升的出力时间序列对应的当前站点预设空间尺度范围内的所有相邻分布式 新能源站点，并对所有所述相邻分布式新能源站点的出力时间序列进行归一化处理；
27.基于归一化处理后的所有所述相邻分布式新能源站点的出力时间序列，分别计算当前站 点与各相邻分布式新能源站点间出力时间序列的pearson相关系数；
28.基于当前站点与各相邻分布式新能源站点间出力时间序列的pearson相关系数确定所述 相邻分布式新能源站点是否为参照站点；
29.当参照站点为一个时，采用pearson相关系数对所述待质量提升的出力时间序列的所有 缺失段进行修复；
30.当参照站点大于一个时，采用最小二乘法对所述待质量提升的出力时间序列的所有缺失 段进行修复。
31.优选的，所述采用pearson相关系数对所述待质量提升的出力时间序列的所有缺失段进 行修复，包括：
32.获取当前站点的出力时间序列，将未缺失段的时间序列点按照时间排列组成第一序列， 并计算所述第一序列的均值和标准差；
33.基于参照站点的出力时间序列，组成与所述第一序列的时间一一对应的第二序列，并计 算所述第二序列的均值和标准差；
34.根据所述第一序列和所述第二序列计算第一序列和第二序列间的pearson相关系数；
35.将所述第一序列和第二序列的均值、标准差以及所述第一序列和第二序列间的pearson 相关系数带入数据修复模型，计算得到缺失段的对应时刻的修复的出力时间序列；
36.基于所述缺失段的对应时刻的修复的出力时间序列中的数值修复所有缺失段的出力时间 序列。
37.优选的，所述数据修复模型的计算式如下：
[0038][0039]
其中，y
repair
表示缺失段的对应时刻的修复的出力时间序列，μ
oe
表示第一序列的均值， σ
oe
表示第一序列的标准差，r
object_refer
表示第一序列和第二序列的pearson相关系数，y
refer
表示缺失段的对应时刻的参照站点的出力时间序列，μ
re
表示第二序列的均值，σ
re
表示第 二序列的标准差。
[0040]
优选的，所述采用最小二乘法对待质量提升的出力时间序列的所有缺失段的当前站点的 修复序列进行修复，包括：
[0041]
根据当前站点和各个参照站点的正常历史出力时间序列，通过最小二乘法求解所述当前 站点和各个参照站点的正常历史出力之间回归方程的系数；
[0042]
基于所述回归方程的系数以及与待质量提升的出力时间序列的时间一一对应的各个参照 站点的正常历史出力时间序列，采用回归方程模型计算对应时间当前站点的出力修复序列；
[0043]
利用所述对应时间当前站点的修复序列的值对所述待质量提升的出力时间序列的所有缺 失段进行修复。
[0044]
优选的，所述回归方程模型的计算式如下：
[0045]
y＝α0 α1y
c1
α2y
c2
... α
tyct
[0046]
其中，α0，α1，...，α
t
为回归方程的系数，y
c1
，y
c2
，...，y
ct
表示各个参照站点的 出力时间序列的正常历史出力数据，y表示当前站点的正常历史出力时间序列的出力数据，t 为参照站点的数量。
[0047]
基于同一发明构思，本发明还提供了一种分布式新能源出力数据质量提升系统，包括： 获取模块、预测模块和修复模块；
[0048]
所述获取模块，用于获取分布式新能源当前站点待质量提升的出力时间序列和所述出力 时间序列对应的相关变量值；
[0049]
所述预测模块，用于基于所述出力时间序列对应的相关变量值，利用预先建立的bp神经 网络模型进行预测得到出力预测序列；
[0050]
所述修复模块，用于对所述待质量提升的出力时间序列中，与所述出力预测序列存在差 异的数据进行修订；
[0051]
其中，所述bp神经网络模型是按季节划分的历史正常出力数据序列及具有时空相关性的 相关变量训练得到。
[0052]
与最接近的现有技术相比，本发明具有的有益效果如下：
[0053]
1、本发明实现了一种分布式新能源出力数据质量提升方法和系统，包括：获取分布式新 能源当前站点待质量提升的出力时间序列和所述出力时间序列对应的相关变量值；基于所述 出力时间序列对应的相关变量值，利用预先建立的bp神经网络模型进行预测得到出力预测 序列；对所述待质量提升的出力时间序列中，与所述出力预测序列存在差异的数据进行修订； 其中，所述bp神经网络模型是按季节划分的历史正常出力数据序列及具
有时空相关性的相 关变量训练得到；本发明针对分布式新能源出力数据中的数据异常、数据缺失问题进行检测 剔除和修复，能够有效实现出力数据质量提升；
[0054]
2、本发明考虑了出力数据与资源数据相关关系的季节性波动，同时利用了数据在时间尺 度和空间尺度上的相关性，在数据缺失时间长短不一和参照数据量大小不同的情况下，有针 对性的采用了不同的修复方法，相比其他分布式新能源出力数据质量提升方法，本发明提出 的方法能够获得更高质量的数据，同时更高效地实现数据质量提升。
附图说明
[0055]
图1为本发明提供的一种分布式新能源出力数据质量提升方法流程示意图；
[0056]
图2为本发明实施例中方法的流程示意图；
[0057]
图3为本发明提供的一种分布式新能源出力数据质量提升系统基础结构示意图；
[0058]
图4为本发明提供的一种分布式新能源出力数据质量提升系统详细结构示意图。
具体实施方式
[0059]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行 进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本 发明。
[0060]
实施例1：
[0061]
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
[0062]
如图1所示，一种分布式新能源出力数据质量提升方法，包括：
[0063]
s1：获取分布式新能源当前站点待质量提升的出力时间序列和所述出力时间序列对应的 相关变量值；
[0064]
s2：基于所述出力时间序列对应的相关变量值，利用预先建立的bp神经网络模型进行预 测得到出力预测序列；
[0065]
s3：对所述待质量提升的出力时间序列中，与所述出力预测序列存在差异的数据进行修 订；
[0066]
其中，所述bp神经网络模型是按季节划分的历史正常出力数据序列及具有时空相关性的 相关变量训练得到。
[0067]
本发明提出了一种分布式新能源出力数据质量提升方法，如图2所示，包括以下步骤：
[0068]
其中，s1：具体包括：步骤1到步骤5；
[0069]
步骤1、获取分布式新能源站点a的发电资源数据，发电资源数据包括站点基础信息、 资源数据和出力数据，其中站点基础信息包括站点名称和站点的经纬度，资源数据包括：总 辐射、直射辐射、散射辐射、环境温度、相对湿度、气压、风速和风向等，以上变量称为资 源变量；
[0070]
步骤2、将步骤1中的出力数据和资源数据按照季节划分为四个部分，划分方法为：3月、 4月、5月的数据划为春季数据，6月、7月、8月的数据划为夏季数据，9月、10月、11月 的数据划为秋季数据，12月、次年1月、次年2月的数据划为冬季数据；
[0071]
步骤3、分别对春、夏、秋、冬四个季节的数据执行步骤4至步骤13；
[0072]
步骤4、基于历史上对应季节的正常出力数据和正常资源数据，计算出力y与资源变量x 中所有变量之间的pearson相关系数，其中x＝{x1,x2,...,xn}表示所有资源变量的集合，x1， x2，...，xn表示各个资源变量，n为资源变量的个数，则计算公式如下：
[0073][0074]
其中表示变量xi与变量y之间的pearson相关系数，cov(xi,y)表示变量xi和变量y 的协方差，和σy分别表示变量xi和变量y的标准差，和μy分别表示变量xi和变量y 的均值，e((x
i-μ
x
)(y-μy))表示(x
i-μ
x
)(y-μy)的期望；
[0075]
步骤5、选取出力y的相关变量(相关变量为一个或多个)，将相关变量的集合记为 r＝{r1,r2,...rm}，其中1≤m≤n，r1，r2，...，rm表示各个相关变量，m为相关变量的个 数，且满足相关变量的判别条件为：与出力y之间的pearson相关系数大于0.3；
[0076]
s2具体包括：步骤6到步骤7；
[0077]
步骤6、利用误差反向传播神经网络(bp神经网络)来描述出力y与其相关变量r之间 的相关关系，搭建以r为输入、y为输出的bp神经网络，利用y和r历史上对应季节的正常 数据训练bp神经网络，采用网格搜索法选择模型的最优参数；
[0078]
步骤7、待提升数据质量的出力序列y
object
共有n个时间序列点，记为y
object
＝[y1,y2,...,yn]， 其对应时刻的相关变量序列记为其中s
ab
表示第a个相关变量的第b 个时间序列点，1≤a≤m，1≤b≤n，将相关变量序列s
object
输入步骤6训练好的bp神经网络， 得到出力预测序列计算出力实测序列y
object
与预测序列的差值绝 对值，得到残差序列
[0079]
s3具体包括：步骤8到步骤13；
[0080]
步骤8、计算残差序列的均值μ和标准差σ，利用3σ准则判别残差序列中的异常值，即 设定阈值上限up
bound
＝μ 3σ，阈值下线low
bound
＝μ-3σ，残差序列e中超出阈值上线或低 于阈值下线的时间序列点即为异常值，对应时刻的y
object
中的时间序列点即为异常值，将异常 值剔除；
[0081]
步骤9、剔除异常值后检测出力序列y
object
中的数据缺失情况，找到每一个缺失段(或点) 的两个相邻有值点，计算这两点的时间差δt，利用三次样条插值法对y
object
内所有δt≤1h的缺 失段(或点)进行修复；
[0082]
步骤10、对于缺失段(或点)相邻两有值点时间差δt＞1h的情况，搜索站点a附近9km 以内的其他分布式新能源站点，称为邻近站点，将邻近站点的集合记为β＝{b1,b2,...,bk}， 其中k∈z

，b1，b2，...，bk表示各个邻近站点，k为邻近站点的个数，基于归一化后的 历史对应季节的正常数据，计算站点a与其所有邻近站点关于出力y的pearson相关系数， 相关系数大于0.8的邻近站点作为站点a的参照站点，若参照站点只有一个，则进入步骤11， 若参照站点有多个，则进入步骤12；
[0083]
步骤11、此时站点a仅有一个参照站点，记为c
refer
，c
refer
∈b，将参照站点c
refer
的出力 序列记为该序列与站点a出力序列y
object
的时刻一一对应，设y
object
中所 有处于δt＞1h缺失段(或点)内的时间序列点共有v个，则y
object
中未缺失的时间序列点有 u＝n-v个，将未缺失的时间序列点按照时间排列组成新的序列y
object_exist
＝[z1,z2,...,zu]，则 y
refer
中与其时间一一对应的序列为计算y
object_exist
的均值μ
oe
和标准差 σ
oe
，计算y
refer_exist
的均值μ
re
和标准差σ
re
，计算y
object_exist
和y
refer_exist
的pearson相关系数 r
object_refer
，建立从参照站点出力时间序列y
refer
到站点a出力修复序列y
repair
的数据修复模型：
[0084][0085]yobject
的v个缺失时间序列点，用对应时刻出力修复序列y
repair
的值完成修复；
[0086]
步骤12、此时站点a有多个参照站点，将参照站点的集合记为c＝{c1,c2,...,c
t
}，其中 t∈z

，t≤k，c1，c2，...，c
t
表示各个参照站点，t为邻近站点的个数，且满足将各个参照站点的出力用y
c1
，y
c2
，...，y
ct
表示，建立站点a的出力y与其参照站点出力 之间的回归模型：
[0087]
y＝α0 α1y
c1
α2y
c2
... α
tyct
[0088]
其中α0，α1，...，α
t
为回归模型系数，利用站点a及其参照站点的历史对应季节的正 常出力数据，通过最小二乘法求解回归模型系数；
[0089]
步骤13、将参照站点的出力序列记为该序列与站点a出力序列 y
object
的时刻一一对应，其中表示第p个参照站点的第q个时间序列点，1≤p≤t，1≤q≤n， 将参照站点的出力序列y
refer
代入步骤13建立的回归模型，得到站点a的出力修复序列 站点a的所有δt＞1h的缺失段(或点)，用对应时刻出力修复序列y
repair
的值完成修复。
[0090]
本实施例考虑了出力数据与资源数据相关关系的季节性波动，同时利用了数据在时间尺 度和空间尺度上的相关性，在数据缺失时间长短不一和参照数据量大小不同的情况下，有针 对性的采用了不同的修复方法，相比其他分布式新能源出力数据质量提升方法，针对分布式 新能源出力数据中的数据异常、数据缺失问题进行检测剔除和修复，能够获得更高质量的数 据，并能够有效实现出力数据质量提升。
[0091]
实施例2：
[0092]
基于同一发明构思，本发明还提供了一种分布式新能源出力数据质量提升系统，如图3 所示，包括：获取模块、预测模块和修复模块；
[0093]
所述获取模块，用于获取分布式新能源当前站点待质量提升的出力时间序列和所述出力 时间序列对应的相关变量值；
[0094]
所述预测模块，用于基于所述出力时间序列对应的相关变量值，利用预先建立的
bp神经 网络模型进行预测得到出力预测序列；
[0095]
所述修复模块，用于对所述待质量提升的出力时间序列中，与所述出力预测序列存在差 异的数据进行修订；
[0096]
其中，所述bp神经网络模型是按季节划分的历史正常出力数据序列及具有时空相关性的 相关变量训练得到。
[0097]
具体的，包括如图4所示；
[0098]
所述bp神经网络模型的构建，包括：
[0099]
基于相同季节，同一新能源站点的历史正常出力数据的相关变量值作为bp神经网络的 输入数据，和历史正常出力数据的相关变量对应的历史正常出力数据序列作为bp神经网络 的输出数据，采用网格搜索法训练并获取bp神经网络模型。
[0100]
所述历史正常出力数据的相关变量的获取，包括：
[0101]
基于历史上正常出力数据和对应的正常资源数据，计算所述出力数据与对应的正常资源 数据中所有变量之间的pearson相关系数；
[0102]
分别判断所述出力数据与正常资源数据中各变量间的pearson相关系数是否大于出力数 据的相关度阈值，如果是则所述资源数据的变量为相关变量的待选值；
[0103]
从相关变量的待选值选择一个或多个变量作为历史正常出力数据的相关变量。
[0104]
所述相关变量，包括：与新能源出力相关性大于相关度阙值的资源数据；其中资源数据 包括：总辐射、直射辐射、散射辐射、环境温度、相对湿度、气压、风速和风向。
[0105]
所述修复模块，包括：残差序列子模块、剔除异常值子模块、寻找有值点子模块和修复 子模块；
[0106]
其中残差序列子模块，用于将所述待质量提升的出力时间序列减去出力预测序列得到残 差序列；
[0107]
其中剔除异常值子模块，用于利用3σ准则判别所述残差序列中的异常值，并剔除所述出 力时间序列的异常值；
[0108]
其中寻找有值点子模块，用于基于剔除异常值后的所述出力时间序列，寻找每一个缺失 段的相邻有值点；
[0109]
其中修复子模块，用于计算所述每一个缺失段的相邻有值点的时间差；并根据所述时间 差的长度选择相应的修补方法对于所述缺失段进行修复。
[0110]
所述修复子模块，包括：计算判断单元、时间修补单元和空间修补单元；
[0111]
其中计算判断单元，用于判断所述时间差的长度与预设数值的关系；
[0112]
其中时间修补单元，用于对于时间差的长度小于等于预设数值的所有缺失段，基于时间 尺度采用三次样条插值法进行修补；
[0113]
其中空间修补单元，用于对于时间差的长度大于预设数值的所有缺失段，基于空间尺度 采用附近站点归纳法进行修补。
[0114]
所述空间修补单元，包括：归一化子单元、当前站点子单元、参照站点子单元，判断第 一子单元和判断第二子单元；
[0115]
其中归一化子单元，用于对于时间差大于预设数值的所有缺失，获取待质量提升的出力 时间序列对应的当前站点预设空间尺度范围内的所有相邻分布式新能源站点，并对所有所述 相邻分布式新能源站点的出力时间序列进行归一化处理；
[0116]
其中当前站点子单元，用于基于归一化处理后的所有所述相邻分布式新能源站点的出力 时间序列，分别计算当前站点与各相邻分布式新能源站点间出力时间序列的pearson相关系 数；
[0117]
其中参照站点子单元，用于基于当前站点与各相邻分布式新能源站点间出力时间序列的 pearson相关系数确定所述相邻分布式新能源站点是否为参照站点；
[0118]
其中判断第一子单元，用于当参照站点为一个时，采用pearson相关系数对所述待质量 提升的出力时间序列的所有缺失段进行修复；
[0119]
其中判断第二子单元，用于当参照站点大于一个时，采用最小二乘法对所述待质量提升 的出力时间序列的所有缺失段进行修复。
[0120]
所述判断第一子单元，包括：计算第一序列、计算第二序列，计算相关系数、计算修复 序列和修复出力序列；
[0121]
其中计算第一序列，用于获取当前站点的出力时间序列，将未缺失段的时间序列点按照 时间排列组成第一序列，并计算所述第一序列的均值和标准差；
[0122]
其中计算第二序列，用于基于参照站点的出力时间序列，组成与所述第一序列的时间一 一对应的第二序列，并计算所述第二序列的均值和标准差；
[0123]
其中计算相关系数，用于根据所述第一序列和所述第二序列计算第一序列和第二序列间 的pearson相关系数；
[0124]
其中计算修复序列，用于将所述第一序列和第二序列的均值、标准差以及所述第一序列 和第二序列间的pearson相关系数带入数据修复模型，计算得到缺失段的对应时刻的修复的 出力时间序列；
[0125]
其中修复出力序列，用于基于所述缺失段的对应时刻的修复的出力时间序列中的数值修 复所有缺失段的出力时间序列。
[0126]
所述数据修复模型的计算式如下：
[0127][0128]
其中，y
repair
表示缺失段的对应时刻的修复的出力时间序列，μ
oe
表示第一序列的均值， σ
oe
表示第一序列的标准差，r
object_refer
表示第一序列和第二序列的pearson相关系数，y
refer
表示缺失段的对应时刻的参照站点的出力时间序列，μ
re
表示第二序列的均值，σ
re
表示第 二序列的标准差。
[0129]
所述判断第二子单元，包括：求解方程的系数、计算出力修复序列和出力缺失修复；
[0130]
其中求解方程的系数，用于根据当前站点和各个参照站点的正常历史出力时间序列，通 过最小二乘法求解所述当前站点和各个参照站点的正常历史出力之间回归方程的系数；
[0131]
其中计算出力修复序列，用于基于所述回归方程的系数以及与待质量提升的出力时间序 列的时间一一对应的各个参照站点的正常历史出力时间序列，采用回归方程模型计算对应时 间当前站点的出力修复序列；
[0132]
其中出力缺失修复，用于利用所述对应时间当前站点的修复序列的值对所述待质量提升 的出力时间序列的所有缺失段进行修复。
[0133]
所述回归方程模型的计算式如下：
[0134]
y＝α0 α1y
c1
α2y
c2
... α
tyct
[0135]
其中，α0，α1，...，α
t
为回归方程的系数，y
c1
，y
c2
，...，y
ct
表示各个参照站点的出力 时间序列的正常历史出力数据，y表示当前站点的正常历史出力时间序列的出力数据，t为参 照站点的数量。
[0136]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/ 或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/ 或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令 到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个 机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程 图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0137]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工 作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制 造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指 定的功能。
[0138]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或 其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编 程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多 个方框中指定的功能的步骤。
[0139]
最后应当说明的是:以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制， 尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:本领域 技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但 这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。