一种多源气象数据融合与预处理方法与流程

技术特征：
1.一种多源气象数据融合与预处理方法，其特征在于：基于三层次融合结构，具体包括数据层、特征层和决策层，逐层提取特定的有用的信息，具体步骤为：(1)对不良数据进行检测，找出含有可疑数据的量测点，辨识出全部不良数据；(2)气象数据清洗与还原，删除重复信息，纠正错误信息，并还原数据一致性；(3)气象数据还原，采用修复算法；(4)对气象数据的修复精度进行验证计算。2.根据权利要求1所述的多源气象数据融合与预处理方法，其特征在于：数据层的数据融合方法采用聚类分析法，特征层的数据融合方法采用卡尔曼滤波法，决策层的数据融合方法采用贝叶斯估计法。3.根据权利要求1所述的多源气象数据融合与预处理方法，其特征在于：所述步骤(3)采用的修复算法，具体包括：
①
气象要素数据相似性修复；
②
气象要素数据的空间修复和时间修复
③
气象要素数据混合修复。4.根据权利要求3所述的多源气象数据融合与预处理方法，其特征在于：所述
①
气象要素数据相似性修复，是通过构建气象相似性网络时计算节点的气象要素时间序列之间的相似性得到的节点之间的相似性来修复缺失数据，用下面的公式表示：其中，x
s
(i,j)为气象观测站点i在时间序列上第j个时间缺失值的估值，这里使用的估值方法为相似性修复；s
i,p
为气象观测站点i与站点p的之间的相似性；x
s
(p,j)为气象观测站点p在时间序列上第j个时间的实际值；ω为给定的气象观测站点范围，选择除了站点i以外的全部站点，或只选择与站点i相似性比较高的部分站点。5.根据权利要求3所述的多源气象数据融合与预处理方法，其特征在于：所述
②
气象要素数据的空间修复和时间修复，是整合空间修复和时间修复的时空修复约减法把时间作为一个单独的维，不考虑空间上的其它气象站点，对每个气象要素时间序列进行时间修复，得到缺失数据的第一次修复值，这样得到用时间修复值修复完整的所有气象站点的气象要素时间序列，再对每个缺失数据考虑空间上其它站点同一时间的气象要素观测值，使用包含第一次修复值的空间修复方法进行二次修复，这样在第二次修复时，每个缺失值都可以使用所有空间距离近的站点观测值参与修复，而不用剔除空间距离近却同样缺失的站点，减小误差；根据目前的站点数量和分布的实际情况，对气象要素观测时间序列修复时，先使用空间修复方法对缺失数据进行修复，得到第一次修复值，再对每个缺失数据考虑时间修复，使用包含第一次修复值的时间修复方法对缺失数据进行二次修复。6.根据权利要求3所述的多源气象数据融合与预处理方法，其特征在于：所述
③
气象要素数据混合修复，是综合考虑时间修复、空间修复和相似性修复以提高缺失数据修复的精确度，用混合修复拟合方程计算，公式表示：x(i,j)＝ax
d
(i,j) bx
t
(i,j) cx
s
(i,j) d
ꢀꢀꢀꢀ
(39)
其中，x(i,j)为气象观测站点i在时间j的估值；x
d
(i,j)为气象观测站点i在时间j的空间估值，空间修复方法使用反距离加权法x
t
(i,j)为气象观测站点i在时间j的时间估值；x
s
(i,j)为气象观测站点i在时间j的相似性估值；a、b和c分别为空间、时间和相似性估值系数；d为常数项。7.根据权利要求6所述的多源气象数据融合与预处理方法，其特征在于：气象要素数据混合修复需要确定混合修复拟合方程的系数，用气象观测站点的实际值、空间修复估值、相似性修复估值和时间修复估值进行多元线性回归分析，使用最小二乘法求解方程的最佳拟合系数。8.根据权利要求1所述的多源气象数据融合与预处理方法，其特征在于：所述步骤(4)数据的修复精度进行验证计算的方法是，从数据源中选取一个完整的数据集，或者将数据源中包含的缺失数据的行和列都删除，人为的得到完整的数据集，然后采用holdout验证的方法来验证修复方法的修复精确度，holdout验证方法把数据集分为两个子集，先选择一些子集做分析，其余的子集用来对已选择子集的分析结果进行验证，用来做分析的子集为训练集，用来验证的子集为验证集，把一组气象观测站点的某个气象要素时间序列组成一个数据集，选定一个缺失率，对数据集中的数据随机标记缺失，然后使用未缺失的数据来修复缺失的数据，最后通过计算缺失气象站点气象要素的实际测量值与估算值的误差来评估修复方法的精确度，采用平均绝对误差和均方根误差来衡量修复方法的精确度，平均绝对误差和均方根误差的表达式分别为公式：别为公式：其中，x
oi
为第i个观测站点的实际测量值，x
ei
为第i个站点的修复估算值，n为用于参与验证的观测站点的数量；这两个值越接近0，修复的精确度就越高，平均误差反映总体估计误差的大小；平均绝对误差反映样本数据估值的总体误差，能够评估估算值可能的误差范围：均方根误差能够反映利用观测数据的估算灵敏度和极值效应。

技术总结
本发明涉及一种多源气象数据融合与预处理方法，基于三层次融合结构，具体包括数据层、特征层和决策层，逐层提取特定的有用的信息，具体步骤为：(1)对不良数据进行检测，找出含有可疑数据的量测点，辨识出全部不良数据；(2)气象数据清洗与还原，删除重复信息，纠正错误信息；(3)气象数据还原，采用修复算法；(4)对气象数据的修复精度进行验证计算。本方法基于现有气象监测站群网系统，提出规范化数据库建模方案；在此基础上，形成新能源场站气象数据规范，构建新能源场站气象监测数据特征库通过ETL技术，将多源气象数据统一提取到数据库中，以实现多源数据融合，并通过有效的数据清洗以提高数据质量，使新能源功率预测结果更加精确。使新能源功率预测结果更加精确。使新能源功率预测结果更加精确。


技术研发人员：杨立波 马斌 王亚军 孔祥玉 徐俊杰 周超 袁健 王硕
受保护的技术使用者：国电南瑞南京控制系统有限公司 国家电网有限公司
技术研发日：2021.09.22
技术公布日：2022/2/6