一种适应规则的新能源异常数据判别方法与流程

技术特征：
1.一种适应规则的新能源异常数据判别方法，其特征在于，所述方法包括：采集风电场及光伏电场的新能源应用场景中预设的数据指标；基于预设通用异常数据判定规则，从所述数据指标中筛选构建通用异常数据；基于预设新能源数据匹配规则将所述通用异常数据构建生成通用异常数据对照组；计算所述通用异常数据对照组的变量方差，并基于所述变量方差计算所述通用异常数据对照组的方差变化率；基于最小二乘法将所述方差变化率生成加权目标函数，并基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点，基于所述回归异常点完成异常数据判定。2.如权利要求1所述的方法，其特征在于，所述方法中的风电场的数据指标包括：10米、30米、50米以及70米的风速和风向；相对海平面平均气压、相对地面平均气压；相对海平面平均温度、相对地面平均温度；实际发电功率、理论发电功率的数据指标；所述光伏电场的数据指标包括总辐照度、直接辐照度、散射辐照度、环境温度、组件温度、相对海平面平均气压、相对地面平均气压、实际发电功率、理论发电功率的数据指标。3.如权利要求1所述的方法，其特征在于，所述预设通用异常数据判定规则包括：异常数据判定规则，所述异常数据判定规则包括基于空值、null值、约定特殊字符的缺省值实现通用异常数据判定；异定值判定规则，所述异定值判定规则包括基于在纵向时间序列或横向字段序列出现连续大于预设次数数据不变情况的判定实现通用异常数据判定；异阈值判定规则，所述异阈值判定规则包括基于数据类别的预设阈值判定实现通用异常数据判定。4.如权利要求1所述的方法，其特征在于，所述风电场的通用异常数据对照组包括，10米/30米/50米/70米的风速与实际发电功率及理论发电功率为对照组：70m风速与50m风速为对照组；50m风速与30m风速为对照组；30m风速与70m风速为对照组；70m风向与50m风向为对照组；50m风向与30m风向为对照组；30m风向与10m风向为对照组；相对海平面平均气压与相对地面平均气压为对照组；实际发电功率与理论发电功率为对照组；光伏电场的通用异常数据对照组包括：总辐照度、直接辐照度为对照组；直接辐照度、散射辐照度为对照组；散射辐照度、环境温度为对照组；环境温度、组件温度为对照组；相对海平面平均气压、相对地面平均气压为对照组。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：所述通用异常数据对照组中样本集合记为w＝{(a1,b1),(a2,b2),......,(a
n
,b
n
)}，其中，a
n
和b
n
分别表示第n个数据样本的变量a和变量b，数据按照数值降序排列，即令b
i
>b
i
1,i∈(1,n-1)；计算所述通用异常数据对照组的变量方差：其中，s
i
为第i个点的方差，b
j
为第j个点的数值，为第1到i个点的数据的平均值；得到各点方差后，通过方差变化率k(i)来观察方差的变化是否明显，通过第i点的方差值s
i
减去第i-1点的方差值s
i-1
,基于所述变量方差计算所述通用异常数据对照组的方差变化率为k(i)＝|s
i-s
i-1
| i＝2,3,
…
,n，其中，n为自然数。6.如权利要求5所述的方法，其特征在于，所述方法还包括：设x1,
…
,x
r
和因变量k均为变量i的函数，记为x
q
(i),q＝1,
…
,r和k(i)。x
q
(i)是i的完全已知非随机函数，k(i)为随机变量，分为前后两段，两段服从统一线性模型，回归系数在i＝j时发生突变，即：式中，系数列向量β1＝[α
(1) β
(1)
…
β
r(1)
]
t
，β2＝[α
(1) β
(1)
…
β
r(1)
]
t
，j为回归异常点。因此存在约束条件β
1t
x(j)＝β
2t
x(j)基于最小二乘法将所述方差变化率生成加权目标函数：基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点基于所述回归异常点完成异常数据判定，其中，w
i
为加权值。7.如权利要求6述的方法，其特征在于，所述方法还包括：在完成异常数据判定后，将所述通用异常数据分为正常数据和异常数据两部分其中，w
n
为变量a数据区间的正常数据集；w
o
为变量b数据区间的异常数据集。8.一种适应规则的新能源异常数据装置，其特征在于，所述装置包括：数据采集模块，用于采集风电场及光伏电场的新能源应用场景中预设的数据指标；通用异常数据构建模块，用于基于预设通用异常数据判定规则，从所述数据指标中筛选构建通用异常数据；对照组生成模块，用于基于预设新能源数据匹配规则将所述通用异常数据构建生成通用异常数据对照组；
方差变化率计算模块，用于计算所述通用异常数据对照组的变量方差，并基于所述变量方差计算所述通用异常数据对照组的方差变化率；异常数据判定模块，用于基于最小二乘法将所述方差变化率生成加权目标函数，并基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点，基于所述回归异常点完成异常数据判定。9.一种电子设备，其特征在于，包括处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现根据权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述方法。

技术总结
本公开是关于一种适应规则的新能源异常数据判别方法、装置、电子设备以及存储介质。其中，该方法包括：采集风电场及光伏电场的新能源应用场景中预设的数据指标并筛选构建通用异常数据；基于预设新能源数据匹配规则将所述通用异常数据构建生成通用异常数据对照组；计算所述通用异常数据对照组的变量方差及方差变化率；基于最小二乘法将所述方差变化率生成加权目标函数，并基于统一线性模型的回归函数生成的约束条件求取所述加权目标函数的回归异常点，基于所述回归异常点完成异常数据判定。本公开可以通过预设构建的异常数据规则更快速、高效的完成新能源异常的数据清洗工作。高效的完成新能源异常的数据清洗工作。高效的完成新能源异常的数据清洗工作。


技术研发人员：贺铮 徐琳 艾宇飞 任文辉 李行 路亚骏 董欢欢
受保护的技术使用者：中能融合智慧科技有限公司
技术研发日：2022.11.02
技术公布日：2023/2/3