面向业务中台的配用电低压量测数据异常缺失修复方法与流程

1.本发明属于信息数据修复技术领域，涉及配用电低压量测数据异常缺失修复方法，尤其是一种面向业务中台的配用电低压量测数据异常缺失修复方法。


背景技术：

2.近年来，随着智能配电网的发展、建设，配电系统信息化设备的投入，使配电网产生了海量多源的信息数据，电网中台技术为这些海量信息数据的处理和应用提供了有效的平台。目前，低压台区内各终端信息的传输普遍通过电力线载波通信，采集终端的工作环境复杂，容易因为信道受干扰和采集设备异常等造成数据缺失。对于缺失和异常数据，传统的处理方法为舍弃有缺失的数据或者通过计算相邻数据点的均值、中位数、众数等进行填补，这种传统的处理方法仅改善了信息数据的完整性，但不能还原正确的数据，数据质量未得到有效提升。
3.与采用人工智能方法数据修复的思路不同，低秩矩阵填充方法由于不需要先验知识的训练，并具有计算复杂度低的优势，为缺失数据恢复提供了一种新的思路，然而对于低压台区用户用电数据，由于用户类型多样，用电场景、用电行为差异性大，因此直接的用电数据并不具有矩阵低秩特性，低秩矩阵恢复方法并不能直接适用。
4.因此如何通过数据修复，为以新能源高效利用为特点的新一轮能源体系改革提供更精准的用户用电信息数据是本领域技术人员亟待解决的技术难题。
5.经检索，未发现与本发明相同或相近似的现有技术的公开文献。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，提出一种面向业务中台的配用电低压量测数据异常缺失修复方法，能够有效处理配电网业务中台量测数据中的缺失、异常数据。
7.本发明解决其现实问题是采取以下技术方案实现的：
8.一种面向业务中台的配用电低压量测数据异常缺失修复方法，包括以下步骤：
9.步骤1、构建同一台区多个用户一日内的用电数据矩阵；
10.步骤2、记录步骤1的用电数据矩阵中缺失数据的位置集合；
11.步骤3、基于步骤2中的缺失数据位置集合和最小化矩阵核范数目标函数，构建预填充模型，对步骤1中用电数据矩阵中缺失数据进行预填充；
12.步骤4、根据用电行为的空间相关性，对步骤3中预填充后的用电数据矩阵进行聚类；
13.步骤5、基于步骤4聚类后的的用电数据矩阵，考虑异常数据的影响，建立矩阵核范数和l1范数联合优化的用电数据低秩修复模型；
14.步骤6、求解步骤5中所构建的矩阵核范数和l1范数联合优化的用电数据低秩修复模型，得到二次修复后的用电数据矩阵。
15.而且，所述步骤1的具体方法为：
16.用户一日内n个等间隔时刻的平均功率数据构成一维的时间序列向量x，进而同一台区m个用户同一天的负荷数据构成用电数据矩阵x∈rm×n。
17.而且，所述步骤2的具体方法为：
18.记录用电数据矩阵中缺失数据的位置集合ω，构成矩阵算子p
ω
：
[0019][0020]
式中，ω为缺失元素位置集合，x为构建的用电数据矩阵。
[0021]
而且，所述步骤3的具体步骤包括：
[0022]
(1)基于最小化矩阵核范数目标函数，构建如下预填充模型，对步骤1中原始用电数据矩阵中缺失数据进行预填充，初步恢复缺失的用电数据，使用电数据矩阵恢复完整：
[0023][0024]
式中，x为有缺失的用电数据矩阵，u为恢复完整的用电数据矩阵，p
ω
为位置算子。
[0025]
(2)应用svt算法求解所述预填充模型，迭代公式如下：
[0026][0027]
式中，shrink(
·
)为奇异值缩紧算子，y为辅助矩阵，y0＝0。
[0028]
而且，所述步骤4的具体方法为：
[0029]
根据用电行为的空间相关性，对步骤3中预填充后的用电数据矩阵u进行聚类，得到聚类后用电数据矩阵xi，从而数据矩阵xi具有低秩性。
[0030]
而且，所述步骤5的矩阵核范数和l1范数联合优化的用电数据低秩修复模型为：
[0031][0032]
式中，x为步骤4得到的聚类后的用电数据矩阵，u为二次修复后的数据矩阵，e为分类出的异常数据矩阵。
[0033]
而且，所述步骤6的具体步骤包括：
[0034]
(1)首先，构建优化问题的拉格朗日函数，将约束优化问题转化为无约束优化问题：
[0035][0036]
式中，μ、λ为权重系数，矩阵y为拉格朗日乘子矩阵；
[0037]
(2)根据迭代阈值算法，得到矩阵u，e和y的交替更新格式：
[0038]
[0039]
式中，δ为权重系数，d
t
(
·
)为奇异值缩减算子，s
t
(
·
)为奇异值阈值算子。
[0040]
(3)当相邻两次更新矩阵的误差(u
k 1-uk)、(e
k 1-ek)和(y
k 1-yk)均小于设定的阈值ε，计算结束，得到高精度修复的数据矩阵u＝u
k 1
。
[0041]
本发明的优点和有益效果：
[0042]
1、本发明在配电中台信息数据场景中，为解决配网用户类型多样，用电场景、用电行为差异性大，直接的数据矩阵并不具有矩阵低秩特性，低秩矩阵恢复方法并不能直接适用的问题，本发明提出一种面向业务中台的配用电低压量测数据异常缺失修复方法，通过数据预填充与数据聚类，使聚类后的数据矩阵的秩显著减小，从而可以进一步通过低秩矩阵恢复得到更高精度的恢复数据，有效提高配电业务中台信息采集系统数据质量。
[0043]
2、本发明基于聚类后的用电数据矩阵，本发明建立了矩阵核范数和l1范数联合优化的用电数据低秩修复模型；然后再对矩阵核范数和l1范数联合优化的用电数据低秩修复模型求解，本发明通过构建拉格朗日函数将其转化为无约束优化问题，应用迭代阈值算法得到更高恢复精度的完整数据矩阵。能够为以新能源高效利用为特点的新一轮能源体系改革，提供完整、精准的用户用电信息数据。
附图说明
[0044]
图1是本发明的用电数据矩阵示意图；
[0045]
图2是本发明的为缺失数据修复相对误差结果示意图；
[0046]
图3是本发明的为缺失数据修复均方根误差结果示意图。
具体实施方式
[0047]
以下结合附图对本发明实施例作进一步详述：
[0048]
一种面向业务中台的配用电低压量测数据异常缺失修复方法，包括以下步骤：
[0049]
步骤1、构建同一台区多个用户一日内的用电数据矩阵；
[0050]
所述步骤1的具体方法为：用户一日内n个等间隔时刻的平均功率数据构成一维的时间序列向量x，进而同一台区m个用户同一天的负荷数据构成用电数据矩阵x∈rm×n。
[0051]
步骤2、记录步骤1的用电数据矩阵中缺失数据的位置集合；
[0052]
所述步骤2的具体方法为：
[0053]
记录用电数据矩阵中缺失数据的位置集合ω，构成矩阵算子p
ω
：
[0054][0055]
式中，ω为缺失元素位置集合，x为构建的用电数据矩阵。
[0056]
在本实施例中，以某实际配电业务中台用户用电功率量测数据为例，构建用电数据矩阵x，其图形化表示如图1所示，将一维的量测数据转化为矩阵形式，矩阵的每列/行代表一个用户一日的量测数据，黑点为缺失数据点。
[0057]
步骤3、基于步骤2中的缺失数据位置集合和最小化矩阵核范数目标函数，构建预填充模型，对步骤1中用电数据矩阵中缺失数据进行预填充；
[0058]
所述步骤3的具体步骤包括：
[0059]
(1)基于最小化矩阵核范数目标函数，构建如下预填充模型，对步骤1中原始用电
数据矩阵中缺失数据进行预填充，初步恢复缺失的用电数据，使用电数据矩阵恢复完整：
[0060][0061]
式中，x为有缺失的用电数据矩阵，u为恢复完整的用电数据矩阵，p
ω
为位置算子。
[0062]
(2)应用svt算法求解所述预填充模型，迭代公式如下：
[0063][0064]
式中，shrink(
·
)为奇异值缩紧算子，y为辅助矩阵，y0＝0。
[0065]
步骤4、根据用电行为的空间相关性，对步骤3中预填充后的用电数据矩阵进行聚类；
[0066]
所述步骤4的具体方法为：
[0067]
根据用电行为的空间相关性，对步骤3中预填充后的用电数据矩阵u进行聚类，得到聚类后用电数据矩阵xi，从而数据矩阵xi具有低秩性。
[0068]
步骤5、基于步骤4聚类后的的用电数据矩阵，考虑异常数据的影响，建立矩阵核范数和l1范数联合优化的用电数据低秩修复模型：
[0069][0070]
式中，x为步骤4得到的聚类后的用电数据矩阵，u为二次修复后的数据矩阵，e为分类出的异常数据矩阵。
[0071]
步骤6、求解步骤5中所构建的矩阵核范数和l1范数联合优化的用电数据低秩修复模型，得到二次修复后的用电数据矩阵。
[0072]
所述步骤6的具体步骤包括：
[0073]
(1)首先，构建优化问题的拉格朗日函数，将约束优化问题转化为无约束优化问题：
[0074][0075]
式中，μ、λ为权重系数，矩阵y为拉格朗日乘子矩阵。
[0076]
(2)根据迭代阈值算法，得到矩阵u，e和y的交替更新格式：
[0077][0078]
式中，δ为权重系数，d
t
(
·
)为奇异值缩减算子，s
t
(
·
)为奇异值阈值算子。
[0079]
(3)当相邻两次更新矩阵的误差(u
k 1-uk)、(e
k 1-ek)和(y
k 1-yk)均小于设定的阈值ε，计算结束，得到高精度修复的数据矩阵u＝u
k 1
。
[0080]
为验证本发明中一种面向业务中台的配用电低压量测数据异常缺失修复方法的有效性，对实际低压台区用户日负荷数据缺失问题进行修复并分析效果。
[0081]
在数据缺失恢复实验中，设置随机缺失数据比例从5％到50％步进变化，每次步进5％。每个缺失比例下，进行50组数据缺失补全实验，统计恢复误差的平均值。
[0082]
得到本发明方法与分段线性插值、knn、传统低秩矩阵恢复等对比算法方法的修复误差，如图2、图3所示。无论在5％低缺失率还是到50％的高缺失率情况下，本发明方法的恢复误差rre和rmse均低于对比算法。具体分析在随机缺失比例为50％的高缺失率时，本发明方法的rmse仅为0.25kw，较矩阵填充恢复的0.51kw低50.98％；较knn方法的0.53kw低52.83％；较分段线性插值的0.4kw低64.24％。
[0083]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0084]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0085]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0086]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。