基于人工智能的智慧电网异常数据清洗方法与流程

1.本技术涉及数据处理领域，具体涉及基于人工智能的智慧电网异常数据清洗方法。


背景技术：

2.智慧电网又称智能电力系统，是指集成了先进信息、通信、计算、控制和感知技术的电力系统，能够高效、安全、可靠地传输和分配电能，优化能源的利用和管理，提高电力系统的经济性和环境友好性的电力系统。其中，智慧电网中的用电负荷数据包含大量的潜在信息，对电力系统中电能的生产与调度分配提供了重要的数据支持，但是在电力系统实际运行过程中，由于系统故障、线路检修以及突发时间等因素，导致用电负荷数据中掺杂一些异常数据，因此需要对用电负荷数据进行异常数据的清洗来保证用电负荷数据的准确性。
3.局部异常因子检测算法（lof算法）是一种基于密度的离群点检测方法，具有较好的异常数据检测效果，但是用电负荷数据受到多种客观因素以及人为主观因素的影响，使得异常数据的分布具有不确定性的特点，造成异常数据和近邻正常数据之间的局部密度较为接近，导致lof算法计算的异常因子的值也较为接近，进而无法区分出其中的异常数据，造成异常数据的误检。
4.综上所述，本发明提出基于人工智能的智慧电网异常数据清洗方法，对智慧电网用电负荷数据进行采集，基于用电负荷曲线的规律性和周期相似性构建用电负荷曲线的负荷峰谷变动、负荷波动以及负荷平稳特征值，构建用电负荷特征向量，并使用lof算法对用电负荷特征向量进行异常检测，完成智慧电网数据清洗处理。


技术实现要素：

5.为了解决上述技术问题，本发明提供基于人工智能的智慧电网异常数据清洗方法，以解决现有的问题。
6.本发明的基于人工智能的智慧电网异常数据清洗方法采用如下技术方案：本发明一个实施例提供了基于人工智能的智慧电网异常数据清洗方法，该方法包括以下步骤：获取各时间段的用电负荷数据序列，并获取各用电负荷数据序列对应的用电负荷曲线；结合各用电负荷曲线上的最值以及极值点获取各用电负荷曲线的峰谷特征系数；根据峰谷特征系数及峰度得到各用电负荷曲线的峰谷变动特征值；获取各用电负荷数据序列的自相关矩阵，结合自相关矩阵的各元素以及奇异值获取各用电负荷曲线波动相关性系数；根据各用电负荷曲线波动相关性系数以及用电负荷数据方差得到各用电负荷曲线的负荷波动特征值；获取各用电负荷曲线的局部曲线；根据用电负荷曲线的各局部曲线上用电负荷均值和方差得到各局部曲线的平稳相似系数；根据各局部曲线的平稳相似系数得到对应用电负荷曲线的负荷平稳特征值；
将所述峰谷变动特征值、负荷波动特征值以及负荷平稳特征值组成用电负荷曲线的用电负荷特征向量；获取各用电负荷特征向量的lof值，根据各用电负荷特征向量的lof值得到异常用电负荷曲线；根据异常用电负荷曲线与非异常用电负荷曲线的关系得到各异常数据点，删除各异常数据点完成智慧电网异常数据清洗。
7.进一步，所述结合各用电负荷曲线上的最值以及极值点获取各用电负荷曲线的峰谷特征系数，表达式为：式中，表示用电负荷曲线i的峰谷特征系数，、分别表示用电负荷曲线i的最大、最小用电负荷，、分别表示、的采集时刻，和分别表示电负荷曲线的平滑曲线中的极大值点的个数和极小值点的个数。
8.进一步，所述各用电负荷曲线的峰谷变动特征值为各用电负荷曲线的峰谷特征系数与峰度的乘积。
9.进一步，所述结合自相关矩阵的各元素以及奇异值获取各用电负荷曲线波动相关性系数包括：对于各用电负荷曲线，获取用电负荷曲线自相关矩阵奇异值与所有自相关矩阵奇异值均值的差值绝对值，获取用电负荷曲线自相关矩阵所有元素的绝对值均值；所述用电负荷曲线波动相关性系数与所述差值绝对值成正相关关系，与所述绝对值均值成反比；将所述差值绝对值与所述绝对值均值的倒数相乘作为用电负荷曲线波动相关性系数。
10.进一步，所述用电负荷曲线的负荷波动特征值为用电负荷曲线波动相关性系数与用电负荷曲线上各用电负荷方差的乘积。
11.进一步，所述获取各用电负荷曲线的局部曲线，包括：按照用电负荷曲线上各用电负荷采集时刻等间隔划分用电负荷曲线，记为用电负荷曲线的各局部曲线。
12.进一步，所述各局部曲线的平稳相似系数为局部曲线上用电负荷均值与方差的乘积。
13.进一步，所述根据各局部曲线的平稳相似系数得到对应用电负荷曲线的负荷平稳特征值，包括：对于用电负荷曲线的各局部曲线，计算各局部曲线平稳相似系数与平稳相似系数均值的差值绝对值的和值；将所述和值与用电负荷曲线所包含局部曲线数量的比值作为用电负荷曲线的负荷平稳特征值。
14.进一步，所述异常用电负荷曲线为lof值高于异常检测阈值的用电负荷曲线。
15.进一步，所述根据异常用电负荷曲线与非异常用电负荷曲线的关系得到各异常数据点，包括：计算所有非异常用电负荷曲线的用电负荷均值，并计算异常用电负荷曲线上各用电负荷与所述用电负荷均值的差值绝对值，将所述差值绝对值高于差值阈值的用电负荷作
为异常数据点。
16.本发明至少具有如下有益效果：考虑到智慧电网异常数据分布具有不确定性，造成异常数据和近邻正常数据之间的局部密度较为接近，传统lof算法若直接计算电网各用电负荷数据的异常因子时，也会出现异常因子值较为接近的情况，进而导致大量的错检、误检现象；本发明通过分析用电负荷数据中的异常数据的表现特征，基于用电负荷曲线的规律性和周期相似性，构建用电负荷曲线的负荷峰谷变动、负荷波动、负荷平稳这三个特征值，考虑了用电负荷数据发生异常时对用电负荷曲线的影响，并基于用电负荷曲线的这三个特征值，得到用电负荷特征向量，能够较好的反应用电负荷数据中的异常数据与正常数据之间的差异性，解决了异常数据与正常数据分布较为相似导致大量错检误检的问题，结合lof算法对用电负荷特征向量进行异常检测，提高了lof算法对智慧电网异常数据的检测精度。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
18.图1为本发明提供的基于人工智能的智慧电网异常数据清洗方法的流程图。
具体实施方式
19.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于人工智能的智慧电网异常数据清洗方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
20.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
21.下面结合附图具体的说明本发明所提供的基于人工智能的智慧电网异常数据清洗方法的具体方案。
22.本发明一个实施例提供的基于人工智能的智慧电网异常数据清洗方法。
23.具体的，提供了如下的基于人工智能的智慧电网异常数据清洗方法，请参阅图1，该方法包括以下步骤：步骤s001，采集用电负荷的数据，并对获取的数据进行预处理，得到用电负荷数据序列。
24.利用智慧电网系统中的智能电表来对某一用户的用电负荷数据进行采集，以1天为一个周期来采集个周期的用电负荷数据，在每个采集周期中，将相邻两次数据采集的时间间隔记为。其中时间间隔、采集周期的个数由实施者自行定义，本发明中设置为，。
25.得到个周期的用电负荷数据序列，由于在数据的采集和传输过程中会出现数据缺失的问题，因此本发明使用均值填充法分别对数据序列中的缺失值进行处理，得到数据序列，其中均值填充法为公知技术，不再赘述。并对数据序列分别进行归一化的去量纲处理，得到用电负荷数据序列，其中归一化的去量纲处理为公知技术，不再赘述。
26.至此，即可通过本实施例上述方法获取用电负荷数据序列，作为智慧电网数据异常检测清洗的基础数据。
27.步骤s002：通过对用电负荷数据中异常数据的分析，结合用电负荷数据的分布规律构建用电负荷数据的负荷峰谷变动、负荷波动、负荷平稳特征值，基于特征值得到用电负荷特征向量。
28.以用电负荷数据序列中用数据点对应的采集时刻为横坐标的值，数据点的用电负荷值为纵坐标的值，来建立用电负荷坐标图，使用3次样条插值方法分别对每个用电负荷数据序列在电负荷坐标图中的数据点进行曲线拟合，则每个用电负荷数据序列均可得到一条曲线，将第个用电负荷数据序列对应的曲线记为用电负荷曲线，则用电负荷曲线表示用户在第个周期中用电负荷数据的分布情况。需要说明的是，根据用电负荷数据序列获取对应的用电负荷曲线的过程实施者也可通过其他拟合方式获取，对于用电负荷曲线的获取方法本实施例不做限制，实施者可自行选取。
29.通常将电力系统中的用电负荷数据分为两大类，即常规用电负荷数据和异常用电负荷数据。其中常规用电负荷数据能准确地描述用户日常生活中用电量的多少，对提高电力系统中的用电负荷预测与用电负荷调度精度起着关键性作用，这类数据在用电负荷曲线上会表现出一定的周期相似性。而异常用电负荷数据主要是指电力系统因受到突发性事件或者电网自身故障等随机因素的影响，导致获取到的用电负荷数据在某一采集时刻或某一段采集区间内出现不满足曲线规律性，差异较明显的数据，这类数据的存在严重破坏了用电负荷曲线的连续性与相似性，使其用电负荷曲线不再呈现周期性。
30.用户的用电负荷曲线呈现周期相似性是指：用户从早晨开始学习、工作会导致用电负荷逐渐升高，随着夜晚的临近，用电负荷会逐渐降低，用户在入睡后会关掉多数电器，使得用电负荷达到极小值并逐渐平缓。随着第二天的到来周而复始，使用户的用电负荷呈现出典型的规律性，具有变化趋势明显，每天的用电负荷的变化趋势大致相同的特点。
31.在用电负荷数据的采集过程中，若用户所在的区域出现线路检修停电、切倒负荷造成停电的情况，则会导致用电负荷数据在某一时刻未能被有效的采集，使得用电负荷坐标图中用电负荷曲线的波形产生突然性的尖峰或低谷，破坏了用电负荷曲线的波峰和波谷之间的分布规律，造成用电负荷曲线中波峰、波谷数据出现异常的变动，因此可根据用电负荷曲线的负荷峰谷变动特征来反应用电负荷曲线的异常情况。以第条用电负荷曲线为例，其负荷峰谷变动特征值的计算方法为：对用电负荷曲线进行一阶导数平滑，获取平滑后的曲线中的极值点，分别统计极大值点的个数和极小值点的个数。
32.上式中：表示第条用电负荷曲线的负荷峰谷变动特征值；表示该用电负荷曲线的峰谷特征系数；表示该用电负荷曲线的峰度，反应了该用电负荷曲线的波峰的陡缓程度，其中峰度的计算方法为公知技术，不再赘述。、分别表示该用电负荷曲线的最大、最小用电负荷值，它们的差值反应了该用电负荷曲线的最大变动范围，即波峰和波谷之间的差值；、分别表示、对应的采集时刻，即横坐标的值，它们之间的差值反应了该用电负荷曲线的波峰和波谷之间的时间间隔；和分别表示电负荷曲线的平滑曲线中的极大值点的个数和极小值点的个数，和之间的比值反应了该用电负荷曲线中局部波峰和局部波谷的数量关系。对于同一用户，其各条用电负荷曲线的波峰和波谷之间的分布情况是近似的，即峰谷特征系数和峰度的值是近似的，因此，各条用电负荷曲线之间的负荷峰谷变动特征值的值也是接近的。若该用电负荷曲线与其余用电负荷曲线之间的负荷峰谷变动特征值的差异越大，则表示该用电负荷曲线越异常。
33.其次，在数据的采集过程中，若出现冲击负荷（突然的天气变化、设备的突然开启或关闭等原因导致的）和信道噪声（例如自然电磁干扰、电源线干扰以及闪电干扰等）的情况，则会导致用电负荷数据在短时间内出现快速抖动的变化，以及在一段时间内出现异常的剧烈波动。因此，可根据用电负荷曲线的负荷波动特征来反应用电负荷曲线的异常情况，以第条用电负荷曲线为例，其负荷波动特征值的计算方法如下所示：用电负荷数据具有一定的自相关性，而冲击负荷、信道噪声造成的异常波动会影响用电负荷曲线中各个数据点的自相关程度。获取各个用电负荷数据序列的自相关矩阵，自相关矩阵的计算方法为公知技术，不再赘述。因此，分别计算自相关矩阵中所有元素绝对值的均值和自相关矩阵的奇异值，本实施例将根据自相关矩阵的元素分布情况对用电负荷曲线的波动状况进行初步检测，得到用电负荷曲线的波动相关性系数：上式中：表示用电负荷曲线的波动相关性系数；表示用电负荷曲线对应的自相关矩阵中所有元素绝对值的均值；表示用电负荷曲线对应的自相关矩阵的奇异值；表示所有自相关矩阵的奇异值的均值。
34.自相关矩阵中各个元素的值表示用电负荷曲线中各个时刻的用电负荷之间的相关性程度，元素的值越接近0表示越不具有相关性，而存在异常波动的数据点与其余时刻的数据点之间不具有较强的相关性，因此可用反应用电负荷曲线中是否存在异常波动的数据点，并且所述均值越小，用电负荷曲线中的数据点之间越不具有相关性，表示用电负荷曲线越可能存在异常波动的数据，即用电负荷曲线的波动相关性系数的值越大。奇异值对应着自相关矩阵中的主要信息，而自相关矩阵又反应了用电负荷曲线的自相关性，由于用电负荷曲线具有周期相似性，使得各条用电负荷曲线之间的自相关性
是较为近似的，因此奇异值与奇异值的均值之间的差值越大，表示用电负荷曲线越可能存在异常波动的数据，即用电负荷曲线的波动相关性系数的值越大。
35.进一步的，为实现对用电负荷曲线上各用电负荷数据的整体变化状况进行准确检测，本实施例将对各用电负荷曲线的波动特征值进行提取，结合用电负荷曲线波动相关性系数对用电负荷曲线的负荷波动特征值进行提取，所述用电负荷曲线的负荷波动特征值表达式为：上式中：为用电负荷曲线i的负荷波动特征值，表示用电负荷曲线的波动相关性系数；表示该用电负荷曲线中第个时刻对应的用电负荷；表示该用电负荷曲线中所有用电负荷的均值；表示该用电负荷曲线中采集时刻的个数。若用电负荷曲线中存在因冲击负荷和信道噪声导致的异常数据点，则不仅会造成用电负荷曲线中数据点的整体的离散程度出现较大的变化，也会影响数据点之间的相关性，造成波动相关性系数的值出现较大的差异，使得用电负荷曲线的负荷波动特征值出现较大的变化。
36.对于因采集设备自身发生故障而产生的异常用电负荷数据，例如设备检修、发电厂发生突然性事故等导致数据无法采集，这类异常用电负荷数据通常表现为长时间甚至全天偏离正常的轨迹，即用电负荷曲线上出现平稳非突变异常曲线特征。因此，可通过用电负荷曲线的负荷平稳特征来反应用电负荷曲线的异常情况。
37.以第条用电负荷曲线为例，将用电负荷曲线等分成段曲线，记为用电负荷曲线的局部曲线，需要说明的是，用电负荷曲线所划分的局部曲线条数实施者可自行设定，本实施例中取经验值为6，分别计算每段曲线上所有数据点的用电负荷值的均值和标准差，得到用电负荷曲线的负荷平稳特征值：：上式中：表示用电负荷曲线的第条局部曲线的平稳相似系数；表示该用电负荷曲线中所有局部曲线的平稳系数的均值；表示该用电负荷曲线中局部曲线的数量。、分别表示该用电负荷曲线中第条局部曲线上所有数据点的用电负荷值的均值和标准差。该用电负荷曲线的局部曲线上的用电负荷值之间的差异越小，即的值越小，表示该局部曲线越平稳，用来反应各条局部曲线之间的平稳相似性，即两条局部曲线的平稳相似系数的值越接近，表示这两条局部曲线的平稳性越接近。因此用电负荷曲线上各条局部曲线之间的平稳相似系数的值越接近，表示该用电负荷曲线的变化越平稳，即负荷平稳特征值的越小。
38.进一步的，根据用电负荷曲线的负荷峰谷变动特征值、负荷波动特征值、负荷平稳特征值，得到用电负荷曲线的用电负荷特征向量，记为。
39.至此，通过本实施例上述方法可获取各条用电负荷曲线的用电负荷特征向量，用于对智慧电网的数据异常状况进行判定。
40.步骤s003：结合lof算法对各用电负荷特征向量进行分析，完成异常数据的检测及清洗。
41.将各条用电负荷曲线的用电负荷特征向量组成数据集，。使用局部异常因子检测算法（lof算法）对数据集进行局部离群因子值的计算，其中lof算法中的度量距离为欧式距离，近邻值取经验值为数据集中特征向量总个数的，结果向上取整，lof算法为公知技术，不在本实施例保护范围内，在此不再赘述。获取各用电负荷特征向量的值，并设置异常检测阈值，异常检测阈值实施者可自行设定，本实施例中取值为1.4。本实施例将的用电负荷特征向量对应的用电负荷曲线记为异常用电负荷曲线，计算异常用电负荷曲线上各用电负荷与非异常用电负荷曲线所有用电负荷均值的差值绝对值，当所述差值绝对值高于差值阈值时，将异常用电负荷曲线上的用电负荷作为异常数据点。需要说明的是，所述差值阈值实施者可自行设定，本实施例设定为0.4。删除原始用电负荷数据中异常用电负荷曲线上对应的各异常数据点，完成对用电负荷数据中异常数据的清洗。
42.至此，通过本发明实施例上述方法可对用电负荷数据中的异常数据的表现特征进行分析，基于用电负荷曲线的规律性和周期相似性，构建用电负荷曲线的负荷峰谷变动、负荷波动、负荷平稳这三个特征值，考虑了用电负荷数据发生异常时对用电负荷曲线的影响，并基于用电负荷曲线的这三个特征值，得到用电负荷特征向量，能够较好的反应用电负荷数据中的异常数据与正常数据之间的差异性，解决了异常数据与正常数据分布较为相似导致大量错检误检的问题，结合lof算法对用电负荷特征向量进行异常检测，提高了lof算法对智慧电网异常数据的检测精度。
43.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
44.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
45.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，均应包含在本技术的保护范围之内。