一种分布式传感数据处理方法及装置与流程

1.本发明涉及配电网数据在线监测技术领域，尤其涉及一种分布式传感数据处理方法及装置。


背景技术：

2.配电网显著的特点是规模总量大、设备众多。随着配电网的规模越来越大，会带来配电网一线运维管理人力资源与配电网增速不匹配的问题，同时，庞大规模配电网设备运行情况完全由人工进行分析，运维工作量较大，也会产生一定偏差。如今，大规模应用大数据、物联网、智能化及信息化技术的新型配电网已经成为配电网建设的主流方向，新型配电网对提升配电网建设、运维、管理水平，实现配电网跨越式发展起到显著的作用。新型配电网的建设大规模采用智能传感技术、物联网技术等新型信息手段，对配电网的运行状态、设备工况、运行环境等信息获取了海量的数据，这些数据一方面是配网运行的支撑源，另一方面海量的监测数据零散且规范性不足，对配网的综合诊断的有效性造成相对的难度。同时，配电网监测数据，尤其是通过加装在开关柜、变压器、线路上各类智能传感设备获得的设备工况监测数据是间接反映主设备健康状况的，通过对其进行分析诊断是支撑状态检修的主要手段，由于主设备的绝缘劣化等均是缓慢变化的，对其实时采样的数据进行判别的意义往往并不大，并且实时采集的数据也有可能是干扰引起的，并不能真正反映主设备的实际工况，甚至造成误判。
3.如何充分应用配电网监测的海量数据，对数据进行清洗去除可能的干扰点及数据聚合，为配电网运行分析提供切实可信、结构化的数据是一个亟需解决的问题。


技术实现要素：

4.基于现有技术的上述情况，本发明的目的在于提供一种分布式传感数据处理方法及装置，通过数据获取、数据干扰点去除、数据矩阵构建、数据矩阵映射等环节的处理，从而为配电网运行分析提供切实可信、结构化的数据基础。
5.为达到上述目的，根据本发明的一个方面，提供了一种分布式传感数据处理方法，包括步骤：
6.获取分布式传感数据；
7.去除所获取数据中的数据干扰点；
8.构建数据矩阵并进行矩阵变换；
9.将该变换后的矩阵映射为二维数组。
10.进一步的，所述去除所获取数据中的数据干扰点，包括：
11.通过比较得到预设时间段内所获取数据中的最大值和最小值；
12.在该最大值和最小值之间划分多个取值区间；
13.统计各数据位于各取值区间内的个数，并取其中概率最大的区间作为置信区间；
14.统计在该置信区间内的数据均值，并将该均值作为所获取数据的有效值。
15.进一步的，所述构建数据矩阵，包括根据数据不同分类维度将其构建成多维列矩阵a：
16.a＝{y
i1
,y
i2
,y
i3
,y
i4
,
…
}
17.其中，i＝1，2，3,...,m，m为监测数据的个数；y
i1
,y
i2
,y
i3
，y
i4
,
…
表示数据的不同分类维度。
18.进一步的，所述进行矩阵变换包括将该多维列矩阵a变换为按照不同分类维度集中的集中矩阵b。
19.进一步的，所述分类维度至少包括监测对象、监测数据、数据类型和适用算法。
20.进一步的，所述将该变换后的矩阵映射为二维数组，包括：将该变换后的矩阵映射为二维数组，所述二维数组的每一行对应一个监测数据；所述二维数组的每一列表示一个分类维度。
21.根据本发明的第二个方面，提供了一种分布式传感数据处理装置，包括数据获取模块、数据处理模块、矩阵构建模块、以及数组映射模块；其中，
22.所述数据获取模块用于获取分布式传感数据；
23.所述数据处理模块用于去除所获取数据中的数据干扰点；
24.所述矩阵构建模块用于构建数据矩阵并将进行矩阵变换；
25.所述数组映射模块用于将该变换后的矩阵映射为二维数组。
26.进一步的，所述数据处理模块去除所获取数据中的数据干扰点，包括：
27.通过比较得到预设时间段内所获取数据中的最大值和最小值；
28.在该最大值和最小值之间划分多个取值区间；
29.统计各数据位于各取值区间内的个数，并取其中概率最大的区间作为置信区间；
30.统计在该置信区间内的数据均值，并将该均值作为所获取数据的有效值。
31.进一步的，所述矩阵构建模块构建数据矩阵并将进行矩阵变换，包括：
32.根据数据不同分类维度将其构建成多维列矩阵a：
33.a＝{y
i1
,y
i2
，y
i3
,y
i4
,
…
}
34.其中，i＝1，2，3，...，m，m为监测数据的个数；y
i1
，y
i2
，y
i3
，y
i4
，
…
表示数据的不同分类维度；
35.该多维列矩阵a变换为按照不同分类维度集中的集中矩阵b。
36.根据本发明的第三个方面，提供了一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明第一个方面所述的方法。
37.综上所述，本发明提供了一种分布式传感数据处理方法及装置，获取配电网智能传感器实时采集的数据，并对所采集数据进行数据干扰点去除、数据矩阵构建、数据矩阵映射等环节的处理，根据不同的分类维度数据进行分类聚合，以提供给后续的分析诊断等功能模块使用。本发明通过对配电网分布式传感器监测的数据进行以上各环节处理，对海量的多维监测信息进行了规范化整理，剔除了可能由于干扰引起的部分不可信监测数据，并按照不同分类维度实现了数据的聚合，从而为配电网运行分析提供了切实可信、结构化的数据基础。
附图说明
38.图1是本发明分布式传感数据处理方法的流程图；
39.图2是配电网各设备数据采集以及处理流程的示意图；
40.图3是本发明分布式传感数据处理装置的构成框图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
42.下面将结合附图对本发明的技术方案进行详细说明。根据本发明的一个实施例，提供了一种分布式传感数据处理方法，该方法的流程图如图1所示，包括以下步骤：
43.s1、获取分布式传感数据。获取分布式传感数据是指通过无线和/或有线等方式获取配电网智能传感器实时采集的数据。图2中示出了配电网各设备数据采集以及处理流程的示意图。配电网设备例如包括变压器、线路、开闭所、配电房等设备，通过配设于各设备上的智能传感器来采集分布式传感数据。所获取的数据包括电气量(例如电流、电压、功率、相角等参量)、环境感知量(例如压力、流量、温度、振动等参量)、用能量测(例如用电量、用气量、用热量、价格等参量)、水文微气象信息(例如天气、温湿度、水位等参量)。如果智能传感器传送的是原始采样值则需要先进行有效值的计算，有效值的计算方法可以采用常用的有效值计算方法，在此不做限制。
44.s2、去除所获取数据中的数据干扰点。该步骤的主要目的是在最大限度保留配电网监测数据的有用信息的前提下，有效滤除干扰信息。在本实施例中，数据干扰点去除的根据是监测数据值的变化是缓变量，因此可以采用概率统计法进行数据预处理。具体步骤可以按照以下方式进行：
45.首先对智能传感器在预设时间段内实时采样的数据进行统计，并生成一个监测数据序列，例如为：y(n)＝y1，y2，y3，...y
n
，对该序列中的数据进行比较得到预设时间段内所获取数据中的最大值和最小值；该预定时间段可以根据需要进行设置，并且为可变的；
46.在该最大值和最小值之间划分多个取值区间；具体来说，该多个取值区间通常应当大于等于3。
47.统计各数据位于各取值区间内的个数，并取其中概率最大的区间作为置信区间，对于落入其他区间的数据可以舍弃不用；
48.统计在该置信区间内的数据均值，并将该均值作为所获取数据的有效值。
49.需要说明的是本实施中的数据序列是实时滑动的，从而在能最大限度的保证去除干扰点的同时也能反映一段时间内的监测数据的量值变化。
50.s3、构建数据矩阵并进行矩阵变换。在该步骤中，构建数据矩阵可以选取不同分类维度构建一个多维的列矩阵，矩阵的维数与选取参数的个数一致；数据矩阵映射对构建的多维列矩阵进行行变换，将相同的分类维度的数据进行集中，从而实现海量数据的规范化和结构化处理。
51.首先，根据数据不同分类维度将其构建成多维列矩阵a：
52.a＝{y
i1
，y
i2
，y
i3
，y
i4
，
…
}
53.其中，i＝1，2，3,...,m，m为监测数据的个数；y
i1
,y
i2
,y
i3
,y
i4
,
…
表示数据的不同分类维度。
54.举例来说，根据某实施例，选取分类维度为监测对象、监测数据、数据类型和适用算法。对于1台开关柜设备，监测3个测温点的温度数据(数据类型y
temp
，适用算法为y
algo1
)、1路局部放电数据(数据类型y
pd
，适用算法为y
algo2
)、1路分闸速度数据(数据类型y
sp
，适用算法为y
algo3
)为例，则构建的矩阵a1为：
[0055][0056]
其中，y
11
表示监测对象为开关柜设备，y1‑
y5表示监测数据的值，
[0057]
y
temp
、y
pd
和y
sp
分别表示为温度数据、局部放电数据、以及分闸速度数据，y
algo1
‑
y
algo3
分别表示适用的不同算法。
[0058]
然后，进行矩阵变换，以将该多维列矩阵a变换为按照不同分类维度集中的集中矩阵b。对构建的矩阵a，将y
i1
监测对象信息进行行变换，先将y
i1
相同的行进行集中，实现监测对象所有参量的集中；然后在此基础上再根据y
i3
数据类型进行集中，实现相同监测对象的不同监测数据的集中。设p
m1
为监测数据，t
i
为监测对象，p
j
为数据类型，a
k
为适用算法，则可以形成一个新的矩阵b|p
m1
,t
i
,p
j
,a
k
|：
[0059][0060]
仍以以上举例的实施例为例，将上述多维列矩阵a1进行矩阵变换,设y1～y5为监测数据，可以认为是矩阵b中p
m1
的一个实例化监测数据，y
11
为t
i
监测对象的实例化，y
temp
、y
pd
、y
sp
为p
j
数据类型的实例化，y
algo1
～y
algo3
为a
k
适用算法的实例化。从而变换为b1：
[0061][0062]
需要说明的是矩阵的构建和变换并不是只有4个分类维度，可以根据情况进行分类维度的增加和减少。针对配电网情况，若是同类设备的数据类型一样，则适用的算法也基本一致。
[0063]
s4、将该变换后的矩阵映射为二维数组。矩阵映射是把矩阵b映射为一个二维数组提供给后续的分析诊断功能使用，后续的模块则根据集中后的设备类型和数据类型调取适应的算法进行诊断分析。
[0064]
仍以以上举例的实施例为例，将上述变换后的矩阵b1进行矩阵映射，以便计算机处理，其映射后的二维数组c
[5][4]
如表1所示：
[0065]
表1
[0066]
行号监测对象监测数据数据类型适用算法1y
11
y1y
temp
y
algo1
2y
11
y5y
temp
y
algo1
3y
11
y3y
temp
y
algo1
4y
11
y2y
pd
y
algo2
5y
11
y4y
sp
y
algo3
[0067]
该二维数组c
[5][4]
在后续的处理中就是一个普通二维数组，后续的诊断分析根据列参量调用适用算法进行相应的分析，比如针对局部放电的超声波测量数据采用阈值与纵向分析相结合的分析算法，而对局部放电的暂态地电波数据则综合采用阈值及横向分析相结合的算法处理。
[0068]
数据矩阵映射对构建的多维列矩阵进行行变换，实现相同监测对象、数据类型的集中。需要说明的是针对不同的应用场景，选取的主要行变换的参量要进行调整。针对配电网的监测数据，以变压器、开关柜、台区、线路等监测对象及电压、温度、局放等不同的数据类型进行集中来说明。
[0069]
本实施例以配电网监测数据为例对该数据处理方法进行了说明，而本发明提供的方法同样适用于高压电网、发电厂、工矿企业等场合的多维监测数据处理。
[0070]
根据本发明的第二个实施例，提供了一种分布式传感数据处理装置，该装置的构成框图如图3所示，该装置包括数据获取模块、数据处理模块、矩阵构建模块、以及数组映射模块。
[0071]
数据获取模块用于获取分布式传感数据。
[0072]
数据处理模块用于去除所获取数据中的数据干扰点。
[0073]
矩阵构建模块用于构建数据矩阵并将进行矩阵变换。
[0074]
数组映射模块用于将该变换后的矩阵映射为二维数组。
[0075]
该装置中各模块实现其功能的具体过程与本发明提供的第一个实施例中故障定
位方法的各步骤相同，在此不再赘述。
[0076]
根据本发明的第三个实施例，提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一个实施例中所述的方法。
[0077]
综上所述，本发明涉及一种分布式传感数据处理方法及装置，获取配电网智能传感器实时采集的数据，并对所采集数据进行数据干扰点去除、数据矩阵构建、数据矩阵映射等环节的处理，根据不同的分类维度数据进行分类聚合，以提供给后续的分析诊断等功能模块使用。本发明通过对配电网分布式传感器监测的数据进行以上各环节处理，对海量的多维监测信息进行了规范化整理，剔除了可能由于干扰引起的部分不可信监测数据，并按照不同分类维度实现了数据的聚合，从而为配电网运行分析提供了切实可信、结构化的数据基础。
[0078]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0079]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0080]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0081]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0082]
最后应当说明的是:以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。