电网监控数据处理方法、装置、设备及存储介质与流程

1.本发明属于数据处理技术领域，尤其涉及一种电网监控数据处理方法、装置、设备及存储介质。


背景技术：

2.电力系统在运行过程中具有非常庞大的信息量，这些信息可以划分为结构化数据和非结构化数据。为了更好的掌握电力系统的各项信息，需要对运行状态进行实时的监控，进而对产生的结构化数据和非结构化数据进行分析。由于非结构化数据的复杂特性，其难以进行存储、处理和使用，因此一般需要对非结构化数据进行处理。
3.现有技术中，通常是将非结构化数据与结构化数据分别单独处理，但由于结构化数据和非结构化数据是紧密相关的，具有强相关性，分开处理会产生大量的重复性数据，造成存储资源和处理资源的浪费。


技术实现要素：

4.有鉴于此，本发明提供了一种电网监控数据处理方法电网监控数据处理方法、装置、设备及存储介质，旨在解决现有技术对电网监控数据处理时产生大量重复性数据的问题。
5.本发明实施例的第一方面提供了一种电网监控数据处理方法，包括：
6.获取电网监控数据；其中，电网监控数据包括第一结构化数据和非结构化数据；
7.将非结构化数据转化为半结构化数据，并根据预先建立的第一知识图谱，确定第一结构化数据和半结构化数据之间的第一相关系数；
8.针对每个半结构化数据，选取与该半结构化数据之间的第一相关系数大于第一预设阈值的第一结构化数据，组成该半结构化数据的第一数据组；
9.将半结构化数据全部转化为第二结构化数据；
10.根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，以完成数据处理。
11.本发明实施例的第二方面提供了一种电网监控数据处理装置，包括：
12.获取模块，用于获取电网监控数据；其中，电网监控数据包括第一结构化数据和非结构化数据；
13.确定模块，用于将非结构化数据转化为半结构化数据，并根据预先建立的第一知识图谱，确定第一结构化数据和半结构化数据之间的第一相关系数；
14.分组模块，用于针对每个半结构化数据，选取与该半结构化数据之间的第一相关系数大于第一预设阈值的第一结构化数据，组成该半结构化数据的第一数据组；
15.转化模块，用于将半结构化数据全部转化为第二结构化数据；
16.去重模块，用于根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，以完成数据处理。
17.本发明实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上第一方面的电网监控数据处理方法的步骤。
18.本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上第一方面的电网监控数据处理方法的步骤。
19.本发明实施例提供的电网监控数据处理方法、装置、设备及存储介质，首先获取电网监控数据；其中，电网监控数据包括第一结构化数据和非结构化数据；然后将非结构化数据转化为半结构化数据，并根据预先建立的第一知识图谱，确定第一结构化数据和半结构化数据之间的第一相关系数；接着针对每个半结构化数据，选取与该半结构化数据之间的第一相关系数大于第一预设阈值的第一结构化数据，组成该半结构化数据的第一数据组；再将半结构化数据全部转化为第二结构化数据；最终根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，以完成数据处理。通过对比半结构化数据的特征信息与第一结构化数据之间的相关性，从而将可能重复的半结构化数据与第一结构化数据关联，最终在半结构化数据化为结构化数据后，对关联的数据进行重复性筛除，从而避免数据重复造成存储资源和处理资源的浪费。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1是本发明实施例提供的电网监控数据处理方法的应用场景图；
22.图2是本发明实施例提供的电网监控数据处理方法的实现流程图；
23.图3是本发明实施例提供的电网监控数据处理装置的结构示意图；
24.图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
25.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
26.图1是本发明实施例提供的电网监控数据处理方法的应用场景图。本发明所提供的电网监控数据处理方法的应用场景可以包括但不限于该系统。如图1所述，该系统包括至少一个电网监控终端11和电子设备12。
27.其中，电网监控终端11用于记录其所在区域的电力系统的运行数据，并上报给电子设备12，电子设备12可以是终端或者服务器，终端可以是电脑、笔记本等，服务器可以是物理服务器或云服务器，在此不作限定。电网监控终端11和电子设备12可以是同一设备，也可以是不同设备，在此不作限定。
28.现有技术中，通常是将非结构化数据与结构化数据分别单独处理，但由于结构化数据和非结构化数据是紧密相关的，具有强相关性，分开处理会产生大量的重复性数据，造成存储资源和处理资源的浪费。其中，非结构化数据的处理过程通常是先将非结构化数据处理为半结构化数据，然后再进一步处理为结构化数据。
29.在本发明中，去除重复性数据的方式可以是先将非结构化数据转化为结构化数据b，然后与原电网监控数据中的结构化数据a进行逐一对比，从而确定并去除重复性数据。
30.但由于电网监控数据的数据量较大，并且非结构化数据在转化为二维的结构化数据之后数据的量级变的更大(例如一个视频文件能够转化为大量的二维的文本数据)，因此上述逐一对比的方式运算量巨大，数据处理效率较低。因此需要对其进行进一步的改进。
31.图2是本发明实施例提供的电网监控数据处理方法的实现流程图。如图2所示，在一些实施例中，电网监控数据处理方法，应用于图1中所示的电子设备12，该方法包括：
32.s210，获取电网监控数据；其中，电网监控数据包括第一结构化数据和非结构化数据。
33.在本发明实施例中，第一结构化数据存储在数据库中，可以用二维表结构来逻辑表达实现。非结构化数据可以包括但不限于下述至少一项：视频、图片、语音、电子文本，在此不作限定。
34.s220，将非结构化数据转化为半结构化数据，并根据预先建立的第一知识图谱，确定第一结构化数据和半结构化数据之间的第一相关系数。
35.在本发明实施例中，在将非结构化数据转化为半结构化数据的过程中需要提取非结构化数据的特征信息。预先建立的第一知识图谱中的语义三元组为：半结构化数据的特征信息-相关性-结构化数据。
36.s230，针对每个半结构化数据，选取与该半结构化数据之间的第一相关系数大于第一预设阈值的第一结构化数据，组成该半结构化数据的第一数据组。
37.在本发明实施例中，第一预设阈值可以是0-1之间的任意值，具体根据实际需求确定，第一预设阈值越大，所筛选出的第一数据组的数据量越小，重复性对比的计算量越小，但重复性数据的去除率将会降低。
38.s240，将半结构化数据全部转化为第二结构化数据。
39.s250，根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，以完成数据处理。
40.在本发明实施例中，对于半结构化数据m，根据第一知识图谱可以检索出其相应的第一结构化数据ni，组成第一数据组n。在半结构化数据m转化为第二结构化数据mj时，将ni与mj进行对比，遍历第一数据组n和半结构化数据m转化出的所有mj，从而确定出重复性数据。
41.在本发明实施例中，通过对比半结构化数据的特征信息与第一结构化数据之间的相关性，从而将可能重复的半结构化数据与第一结构化数据关联，最终在半结构化数据化为结构化数据后，对关联的数据进行重复性筛除，从而避免数据重复造成存储资源和处理资源的浪费。
42.在一些实施例中，s250可以包括：将每个半结构化数据对应的第二结构化数据与该半结构化数据对应的第一数据组中的第一结构化数据进行对比，确定并去除重复性数
据。
43.在本发明实施例中，对于每个半结构化数据，将其转化为第二结构化数据之后，将该半结构化数据转化出的第二结构化数据放置到一个第二数据组中，然后将第二数据组与对应的第一数据组进行对比，以去除重复性数据，相对于遍历所有数据进行对比的方式，本发明通过仅对相关性较高的第二数据组和第一数据组进行对比，能够在保证重复性数据去除的情况下，有效减小数据处理的计算量。
44.在一些实施例中，在s250之后，该方法还包括：根据第二结构化数据的数目、第一结构化数据的数目以及重复性数据的数目，计算各个第一数据组的组内重复率；根据各个第一数据组的组内重复率以及预设重复率阈值，确定电网监控数据的处理有效性；当电网监控数据的处理有效性为低时，分别将每个第二结构化数据与每个第一结构化数据进行再次对比，得到对比结果；根据对比结果更新第一知识图谱。
45.在本发明实施例中，仅对相关性较高的数据进行对比，虽然能够有效减小数据处理时间，但也增加了重复性数据无法有效处理的风险，因此在每次处理完成后，可以统计组内重复率，在组内重复率的均值小于预设重复率阈值时，表示电网监控数据的处理有效性为低，则按照传统的方式对数据进行遍历。
46.其中，每个半结构化数据对应的组内重复率＝c/(a b-c)，a为第一数据组中的第一结构化数据的总数，b为第二数据组中的第二结构化数据的总数，c为重复性数据的数目。
47.计算各个半结构化数据对应的组内重复率的均值，并将其与预设重复率阈值进行对比，从而确定电网监控数据的处理有效性。
48.在一些实施例中，在s230之后，该方法还包括：根据预先建立的第二知识图谱，确定各个半结构化数据之间的第二相关系数；针对每个半结构化数据，当另一个半结构化数据与该半结构化数据之间的第二相关系数大于预设阈值时，将另一个半结构化数据的第一数据组标记为该半结构化数据的相邻第一数据组。
49.相应的，s250可以包括：将每个半结构化数据对应的第二结构化数据分别与该半结构化数据对应的第一数据组中的第一结构化数据，以及该半结构化数据的相邻第一数据组中的第一结构化数据进行对比，确定并去除重复性数据。
50.在本发明实施例中，第二知识图谱的语义三元组的结构为半结构化数据a的特征信息-相关性-半结构化数据b的特征信息。由于半结构化数据是由非结构化数据转化的，而非结构化数据的类型多种多样，不同的非结构化数据之间很可能是相似的(例如，视频和语音所记录的内容是相同或相似的)，相应的其所对应的第一数据组也可能是相似的。因此对于半结构化数据a和半结构化数据b，半结构化数据a对应的第一数据组和半结构化数据b对应的第一数据组可以互标记为相邻第一数据组，在重复性数据对比时，半结构化数据a不但与自身对应的第一数据组进行对比，还与相邻第一数据组进行对比，以提高重复性数据的筛查准确率。
51.在一些实施例中，s220可以包括：获取非结构化数据的类型；根据非结构化数据的类型和每种类型对应的识别模型，提取非结构化数据的特征信息；根据非结构化数据的特征信息，将非结构化数据转化为半结构化数据。
52.在本发明实施例中，具体为先提取非结构化数据的特征信息，然后依据该特征信息，按照一定的规则转换、处理将其转换为半结构化数据，例如xml格式的文件。
53.在一些实施例中，非结构化数据的类型包括下述至少一项：视频、图片、语音、电子文本；识别模型包括第一神经网络模型和第二神经网络模型。相应的，根据非结构化数据的类型和每种类型对应的识别模型，提取非结构化数据的特征信息，包括：当非结构化数据的类型为视频或图片时，根据第一神经网络模型提取非结构化数据的特征信息；当非结构化数据的类型为语音或电子文本时，根据第二神经网络模型提取非结构化数据的特征信息。
54.在本发明实施例中，当非结构化数据的类型为视频时，可以将视频逐帧划分为多张图像，然后根据第一神经网络模型对每帧图像进行特征提取。当非结构化数据的类型为图片时，若图片较大，则将其分割为多张图像，然后根据第一神经网络模型对分割的多张图像进行特征提取，若图片较小，则直接根据第一神经网络模型对图片进行特征提取。在非结构化数据的类型为语音时，先将语音识别为预设格式的文本，然后根据第二神经网络模型对预设格式的文本进行特征提取。在非结构化数据的类型为电子文本时，先将电子文本转化为预设格式的文本，然后根据第二神经网络模型对预设格式的文本进行特征提取。
55.在一些实施例中，s240可以包括：对半结构化数据进行并行处理；利用xml技术将并行处理后的半结构化数据转化为第二结构化数据。
56.在本发明实施例中，mapreduce并行处理是一种常规的xml化处理方法，能够方便地将文件向xml文档的转化。用户也可以根据自己的需求，分析本领域内文件的内容和结构编写相应的程序，以输出合适的xml文档。
57.由于非结构化数据具有多种类型，所以转化为半结构化的xml文件也会有多种类型，随着数据量增大xml文件数量也随之变得愈来愈大。因为xml文件属于半结构化数据，这些因素使得采用结构的关系型数据库不适用于xml文件的查询处理。因此，在xml文件转化为结构化数据之前，采用mapreduce对xml文件进行并行处理。
58.综上，本发明的有益效果具体为：通过对比半结构化数据的特征信息与第一结构化数据之间的相关性，从而将可能重复的半结构化数据与第一结构化数据关联，最终在半结构化数据化为结构化数据后，对关联的数据进行重复性筛除，从而避免数据重复造成存储资源和处理资源的浪费。
59.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
60.图3是本发明实施例提供的电网监控数据处理装置的结构示意图。如图3所示，在一些实施例中，电网监控数据处理装置3，包括：
61.获取模块310，用于获取电网监控数据；其中，电网监控数据包括第一结构化数据和非结构化数据；
62.确定模块320，用于将非结构化数据转化为半结构化数据，并根据预先建立的第一知识图谱，确定第一结构化数据和半结构化数据之间的第一相关系数；
63.分组模块330，用于针对每个半结构化数据，选取与该半结构化数据之间的第一相关系数大于第一预设阈值的第一结构化数据，组成该半结构化数据的第一数据组；
64.转化模块340，用于将半结构化数据全部转化为第二结构化数据；
65.去重模块350，用于根据第二结构化数据和第一数据组中的第一结构化数据，确定并去除重复性数据，以完成数据处理。
66.可选的，去重模块350，具体用于将每个半结构化数据对应的第二结构化数据与该半结构化数据对应的第一数据组中的第一结构化数据进行对比，确定并去除重复性数据。
67.可选的，电网监控数据处理装置3还包括更新模块，用于根据第二结构化数据的数目、第一结构化数据的数目以及重复性数据的数目，计算各个第一数据组的组内重复率；根据各个第一数据组的组内重复率以及预设重复率阈值，确定电网监控数据的处理有效性；当电网监控数据的处理有效性为低时，分别将每个第二结构化数据与每个第一结构化数据进行再次对比，得到对比结果；根据对比结果更新第一知识图谱。
68.可选的，电网监控数据处理装置3还包括相邻组计算模块，用于根据预先建立的第二知识图谱，确定各个半结构化数据之间的第二相关系数；针对每个半结构化数据，当另一个半结构化数据与该半结构化数据之间的第二相关系数大于预设阈值时，将另一个半结构化数据的第一数据组标记为该半结构化数据的相邻第一数据组。
69.相应的，去重模块350，具体用于将每个半结构化数据对应的第二结构化数据分别与该半结构化数据对应的第一数据组中的第一结构化数据，以及该半结构化数据的相邻第一数据组中的第一结构化数据进行对比，确定并去除重复性数据。
70.可选的，确定模块320，具体用于获取非结构化数据的类型；根据非结构化数据的类型和每种类型对应的识别模型，提取非结构化数据的特征信息；根据非结构化数据的特征信息，将非结构化数据转化为半结构化数据。
71.可选的，非结构化数据的类型包括下述至少一项：视频、图片、语音、电子文本；识别模型包括第一神经网络模型和第二神经网络模型。相应的，确定模块320，具体用于当非结构化数据的类型为视频或图片时，根据第一神经网络模型提取非结构化数据的特征信息；当非结构化数据的类型为语音或电子文本时，根据第二神经网络模型提取非结构化数据的特征信息。
72.可选的，转化模块340，具体用于对半结构化数据进行并行处理；利用xml技术将并行处理后的半结构化数据转化为第二结构化数据。
73.本实施例提供的电网监控数据处理装置，可用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
74.图4是本发明实施例提供的电子设备的结构示意图。如图4所示，本发明的一个实施例提供的电子设备4，该实施例的电子设备4包括：处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。处理器40执行计算机程序42时实现上述各个电网监控数据处理方法实施例中的步骤，例如图2所示的s210至s250。或者，处理器40执行计算机程序42时实现上述各系统实施例中各模块/单元的功能，例如图3所示模块310至350的功能。
75.示例性的，计算机程序42可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器41中，并由处理器40执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序42在电子设备4中的执行过程。
76.电子设备4可以是终端或者服务器，其中，终端可以为手机、mcu、ecu等，在此不作限定，服务器可以是物理服务器、云服务器等，在此不作限定。电子设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成
对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端还可以包括输入输出设备、网络接入设备、总线等。
77.所称处理器40可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
78.存储器41可以是电子设备4的内部存储单元，例如电子设备4的硬盘或内存。存储器41也可以是电子设备4的外部存储设备，例如电子设备4上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器41还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器41用于存储计算机程序以及终端所需的其他程序和数据。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
79.本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述电网监控数据处理方法实施例中的步骤。
80.计算机可读存储介质存储有计算机程序42，计算机程序42包括程序指令，程序指令被处理器40执行时实现上述实施例方法中的全部或部分流程，也可以通过计算机程序42来指令相关的硬件来完成，计算机程序42可存储于一计算机可读存储介质中，该计算机程序42在被处理器40执行时，可实现上述各个方法实施例的步骤。其中，计算机程序42包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
81.计算机可读存储介质可以是前述任一实施例的终端的内部存储单元，例如终端的硬盘或内存。计算机可读存储介质也可以是终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。计算机可读存储介质用于存储计算机程序及终端所需的其他程序和数据。计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
82.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
83.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模
块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
84.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
85.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
86.在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
87.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
88.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
89.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
90.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。