一种基于电网多源数据的处理方法、系统和设备与流程

1.本发明属于智能电网数据处理技术领域，具体来说，涉及一种基于电网多源数据的处理方法。


背景技术：

2.随着智能电网的发展应用，电网数据也变得多样化，比如电网的网架数据、用户的用电特性数据、电网配网数据、变电站运行数据等，上述数据目前没有得到综合应用，同时现有技术在对“多源”大数据处理中存在以下问题：数据量大且数据类型多：由于电网公司业务部门较多、涉及的专业数据也比较多，导致数据的分类、来源、时间等不一致，因此，对这些数据源的梳理处理比较困难；数据处理难度较高：由于数据有即时性的电网负荷数据，也有视频图像数据，还有天气、气候数据等，而对于这些数据归类处理难度较高；现有数据价值未能充分提炼：各个部门维度的专业数据，目前并未通过数据整理、清洗、关联分析等手段挖掘数据价值，也无法进行数据深度分析展示。
3.此外，在对智能电网的发展应用中，对电网配网数据的数据处理过程中：首先，由于数据处理基础数据层，时效性不足，导致数据可用性不高，如数据接入的技术组件属于业界通用技术，但接入实效性不高，在面向外部用户的服务场景时，数据的业务支撑能力不够；同时，部分源头数据的时效性也不足，如采集量测数据，从前端的采集到汇聚送回，以天为计量单位；其次，由于公共数据层和萃取数据层的数据模型沉淀不够，导致数据缺乏体系化的整合，如缺乏核心业务需求的引导，使得分析层模型的构建和沉淀进度较慢，而数据的分析往往还需要从贴源历史区开始逐步加工，导致整体效率不高，基于此，跨业务的数据融合模型也需进一步挖掘，数据与数据之间缺乏业务化的关联语言，需要从业务的关联快速延伸为数据的关联，并沉淀相应的分析模型，降低业务部门获取数据的技术门槛；最后，由于数据服务层的服务化能力偏弱，导致数据业务化能力不足，如数据的对外服务方式不够灵活，主要是以数据接口和自主分析工具两种，缺乏服务编排能力，无法快速提供数据计算分析结果的服务化调用，直接反哺业务前端。
4.因此，需发明设计通过数据处理，支撑多维综合分析能力的方式，达到在面向分析业务场景时，具备挖掘数据的业务价值以及支撑数据的服务化能力，同时也为数据的挖掘提供重要基础的电网多源数据的处理方案。


技术实现要素：

5.本发明提出一种基于电网多源数据的处理方法、系统和设备，该方法、系统和设备能够通过数据处理，提供支撑多维综合分析能力的方式，以及通过数据的处理，汇聚、融合多视角数据的方式，从而具备面向分析业务场景，挖掘数据的业务价值以及直接将数据反馈至业务中台，提供辅助服务支撑的特性，为电网数据挖掘提供重要技术基础。
6.本发明的技术解决方案：本发明的基于电网多源数据的处理方法，包括下述步骤：第一步，获取电网多源数据；第二步，对获取的电网多源数据进行数据分类处理步骤s2
‑
1，将所述电网多源数据进行打标，得到数据标签信息；步骤s2
‑
2，基于数据处理模型，以业务数据的体系为单位，得到所述数据标签信息在以业务数据体系为单位时的分析信息，并依据对数据中台沉淀数据的高度提炼，得到所述分析信息的业务化表现，用于支撑数据服务的灵活调取；第三步，基于数据仓库，对经业务化表现的分析信息进行数据融合，由此获得融合数据；第四步，通过对外数据服务接口输出，以数据服务调用的方式插入数据中台的服务编排体系，并直接反馈至前端业务应用。
7.第一步中，获取电网多源数据的具体方式为：建立数据接口，从与数据接口连接的各个业务系统获取电网多源数据；第二步中，对获取的电网多源数据进行数据分类处理的具体方式为：建立贴源数据层，对获取的电网多源数据进行汇聚、整合。
8.第二步中，所述数据处理模型业务数据体系包括客户多维度体系、设备多维度体系、服务多维度体系、活动多维度体系以及产品多维度体系。
9.第二步中，所述数据处理模型的具体实施方式为：步骤s2
‑
21，基于两两关联电网多源数据以及业务数据体系，萃取形成萃取数据模型层，以用于支撑数据服务的灵活调取、服务化支撑数据中台及前端应用；步骤s2
‑
22，对所述电网多源数据进行业务化，依据数据中台沉淀数据的高度提炼，并通过离线或在线数据分析得到此电网多源数据在业务体系中的体现。
10.第三步中，所述数据仓库的具体实施方式为：通过整合明细数据层与轻度汇总数据层，对业务数据进行建模存储。
11.第四步中，融合数据以数据服务调用的方式插入至数据中台的服务编排体系，并直接反馈至前端业务应用的具体实施方式为：步骤s4
‑
1，基于数据仓库处理得到的融合数据，形成面向业务数据体系的各个数据集市；步骤s4
‑
2，对每个数据集市进行分析服务，并通过数据接口服务以及数据自助式分析得到所述电网多源数据的分析结果。
12.作为本发明的第二方面，提出了基于电网多源数据的处理系统，包括包括电网多源数据获取单元、数据分类处理单元、标签数据单元、数据处理算法单元、数据仓库单元以及业务应用单元，其中，电网多源数据获取单元，用于与业务系统建立数据交互通道以获取电网多源数据；数据分类处理单元，通过建立贴源数据层，对获取的电网多源数据进行汇聚、整合；标签数据单元，用于对经数据整合后的电网多源数据进行打标，形成电网多源数据的全域标签业务体系，以得到数据标签信息；
数据仓库单元，用于通过整合明细数据层与轻度汇总数据层，对所述数据标签信息进行建模存储；数据处理算法单元，接收所述电网多源数据并通过建立的数据处理模型，与数据仓库单元进行数据交互，分别得到所述数据标签信息以及电网多源数据的业务化表现数据；业务应用单元，连接外部应用系统，用于输出数据标签信息以及电网多源数据的业务化表现数据。
13.在本发明基于电网多源数据的处理系统的一种可能实现方式中，提出本发明还包括数据分析服务单元，所述数据分析服务单元包括数据接口分析单元以及自助式分析单元，其中，所述数据接口分析单元输入端分别连接数据处理算法单元以及数据仓库单元，输出端连接业务应用单元；所述自助式分析单元输入端分别连接数据处理算法单元以及数据仓库单元，输出端连接业务应用单元，用于通过数据接口服务以及数据自助式分析得到所述电网多源数据的分析结果。
14.作为本发明的另一方面，提出一种基于电网多源数据的处理设备，包括至少一个处理器以及与至少一个所述处理器建立信息交互通道的存储器，其中，每个所述存储器存储有可被至少一个所述处理器执行的计算机程序；所述计算机程序被至少一个所述处理器执行，以使至少一个所述处理器执行基于电网多源数据的处理方法和/或所述的基于电网多源数据的处理系统。
15.有益效果：与现有技术相比，本发明具有以下优点：本发明通过对数据处理，提供支撑多维综合分析能力的方式，以及通过对数据处理时，汇聚、融合多视角数据的方式，从而在面向分析业务场景时，具备挖掘数据的业务价值，以及直接将数据反馈至业务中台，提供辅助服务支撑的特性，为电网数据挖掘提供重要技术基础。
附图说明
16.图1为本发明一实施例中所提出电网多源数据的处理流程示意图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例对本发明进行深入地详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定发明。
18.如图，作为本发明的一个实施例，本发明提供技术方案：一种基于电网多源数据的处理方法，包括以下步骤：第一步，获取电网多源数据，在具体实施时，建立数据接口，从与数据接口连接的各个业务系统获取电网多源数据；第二步，对获取的电网多源数据进行数据分类处理步骤s2
‑
1，将电网多源数据进行打标，得到数据标签信息，可以理解的是，在具体
实施时，先建立贴源数据层，对获取的电网多源数据进行汇聚、整合；其次，步骤s2
‑
2，基于数据处理模型，以业务数据的体系为单位，得到数据标签信息在以业务数据体系为单位时的分析信息，并依据对数据中台沉淀数据的高度提炼，得到分析信息的业务化表现，用于支撑数据服务的灵活调取，需要说明的是，数据处理模型业务数据体系包括客户多维度体系、设备多维度体系、服务多维度体系、活动多维度体系以及产品多维度体系，其中，数据标签信息在以客户多维度体系为单位时的分析信息包括用户标签图像信息、用户分群信息、用户数据忠诚度等，其他数据处理模型业务数据体系组织结构如图1所示。
19.基于上述技术构思，数据处理模型的具体实施方式为：步骤s2
‑
21，基于两两关联电网多源数据以及业务数据体系，萃取形成萃取数据模型层，以用于支撑数据服务的灵活调取、服务化支撑数据中台及前端应用，具体实施时，以业务数据的关联出发，基于客户、设备、服务等统一id体系；步骤s2
‑
22，对电网多源数据进行业务化，依据数据中台沉淀数据的高度提炼，并通过离线或在线数据分析得到此电网多源数据在业务体系中的体现，如客户画像体系是对数据业务化最直接的呈现，通过离线、在线的数据分析对用户的画像标签、行为特征、运营成效等多维度精准描绘，并以服务化调用的方式插入业务中台的服务编排体系，直接反馈与前端业务应用。
20.第三步，基于数据仓库，对经业务化表现的分析信息进行数据融合，由此获得融合数据，在具体实施时，通过整合明细数据层与轻度汇总数据层，对业务数据进行建模存储；与此同时，基于数据处理算法平台对业务数据进行量测以得到经整合清洗的融合数据；第四步，通过对外数据服务接口输出，以数据服务调用的方式插入数据中台的服务编排体系，并直接反馈至前端业务应用，需要说明的是，融合数据以数据服务调用的方式插入至数据中台的服务编排体系，并直接反馈至前端业务应用的具体实施方式为：步骤s4
‑
1，基于数据仓库处理得到的融合数据，形成面向业务数据体系的各个数据集市；步骤s4
‑
2，对每个数据集市进行分析服务，并通过数据接口服务以及数据自助式分析得到电网多源数据的分析结果，可以理解的是，本发明通过对电网数据处理，提供支撑多维综合分析能力的方式，以及通过在对数据处理时，汇聚、融合多视角数据的方式，从而具备面向分析业务场景，挖掘数据的业务价值，同时也具备了直接将数据反馈至业务中台，提供辅助服务支撑的特性，为电网数据挖掘提供重要技术基础。
21.基于上述技术构思，作为本发明的第二方面，提出了基于电网多源数据的处理系统，包括电网多源数据获取单元、数据分类处理单元、标签数据单元、数据处理算法单元、数据仓库单元以及业务应用单元，其中，电网多源数据获取单元，用于与业务系统建立数据交互通道以获取电网多源数据；数据分类处理单元，通过建立贴源数据层，对获取的电网多源数据进行汇聚、整合；标签数据单元，用于对经数据整合后的电网多源数据进行打标，形成电网多源数据的全域标签业务体系，以得到数据标签信息；
数据仓库单元，用于通过整合明细数据层与轻度汇总数据层，对数据标签信息进行建模存储；数据处理算法单元，接收电网多源数据并通过建立的数据处理模型，与数据仓库单元进行数据交互，分别得到数据标签信息以及电网多源数据的业务化表现数据；业务应用单元，连接外部应用系统，用于输出数据标签信息以及电网多源数据的业务化表现数据。
22.在本发明第二方面的一实施例中，还包括数据分析服务单元，数据分析服务单元包括数据接口分析单元以及自助式分析单元，其中，数据接口分析单元输入端分别连接数据处理算法单元以及数据仓库单元，输出端连接业务应用单元；自助式分析单元输入端分别连接数据处理算法单元以及数据仓库单元，输出端连接业务应用单元，用于通过数据接口服务以及数据自助式分析得到电网多源数据的分析结果。
23.基于上述技术构思，本发明还提出基于电网多源数据的处理设备，包括至少一个处理器以及与至少一个处理器建立信息交互通道的存储器，其中，每个存储器存储有可被至少一个处理器执行的计算机程序；计算机程序被至少一个处理器执行，以使至少一个处理器执行基于电网多源数据的处理方法和/或基于电网多源数据的处理系统。
24.最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。