一种应用于能源工业网的数据处理方法及系统与流程

1.本发明涉及数据处理技术领域，特别是涉及一种应用于能源工业网的数据处理方法及系统。


背景技术：

2.能源工业云网是工业互联网在能源领域的应用和具体体现，可以说能源工业云网的基础是工业互联网，其数据标准也是基于工业互联网的数据标准的，其节点的接入情况同样是以工业互联网的接入为基础的。
3.工业互联网的接入一般都是产品端按照物联网的接入标准进行接入，通过用户应用或企业的相关信息系统进行工厂外部数据接入网关的。但是，现有的能源工业网会接收到不同标准、不同处理条件的数据，无法实现数据的统一处理，从而提升了数据共享和交互的难度。


技术实现要素：

4.针对于上述问题，本发明提供一种应用于能源工业网的数据处理方法及系统，实现了数据的统一处理，提升了数据共享和交互的高效性。
5.为了实现上述目的，本发明提供了如下技术方案：
6.一种应用于能源工业网的数据处理方法，包括：
7.获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
8.生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
9.确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
10.基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
11.可选地，所述获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式封装，获得数据接口，包括：
12.获取接入能源工业网的数据的数据类型；
13.确定与所述数据类型相匹配的转换格式；
14.确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
15.基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
16.可选地，所述方法还包括：
17.利用所述目标数据模型对数据进行管理，包括：
18.基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后
的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
19.确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
20.将所述存储信息进行存储。
21.可选地，所述方法还包括：
22.基于所述目标数据模型对访问请求进行处理，包括：
23.对所述访问请求进行解析；
24.若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
25.若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
26.可选地，所述方法还包括：
27.响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
28.若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
29.一种应用于能源工业网的数据处理系统，包括：
30.接口获取单元，用于获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
31.交互模式确定单元，用于生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
32.管理模式确定单元，用于确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
33.模型创建单元，用于基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
34.可选地，所述接口获取单元包括：
35.第一获取子单元，用于获取接入能源工业网的数据的数据类型；
36.第一确定子单元，用于确定与所述数据类型相匹配的转换格式；
37.第二确定子单元，用于确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
38.封装子单元，用于基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
39.可选地，所述系统还包括：
40.数据管理单元，用于利用所述目标数据模型对数据进行管理，所述数据管理单元包括：
41.预处理子单元，用于基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
42.第三确定子单元，用于确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
43.存储子单元，用于将所述存储信息进行存储。
44.可选地，所述系统还包括：
45.访问请求处理单元，用于基于所述目标数据模型对访问请求进行处理，所述访问请求处理单元包括：
46.解析子单元，用于对所述访问请求进行解析；
47.第一响应子单元，用于若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
48.第二响应子单元，用于若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
49.可选地，所述访问请求处理单元还包括：
50.权限验证子单元，用于响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
51.资源获取子单元，用于若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
52.相较于现有技术，本发明提供了一种应用于能源工业网的数据处理方法及系统，包括：获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口；生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理，实现了数据的统一处理，提升了数据共享和交互的高效性。
附图说明
53.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
54.图1为本发明实施例提供的一种应用于能源工业网的数据处理方法的流程示意图；
55.图2为本发明实施例提供的一种目标数据模型的应用示意图；
56.图3为本发明实施例提供的一种设备通信协议智能分析模型的示意图；
57.图4为本发明实施例提供的一种应用于能源工业网的数据处理系统的结构示意图。
具体实施方式
58.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
59.本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
60.在本发明实施例中提供了一种应用于能源工业网的数据处理方法，参见图1，包括：
61.s101、获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口。
62.以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输。数据接口是连接外接系统与处理中心的接口，用于对不同类型的访问数据进行解析和获取，以便能够被处理中心所处理。具体的，数据接口负责对外接系统(这里主要指电网系统、供应商、生产系统、电力应急指挥中心等数据源模块)进行数据交换操作。
63.s102、生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式。
64.其中，共享交互模式是依据不同数据访问请求对应的响应模式确定，能够实现数据、消息的交互，即对外接系统的各种数据请求进行服务服务。应急交互模式用于实现应急交互服务，主要用于电力公司应急指挥平台的应急电力数据的快速交互。
65.s103、确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储。
66.数据管理模式用于对外接系统与数据请求服务进行组织管理，如实现相关数据的预处理、匹配和存储等。
67.s104、基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型。
68.以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。其中，该目标数据模型可以理解为是一种数据共享交互模式，即是一种对数据进行加工、变换的数据处理机制，能源工业云网在对数据进行统一化的过程中，基于标准化建模的数据共享机制是核心架构。
69.在本发明实施例中，不仅可以对基础数据进行处理，还可以对边缘数据进行处理，对应的，所述获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式封装，获得数据接口，包括：获取接入能源工业网的数据的数据类型；确定与所述数据类型相匹配的转换格式；确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
70.在一种实施方式中，当利用目标模型对数据进行管理时，该过程主要包括：基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预
处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；将所述存储信息进行存储。
71.在另一种实施方式中，本发明实施例对不同的访问请求会利用与之对应的响应模式进行响应，以使得能够输出更加匹配的交互消息。具体的，基于所述目标数据模型对访问请求进行处理，包括：对所述访问请求进行解析；若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
72.为了保证数据传输以及资源调用的安全性，在接收到访问请求后，会对所述访问请求对应的访问权限进行验证；若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
73.本发明通过基于标准化建模的数据共享交互模型的方式将不同的数据模型进行标准化，以实现能源工业云网终端数据存证、鉴证和溯源及统一标准等核心问题。接口负责对外接系统进行数据交换操作；共享交互消息是模型中进行交互的封装数据；共享交互服务负责实现外接系统的各种数据请求服务；应急交互服务负责实现电力公司应急指挥平台的应急电力数据的快速交互；控制管理负责对模型中外接系统与数据请求服务进行组织管理，从而为协议解析与数据分析的统一性和高效性奠定了基础，为多种类感知设备的数据接入提供了统一标准。
74.为了便于对本发明实施例进行说明，现将相关术语进行解释。
75.能源工业云网(energy industry cloud network，eicn)：是工业互联网在能源电力领域的具体实践和重要载体，核心是以电为中心创新价值链，以数为要素贯通业务链，以智为要义升级产业链，赋能各类市场主体，服务政府行业管理，具有“全域链接、开源开放、智能可信、价值驱动和广域应用”等特色功能。
76.设备接入：基于工业以太网、工业总线等工业通信协议，以太网、光纤等通用协议，4g/5g、nb
‑
iot等无线协议将工业现场设备接入到平台边缘层。
77.协议转换：一方面运用协议解析、中间件等技术兼容modbus、opc、can、profibus等各类工业通信协议和软件通信接口，实现数据格式转换和统一。另一方面利用http、mqtt等方式从边缘侧将采集到的数据传输到云端，实现数据的远程接入。
78.边缘数据处理：基于高性能计算芯片、实时操作系统、边缘分析算法等技术支撑，在靠近设备或数据源头的网络边缘侧进行数据预处理、存储以及智能分析应用，提升操作响应灵敏度、消除网络堵塞，并与云端分析形成协同。
79.数据预处理：运用数据冗余剔除、异常检测、归一化等方法对原始数据进行清洗，为后续存储、管理与分析提供高质量数据来源。
80.数据存储与管理：通过分布式文件系统、nosql数据库、关系数据库、时序数据库等不同的数据管理引擎实现海量工业数据的分区选择、存储、编目与索引等。
81.数据分析算法：运用数学统计、机器学习及最新的人工智能算法实现面向历史数据、实时数据、时序数据的聚类、关联和预测分析。
82.数据机理建模：利用机械、电子、物理、化学等领域专业知识，结合工业生产实践经
验，基于已知工业机理构建各类模型，实现分析应用。
83.模式识别：用计算的方法根据样本的特征将样本划分到一定的类别中去，其本质就是通过计算机用数学技术方法来研究模式的自动处理和判读，把环境与客体统称为“模式”。
84.多源异构：是指一个整体由多个不同来源的成分而构成，既有混合型数据(包括结构化和非结构化)又有离散性数据(数据分布在不同的系统或平台)，互联网就是一个典型的异构网络，融合传播矩阵就是一个典型的多源异构数据网络。
85.参见图2，其示出了本发明实施例提供的一种目标数据模型的应用示意图。其中，该目标数据模型为数据共享交互模型，数据接口实现对外接系统数据的调用、传输和相关格式转换、协议转换等。共享交互服务通过共享交互模式实现，主要可以基于数据的相关请求完成数据的检索、订阅、发布、获取、校验和数据转换等处理过程。共享交互信息是指共享交互服务中传输的信息或者应用的信息，主要包括参数信息、数据包摘要、数据交互数据包。应急交互服务通过应急交互模式实现，主要可以对应急请求进行处理，当接收到应急请求后会以较高的优先级进行响应，保证数据的快速传输。数据中心可以完成数据的处理、分析以及相关数据的存储等处理过程。
86.在图2中本发明实施例中的目标数据模型是以数据共享交互模型的展现形式进行说明的。该模型主要由接口、共享交互消息、共享交互服务、应急交互服务和管理控制四部分组成。其中接口负责对外接系统(这里主要指电网系统、供应商、生产系统、电力应急指挥中心等数据源模块)进行数据交换操作；共享交互消息是模型中进行交互的封装数据(主要包括：ecp\erp等的参数信息、供应商相关的数据包摘要及一些共享交互数据包等)；共享交互服务负责实现外接系统的各种数据请求服务；应急交互服务负责实现电力公司应急指挥平台的应急电力数据的快速交互；控制管理负责对模型中外接系统与数据请求服务进行组织管理。
87.具体的，接口的主要功能通过接口模块实现，接口模块主要负责对外接系统进行数据交换操作，完成数据对外交换任务。共享交互服务主要功能通过共享交互服务模块实现，共享交互服务模块是完成和实现模型中封装数据任务功能的模块。应急交互服务通过应急交互服务模块实现，应急交互服务模块具体负责实现对诸多电力公司应急指挥平台的应急电力数据的快速交互信息和数据搜集和交互任务的功能模块。控制管理的主要功能通过控制管理模块实现，控制管理模块则负责对模型中外接系统与数据请求服务进行组织管理的功能实现的功能模块。
88.在本发明实施例中创建数据共享交互模型的过程中还包括：
89.(1)数据集成与边缘处理过程：
90.协议转换：首先运用协议解析、中间件等技术兼容modbus、opc、can、profibus等各类工业通信协议和软件通信接口，实现数据格式转换和统一。其次利用http、mqtt等方式从边缘侧将采集到的数据传输到云端，实现数据的远程接入。
91.边缘数据处理：基于实时操作系统、边缘分析算法等技术支撑，在靠近设备或数据源头的网络边缘侧进行数据预处理、存储以及智能分析应用，提升操作响应灵敏度、消除网络堵塞，并与云端分析形成协同。
92.(2)数据管理处理：
93.数据处理框架：借助hadoop、spark、storm等分布式处理架构，满足海量数据的批处理和流处理计算需求。数据预处理：运用数据冗余剔除、异常检测、归一化等方法对原始数据进行清洗，为后续存储、管理与分析提供高质量数据来源。
94.数据存储与管理：通过分布式文件系统、nosql数据库、关系数据库、时序数据库等不同的数据管理引擎实现海量工业数据的分区选择、存储、编目与索引等。
95.微服务架构：提供涵盖服务注册、发现、通信、调用的管理机制和运行环境，支撑基于微型服务单元集成的“松耦合”应用开发和部署。
96.图形化编程：通过类似labview的图形化编程工具，简化开发流程，支持用户采用拖拽方式进行应用创建、测试、扩展等。
97.(3)结合构建的构建标准化数据模型，建立统一的访问机制，限制用户的访问权限和所能使用的计算资源和网络资源实现对云平台重要资源的访问控制和管理，防止非法访问。从而形成统一数据标准。
98.进一步地，标准模型构建及算法的融入是解决数据标准化和规范化问题的核心所在，该发明是对接口交换所得不同结构数据通过标准模型进行统一化的核心环节，将也是不同的数据处理模块与数据中进行对接的核心处理单元，针对不同的信息源构建统一的设备通信协议智能分析模型(见图3)，然后结合相对统一的基础数据模型，形成标准模型，继而将来自于不同渠道的不同类型的数据进行相应模块的加工处理，形成统一标准和规范的数据。
99.本发明实施例提供了一种应用于能源工业网的数据处理方法，包括：获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口；生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理，实现了数据的统一处理，提升了数据共享和交互的高效性。
100.在本发明实施例中还提供了一种应用于能源工业网的数据处理系统，参见图4，包括：
101.接口获取单元10，用于获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口，以使通过所述数据接口能够对获取的不同格式的数据进行解析和传输；
102.交互模式确定单元20，用于生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；
103.管理模式确定单元30，用于确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；
104.模型创建单元40，用于基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理。
105.可选地，所述接口获取单元包括：
106.第一获取子单元，用于获取接入能源工业网的数据的数据类型；
107.第一确定子单元，用于确定与所述数据类型相匹配的转换格式；
108.第二确定子单元，用于确定边缘数据处理格式，所述边缘数据处理格式用于对边缘数据进行预处理；
109.封装子单元，用于基于所述转换格式和所述边缘数据处理格式进行数据格式封装，获得数据接口。
110.可选地，所述系统还包括：
111.数据管理单元，用于利用所述目标数据模型对数据进行管理，所述数据管理单元包括：
112.预处理子单元，用于基于所述目标数据模型的数据管理模式对获取的数据进行预处理，得到预处理后的数据，所述预处理包括数据冗余剔除、异常检测、归一化处理和数据清洗；
113.第三确定子单元，用于确定与所述预处理后的数据相匹配的存储模式，并依据所述存储模式生成所述预处理后的数据的存储信息，所述存储信息包括存储分区、存储编目和存储索引；
114.存储子单元，用于将所述存储信息进行存储。
115.可选地，所述系统还包括：
116.访问请求处理单元，用于基于所述目标数据模型对访问请求进行处理，所述访问请求处理单元包括：
117.解析子单元，用于对所述访问请求进行解析；
118.第一响应子单元，用于若所述访问请求为数据交互请求，获取所述目标数据模型的共享交互模式，基于所述共享交互模式对所述数据交互请求进行响应，获得目标交互数据；
119.第二响应子单元，用于若所述访问请求为应急交互访问请求，获取所述目标数据模型的应急交互模式，以调用优先级高的线程对与所述应急交互访问请求对应的数据进行传输。
120.可选地，所述访问请求处理单元还包括：
121.权限验证子单元，用于响应于接收到访问请求，对所述访问请求对应的访问权限进行验证；
122.资源获取子单元，用于若验证通过，获取与所述访问请求相匹配的访问资源，以使得基于所述访问请求仅能够对所述访问资源进行访问。
123.本发明实施例提供了一种应用于能源工业网的数据处理系统，包括：获取接入能源工业网的数据类型，并基于所述数据类型进行数据格式的封装，获得数据接口；生成与数据请求对应的响应模式，并基于所述响应模式确定共享交互模式和应急交互模式；确定所述能源工业网的数据管理模式，所述数据管理模式用于对数据进行管理和存储；基于所述数据接口、所述共享交互模式、所述应急交互模式和所述数据管理模式，创建目标数据模型，以使得通过所述目标数据模型对接入所述能源工业网的数据进行标准化处理，实现了数据的统一处理，提升了数据共享和交互的高效性。
124.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
125.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。