一种电力大数据云计算一体机的制作方法

1.本发明属于电力大数据与云计算技术领域，尤其涉及一种电力大数据云计算一体机。


背景技术：

2.随着信息技术的发展，在电力开发、服务与设备管理过程中采用系统自动化管理已经成为当下主要的应用手段。实现自动化控制的重要安全保障措施就是能够准确的对电力数据进行分析，作出正确的判断，保证各个环节的可靠性。然而，电力数据不仅数据量庞大、结构复杂，而且数据之间的耦合度低，在电力数据分析过程中不仅耗时、耗力，而且难以达到理想的效果。
3.大数据(big data，bd)是相对于小数据样本的高质量、海量、多源异构的数据资源，与传统数据库(database，db)相比，无论在数据来源、处理方式以及在数据的思维等方面都带来了颠覆性的变化。在对已获得的数据进行流处理(streamprocessing)、批处理(batch processing)等处理后，才能利用大数据专用深度挖掘、分析的算法和工具，构建数据模型和分析体系。目前，很多发电集团、电网公司都建立了自己的数据中心，但目前还处于数据的存储、监测及初级开发层面，没有实现真正意义上的大数据挖掘利用，尚未实现横跨源、网、荷综合数据的收集、分析与处理，也没有实现政府层面对整体电力工业安全、能耗与环保的监督与管理。
4.云计算服务的推出快速受到了行业的青睐，各种类型的云计算服务平台框架相继建成，其中hadoop作为一种开源的分布式的计算框架具有良好的伸缩性和可靠性被广泛的应用于各个行业。
5.中国发明专利公开文本cn110531926a提出一种基于云平台的电力数据管理系统,包括数据采集单元,中心管理单元,数据计算单元云储存单元，数据备份单元,中心管理单元包括多层数据管理层级，每层数据管理级均设有多个数据管理器，每个数据管理器均各自连接有一个数据采集器和一个数据计算单元，所述数据管理器用于将各自连接的数据采集器采集到的原始电力数据通过网络通讯发送给数据计算单元，并将数据计算单元反馈过来的有效电力数据和用户用电报告通过网络通讯发送给云储存单元。该技术方案中，所有的应用和安全策略部署，能够集中在所述电力系统里面自动完成，减少了大量的人工操作。
6.此外，申请号为cn202010306593.x的中国发明专利申请提出一种基于云平台的电力大数据采集系统，包括层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台，各子云平台与各划分区域的电力系统一区、二区和三区相连，用于提取电力数据并将提取的电力数据发送到汇总云平台；汇总云平台分别与第一级云的各个子云平台相连，用于接收各子云平台提取的电力数据。该发明采用子云平台和汇总云平台的多级云连接，由子云平台采集省级电力系统三区的电力数据上传到汇总云平台，各子云端可主动订阅上级云端的数据上送范围，根据上送范围主动向汇总云端发送电力大数据，实现电力大数据的云端汇集，促进了大数据技术与电网调控领域应用的融合。
7.然而，云计算通常是以大数据互联网、分布式计算以及分布式云主机为基础的。而在电力信息系统中，数据通常通过电力专网传输，每个节点的云主机都需要与专网中的其他主机交换数据，同时还需要接收用电信息数据，如何确保上述数据处理过程、数据交换过程的安全性的同时，从海量大数据中挖掘出有价值的信息，成为本领域技术人员在实际应用中的面临的技术问题之一。


技术实现要素：

8.为解决上述技术问题，本发明提出一种电力大数据云计算一体机，包括数据输入模块、数据分析聚类模块、数据交换模块以及分析结果输出模块；数据输入模块于接收用电信息采集系统获取的第一原始数据集；数据分析聚类模块基于确定的分析目标，对原始数据集进行聚类分析后，输出第一聚类分析图以及所述第一聚类分析图对应的第一聚类分析数据集；通过数据交换模块获取至少一个其他云计算一体机输出的第二聚类分析数据集；分析结果输出模块将所述第一聚类分析数据集和所述第二聚类分析数据集进行融合计算，在所述云计算一体机的人机交互界面上展示所述融合计算得出的融合聚类结果。
9.本发明一种电力大数据云计算一体机，所述云计算一体机包括数据输入模块、数据分析聚类模块、数据交换模块以及分析结果输出模块；其特征在于：多个所述云计算一体机通过电力专网中的至少一个安全中间件分布式连接；
10.不同的云计算一体机通过自身的数据交换模块与所述安全中间件进行数据交换；
11.所述数据输入模块于接收用电信息采集系统获取的第一原始数据集；
12.所述数据分析聚类模块基于确定的分析目标，对所述第一原始数据集进行聚类分析后，输出第一聚类分析图以及所述第一聚类分析图对应的第一聚类分析数据集；
13.通过所述数据交换模块获取至少一个其他云计算一体机对于同一时段的所述用电信息采集系统获取的第二原始数据集进行聚类分析后输出的第二聚类分析数据集；
14.所述分析结果输出模块将所述第一聚类分析数据集和所述第二聚类分析数据集进行融合计算，在所述云计算一体机的人机交互界面上展示所述融合计算得出的融合聚类结果；所述融合聚类结果包括所述第一聚类分析图和所述第二聚类分析数据集对应的第二聚类分析图，并将所述第一聚类分析图和所述第二聚类分析图的差异部分高亮显示；所述第二云计算一体机每生成一次聚类分析图，就通过所述第二数据传输通道向所述安全中间件发送所述聚类分析图，并同时接收所述安全中间件反馈的聚类分析数据集。
15.在本案中，所述用电信息采集系统获取的原始数据以文本文件方式存储于本地文件系统的第一最大计算表中。
16.在本案中，所述聚类图生成模块将其生成的聚类分析图对应的聚类分析数据集存储于第二最大计算表中。
17.在本案中，所述聚类图生成模块包括多维关联分析算法模型；所述数据集成模块使用开源hadoop框架。
附图说明
18.图1是本发明一个实施例的一种电力大数据云计算一体机的主结构架构图
19.图2是图1所述云计算一体机的内部数据分析聚类模块示意图
20.图3是图2所述数据分析聚类模块的内部连接示意图
21.图4是本发明技术方案中电力专网中的不同云计算一体机的数据交换图
具体实施方式
22.参见图1，是本发明一个实施例的一种能化的电力大数据云计算一体机的主结构架构图。
23.在图1中，所述云计算一体机包括数据输入模块、数据分析聚类模块、数据交换模块以及分析结果输出模块。
24.所述数据输入模块于接收用电信息采集系统获取的第一原始数据集。
25.需要指出的是，此处的“第一数据集”，以及后续实施例部分出现的“第一聚类分析数据集”、“第二数据集”、“第二聚类分析数据集”、“第一云计算一体机”、“第二云计算一体机”等中的“第一”、“第二”的表述，仅仅是为了区分在不同步骤中，不同执行主体的操作功能，并不代表“第一”、“第二”对应的数据主体存在差异，多个“第一”限定的主体存在关联性，例如第一云计算机一体机的数据输入模块后续可能称之为第一数据输入模块，第一云计算机一体机的数据交换模块后续可能称之为第一数据交换模块，第一云计算机一体机的输出结果可称之为第一聚类分析图以及第一聚类分析数据集，诸如此类，不再赘述，本领域技术人员基于申请文件的上下文的整体连接可以准确理解其含义。
26.所述数据分析聚类模块基于确定的分析目标，对所述第一原始数据集进行聚类分析后，输出第一聚类分析图以及所述第一聚类分析图对应的第一聚类分析数据集。
27.在图1中，存在多个所述云计算一体机通过电力专网中的至少一个安全中间件分布式连接，后文可能称之为“第一云计算一体机”和“第二云计算一体机”，但是，“第一云计算一体机”和“第二云计算一体机”仅仅代表所述电力专网中的任意两个不同的云计算一体机。
28.第一云计算机一体机通过第一数据交换模块获取至少一个其他云计算一体机对于同一时段的所述用电信息采集系统获取的第二原始数据集进行聚类分析后输出的第二聚类分析数据集；
29.第一云计算机一体机通过第一分析结果输出模块将所述第一聚类分析数据集和所述第二聚类分析数据集进行融合计算，在所述云计算一体机的人机交互界面上展示所述融合计算得出的融合聚类结果。
30.更具体的，所述融合聚类结果包括所述第一聚类分析图和所述第二聚类分析数据集对应的第二聚类分析图，并将所述第一聚类分析图和所述第二聚类分析图的差异部分高亮显示。
31.聚类结果的融合实现，在本领域已有多种融合算法，本发明对此不做展开。
32.聚类分析图是对聚类分析数据集的可视化展现，可视化方法在本领域也有多种成熟算法，本发明对此不做展开。
33.在图1基础上，参见图2
‑
图3。图2是图1所述云计算一体机的内部数据分析聚类模块示意图，图3是其进一步的内部连接结构图。
34.图2中，概括来讲，所述数据分析聚类模块包括数据集成模块、数据特征化模块以及聚类图生成模块；所述用电信息采集系统获取的原始数据以文本文件方式存储于本地文
件系统，并上传至所述数据集成模块；所述数据特征化模块用于抽取所述原始数据中的数据特征，并发送至所述聚类图生成模块。
35.在图2中，所述用电信息采集系统获取的原始数据以文本文件方式存储于本地文件系统的第一最大计算表中，所述聚类图生成模块将其生成的聚类分析图对应的聚类分析数据集存储于第二最大计算表中。
36.在本发明的各个实施例中，最大计算表意为maxcompute表。maxcompute表结构是maxcompute图框架中使用的数据结构之一。
37.maxcompute图，即maxcompute graph，是一套面向迭代的图计算处理框架，使用图进行数据建模。通过迭代对图进行编辑，演化求解出最终结果。
38.相较于mapreduce模型更适合含有大量迭代计算的场景，比如复杂统计分析，数据挖据等。本实施例结合maxcompute表存储和数据集成工具，高效智能化的实现海量历史数据的存储和批量并行数据分析。
39.进一步的，可参见图3。
40.用电数据聚类分析的过程主要包括：确定分析目标、数据收集、特征工程、聚类分析、分析结果展示等环节。
41.数据收集环节主要从用电信息采集系统导出数据，并使用阿里云数据集成工具进行数据同步将数据导入maxcompute表存储；
42.特征工程环节主要完成缺失值填充、数据转换、归一化、特征抽取等数据处理工作。
43.特征工程之后便获得了可以用于聚类分析的有效特征，并基于graph框架实现高效的聚类分析，分析结果可以使用统计图表或者可视化的形式进行展示。
44.接下来显示本发明的另一个方面的创新之处，参见图4，图4是本发明技术方案中电力专网中的不同云计算一体机的数据交换图。
45.在图4中，所述安全中间件包括第一数据传输通道和第二数据传输通道；
46.在一个实施例中，第一云计算一体机的第一数据交换模块通过第一数据传输通道执行向所述安全中间件发送第一聚类分析数据集的第一操作；所述安全中间件通过所述第一数据传输通道执行向所述第一云计算一体机反馈第二聚类分析数据集的第二操作；
47.所述第二聚类分析数据集来自于第二云计算一体机，所述第二云计算一体机为所述电力专网中不同于所述第一云计算一体机。
48.在另一个实施例中，所述第二云计算一体机通过所述第二数据传输通道与所述安全中间件交换聚类分析图。
49.在上述两个相同或者不同的实例中，所述第一操作和所述第二操作不同时进行；所述第二云计算一体机每生成一次聚类分析图，就通过所述第二数据传输通道向所述安全中间件发送所述聚类分析图，并同时接收所述安全中间件反馈的聚类分析数据集。
50.在上述实施例中，在所述电力专网中的每一个所述云计算一体机，都是作为所述电力专网的一个分布式节点。
51.为了保证数据交换的实时性，所述电力专网需要实时、被动的向相关云计算一体机发送至聚类分析数据集。
52.实时、被动的含义在于，只要是所述电力专网想给所述电力专网中的某个所述云
计算一体机发送数据，该云计算一体机均不能拒绝。
53.在现有技术中，未能考虑其安全性。
54.基于本发明的改进，在作为分布式节点的云计算一体机和电力专网之间设置安全中间件。
55.因此，从所述电力专网产生的数据，只要是想发给所述云计算一体机，该云计算一体机均不能拒绝，但是，此时是由所述安全中间件执行第一操作从所述电力专网获取从所述电力专网产生的数据。
56.并且，所述第一操作和所述第二操作不同时执行。
57.此种设置，使得云计算一体机在面向电力专网的这一端，能够满足实时被动接收数据，但是不同时发送反馈数据，确保数据分流。
58.在图4中，所述第一操作和所述第二操作在所述第一数据传输通道中表示为单向的实线箭头和虚线箭头，表明二者不会同时发生。
59.与此相对应的，在图4的下部分，所述第二数据传输通道为并行异步式双向数据传输通道；在所述安全中间件通过所述第二数据传输通道发送数据的同时，所述安全中间件可通过所述第二数据传输通道获取数据。
60.更具体的，在上述实施例中，所述聚类图生成模块包括多维关联分析算法模型；基于多维关联分析算法模型，实现分布式的简单高效的海量电力数据服务平台，提供一站式的多维关联分析、固定报表、自助建模、任务调度等数据服务，且对众多模块都实现了封装，使普通业务人员也可自助、快速、髙效地进行数据分析。
61.所述数据集成模块使用开源hadoop框架为底层基础，实现对海量数据和cube数据的存储功能。
62.上述二者结合，以开源的逐层算法和逐段算法为核心并添加了自动选择机制将其实现，极大地提升了多维关联分析算法的运算效率，实现了对超大数据集的秒级响应。兙俥
63.综上所述，本发明的技术方案保障了处于电力专网中的云计算主机在接收数据时的系统安全性，同时，可有效提升用电数据的聚类、交换和云计算处理效率。
64.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。