一种对供电网大数据进行加速分析的系统及方法与流程

1.本发明涉及大数据加速分析技术领域，具体为一种对供电网大数据进行加速分析的方法及系统。


背景技术：

2.随着大数据时代的到来，数据掌握的多寡和应用水平的高低已成为企业核心竞争力的一个重要标志，国内信息化水平较为先进的电网公司积累了大量的信息系统业务数据，同时围绕这些数据开展了大量的数据分析与挖掘工作研究，积累了丰富的数据分析结果数据；但是随着业务不断发展，对数据的挖掘和利用也提出了更高的要求。同时，为适应战略发展要求，推动数字化转型和数字南网建设，信息化项目建设应符合高质量发展，创新发展和改革发展要求，符合供电网公司的数字化转型和建设要求。
3.但是在现有的供电网大数据的分析方法中，由于其对供电网大数据进行加速分析的方法及系统大多基于数据建模分析，导致分析结果存在较大的偏差，无法为企划人员开发提供决策依据。


技术实现要素：

4.本发明所要解决的技术问题在于，提供了一种对供电网大数据进行加速分析的方法及系统，可以实现对供电网大数据进行加速分析，且分析速度快，准确性高。
5.作为本发明的一方面，提供一种对供电网大数据进行加速分析的系统，其包括调度管理模块，数据同步模块以及引擎模块，其中：
6.所述调度管理模块，用于获取供电网大数据，通过调度管理模块对供电网大数据进行统一综合分析调度管理；
7.所述数据同步模块，用于实时完成与数据关系数据库、nosql数据库、文件型数据、消息总线消息之间的数据同步；
8.所述引擎模块，用于从各数据库订阅数据，并通过加速分析资源管理单元，加速分析控制台单元，加速渲染引擎单元以及加速分析计算引擎单元对所述数据进行加速分析处理。
9.优选地，所述调度管理模块包括任务路由单元，故障转移单元，任务依赖单元，流程可视化配置单元，任务可视化配置单元，脚本任务在线编辑单元，日志在线查看单元以及任务监控告警单元，其中：
10.所述任务路由单元用于执行器集群部署时提供丰富的路由策略，包括：第一个、最后一个、轮询、随机、一致性hash、最不经常使用、最近最久未使用、故障转移以及忙碌转移；
11.所述故障转移单元用于任务路由单元的策略选择为"故障转移"时，当执行器集群中某一台机器故障，自动故障切换到一台正常的执行器并发送调度请求；
12.所述任务依赖单元用于支持任务之间的配置依赖；
13.所述流程可视化配置单元用于支持任务节点流程化的图形化配置，通过拖拽完成
各类任务节点的可视化配置；
14.所述任务可视化配置单元用于支持可视化配置任务与调度规则，任务至少包括数据同步类、数据计算类、自定义扩展类；
15.所述脚本任务在线编辑单元用于支持以glue模式开发和运行脚本任务，包括shell、python、nodejs、powershell类型脚本；
16.所述日志在线查看单元用于支持在线查看调度结果，并且支持以rolling方式实时查看执行器输出的完整的执行日志；
17.所述任务监控告警单元用于支持实时查看运行数据、调度报表以告警信息，所述运行数据包括：任务数量、调度次数、执行器数量；所述调度报表包括：调度日期分布图，调度成功分布图；对于失败任务支持邮件或短信告警。
18.优选地，所述数据同步模块包括第一双向同步单元，第二双向同步单元，第三双向同步单元，第四同步单元，其中：
19.所述第一双向同步单元，用于支持与关系数据库之间的双向同步，所述关系数据库包括mysql、oracle、sqlserver、postgresql数据库；
20.所述第二双向同步单元，用于支持与nosql数据库之间的双向同步，所述nosql数据库包括hbase、mongodb、hive；
21.所述第三双向同步单元，用于支持与数据文件之间的双向同步，所述数据文件包括txtfile、hdfs格式数据文件；
22.所述第四同步单元，用于支持与数据总线数据消息之间的同步，以从数据总线订阅数据。
23.优选地，所述引擎模块包括加速分析资源管理单元，加速分析控制台单元，加速渲染引擎单元，加速分析计算引擎单元，其中：
24.所述加速分析资源管理单元包括加速分析资源库管理和用户管理，用于支持新增删除用户，设置用户密码，并在用户权限下创建多个加速分析库，实现加速分析数据的资源隔离；
25.所述加速分析控制台单元用于支持用加速分析用户密码登录到控制台，控制台支持输入加速分析sql语句，创建修改表、新增修改删除表数据、查询表数据、查看表结构，控制台能输出各种语句的执行结果，对于数据查询结果能直接以数据表格方式展示，控制台能根据用户输入字符内容智能提示sql关键字补全、支持点击表名或字段快速输入；
26.所述加速渲染引擎单元用于加速渲染引擎提供的服务器端渲染能力，渲染引擎支持将坐标位置数据与度量数据导入或直接使用分析引擎的结果数据，基于gpu直接成热点图，无需与gpu再次交换数据，支持将热点图作为图层提供给webgis图层，渲染引擎支持圆形、多边形区域的渲染；
27.所述加速分析计算引擎单元用于提供基于gpu的加速分析计算能力，实现离线计算和内存计算结果导入，并实现ssd磁盘、cpu和gpu三级数据缓存，支持以标准sql接口方式实现海量数据的实时分析。
28.相应地，本发明的另一方面，还提供一种对供电网大数据进行加速分析的方法，其在前述的系统中实现，所述方法包括如下步骤：
29.获取供电网大数据，通过调度管理模块对大数据进行统一综合分析调度管理；
30.通过数据同步模块实时完成对数据关系数据库、nosql数据库、文件型数据、消息总线消息分别与加速平台的数据同步；
31.从各数据库订阅数据，并通过加速分析资源管理单元，加速分析控制台单元，加速渲染引擎单元，加速分析计算引擎单元对所述数据进行加速分析处理。
32.实施本发明，具有如下的有益效果：
33.本发明提供了一种对供电网大数据进行加速分析的方法及系统，通过基于大数据的综合分析，通过调度管理模块对数据进行统一综合分析调度管理，通过数据同步模块完成对数据关系数据库、nosql数据库、文件型数据、消息总线消息之间的数据同步；同时从数据库订阅数据，通过引擎模块提供加速分析引擎、加速分析控制台、提供加速分析渲染能力、加速分析计算引擎能力，从而可以从多个维度为企划人员数据开发提供有力的决策依据。可以提高供电网大数据分析的速度以及准确性。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
35.图1为本发明提供的一种对供电网大数据进行加速分析的系统的一个实施例的结构示意图；
36.图2为图1中调度管理模块的结构示意图；
37.图3为图1中数据同步模块的结构示意图；
38.图4为图1中引擎模块的结构示意图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.如图1所示，示出了本发明提供的一种对供电网大数据进行加速分析的系统的一个实施例的结构示意图。一并参考图2至图4所示，在本实施例中，所述系统1至少包括：调度管理模块10，数据同步模块11以及引擎模块12，其中：
41.所述调度管理模块10，用于获取供电网大数据，通过调度管理模块对供电网大数据进行统一综合分析调度管理；
42.所述数据同步模块11，用于实时完成与数据关系数据库、nosql数据库、文件型数据、消息总线消息之间的数据同步；
43.所述引擎模块12，用于从各数据库订阅数据，并通过加速分析资源管理单元，加速分析控制台单元，加速渲染引擎单元以及加速分析计算引擎单元对所述数据进行加速分析处理。
44.更具体地，如图2所示，在一个实施例中，所述调度管理模块10包括任务路由单元
100，故障转移单元101，任务依赖单元102，流程可视化配置单元103，任务可视化配置单元104，脚本任务在线编辑单元105，日志在线查看单元106以及任务监控告警单元107，其中：
45.所述任务路由单元100用于执行器集群部署时提供多个路由策略进行选择，所述路策略包括：第一个、最后一个、轮询、随机、一致性hash、最不经常使用、最近最久未使用、故障转移以及忙碌转移；
46.所述故障转移单元101用于任务路由单元的策略选择为"故障转移"时，当执行器集群中某一台机器故障，自动故障切换(failover)到一台正常的执行器并发送调度请求；
47.所述任务依赖单元102用于支持任务之间的配置依赖，在一个具体的例子中，该功能类似dag有向无环图任务调度；
48.所述流程可视化配置单元103用于支持任务节点流程化的图形化配置，通过拖拽完成各类任务节点的可视化配置；
49.所述任务可视化配置单元104用于支持可视化配置任务与调度规则，任务至少包括数据同步类、数据计算类、自定义扩展类等；
50.所述脚本任务在线编辑单元105用于支持以glue模式开发和运行脚本任务，包括shell、python、nodejs、powershell等类型脚本；
51.所述日志在线查看单元106用于支持在线查看调度结果，并且支持以rolling方式实时查看执行器输出的完整的执行日志；
52.所述任务监控告警单元107用于支持实时查看运行数据、调度报表以告警信息，所述运行数据包括：任务数量、调度次数、执行器数量；所述调度报表包括：调度日期分布图，调度成功分布图；对于失败任务支持邮件或短信告警。
53.更具体地，如图3所示，在一个实施例中，所述数据同步模块11包括第一双向同步单元110，第二双向同步单元111，第三双向同步单元112以及第四同步单元113，其中：
54.所述第一双向同步单元110，用于支持与关系数据库之间的双向同步，所述关系数据库包括mysql、oracle、sqlserver、postgresql数据库等；
55.所述第二双向同步单元111，用于支持与nosql数据库之间的双向同步，所述nosql数据库包括hbase、mongodb、hive等；
56.所述第三双向同步单元112，用于支持与数据文件之间的双向同步，所述数据文件包括txtfile、hdfs等格式数据文件；
57.所述第四同步单元113，用于支持与数据总线数据消息之间的同步，以从数据总线订阅数据。
58.更具体地，如图4所示，在一个实施例中，所述引擎模块12包括加速分析资源管理单元120，加速分析控制台单元121，加速渲染引擎单元122以及加速分析计算引擎单元，其中：
59.所述加速分析资源管理单元120包括加速分析资源库管理和用户管理，用于支持新增删除用户，设置用户密码，并在用户权限下创建多个加速分析库，实现加速分析数据的资源隔离；
60.所述加速分析控制台单元121用于支持用加速分析用户密码登录到控制台，控制台支持输入加速分析sql语句，创建修改表、新增修改删除表数据、查询表数据、查看表结构，控制台能输出各种语句的执行结果，对于数据查询结果能直接以数据表格方式展示，控
制台能根据用户输入字符内容智能提示sql关键字补全、支持点击表名或字段快速输入；
61.所述加速渲染引擎单元122用于加速渲染引擎提供的服务器端渲染能力，渲染引擎支持将坐标位置数据与度量数据导入或直接使用分析引擎的结果数据，基于gpu直接成热点图，无需与gpu再次交换数据，支持将热点图作为图层提供给webgis图层，渲染引擎支持圆形、多边形区域的渲染；
62.所述加速分析计算引擎单元123用于提供基于gpu的加速分析计算能力，实现离线计算和内存计算结果导入，并实现ssd磁盘、cpu和gpu三级数据缓存，支持以标准sql接口方式实现海量数据的实时分析。
63.本发明还公开了一种对供电网大数据进行加速分析的方法，所述方法在如图1至4所描述的对供电网大数据进行加速分析的系统1中实现，所述方法包括如下步骤：
64.获取供电网大数据，通过调度管理模块对所述大数据进行统一综合分析调度管理；
65.通过数据同步模块实时完成对数据关系数据库、nosql数据库、文件型数据、消息总线消息之间的数据同步；
66.从各数据库订阅数据，并通过加速分析资源管理单元，加速分析控制台单元，加速渲染引擎单元，加速分析计算引擎单元对所述数据进行加速分析处理。
67.更多的细节，可以参考前述对图1至图4的描述，在此不进行赘述。
68.实施本发明，具有如下的有益效果：
69.本发明提供了一种对供电网大数据进行加速分析的方法及系统，通过基于大数据的综合分析，通过调度管理模块对数据进行统一综合分析调度管理，通过数据同步模块完成对数据关系数据库、nosql数据库、文件型数据、消息总线消息之间的数据同步；同时从数据库订阅数据，通过引擎模块提供加速分析引擎、加速分析控制台、提供加速分析渲染能力、加速分析计算引擎能力，从而可以从多个维度为企划人员数据开发提供有力的决策依据。可以提高供电网大数据分析的速度以及准确性。
70.以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。