测点数据统计方法、装置、设备及存储介质与流程

1.本公开涉及大数据技术领域，尤其涉及一种测点数据统计方法、装置、设备及存储介质。


背景技术：

2.随大数据技术的发展与普及，大数据处理技术的重要性更加明显，以物联网领域中的大数据处理为例，如何实现大数据资源的采集、发布、处理、统计等一系列操作，是目前大数据处理领域中的重点研究方向之一。对于物联网来说，如何对物联网中的测点数据进行采集，并对采集的测点数据进行精准统计，这对于分析测点数据信息，驱动业务发展，提升测点的管理和维护均具有重要意义。
3.现有技术中，传统的测点数据统计方法中虽然也会对物联网中测点的数据信息进行采集，并生成一定数量的报表。但是通过传统方案所生成的测点数据报表，仅能够得到每一个测点在某一个业务时间所对应的具体测点值，而无法获得测点的明细数据，如测点对应的初始状态的数据等。并且由于得到的测点数据报表的内容也不够详细，缺乏对测点具体明细数据的描述，因此无法对测点数据进行有针对性的统计和分析，也无法基于测点数据的分析实现测点的精准管理和维护。
4.鉴于上述现有技术中的问题，需要提供一种能够自动化统计测点数据，提升测点数据统计结果的准确性和完整性，并基于统计结果实现测点的精准管理和维护的测点数据统计方法。


技术实现要素：

5.有鉴于此，本公开实施例提供了一种测点数据统计方法、装置、设备及存储介质，以解决现有技术存在的测点数据统计结果的准确性及完整性比较差，无法基于统计结果对测点进行精准管理和维护的问题。
6.本公开实施例的第一方面，提供了一种测点数据统计方法，包括：基于预设的时间间隔获取测点的原始数据，并将测点的原始数据发布至分布式消息中间件；从分布式消息中间件中采集原始数据，并将采集到的原始数据同步至数据仓库工具中；利用数据仓库工具对原始数据进行数据分区，得到原始数据对应的数据库表，并对数据库表执行数据加工操作，得到测点的明细数据表；利用预设的数据集对明细数据表执行查询操作，得到符合预设要求的目标数据，基于目标数据以及预先创建的报表配置生成统计报表，以便基于统计报表对测点的数据进行统计。
7.本公开实施例的第二方面，提供了一种测点数据统计装置，包括：获取模块，被配置为基于预设的时间间隔获取测点的原始数据，并将测点的原始数据发布至分布式消息中间件；同步模块，被配置为从分布式消息中间件中采集原始数据，并将采集到的原始数据同步至数据仓库工具中；加工模块，被配置为利用数据仓库工具对原始数据进行数据分区，得到原始数据对应的数据库表，并对数据库表执行数据加工操作，得到测点的明细数据表；生
成模块，被配置为利用预设的数据集对明细数据表执行查询操作，得到符合预设要求的目标数据，基于目标数据以及预先创建的报表配置生成统计报表，以便基于统计报表对测点的数据进行统计。
8.本公开实施例采用的上述至少一个技术方案能够达到以下有益效果：
9.通过基于预设的时间间隔获取测点的原始数据，并将测点的原始数据发布至分布式消息中间件；从分布式消息中间件中采集原始数据，并将采集到的原始数据同步至数据仓库工具中；利用数据仓库工具对原始数据进行数据分区，得到原始数据对应的数据库表，并对数据库表执行数据加工操作，得到测点的明细数据表；利用预设的数据集对明细数据表执行查询操作，得到符合预设要求的目标数据，基于目标数据以及预先创建的报表配置生成统计报表，以便基于统计报表对测点的数据进行统计。本公开能够实现快速自动化的统计测点数据，提升测点数据统计结果的准确性和完整性，能够基于统计结果实现测点的精准管理和维护。
附图说明
10.为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
11.图1是本公开实施例提供的测点数据统计方法的流程示意图；
12.图2是本公开实施例提供的基于hive数据仓库工具对测点原始数据进行etl数据加工的流程示意图；
13.图3是本公开实施例提供的基于报表平台对统计报表进行开发的流程示意图；
14.图4是本公开实施例提供的测点数据统计装置的结构示意图；
15.图5是本公开实施例提供的电子设备的结构示意图。
具体实施方式
16.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
17.如前文所述，随大数据技术的发展与普及，大数据处理技术的重要性更加明显，以物联网领域中的大数据处理为例，如何实现大数据资源的采集、发布、处理、统计等一系列操作，是目前大数据处理领域中的重点研究方向之一。对于物联网来说，如何对物联网中的测点数据进行采集，并对采集的测点数据进行精准统计，这对于分析测点数据信息，驱动业务发展，提升测点的管理和维护均具有重要意义。
18.下面以物联网领域为例，对现有的物联网领域中的测点数据的统计及处理过程中存在的问题进行详细说明，具体可以包括以下内容：
19.物联网是新一代信息技术的重要组成部分，在it行业又叫泛互联，意指物物相连，万物万联，因此物联网可以认为是物物相连的互联网。进入物联网和大数据时代后，人们对
能源数据更加关注。企业的物联部门，每隔一段时间会自动采集全部测点的原始数据，对于采集到的测点原始数据需要加以处理并生成能够被直观观察的表数据。虽然现有的测点数据统计方法虽然也会对物联网中测点的数据信息进行采集，并生成一定数量的报表。但是通过传统方案所生成的测点数据报表，仅能够得到每一个测点在某一个业务时间所对应的具体测点值，而无法获得测点的明细数据，例如，传统的测点数据统计方法只能根据数据仓库中的表得到每一个测点在某一个业务时间(如2021-09-16 23:35:00.000)的具体测点值，而无法得到测点的起始值和结束值，即无法得到每一个测点每天(或每月)对应的第一个测点值的明细数据。并且由于得到的测点数据报表的内容也不够详细，缺乏对测点具体明细数据的描述，因此无法对测点数据进行有针对性的统计和分析，也无法基于测点数据的分析实现测点的精准管理和维护。
20.另外，传统的测点数据统计方法中，也无法根据企业编码、设备编码以及测点编码得到企业的配电房名称、柜号名称、楼号名称、企业名称、企业的初始读数(包括有用功总、尖、峰、谷)、上月分时电表抄表数(包括有用功总、尖、峰、谷)、本月分时电表抄表数(包括有用功总、尖、峰、谷)、本月分时电表实际用电数(包括有用功总、尖、峰、谷)、本月最大需量等信息，导致企业无法基于采集到的测点数据统计详细、准确的测点数据信息。
21.鉴于对上述现有技术问题的考虑，本公开实施例通过获取测点的原始数据，并将其发布至分布式消息中间件，采用分布式消息队列对原始数据进行存储和传输，之后利用数据采集系统从分布式消息中间件中采集各个测点对应的原始数据，并将其同步至数据仓库工具中，以利用数据仓库工具对测点的原始数据进行加工处理，得到包含测点的明细数据的明细数据表，最后基于明细数据表，利用报表平台对明细数据表进行查询并生成相应的统计报表。本公开实施例所生成的统计报表中包含详细、完整的测点数据，例如测点的起始值和结束值等，有利于对测点数据进行有针对性的统计和分析，基于分析结果可以实现对测点的精准管理和维护，从而提升客户的服务体验，进而创造出价值。
22.图1是本公开实施例提供的测点数据统计方法的流程示意图。图1的测点数据统计方法可以由服务器执行。如图1所示，该测点数据统计方法具体可以包括：
23.s101，基于预设的时间间隔获取测点的原始数据，并将测点的原始数据发布至分布式消息中间件；
24.s102，从分布式消息中间件中采集原始数据，并将采集到的原始数据同步至数据仓库工具中；
25.s103，利用数据仓库工具对原始数据进行数据分区，得到原始数据对应的数据库表，并对数据库表执行数据加工操作，得到测点的明细数据表；
26.s104，利用预设的数据集对明细数据表执行查询操作，得到符合预设要求的目标数据，基于目标数据以及预先创建的报表配置生成统计报表，以便基于统计报表对测点的数据进行统计。
27.具体地，本公开实施例的测点是指物联网中每一个用户对象下面所对应的测点，测点数据是指通过安装在物联网设备终端上的测点监测设备所采集到的数据信息。例如以物联网中的配电场景为例，通过安装在物联网配电设备(比如电表等)上的测点监测设备对测点数据进行采集，比如采集测点的用电量、电表抄表数、设备编码等数据。利用测点监测设备采集到的测点数据可以通过无线数据传输的方式上报给大数据系统，进而利用本公开
实施例提供的技术方案对上报的测点数据进行处理生成统计报表。
28.进一步地，分布式消息中间件可以采用kafka大数据组件，kafka是一个分布式的基于push-subscribe的消息系统，它具备快速、可扩展、可持久化的特点。kafka是apache旗下的一个开源系统，作为hadoop生态系统的一部分，被各种公司广泛应用。它的最大的特性是可以实时的处理大量数据以满足各种需求场景，比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎等。在本公开实施例中，kafka被认为是一个分布式消息中间件，kafka具有存取数据的功能。
29.进一步地，数据采集系统可以采用flume系统，flume是一个分布式、可靠、高可用的海量日志聚合系统，用于有效地收集、聚合以及将大量日志数据从许多不同的源移动到一个集中的数据存储。flume的使用不仅仅局限于日志数据聚合，由于数据源是可定制的，flume也可用于传输其它数据源的数据。flume不仅支持在系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据的简单处理，并写到各种数据接收方的能力。
30.进一步地，分布式文件系统可以采用hdfs文件系统，hdfs是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件集群内的不同机器上。通过将应用程序的后台数据库中的用户访问接口时产生的日志信息存储到hdfs文件系统中，实现日志信息的分布式存储。
31.进一步地，数据仓库(data warehouse,dw)是对原有分散的数据库数据进行抽取、清洗的基础上经过系统加工、汇总和整理得到的。数据仓库建设的目的，是为前端查询和分析作为基础，提供功能分析、决策支持。本公开实施例采用的是hive数据仓库工具，hive数据仓库主要用来处理结构化数据，hive数据仓库一般来说分为4个层级，即ods层、dwd层、dws层和ads层，每个层级用来存储不同类型的表。
32.进一步地，报表平台可以采用泛能报表平台，在以下实施例中也可用泛能报表平台来取代本公开实施例中的报表平台。在泛能报表平台中portal是报表的全部内容，portal包括多个dashboard，在泛能报表平台中，dashboard是报表的仪表板内容，包括多个widget，在泛能报表平台中，widget是报表的图表内容。在本公开实施例中，泛能报表平台中的查询操作，使用的是presto查询引擎，presto用于查询hive数据仓库工具中的数据。
33.根据本公开实施例提供的技术方案，通过基于预设的时间间隔获取测点的原始数据，并将测点的原始数据发布至分布式消息中间件；从分布式消息中间件中采集原始数据，并将采集到的原始数据同步至数据仓库工具中；利用数据仓库工具对原始数据进行数据分区，得到原始数据对应的数据库表，并对数据库表执行数据加工操作，得到测点的明细数据表；利用预设的数据集对明细数据表执行查询操作，得到符合预设要求的目标数据，基于目标数据以及预先创建的报表配置生成统计报表，以便基于统计报表对测点的数据进行统计。本公开能够实现快速自动化的统计测点数据，提升测点数据统计结果的准确性和完整性，能够基于统计结果实现测点的精准管理和维护。
34.在一些实施例中，基于预设的时间间隔获取测点的原始数据，并将测点的原始数据发布至分布式消息中间件，包括：按照预设的时间间隔，获取物联网中每个测点产生的原始数据，并将测点的原始数据发布至分布式消息中间件，其中，分布式消息中间件采用分布式消息队列对原始数据进行存储和传输。
35.具体地，测点监测设备可以实时采集测点数据，并将采集到的测点数据作为原始
数据上报给大数据管理平台，例如上报至kafka分布式消息系统中。本公开实施例中可以按照一定的时间间隔来获取由测点监测设备采集的测点数据，例如可以按照每分钟的时间间隔进行采集，并将采集到的全部测点的原始数据通过无线网发送至分布式消息系统。
36.在一些实施例中，从分布式消息中间件中采集原始数据，并将采集到的原始数据同步至数据仓库工具中，包括：利用数据采集系统从分布式消息中间件中采集各个测点对应的原始数据，并将采集到的测点的原始数据发送至分布式文件系统，以便利用数据调度平台将测点的原始数据从分布式文件系统同步至数据仓库工具中，其中，数据仓库工具采用hive数据仓库工具。
37.具体地，在将测点的原始数据发送到kafka分布式消息系统中去之后，利用flume数据采集系统(也可称为日志采集系统)对kafka分布式消息系统中的测点原始数据进行采集，并将测点的原始数据发到大数据集群的hdfs文件系统的路径(/user/flume/kafka/data_iot_dataclean_unified)。
38.进一步地，hdfs文件系统获取测点的原始数据之后，利用数据调度平台将测点的原始数据从hdfs文件系统同步至hive数据仓库工具。在实际应用中，可以使用etl数据加工方法对原始数据进行同步和加工处理，etl是指将数据从来源端(如业务系统、日志信息、物联数据等)经过抽取、清洗、转换、加载至目的端(通常为数据仓库)的过程。etl相当于一个桥梁，把数据从分布式文件系统转移到数据仓库里面。在实际应用中，不同系统采用的数据库、数据仓库工具或者编程类型可以是不一样的。
39.进一步地，在将测点的原始数据同步至hive数据仓库工具中之后，原始数据首先被存储在hive数据仓库工具的ods层中。hive的ods(operation data store)是指原始数据层，用于存放原始数据，可以直接从分布式文件系统中加载原始测点数据，测点数据保持原貌不做处理。换言之，ods层可以直接获取分布式文件系统中的原始测点数据，并且可以将结构化的原始测点数据的表名进行修改，也可以不做任何处理。
40.在一些实施例中，利用数据仓库工具对原始数据进行数据分区，得到原始数据对应的数据库表，包括：在利用数据调度平台将测点的原始数据从分布式文件系统同步至数据仓库工具中之后，将测点的原始数据存储至数据仓库工具的原始数据层中，并按照预设的时间段对测点的原始数据进行数据分区，以便将结构化的测点的原始数据映射为原始数据层中的数据库表。
41.具体地，本公开实施例在将hdfs文件系统中的测点原始数据同步至hive数据仓库工具中之后，测点原始数据先以表数据的方式暂时存储在hive数据仓库工具的ods层(即原始数据层)中，此时，原始数据对的表为ods层表。在将测点原始数据加载为ods层表之后，以每个小时作为时间段，利用ods层对原始数据进行数据分区，从而得到数据库表，数据库表中存储了全部测点对应的原始数据。
42.在一些实施例中，对数据库表执行数据加工操作，得到测点的明细数据表，包括：利用数据仓库工具对测点的原始数据所对应的数据库表进行数据清洗以及脱敏处理，并对经过数据清洗以及脱敏处理后的数据库表进行汇总，得到测点对应的明细数据表；其中，明细数据表包括第一明细数据表和第二明细数据表，第一明细数据表中包含测点在第一时间周期内的初始明细数据，第二明细数据表中包含测点在第二时间周期内的初始明细数据。
43.具体地，在将测点的原始数据从分布式文件系统同步至hive数据仓库工具中之
后，需要对测点原始数据进行etl数据加工，下面将结合附图以及具体实施例，对hive数据仓库工具中的测点原始数据进行etl数据加工的过程进行详细说明。图2是本公开实施例提供的基于hive数据仓库工具对测点原始数据进行etl数据加工的流程示意图。如图2所示，该基于hive数据仓库工具对测点原始数据进行etl数据加工的具体过程主要包括以下步骤：
44.s201，利用hive数据仓库工具中的dwd(data warehouse detail)层对ods层表进行数据清洗(比如去除空值以及脏数据等)和脱敏处理，得到dwd层表；
45.s202，hive数据仓库工具中的dws层(data warehouse service)对dwd层表进行轻度汇总；
46.s203，将汇总后的表格数据传递至ads(application data store)层中生成ads层表，ads层表是报表平台查询的对象。
47.进一步地，经过对ods层表进行数据清洗和脱敏处理后得到的dwd层表中存储了测点对应的明细数据，将dwd层表进行汇总之后生成ads层表，在本公开实施例中ads层表可以包括以下两种表：第一明细数据表和第二明细数据表，即第一ads层表和第二ads层表。
48.第一ads层表是由hive中的表metric.dwd_detail_data经过etl加工处理得到的，目的是得到每一个测点在每天的时间周期内的初始明细数据(即每天第一个值的明细数据)，初始明细数据中包含但不限于以下信息：企业的系统编码、设备编码、域名、测点名、测点值、数据的业务时间、系统更新时间等。
49.第二ads层表是由hive中表metric.ads_metric_data_day经过etl加工得到，目的是得到每一个测点在每月的时间周期内的初始明细数据(即每月第一个值的明细数据)，同样，初始明细数据中包含但不限于以下信息：包括企业的系统编码、设备编码、域名、测点名、测点值、数据的业务时间、系统更新时间等。
50.在一些实施例中，利用预设的数据集对明细数据表执行查询操作，得到符合预设要求的目标数据，包括：获取报表平台的数据集中的数据查询脚本，利用数据查询脚本以及预先配置的调用规则对数据仓库工具中的第一明细数据表及第二明细数据表执行查询操作，得到符合调用规则要求的目标数据。
51.具体地，由于etl加工后得到的ads层表是存储在hive里面的数据，而报表的开发阶段是在报表平台中完成的，也就是说，hive仅用于存储表格数据，而不负责开发最终报表，因此需要利用报表平台调用hive里面的数据进行报表开发。
52.进一步地，报表平台的数据集中包含用于数据查询的sql脚本(即数据查询脚本)，报表平台通过presto查询引擎对hive数据仓库工具中处理后得到的ads层表中的数据进行查询，得到用于开发统计报表的目标数据，以使报表平台能够基于目标数据进行报表开发。
53.需要说明的是，ads层表中存储与统计报表相关的数据，但是这些数据只是一列一列的数据，并没有展示在最终报表当中，而且最终报表也不一定用到ads层表中所有字段的所有数据；因此，通过使用报表平台在数据集中添加一个sql查询脚本，就可以查询到所需要的报表数据。
54.在一些实施例中，基于目标数据以及预先创建的报表配置生成统计报表，以便基于统计报表对测点的数据进行统计，包括：在报表平台中，基于报表样式对报表配置进行创建，利用报表配置以及目标数据对统计报表进行开发，以便生成与测点相对应的统计报表，
统计报表包括第一报表以及第二报表；其中，第一报表中包含测点对应的基础信息、测点起始值以及测点结束值，第二报表中包含测点对应各项指标的统计数据。
55.具体地，在进行报表开发之前，需要先根据用户需求的报表样式预先创建好报表配置，报表配置可以包含报表的数据格式、排列方式、数据类型以及填写规则等内容。
56.进一步地，在利用presto查询引擎获取目标数据之后，报表平台利用预设的报表配置以及获取到的目标数据执行报表开发操作，从而得到用于对测点数据进行统计的统计报表，下面将结合附图以及具体实施例，对报表平台中进行统计报表开发的过程进行详细说明。图3是本公开实施例提供的基于报表平台对统计报表进行开发的流程示意图。如图3所示，该基于报表平台的统计报表开发过程主要包括以下步骤：
57.s301，利用查询引擎对hive数据仓库工具中的ads层表数据进行查询，得到目标数据；
58.s302，报表平台基于报表配置以及目标数据进行统计报表开发；
59.s303，根据统计报表开发的结果生成符合预设报表样式的格式要求的统计报表；
60.之后，将生成的统计报表发布出去，并根据统计报表对测点数据进行统计和分析。在实际应用中，以能源数据监测领域为例，报表平台最终开发的统计报表可以有两张，即测点数据监测统计报表和测点能耗结算统计报表。下面结合具体实施例，对上述两种统计报表的内容进行详细说明，具体可以包括以下内容：
61.在测点数据监测统计报表中可以包括但不限于以下内容：配电房、柜号、设备名称、测点的起始值(每一个测点的上月第一条数据的测点值即为测点的起始值)、测点结束值(每一个测点的本月第一条数据的测点值即为测点的结束值)。
62.在测点能耗结算统计报表中可以包括但不限于以下内容：配电房、柜号、楼号、企业名称、初始读数(包括有用功总、尖、峰、谷)、上月分时电表抄表数(包括有用功总、尖、峰、谷)、本月分时电表抄表数(包括有用功总、尖、峰、谷)、本月分时电表实际用电数(包括有用功总、尖、峰、谷)、本月最大需量。
63.进一步地，根据上述这两个报表所展示的数据情况，企业就会得到测点的配电房、柜号、起始值、结束值等相关信息，然后可以根据结果进行有针对性的统计分析。
64.基于前述实施例，以能源数据监测场景下的测点统计报表的开发过程举例来说，本公开技术方案的主要目的包括：
65.本公开不仅可以根据数据仓库中表得到每一个测点在某一个业务时间(例如2021-09-16 23:35:00.000)的具体测点值，而且还可以根据报表数据得到每一个测点在每天或者每月的第一个值的明细数据。
66.本公开可以根据测点数据监测统计报表和测点能耗结算统计报表，来进一步获取企业编码、设备编码以及测点编码，并且还能够获取企业的配电房名称、柜号名称、楼号名称、业名称等信息，然后可以对测点数据进行有针对性的统计和分析。
67.本公开可以根据测点数据监测统计报表和测点能耗结算统计报表，进一步得到测点的初始读数(包括有用功总、尖、峰、谷)、上月分时电表抄表数(包括有用功总、尖、峰、谷)、本月分时电表抄表数(包括有用功总、尖、峰、谷)、本月分时电表实际用电数(包括有用功总、尖、峰、谷)、本月最大需量等信息，然后可以对测点数据进行有针对性的统计和分析。
68.根据本公开实施例提供的技术方案，本公开可以根据统计报表数据得到每一个测
点在每天或者每月的第一个值的明细数据。还可以根据测点数据监测统计报表以及测点能耗结算统计报表来获得企业编码、设备编码、测点编码、配电房名称、柜号名称、楼号名称、企业名称等明细信息，并且可以对测点数据进行有针对性的统计和分析。另外，还可以根据测点数据监测统计报表以及测点能耗结算统计报表来获得测点的初始读数、每月分时电表抄表数、每月分时电表实际用电数、每月最大需量等信息。基于这些信息，能够对测点数据进行准确的统计和分析，从而提升测点数据统计结果的准确性和完整性，以便进一步基于统计结果实现测点的精准管理和维护，从而为企业创造价值。
69.下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
70.图4是本公开实施例提供的测点数据统计装置的结构示意图。如图4所示，该测点数据统计装置包括：
71.获取模块401，被配置为基于预设的时间间隔获取测点的原始数据，并将测点的原始数据发布至分布式消息中间件；
72.同步模块402，被配置为从分布式消息中间件中采集原始数据，并将采集到的原始数据同步至数据仓库工具中；
73.加工模块403，被配置为利用数据仓库工具对原始数据进行数据分区，得到原始数据对应的数据库表，并对数据库表执行数据加工操作，得到测点的明细数据表；
74.生成模块404，被配置为利用预设的数据集对明细数据表执行查询操作，得到符合预设要求的目标数据，基于目标数据以及预先创建的报表配置生成统计报表，以便基于统计报表对测点的数据进行统计。
75.在一些实施例中，图4的获取模块401按照预设的时间间隔，获取物联网中每个测点产生的原始数据，并将测点的原始数据发布至分布式消息中间件，其中，分布式消息中间件采用分布式消息队列对原始数据进行存储和传输。
76.在一些实施例中，图4的同步模块402利用数据采集系统从分布式消息中间件中采集各个测点对应的原始数据，并将采集到的测点的原始数据发送至分布式文件系统，以便利用数据调度平台将测点的原始数据从分布式文件系统同步至数据仓库工具中，其中，数据仓库工具采用hive数据仓库工具。
77.在一些实施例中，图4的加工模块403在利用数据调度平台将测点的原始数据从分布式文件系统同步至数据仓库工具中之后，将测点的原始数据存储至数据仓库工具的原始数据层中，并按照预设的时间段对测点的原始数据进行数据分区，以便将结构化的测点的原始数据映射为原始数据层中的数据库表。
78.在一些实施例中，图4的加工模块403利用数据仓库工具对测点的原始数据所对应的数据库表进行数据清洗以及脱敏处理，并对经过数据清洗以及脱敏处理后的数据库表进行汇总，得到测点对应的明细数据表；其中，明细数据表包括第一明细数据表和第二明细数据表，第一明细数据表中包含测点在第一时间周期内的初始明细数据，第二明细数据表中包含测点在第二时间周期内的初始明细数据。
79.在一些实施例中，图4的生成模块404获取报表平台的数据集中的数据查询脚本，利用数据查询脚本以及预先配置的调用规则对数据仓库工具中的第一明细数据表及第二明细数据表执行查询操作，得到符合调用规则要求的目标数据。
80.在一些实施例中，图4的生成模块404在报表平台中，基于报表样式对报表配置进行创建，利用报表配置以及目标数据对统计报表进行开发，以便生成与测点相对应的统计报表，统计报表包括第一报表以及第二报表；其中，第一报表中包含测点对应的基础信息、测点起始值以及测点结束值，第二报表中包含测点对应各项指标的统计数据。
81.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。
82.图5是本公开实施例提供的电子设备5的结构示意图。如图5所示，该实施例的电子设备5包括：处理器501、存储器502以及存储在该存储器502中并且可以在处理器501上运行的计算机程序503。处理器501执行计算机程序503时实现上述各个方法实施例中的步骤。或者，处理器501执行计算机程序503时实现上述各装置实施例中各模块/单元的功能。
83.示例性地，计算机程序503可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器502中，并由处理器501执行，以完成本公开。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序503在电子设备5中的执行过程。
84.电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备5可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备5的示例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
85.处理器501可以是中央处理单元(central processing unit，cpu)，也可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
86.存储器502可以是电子设备5的内部存储单元，例如，电子设备5的硬盘或内存。存储器502也可以是电子设备5的外部存储设备，例如，电子设备5上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器502还可以既包括电子设备5的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备所需的其它程序和数据。存储器502还可以用于暂时地存储已经输出或者将要输出的数据。
87.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单
元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
88.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
89.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每一个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
90.在本公开所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
91.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
92.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
93.集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本公开实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
94.以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围，均应包含在本公开的保护范围之内。