一种基于电网统计报表一键生成的方法与流程

1.本发明属于电网平台报表生成技术领域，具体来说，涉及一种基于电网统计报表一键生成的方法。


背景技术：

2.电网企业的统计数据分散在各个不同业务的“数据源”之中，目前“数据源”可大体分为两类：外部数据和内部数据。其中，外部数据包括政府部门提供的国民经济相关统计数据，如全省及个地市国民经济水平及发展现状、行业产值及其增长速度、报批报审的待建电源和大用户，以及与自然环境、区域发展规划相关的数据；内部数据则分散在电网公司各专业部门，如调控中心、运检部、营销等业务系统，涉及电能量、pms、gis、营销服务等，数据来源多、数据类型结构多样化，需要经过加工处理后才能为电网企业生产运营提供有力的数据支撑。
3.基于上述理念，现有技术为相较于全自动生成报表，半自动生成的方法更为普遍，更能贴合用户的个性化需求。
4.一般来说，一个完整的报表设计流程，大体分为以下3大步骤：1：连接数据：包括打开设计器、配置数据源、新建报表、配置私有数据源。
5.2：报表设计：包括新建报表、定义数据源、绑定数据列、汇总、格式化报表。
6.3：发布和浏览报表：包括预览报表、保存报表、发布报表。
7.报表生成软件，从数据录入到报表呈现的整个制作流程，有很多专业的功能，比传统的excel要省时省力得多。比如连接数据源，不需要像在sql数据库中那样写很多代码。比如环比、同期比等公式，都是内置好的，不需要像excel中那样手动输入公式。
8.因此本发明基于上述理念，在原有基础上设定电网统计报表一键生成，通过配置源表数据的算法计算规则以及调用算法规则，从而实现电网平台初始源数据信息到用户目的表数据信息的一键导出，减少用户统计工作量，提高工作效率和数据质量的同时降低成本，实现自动化统计报表。


技术实现要素：

9.本发明的目的在于提出一种基于电网统计报表一键生成的方法，该方法通过配置源表数据的算法计算规则以及调用算法规则，从而实现电网平台初始源数据信息到用户目的表数据信息的一键导出，解决现有技术中的问题缺陷。
10.本发明的技术解决方案是：一种基于电网统计报表一键生成的方法，包括平台数据支撑模块、平台报表生成模块、综合数据查询模块以及平台数据服务模块，所述平台数据支撑模块获取电网平台源数据信息，并在源数据区域对其进行数据整合后，通过计算引擎进行源数据信息分类处理，得到报表信息；所述平台报表生成模块获取报表信息，且通过数据源报告模板生成报告数据；
所述综合数据查询模块对报告数据汇总合成，并进行分类，执行数据查询分析、数据动态列筛选以及数据导出指令，得到多类型数据；平台数据服务模块对所述多类型数据进行数据清洗、分析后，对电网发电数据、设备数据以及电网投资数据进行分析展示，包括以下步骤：获取至少一组电网统计源表数据，具体实施方式为：通过etl传输工具以及数据接口方式从其他系统获取统计源表；基于电网平台，配置生成表以及源表数据的算法计算规则，具体实施方式为：通过对数据源的每个表单以及单元格进行唯一编号，在计算目标表格中进行唯一编号的引用，配合计算公式以及编号引用计算得出目标表格的数值；对生成的表数据进行数据整合，基于计算引擎，通过配置数据审核规则对表数据进行唯一正确性判断，审核完成后得到报表信息；基于电网平台，通过平台报表生成模块配置调用算法规则，得到电网平台所需目的表；对目的表数据进行汇总合成且分类，得到多类型数据，用于进行数据查询；基于电网平台，对多类型数据进行数据清洗、分析后，进行数据可视化分析展示；执行目的表数据下载指令。
11.基于步骤（3），配置数据审核规则的具体实施内容包括：源表是否存在；源表表单是否存在；源表表单单元格的数据是否存在以及是否为有效数据，进而判断是否满足规则，若报表数据与整合前的表数据存在数据不一致时：则直接舍弃停止计算。
12.基于步骤（4），电网平台配置调用算法规则的具体方式为：配置目的表的模板，其中，所述目的表模板中每个单元格均包括源表的名称、源表表单的名称、源表表单中单元格的唯一编号以及各个唯一编号的计算公式，在生成目的表时会扫描目的表单元中每个单元格的唯一编号以及计算公式，引用到源表的值加入计算得到目的单元格的数值。
13.所述平台数据支撑模块包括数据接入单元、数据整合单元以及处理单元，其中，所述数据接入单元连接数据整合单元，以用于获取源报表文件、源营销业务数据以及源其他业务数据；所述数据整合单元连接处理单元，以用于建立源数据区，并对数据接入单元获取的源数据进行数据整合；处理单元包括数据源分类子单元、数据计算模型子单元、数据任务执行子单元以及数据服务子单元，所述数据源分类子单元对已整合数据进行数据分类汇总；所述数据计算模型子单元建立数据计算组件及基础计算数据模板库，以提供硬件支撑；所述数据任务执行子单元用于执行源数据传输；数据服务子单元用于建立数据接口服务、自助式数据分析以进行数据的业务应用。
14.所述平台报表生成模块包括报告生成单元以报表管理单元，其中：所述报告生成单元连接处理单元，用于生成报告数据，其中，所述报告数据包括电网平台规划月报数据、同期售电量月报数据、工作日报数据以及指标检测报送数据；
所述报表管理单元连接处理单元，用于进行智能报表管理指令输出，其中，所述智能报表管理输出指令包括报表计算指令、报表合并指令以及报表计算配置指令。
15.所述综合数据查询模块包括数据查询单元、动态列筛选单元以及数据导出单元，其中：所述数据查询单元连接处理单元，用于建立多类型数据查询信息，其中，多类型数据查询信息包括地方发电数据、调度数据、供售损数据、统调发电数据、负荷特征数据、用电数据；所述动态列筛选单元及数据导出单元分别连接处理单元；动态列筛选单元在具体实施时，通过对表单中每个单元进行动态扫描，判断出每个单元格是否需要进行计算还是保持原来内容。
16.所述平台数据服务模块包括分别与处理单元连接的投屏显示单元以及显示模板生成单元，其中：所述投屏显示单元用于进行多类型数据的可视化分析展示，其中，可视化分析展示信息包括发电信息、设备运行信息、用电信息、全社会用电信息、售电信息、投屏信息、计划信息以及工业用电量信息；所述显示模板生成单元包括发电量检测显示子单元、设备检测显示子单元以及电网平台计划检测显示单元。
17.平台数据服务模块还包括数据下载模块，数据下载模块连接处理单元，用于提供所述目的表数据下载接口。
18.有益效果：与现有技术相比，本发明具有以下优点：本发明区别于现有人工导入数据的方式，通过获取源报表数据、采用rpa方式实现自动化处理，通过抓包工具实现报表、数据自动获取，减少人员的工作量及人工环节出错的概率；与此同时，利用数据中台，逐渐实现与各个电网子系统的数据对接，将电网各个业务源数据通过接口方式自动获取，进一步减少人员的工作量以及工作过程中造成的失误；通过建立一键生成、智能报告、可视化综合分析的自定义功能，若源表、成果报表部分内容发生变化，仍能完美适配新模板、要求；此外，通过加入自定义算法接口，接入神经网络、回归分析、相关分析等实用算法模型，实现对关键数据指标的实时智能预测，达到深度辅助规划计划决策的目标；通过配置源表数据的算法计算规则以及调用算法规则，从而实现电网平台初始源数据信息到用户目的表数据信息的一键导出，减少用户统计工作量，提高工作效率和数据质量的同时降低成本，实现自动化统计报表；本发明从电网系统的平台总体设计出发，对平台支撑功能、平台报表报告生成、数据综合查询、可视化分析展示四大模块进行优化设计，达到了数据自动获取机制、业务应用场景完善、数据报表一键生成、业务数据可视化展示的效果，促进了企业电网系统的稳定运行和发展。
附图说明
19.图1是本发明一种实施例中提出的一种基于电网统计报表一键生成的方法的流程示意图；图2是本发明一种实施例中提出的一种基于电网统计报表一键生成的方法搭建的系统构架原理示意图。
具体实施方式
20.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施案例对本发明进行深入地详细说明。应当理解，此处所描述的具体实施案例仅仅用以解释本发明，并不用于限定发明。
21.一种基于电网统计报表一键生成的方法的整体系统架构以及流程方法，包括平台数据支撑模块、平台报表生成模块、综合数据查询模块以及平台数据服务模块，平台数据支撑模块获取电网平台源数据信息，并在源数据区域对其进行数据整合后，通过计算引擎进行源数据信息分类处理，得到报表信息；平台报表生成模块获取报表信息，且通过数据源报告模板生成报告数据；综合数据查询模块对报告数据汇总合成，并进行分类，执行数据查询分析、数据动态列筛选以及数据导出指令，得到多类型数据；平台数据服务模块对多类型数据进行数据清洗、分析后，对电网发电数据、设备数据以及电网投资数据进行分析展示，包括以下步骤：获取至少一组电网统计源表数据，具体实施方式为：通过etl传输工具以及数据接口方式从其他系统获取统计源表；基于电网平台，配置生成表以及源表数据的算法计算规则，具体实施方式为：通过对数据源的每个表单以及单元格进行唯一编号，在计算目标表格中进行唯一编号的引用，配合计算公式以及编号引用计算得出目标表格的数值；对生成的表数据进行数据整合，基于计算引擎，通过配置数据审核规则对表数据进行唯一正确性判断，审核完成后得到报表信息；基于电网平台，通过平台报表生成模块配置调用算法规则，得到电网平台所需目的表；对目的表数据进行汇总合成且分类，得到多类型数据，用于进行数据查询；基于电网平台，对多类型数据进行数据清洗、分析后，进行数据可视化分析展示，其中，对多类型数据进行数据清洗的具体方式为：（6
‑
1）不完整数据，（即值缺失）的方法：大多数情况下，缺失的值必须手工填入， 即手工清理，当然，某些缺失值可以从本数据源或其它数据源推导出来，这就可以用平均值、最大值、最小值或更为复杂的概率估计代替缺失的值，从而达到清理的目的；（6
‑
2）错误值的检测及解决方法：用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值，也可以用简单规则库（ 常识性规则、业务特定规则等）检查数据值，或使用不同属性间的约束、外部的数据来检测和清理数据；（6
‑
3）重复记录的检测及消除方法：数据库中属性值相同的记录被认为是重复记录，通过判断记录间的属性值是否相等来检测记录是否相等，相等的记录合并为一条记录（即合并/清除)，合并/清除是消重的基本方法；（6
‑
4）不一致性（ 数据源内部及数据源之间）的检测及解决方法：从多数据源集成的数据可能有语义冲突，可定义完整性约束用于检测不一致性，
也可通过分析数据发现联系，从而使得数据保持一致；执行目的表数据下载指令。
22.基于步骤（3），配置数据审核规则的具体实施内容包括：源表是否存在；源表表单是否存在；源表表单单元格的数据是否存在以及是否为有效数据，进而判断是否满足规则，若报表数据与整合前的表数据存在数据不一致时：则直接舍弃停止计算。
23.基于步骤（4），电网平台配置调用算法规则的具体方式为：配置目的表的模板，其中，目的表模板中每个单元格均包括源表的名称、源表表单的名称、源表表单中单元格的唯一编号以及各个唯一编号的计算公式，在生成目的表时会扫描目的表单元中每个单元格的唯一编号以及计算公式，引用到源表的值加入计算得到目的单元格的数值。
24.平台数据支撑模块包括数据接入单元、数据整合单元以及处理单元，其中，数据接入单元连接数据整合单元，以用于获取源报表文件、源营销业务数据以及源其他业务数据；数据整合单元连接处理单元，以用于建立源数据区，并对数据接入单元获取的源数据进行数据整合；处理单元包括数据源分类子单元、数据计算模型子单元、数据任务执行子单元以及数据服务子单元，数据源分类子单元对已整合数据进行数据分类汇总；数据计算模型子单元建立数据计算组件及基础计算数据模板库，以提供硬件支撑；数据任务执行子单元用于执行源数据传输；数据服务子单元用于建立数据接口服务、自助式数据分析以进行数据的业务应用，通过数据服务的窗口，最终将源数据应用到可直观感受的业务中，源数据的处理，使用户更方便使用收集到的数据，减少不需要的时间浪费，减少对数据分析的时间，通过设定的平台数据支撑模块，设定本发明在对运检、电厂、营销、调度等4个业务类，7个业务系统进行梳理，汇总提炼出36个“源”表，并开发“一键生成”功能模块，自动生成21个报表、6个分析报告，将统计人员从高重复、低附加值的操作中释放出来。
25.平台报表生成模块包括报告生成单元以报表管理单元，其中：报告生成单元连接处理单元，用于生成报告数据，其中，报告数据包括电网平台规划月报数据、同期售电量月报数据、工作日报数据以及指标检测报送数据；报表管理单元连接处理单元，用于进行智能报表管理指令输出，其中，智能报表管理输出指令包括报表计算指令、报表合并指令以及报表计算配置指令，具体实施时，报告生成单元配置平台报表、报告生成功能，并汇总合成数据。
26.综合数据查询模块包括数据查询单元、动态列筛选单元以及数据导出单元，其中：数据查询单元连接处理单元，用于建立多类型数据查询信息，其中，多类型数据查询信息包括地方发电数据、调度数据、供售损数据、统调发电数据、负荷特征数据、用电数据；动态列筛选单元及数据导出单元分别连接处理单元，动态列筛选单元通过对表单中每个单元进行动态扫描，判断出每个单元格是否需要进行计算还是保持原来内容，具体实施时，通过合数据查询模块对已入库数据进行查询分析，并提供动态列筛选条件以及数据导出等功能，本发明使用多元采集、数据治理、数据挖掘等技术手段，对各报表业务相关
的数据进行清洗、汇总、挖掘处理进而构建电网运行、规划、投资等x类数据模型，提供图表综合查询分析功能，支撑规划计划决策。
27.平台数据服务模块包括分别与处理单元连接的投屏显示单元以及显示模板生成单元，其中：投屏显示单元用于进行多类型数据的可视化分析展示，其中，可视化分析展示信息包括发电信息、设备运行信息、用电信息、全社会用电信息、售电信息、投屏信息、计划信息以及工业用电量信息；显示模板生成单元包括发电量检测显示子单元、设备检测显示子单元以及电网平台计划检测显示单元，基于对本发明上述技术构思，显示模板生成单元可建立发电信息、设备运行信息、用电信息、全社会用电信息、售电信息、投屏信息、计划信息以及工业用电量信息等独立显示模板子单元，以便于用户自行添加或独立显示电网平台处理数据，通过数据可视化分析手段来辅助电网公司洞察出数据价值，实现用户与数据的交互，方便用户控制数据，将大规模、高纬度的数据以可视化形式进行多维度全景展示。
28.平台数据服务模块还包括数据下载模块，数据下载模块连接处理单元，用于提供目的表数据下载接口，其中，下载接口可以为外接接口或电网平台内置接口，平台数据服务模块与外部终端组建无线通信或数据有线通信。
29.作为对本发明的另一实施方式，为优化智能电网的多源数据处理方法，在设计总结结构的时候，根据用户实际需求，主要从三个层次进行，分别是应用层、能力层、支持层三个方面进行优化数据处理系统，其中：应用层包括报表、报告自动生成模块、大屏综合展示模块、数据综合查询模块，用于对电网平台的系统数据处理提供优化的方向；能力层包括数据融合与分类存储模块、数据挖掘模块、智能统计模块、模板管理模块，用于作为主要基础技术；支持层包括两个权限模块，即，统一权限服务sso模块、以及安全管理模块；支持层还包括：视图层，视图层包括文件导入存储单元以及智能报表模型编排模块单元；控制层，用于进行业务分发；业务逻辑层，业务逻辑层包括多协议解析单元、元数据建模单元、以及多维度数据分析模块单元；数据服务层，数据服务层包括数据库接口单元、数据持久化单元以及数据存储单元等四个数据源。
30.在本发明的一实施例中，本发明具备以下有益效果：本发明区别于现有人工导入数据的方式，通过获取源报表数据、采用rpa方式实现自动化处理，通过抓包工具实现报表、数据自动获取，减少人员的工作量及人工环节出错的概率；与此同时，利用数据中台，逐渐实现与各个电网子系统的数据对接，将电网各个业务源数据通过接口方式自动获取，进一步减少人员的工作量以及工作过程中造成的失误；通过建立一键生成、智能报告、可视化综合分析的自定义功能，若源表、成果报表部分内容发生变化，仍能完美适配新模板、要求；此外，通过加入自定义算法接口，接入神经网络、回归分析、相关分析等实用算法模型，实现对关键数据指标的实时智能预测，达到深度辅助规划计划决策的目标；通过配置源表数据的算法计算规则以及调用算法规则，从而实现电网平台初始源
数据信息到用户目的表数据信息的一键导出，减少用户统计工作量，提高工作效率和数据质量的同时降低成本，实现自动化统计报表；本发明从电网系统的平台总体设计出发，对平台支撑功能、平台报表报告生成、数据综合查询、可视化分析展示四大模块进行优化设计，达到了数据自动获取机制、业务应用场景完善、数据报表一键生成、业务数据可视化展示的效果，促进了企业电网系统的稳定运行和发展。最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。