一种电网业务数据分析与可视化方法、系统及设备与流程

摘要: 本技术涉及数据处理,尤其涉及一种电网业务数据分析与可视化方法、系统及设备。背景技术:1、在现有电网数据平台中,存在指标分散、跨域标签体系混乱、业务需求难以统一沉...
一种电网业务数据分析与可视化方法、系统及设备与流程

本技术涉及数据处理,尤其涉及一种电网业务数据分析与可视化方法、系统及设备。

背景技术:

1、在现有电网数据平台中,存在指标分散、跨域标签体系混乱、业务需求难以统一沉淀的问题;且当前技术指标与标签采用两套独立流程加工,导致调度任务分离、底层数据被重复读取,查询时延较高;另外,平台还无法根据用户筛选实时更新数据,任务运行状态和查询时延缺乏全局监控,异常排查过程繁琐。

技术实现思路

1、本技术实施例的主要目的在于提出一种电网业务数据分析与可视化方法、系统及设备,能够统一指标与标签的数据标准和加工流程,实现数据实时更新与全局监控。

2、为实现上述目的,本技术实施例的一方面提出了一种电网业务数据分析与可视化方法,所述方法包括以下步骤:

3、接收业务域数据需求和用户调度指令,根据所述业务域数据需求生成基于业务域、指标主题以及标签类目的需求配置元数据;

4、根据所述需求配置元数据,确定电网全业务的指标统计口径和标签生成规则;

5、根据所述指标统计口径和所述标签生成规则,对采集的电网业务数据进行指标计算与标签加工,得到若干业务统计指标和实体特征标签,进而对所述业务统计指标和所述实体特征标签进行数据整合与维度关联,得到指标数据集和标签画像数据集;

6、将所述指标数据集封装为指标数据服务,并将所述标签画像数据集封装为标签数据服务;

7、根据所述用户调度指令,对所述指标数据集和所述标签画像数据集进行数据映射与渲染,生成电网业务可视化数据。

8、在一些实施例中,所述指标统计口径包括指标定制规则、分析维度定制规则、指标值度量口径定义以及维度口径定义,所述根据所述需求配置元数据,确定电网全业务的指标统计口径和标签生成规则,具体包括:

9、根据所述需求配置元数据中的指标主题,确定电网全业务的所述指标定制规则;

10、根据所述需求配置元数据中的业务域和标签类目进行指标维度梳理,得到所述分析维度定制规则;

11、根据所述指标定制规则确定所述指标值度量口径定义,并根据所述分析维度定制规则确定所述维度口径定义;

12、根据所述需求配置元数据,确定电网全业务的标签对象和标签类目体系,并定义离线标签、实时标签以及算法标签对应的加工规则,得到所述标签生成规则。

13、在一些实施例中,所述指标统计口径包括指标定制规则、分析维度定制规则、指标值度量口径定义以及维度口径定义,所述根据所述指标统计口径和所述标签生成规则,对采集的电网业务数据进行指标计算与标签加工,得到若干业务统计指标和实体特征标签,具体包括:

14、将所述电网业务数据中的待计算指标划分为离线指标和实时指标;

15、根据所述分析维度定制规则,建立指标-维度关联映射表;

16、根据所述指标定制规则和所述指标-维度关联映射表,基于hive或mpp对所述离线指标进行预聚合计算,基于flink对所述实时指标进行增量计算;

17、根据所述指标值度量口径定义和所述维度口径定义,将预聚合计算结果和增量计算结果进行标准化处理与数据对齐,得到指标计算结果;

18、对所述指标计算结果进行封装,得到若干所述业务统计指标。

19、在一些实施例中,所述根据所述指标统计口径和所述标签生成规则,对采集的电网业务数据进行指标计算与标签加工,得到若干业务统计指标和实体特征标签,具体包括:

20、根据所述标签生成规则,基于hive和mpp对所述电网业务数据进行离线标签加工,得到离线标签;

21、根据所述标签生成规则,基于kafka和flink对所述电网业务数据进行实时标签加工,得到实时标签;

22、采集历史电网明细数据,根据所述历史电网明细数据训练得到标签评分模型,进而根据所述标签评分模型和所述标签生成规则对所述电网业务数据进行标签推理与映射,得到算法标签;

23、将所述离线标签、所述实时标签以及所述算法标签进行融合,得到若干所述实体特征标签。

24、在一些实施例中,所述采集历史电网明细数据,根据所述历史电网明细数据训练得到标签评分模型,具体包括:

25、采集所述历史电网明细数据,所述历史电网明细数据包括用户侧历史数据、设备侧历史数据以及对应的标签样本;

26、对所述用户侧历史数据和所述设备侧历史数据进行预处理,得到训练数据集;

27、根据所述训练数据集对预设的机器学习模型进行训练,根据所述标签样本对所述机器学习模型进行参数更新,得到所述标签评分模型。

28、在一些实施例中,所述根据所述标签评分模型和所述标签生成规则对所述电网业务数据进行标签推理与映射,得到算法标签,具体包括:

29、将所述电网业务数据中的离线特征数据输入所述标签评分模型,得到基础分数;

30、将所述电网业务数据中的实时行为特征数据输入所述标签评分模型,得到实时特征分数;

31、将所述基础分数与所述实时特征分数进行增量融合,得到综合分数;

32、根据所述标签生成规则将所述综合分数映射为标签,得到所述算法标签。

33、在一些实施例中,所述对所述业务统计指标和所述实体特征标签进行数据整合与维度关联,得到指标数据集和标签画像数据集,具体包括:

34、确定若干电网业务实体,并记录各所述业务统计指标和所述实体特征标签的统计日期;

35、根据所述统计日期,将同一所述电网业务实体下的所述业务统计指标和所述实体特征标签进行合并与关联分析,得到中间数据集;

36、对所述中间数据集进行分层拆分,保留实体维度、时间维度、统计维度、指标编码与指标数值,得到所述指标数据集;

37、对所述中间数据集进行分层拆分,保留实体维度、时间维度、标签编码、标签取值、标签置信度、标签生效时间与标签失效时间,得到所述标签画像数据集。

38、为实现上述目的,本技术实施例的另一方面提出了一种电网业务数据分析与可视化系统,所述系统包括:

39、多主题统一建模配置模块,用于接收业务域数据需求和用户调度指令,根据所述业务域数据需求生成基于业务域、指标主题以及标签类目的需求配置元数据;

40、指标标签口径统一模块,用于根据所述需求配置元数据,确定电网全业务的指标统计口径和标签生成规则;

41、指标计算与标签加工模块,用于根据所述指标统计口径和所述标签生成规则,对采集的电网业务数据进行指标计算与标签加工,得到若干统计指标和实体特征标签,进而对所述统计指标和所述实体特征标签进行数据整合与维度关联,得到指标数据集和标签画像数据集;

42、多维数据服务输出模块,用于将所述指标数据集封装为指标数据服务,并将所述标签画像数据集封装为标签数据服务;

43、可视化渲染模块,用于根据所述用户调度指令,对所述指标数据集和所述标签画像数据集进行数据映射与渲染,生成电网业务可视化数据。

44、为实现上述目的,本技术实施例的另一方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如前面所述的方法。

45、为实现上述目的,本技术实施例的另一方面提出了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现前面所述的方法。

46、本技术实施例至少包括以下有益效果:本技术的电网业务数据分析与可视化方法、系统及设备,首先以电网业务域、指标主题以及标签类目为多维度分类建模依据,形成约束指标与标签的指标统计口径和标签生成规则,能够解决指标分散、跨域标签体系混乱问题;接着根据指标统计口径和标签生成规则进行指标计算、标签加工、数据整合与维度关联,生成指标数据集和标签画像数据集,实现指标与标签同步加工;进而将指标数据集和标签画像数据集进行封装,对外提供标准化的指标与标签数据服务,同时基于用户调度指令,实时将指标数据集和标签画像数据集转换为所需的可视化数据,实现数据实时更新、全局监控与直观展示。