电网业务数据全层级标准化建模与自动化清洗方法及系统与流程

本技术涉及数据处理，尤其涉及一种电网业务数据全层级标准化建模与自动化清洗方法及系统。

背景技术：

1、现有电网业务在明细层与汇总层的数据建设中，缺乏统一的数据模型标准，导致各源系统间编码、属性不一致；且通常依赖人工建表、人工梳理字段口径和手动维护数据模型，仅支持普通结构化字段清洗，导致不同业务域、不同源系统的数据模型命名不统一、字段类型不一致、编码规则差异大。

技术实现思路

1、本技术实施例的主要目的在于提出一种电网业务数据全层级标准化建模与自动化清洗方法及系统，能够提高各源系统的数据模型标准化程度和数据清洗自动化水平。

2、为实现上述目的，本技术实施例的一方面提出了一种电网业务数据全层级标准化建模与自动化清洗方法，所述方法包括以下步骤：

3、对电网业务架构规则进行解析，得到建模元数据；

4、根据所述建模元数据进行标准化建模与数据映射，得到明细层模型元数据和汇总层模型元数据；

5、采集不同电网业务源系统的多源异构数据；

6、对所述多源异构数据进行自动化清洗，得到标准业务数据，对所述多源异构数据进行地址标准化，得到标准地址字段；

7、将所述标准业务数据与所述标准地址字段进行合并，得到中间数据集，进而根据所述明细层模型元数据和汇总层模型元数据，将所述中间数据集写入明细层和/或汇总层，生成明细层原始标准数据和/或汇总层预聚合标准数据。

8、在一些实施例中，所述根据所述建模元数据进行标准化建模与数据映射，得到明细层模型元数据和汇总层模型元数据，具体包括：

9、根据所述建模元数据，构建基于业务域-业务主题-业务实体的明细层模型和汇总层模型；

10、在所述明细层模型中，建立各实体的属性名称、数据类型、编码规则以及字段之间的映射关系，得到所述明细层模型元数据；

11、在所述汇总层模型中，建立各实体的属性名称、数据类型、编码规则以及字段之间的映射关系，得到所述汇总层模型元数据。

12、在一些实施例中，所述对所述多源异构数据进行自动化清洗，得到标准业务数据，具体包括：

13、构建全域电网枚举标准库；

14、提取所述多源异构数据中的待标准化字段的枚举值，并将所述枚举值与所属字段名称进行关联，得到待匹配元组；

15、将所述待匹配元组与所述全域电网枚举标准库进行模糊匹配，得到第一模糊匹配结果；

16、根据所述第一模糊匹配结果将所述多源异构数据中的待标准化字段转换为标准枚举代码，得到第一业务数据，并生成转换异常日志；

17、对所述第一业务数据进行重复记录识别，进而根据重复记录识别结果进行去重，得到第二业务数据，并生成重复记录日志；

18、对所述第二业务数据进行属性冲突识别，进而根据预设的数据源优先级确定属性冲突识别结果中的标准值，得到所述标准业务数据，并生成冲突日志。

19、在一些实施例中，所述对所述第一业务数据进行重复记录识别，进而根据重复记录识别结果进行去重，得到第二业务数据，具体包括：

20、确定多个电网业务主键；

21、以各所述电网业务主键作为分片键，将所述第一业务数据进行分片；

22、计算同一分片下两个所述第一业务数据之间的设备标识得分、时间匹配得分、地址相似度以及状态枚举得分；

23、对所述设备标识得分、所述时间匹配得分、所述地址相似度以及所述状态枚举得分进行加权求和，得到综合相似度；

24、确定综合相似度大于或等于预设相似度阈值的两个所述第一业务数据为重复记录，得到所述重复记录识别结果；

25、根据所述重复记录识别结果，保留记录时间最新的所述第一业务数据，删除对应重复的所述第一业务数据，得到所述第二业务数据。

26、在一些实施例中，所述对所述第二业务数据进行属性冲突识别，进而根据预设的数据源优先级确定属性冲突识别结果中的标准值，得到所述标准业务数据，具体包括：

27、确定多个电网业务主键；

28、以各所述电网业务主键作为分片键，将所述第二业务数据进行分片；

29、在同一分片下，判断所述第二业务数据中同一属性在不同所述电网业务源系统对应的取值是否一致；

30、若所述第二业务数据中同一属性在不同所述电网业务源系统对应的取值不一致，确定该所述第二业务数据为属性冲突，得到所述属性冲突识别结果；

31、根据所述数据源优先级，确定优先级最高的所述电网业务源系统对应的取值为所述标准值，得到所述标准业务数据。

32、在一些实施例中，所述对所述多源异构数据进行地址标准化，得到标准地址字段，具体包括：

33、构建全域电网地址基准库；

34、将所述多源异构数据中的原始地址进行地址分段切分，得到若干地址片段；

35、将各所述地址片段与所述全域电网地址基准库进行模糊匹配，得到第二模糊匹配结果；

36、根据所述第二模糊匹配结果进行异常地址纠错，得到规整地址片段；

37、对所述规整地址片段进行结构化转换，得到所述标准地址字段。

38、在一些实施例中，所述方法还包括：

39、保存标准化建模、数据采集、自动化清洗、地址标准化以及数据写入中的任务日志、异常日志以及数据变更记录；

40、其中，所述异常日志包括转换异常日志、重复记录日志、冲突日志。

41、为实现上述目的，本技术实施例的另一方面提出了一种电网业务数据全层级标准化建模与自动化清洗系统，所述系统包括：

42、架构接入解析模块，用于对电网业务架构规则进行解析，得到建模元数据；

43、标准化建模引擎模块，用于根据所述建模元数据进行标准化建模与数据映射，得到明细层模型元数据和汇总层模型元数据；

44、多源异构数据接入模块，用于采集不同电网业务源系统的多源异构数据；

45、数据清洗与地址处理模块，用于对所述多源异构数据进行自动化清洗，得到标准业务数据，对所述多源异构数据进行地址标准化，得到标准地址字段；

46、标准数据输出与存储模块，用于将所述标准业务数据与所述标准地址字段进行合并，得到中间数据集，进而根据所述明细层模型元数据和所述汇总层模型元数据，将所述中间数据集写入明细层和/或汇总层，生成明细层原始标准数据和/或汇总层预聚合标准数据。

47、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如前面所述的方法。

48、为实现上述目的，本技术实施例的另一方面提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现前面所述的方法。

49、本技术实施例至少包括以下有益效果：本技术的电网业务数据全层级标准化建模与自动化清洗方法及系统，首先以电网统一业务架构规范作为建模基准输入，进行标准化建模与数据映射，得到用于定义明细层和汇总层模型结构的模型元数据；接着针对多源异构电网业务系统接入的多源异构数据，搭建端到端的自动化清洗处理和地址标准化逻辑，得到标准业务数据和标准地址字段；最后将架构解析输出的模型元数据作为统一控制基准，将合并后的中间数据集写入明细层和汇总层，输出契合电网统一数据标准的明细层、汇总层标准化数据模型与合规业务数据，能够提高各源系统的数据模型标准化程度和数据清洗自动化水平。