客户数据和电网设备数据融合方法、装置、设备及介质与流程

1.本发明实施例涉及电网数据管理技术领域，尤其涉及一种客户数据和电网设备数据融合方法、装置、设备及介质。


背景技术：

2.新一轮科技革命和产业变革兴起，互联网、大数据、云计算、人工智能等数字技术发生了日新月异的变化，以数据资源为重要生产要素、以全要素数字化转型为重要推动力的数字经济正在成为经济发展的重要引擎。随着数字经济的发展，越来越多企业开始走向数字化转型之路。
3.随着营销、生产、财务等集市的建设落地，目前针对电网已具备了基本的数据处理能力基础，可为各级单位开展数据分析工作提供支撑。然而，电网数据应用涉及的组织范围广、应用类型多、应用复杂度高，难以通过统一的数据应用建设和运维,满足全部数据应用需求。面对电网内外越来越多的数据共享需求，以及不同部门、不同单位多样化、个性化的数据需求，由于没有统一完整的客户和资产设备融合模型，业务部门无法根据各自的需求自助获取数据进行分析，造成大部分信息专业较弱的业务部门人员不能自助查数、取数和用数，数据使用价值存在不足。


技术实现要素：

4.本发明提供一种客户数据和电网设备数据融合方法、装置、设备及介质，以实提高数据利用效率。
5.第一方面，本发明实施例提供了一种客户数据和电网设备数据融合方法，包括：
6.获取客户数据和电网设备数据；
7.从所述客户数据提取出第一客户信息和第一设备信息，所述第一客户信息关联所述第一设备信息；
8.从所述电网设备数据中提取出第二设备信息和第二客户信息，所述第二客户信息关联所述第二设备信息；
9.关联所述第一客户信息与所述第二设备信息，以及关联所述第二客户信息与所述第一设备信息，得到融合数据。
10.第二方面，本发明实施例还提供了一种客户数据和电网设备数据融合装置，包括：
11.数据获取模块，用于获取客户数据和电网设备数据；
12.第一信息提取模块，用于从所述客户数据提取出第一客户信息和第一设备信息，所述第一客户信息关联所述第一设备信息；
13.第二信息提取模块，用于从所述电网设备数据中提取出第二设备信息和第二客户信息，所述第二客户信息关联所述第二设备信息；
14.关联模块，用于关联所述第一客户信息与所述第二设备信息，以及关联所述第二客户信息与所述第一设备信息，得到融合数据。
15.第三方面，本发明实施例还提供了一种客户数据和电网设备数据融合系统，包括：
16.数据源层，所述数据源层包括营销管理系统、生产管理系统、gis系统、计量监测系统和财务管理系统；
17.数据采集层，所述数据采集层用于从所述数据源层采集客户数据和电网设备数据；
18.数据融合层，所述数据融合层用于从所述客户数据提取出第一客户信息和第一设备信息，所述第一客户信息关联所述第一设备信息，从所述电网设备数据中提取出第二设备信息和第二客户信息，所述第二客户信息关联所述第二设备信息，并关联所述第一客户信息与所述第二设备信息，以及关联所述第二客户信息与所述第一设备信息，得到融合数据。
19.第四方面，本发明实施例还提供了一种计算机设备，包括：
20.一个或多个处理器；
21.存储装置，用于存储一个或多个程序；
22.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的客户数据和电网设备数据融合方法。
23.第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的客户数据和电网设备数据融合方法。
24.本发明实施例提供的客户数据和电网设备数据融合方法，获取客户数据和电网设备数据，从客户数据提取出第一客户信息和第一设备信息，第一客户信息关联第一设备信息，从电网设备数据中提取出第二设备信息和第二客户信息，第二客户信息关联第二设备信息，关联第一客户信息与第二设备信息，以及关联第二客户信息与第一设备信息，得到融合数据。使得客户数据与电网设备数据间进行串通，使业务人员能够快速、清晰地理解数据底层逻辑和数据结构关系，有效解决大部分信息专业较弱的业务部门人员查数、取数和用数困难的问题，实现业务人员能自助查数、取数和用数，为数据价值转换效率的提升提供强劲助力。
附图说明
25.图1为本发明实施例一提供的一种客户数据和电网设备数据融合方法的流程图；
26.图2为本发明实施例二提供的一种客户数据和电网设备数据融合装置的结构示意图；
27.图3为本发明实施例三提供的一种客户数据和电网设备数据融合系统的结构示意图；
28.图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
29.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
30.实施例一
31.图1为本发明实施例一提供的一种客户数据和电网设备数据融合方法的流程图，本实施例可适用于不同数据源的数据融合，该方法可以由本发明实施例提供的客户数据和电网设备数据融合装置来执行，该装置可以由软件和/或硬件的方式实现，通常配置于计算机设备中，如图1所示，该方法具体包括如下步骤：
32.s101、获取客户数据和电网设备数据。
33.在本发明实施例中，可以从不同数据源采集的客户数据和电网设备数据。数据源包括营销管理系统、生产管理系统、gis系统、计量监测系统和财务管理系统等，本发明实施例在此不做限定。示例性的，客户数据包括客户基本信息、客户用电行为数据、客户电费风险数据集、客户信用数据等。电网设备数据包括站线变户关系、账卡物关系、变电站信息、线路信息、变压器信息、资产设备信息等。
34.s102、从客户数据提取出第一客户信息和第一设备信息，第一客户信息关联所述第一设备信息。
35.客户数据包括各客户的第一客户信息和该第一客户信息有关联的第一设备信息，例如，客户的身份信息，以及该客户所在的电网上与该客户关联的电网设备的身份信息。示例性的，一个客户可能与多个电网设备关联。
36.示例性的，在本发明其中一实施例中，从客户数据提取出第一客户信息和第一设备信息，具体包括：
37.1、对来自不同数据源的客户数据进行数据聚合处理，得到第一聚合数据。
38.如前文所述，客户数据可以来自不同的数据源，由于来源于多源异构数据，数据不统一，因此，需要对客户数据进行聚合处理，得到第一聚合数据。数据聚合(data aggregation)是指合并来自不同数据源的数据。
39.示例性的，在本发明实施例中，对客户数据进行聚合处理包括数据清洗、标准化和数据合并。
40.具体的，数据清洗主要针对源数据存在的数据缺失，数据格式有误，异常值等问题进行处理，是整个数据融合过程中不可缺少的环节。数据清洗整个过程依据数据融合模型的结构及需求来设定数据异常判断，数据清洗策略，清洗标准等。清洗的源数据问题包括超出数据范围的指标值、缺失的重要数据、存在与该字段应有内容不符的符号、重复的数据。清洗手段主要通过在数据库中搭建mysql环境单机处理，复杂的判别及处理则需建立模型，如异常值检测需采用dbscan聚类模型。
41.数据标准处理主要涉及两方面，一是源数据因手工录入或存储时所导致的数据格式不一致等问题，如设备额定容量为“200”，但单系统源和多数据源可能存储为：“二百、2百、200”等，造成数据可能会不匹配及重复问题。二是在构建融合指标时，需对不同维度的指标进行数据标准化处理。如客户信用度的指标模型，其综合考量了客户窃电次数、窃电电量、违窃容量、违约电量等不同维度不同单位的指标值，故建模前需对以上指标进行刚量化处理，从而确保指标模型的准确性。
42.由于客户数据来自不同的数据源，但数据内容和数据结构却有所区别，因此需来自不同的数据源的数据中同类型同属性的信息进行筛选合并继而重构对象信息。数据重构包括：选择对象唯一主键、选择有效完整的信息字段、构建重组指标模型。重构后的对象信
息，能根据对象主键多角度关联和多维度分析统计。
43.2、从第一聚合数据中提取出第一客户信息和第一设备信息。
44.具体的，从第一聚合数据中提取出第一客户信息和第一设备信。示例性的，一个客户可能与多个电网设备关联。
45.s103、从电网设备数据中提取出第二设备信息和第二客户信息，第二客户信息关联第二设备信息。
46.电网设备数据包括各电网设备的第二设备信息和该第二设备信息有关联的第二客户信息，例如，电网设备的身份信息，以及与该电网设备关联的第二客户信息。示例性的，一个电网设备可能与多个客户信息关联。
47.示例性的，在本发明其中一实施例中，从电网设备数据中提取出第二设备信息和第二客户信息，具体包括：
48.1、对来自不同数据源的电网设备数据进行数据聚合处理，得到第二聚合数据。
49.如前文所述，电网设备数据可以来自不同的数据源，由于来源于多源异构数据，数据不统一，因此，需要对电网设备数据进行聚合处理，得到第二聚合数据。数据聚合(data aggregation)是指合并来自不同数据源的数据。
50.示例性的，在本发明实施例中，对电网设备数据进行聚合处理包括数据清洗、标准化和数据合并。具体的，对于电网设备数据进行聚合处理过程可以参考对客户数据的聚合处理过程，本发明实施例在此不再赘述。
51.2、从第二聚合数据中提取出第二客户信息和第二设备信息。
52.具体的，从第二聚合数据中提取出第二客户信息和第二设备信息。示例性的，一个电网设备可能与多个客户信息关联。
53.s104、关联第一客户信息与第二设备信息，以及关联第二客户信息与第一设备信息，得到融合数据。
54.在本发明实施例中，通过关联第一客户信息与第二设备信息，以及关联第二客户信息与第一设备信息，得到融合数据，使得通过客户数据中的客户信息可以在电网设备数据中检索到与该客户信息对应的电网设备信息，以及通过电网设备数据中的设备信息可以在客户数据中检索到与该电网设备信息对用的客户信息。
55.示例性的，在本发明一具体实施例中，关联第一客户信息与第二设备信息，以及关联第二客户信息与第一设备信息的具体实施方式如下：
56.1、将第一客户信息和第二客户信息中表示相同客户的客户信息映射同一客户编码下。
57.由于客户数据和电网设备数据中的客户信息的命名规则可能不同，例如，相同的客户，在客户数据中可能命名为a，在电网设备数据中可能命名为a’，因此，需要将二者进行统一。具体的，通过编码映射将客户数据和电网设备数据中表示相同客户的客户信息映射同一客户编码下。编码映射是为每一个可用于编码规则的业务实体的值进行重新映射。在生成编码规则时，按照映射后的值，来作为编码的组成部分。
58.2、将第一设备信息和第二设备信息中表示相同设备的设备信息映射同一设备编码下。
59.同样的，由于客户数据和电网设备数据中的电网神信息的命名规则可能不同，例
如，相同的电网设备，在客户数据中可能命名为b，在电网设备数据中可能命名为b’，因此，需要将二者进行统一。具体的，通过编码映射将客户数据和电网设备数据中表示相同设备的电网设备信息映射同一设备编码下。
60.3、建立客户编码与设备编码之间的关联关系。
61.根据实际业务需求，对生成的各独立客户编码与设备编码之间的映射关系，实现客户信息匹配到相关设备、馈线、变压器、变电站等数据，使得客户数据与电网设备数据间进行串通，实现支撑360
°
的全景数据集需求，以及后续不同类型客户的数据分析服务。可以通过客户编号、客户名称、身份证信息、电话号码等能识别客户信息实时数据服务产品，满足业务的分析与监控需求。
62.本发明实施例提供的客户数据和电网设备数据融合方法，获取客户数据和电网设备数据，从客户数据提取出第一客户信息和第一设备信息，第一客户信息关联第一设备信息，从电网设备数据中提取出第二设备信息和第二客户信息，第二客户信息关联第二设备信息，关联第一客户信息与第二设备信息，以及关联第二客户信息与第一设备信息，得到融合数据。使得客户数据与电网设备数据间进行串通，使业务人员能够快速、清晰地理解数据底层逻辑和数据结构关系，有效解决大部分信息专业较弱的业务部门人员查数、取数和用数困难的问题，实现业务人员能自助查数、取数和用数，为数据价值转换效率的提升提供强劲助力。
63.实施例二
64.本发明实施例二提供了一种客户数据和电网设备数据融合装置，图2为本发明实施例二提供的一种客户数据和电网设备数据融合装置的结构示意图，如图2所示，该装置包括：
65.数据获取模块201，用于获取客户数据和电网设备数据；
66.第一信息提取模块202，用于从所述客户数据提取出第一客户信息和第一设备信息，所述第一客户信息关联所述第一设备信息；
67.第二信息提取模块203，用于从所述电网设备数据中提取出第二设备信息和第二客户信息，所述第二客户信息关联所述第二设备信息；
68.关联模块204，用于关联所述第一客户信息与所述第二设备信息，以及关联所述第二客户信息与所述第一设备信息，得到融合数据。
69.在本发明的一些实施例中，第一信息提取模块202包括：
70.第一聚合子模块，用于对来自不同数据源的所述客户数据进行数据聚合处理，得到第一聚合数据；
71.第一信息提取子模块，用于从所述第一聚合数据中提取出第一客户信息和第一设备信息。
72.在本发明的一些实施例中，第一聚合子模块包括：
73.第一清洗单元，用于对所述客户数据进行数据清洗，得到清洗后的数据；
74.第一标准化单元，用于将清洗后的数据标准化，得到第一标准化数据；
75.第一合并单元，用于将来自不同数据源的所述客户数据的所述第一标准化数据中同类型的信息合并，得到第一聚合数据。
76.在本发明的一些实施例中，第二信息提取模块203包括：
77.第二聚合子模块，用于对来自不同数据源的所述电网设备数据进行数据聚合处理，得到第二聚合数据；
78.第二信息提取子模块，用于从所述第二聚合数据中提取出第二客户信息和第二设备信息。
79.在本发明的一些实施例中，第二聚合子模块包括：
80.第二清洗单元，用于对所述电网设备数据进行数据清洗，得到清洗后的数据；
81.第二标准化单元，用于将清洗后的数据标准化，得到第二标准化数据；
82.第二合并单元，用于将来自不同数据源的所述电网设备数据的所述第二标准化数据中同类型的信息合并，得到第二聚合数据。
83.在本发明的一些实施例中，关联模块204包括：
84.第一映射子模块，用于将第一客户信息和第二客户信息中表示相同客户的客户信息映射同一客户编码下；
85.第二映射子模块，用于将所述第一设备信息和第二设备信息中表示相同设备的设备信息映射同一设备编码下；
86.关联关系建立子模块，用于建立所述客户编码与设备编码之间的关联关系。
87.上述客户数据和电网设备数据融合装置可执行本发明任意实施例所提供的客户数据和电网设备数据融合方法，具备执行方法相应的功能模块和有益效果。
88.实施例三
89.图3为本发明实施例三提供的一种客户数据和电网设备数据融合系统的结构示意图，如图3所示，该系统包括：数据源层、数据采集层和数据融合层。
90.其中，数据源层包括营销管理系统、生产管理系统、gis系统、计量监测系统和财务管理系统。
91.数据采集层用于从数据源层采集客户数据和电网设备数据。其中，采集方式可以包括关系型数据库抽取、数据库实时复制、文件数据采集和流式数据采集。关系型数据库抽取主要是抽取如营销系统、生产系统、gis系统等业务系统的结构化数据至唯一的数据融合模型库，由于各个业务系统所使用的关系型数据库不统一，所以需要数据采集etl及数据聚合组件进处理，以便于后期进行信息融合层的数量处理工作开展。数据实时复制主要是使用ogg、dsg、dmhs等工具，实现实时同步源端增量数据到目标端，主要原理是实时抽取源端增量数据文件，投递到复制服务器，复制进程写入目标数据库。文件数据采集主要为半结构化数据，通过sftp传输，对计量监测系统数据进行采集。通过流式数据采集技术，对计量实时数据进行采集，写入到kafka。
92.数据融合层用于从客户数据提取出第一客户信息和第一设备信息，第一客户信息关联第一设备信息，从电网设备数据中提取出第二设备信息和第二客户信息，第二客户信息关联第二设备信息，并关联第一客户信息与第二设备信息，以及关联第二客户信息与第一设备信息，得到融合数据。
93.具体的，数据融合层包括数据聚合组件、数据匹配组件和融合模型库。
94.其中，数据聚合组件用于对数据进行清洗、标准化和合并重构，得到聚合数据。数据匹配组件用于将客户数据和电网设备数据中表示相同客户的客户信息映射同一客户编码下，将客户数据和电网设备数据中表示相同设备的电网设备信息映射同一设备编码下，
然后建立客户编码与设备编码之间的关联关系，得到融合数据。融合模型库用于存储融合数据，包括电力客户与电网设备生产运行模型宽表及指标。其中电力客户数据模型包括客户基本信息、客户用电行为、客户电费风险、客户信用等主题模型，电网设备主题模型包括站线变户关系、账卡物关系、变电站信息、线路信息、变压器信息、资产设备等主题模型。
95.在本发明的一些实施例中，上述系统还包括应用层，用于实现客户、资产设备域数据融合后的数据快速索引及知识经验共享服务，提供可视化融合模型逻辑，同时向各业务部门提供信息精准搜索、模糊匹配、数据逻辑关联查询、数据业务关联查询、常用数据热度推荐、应用数据知识管理、数据组建案例等功能。
96.应用层包括：
97.(1)数据目录与数据展示：以分层分类卡片结构模式分别展现客户、资产设备主题融合模型，及其具体的模型功能元数据。
98.(2)应用数据知识管理：按客户、资产设备层级记录所有设计的融合模型库，提供模型数据关系、模型逻辑及业务知识分享，并可以对数据进行标签化管理。
99.(3)热度推荐：在首页等页面展现主题数据推荐、常用数据推荐和点击数据推荐。按数据关联主题，业务关注度等方式直观展示。
100.(4)数据接口服务：支持以restful、数据库直连等服务接口方式进行数据服务接口的开发和封装，面向业务部门提供客户360
°
全景数据集服务和资产设备业务主题数据集服务的访问需求。
101.(5)客户360
°
全景数据集服务：以逻辑宽表形式存在，对源端业务系统的实时数据进行采集和加工，建立360
°
全景数据主题服务，可以通过客户编号、客户名称、身份证信息、电话号码等能识别客户信息实时数据服务产品，满足业务的分析与监控需求。
102.(6)资产设备业务主题服务：资产设备业务主题服务一般以逻辑宽表形式存在，通过分析企业内部生产系统、营销系统、财务系统等资产设备信息、变压器、变电站、变电一次设备、馈线、输电线路、配电线路及设备等数据，建立资产设备360
°
全景数据主题服务，将属于同一个分析主题的若干表或表中的字段组合在一起，构建数据服务产品，满足业务的分析与监控需求。
103.实施例四
104.本发明实施例四提供了一种计算机设备，图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括：
105.处理器401、存储器402、通信模块403、输入装置404和输出装置405；计算机设备中处理器401的数量可以是一个或多个，图4中以一个处理器401为例；计算机设备中的处理器401、存储器402、通信模块403、输入装置404和输出装置405可以通过总线或其他方式连接，图4中以通过总线连接为例。上述处理器401、存储器402、通信模块403、输入装置404和输出装置405可以集成在计算机设备上。
106.存储器402作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如上述实施例中的客户数据和电网设备数据融合方法对应的模块。处理器401通过运行存储在存储器402中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的客户数据和电网设备数据融合方法。
107.存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系
统、至少一个功能所需的应用程序；存储数据区可存储根据微型计算机的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器402可进一步包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
108.通信模块403，用于与外界设备(例如智能终端)建立连接，并实现与外界设备的数据交互。输入装置404可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
109.本实施例提供的一种计算机设备，可执行本发明上述任意实施例提供的客户数据和电网设备数据融合方法，具有相应的功能和有益效果。
110.实施例五
111.本发明实施例五提供了一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明上述任意实施例提供的客户数据和电网设备数据融合方法，该方法包括：
112.获取客户数据和电网设备数据；
113.从所述客户数据提取出第一客户信息和第一设备信息，所述第一客户信息关联所述第一设备信息；
114.从所述电网设备数据中提取出第二设备信息和第二客户信息，所述第二客户信息关联所述第二设备信息；
115.关联所述第一客户信息与所述第二设备信息，以及关联所述第二客户信息与所述第一设备信息，得到融合数据。
116.需要说明的是，对于装置、设备和存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
117.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是机器人，个人计算机，服务器，或者网络设备等)执行本发明任意实施例所述的客户数据和电网设备数据融合方法。
118.值得注意的是，上述装置中，所包括的各个模块、子模块、单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
119.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路
的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
120.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
121.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。