主数据管理方法、装置、计算机设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种主数据管理方法、装置、计算机设备及存储介质。


背景技术：

2.主数据管理是一个可以创建和维护可信赖的、可靠的、能够长期使用的、准确的和安全的数据环境为目的的一套业务流程、应用程序和技术的综合，能够使企业能够有效地管理存储在分布系统中的数据。但是，对于跨系统的主数据管理，由于有些电网运行数据属于不同电网系统，而跨电网系统数据存在多源异构问题，所以需要对跨电网系统数据进行数据融合。
3.数据融合是将多个信息源给出的有用信息进行采集、传输、综合、过滤、相关及合成等的处理过程，以实现对数据的重要程度进行实时和完整的评价，辅助人们进行环境判定、规划、探测、验证和诊断。但是目前，跨系统数据仅仅只是对数据的数据层进行融合，融合效果不好，融合后存在的杂乱数据较多，不利于主数据管理与数据导出。


技术实现要素：

4.本技术提供了一种主数据管理方法、装置、计算机设备及存储介质，以解决跨系统数据融合效果差的技术问题。
5.为了解决上述技术问题，第一方面，本技术实施例提供了一种主数据管理方法，包括：
6.对跨系统的电网运行数据进行交换融合，得到融合数据；
7.基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项；
8.基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据；
9.对所述主数据进行数据检测，得到目标主数据。
10.本实施例通过对跨系统的电网运行数据进行交换融合，得到融合数据，以实现对不同系统的异构电网运行数据进行处理，实现多个系统之间的数据融合；并基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项，以去除无效数据，降低数据杂乱程度；以及基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据，以使清洗后的数据更加符合规范，从而进一步降低数据杂乱程度；最后对所述主数据进行数据检测，得到目标主数据，以减少数据错误率，提升融合效果，从而便于主数据管理与数据导出。
11.在一实施例中，所述对所述主数据进行数据检测，得到目标主数据，包括：
12.对所述主数据进行数据定位，得到所述异常数据的数据位置；
13.基于所述数据位置，对所述异常数据进行数据修正，得到修正数据；
14.对所述修正数据进行数据验证，得到所述目标主数据。
15.在一实施例中，对所述异常数据进行数据定位，得到所述异常数据的数据位置，包括：
16.基于预设的数据定位公式，对所述异常数据进行数据定位，得到所述异常数据的数据位置，所述数据定位公式为：
[0017][0018]
s为数据位置，w为加权函数，d
ij
为数据节点i与数据节点j之间的距离，xi为数据节点i中的坐标向量，f(xi)为中间函数。
[0019]
在一实施例中，所述基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据，包括：
[0020]
对多个所述目标数据项进行对比，得到第一对比数据；
[0021]
对多个所述目标数据项对应的元数据信息进行对比，得到第二对比数据；
[0022]
根据第一对比数据和第二对比数据，确定同源数据项；
[0023]
对所述同源数据项和所述同源数据项对应的元数据信息进行图数据分析，生成所述主数据。
[0024]
在一实施例中，所述基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项，包括：
[0025]
对所述融合数据进行数据整合，得到整合数据；
[0026]
基于所述融合数据对应的属性值，对所述整合数据进行数据清洗，得到清洗数据；
[0027]
对所述清洗数据进行数据转换，得到所述标准数据。
[0028]
在一实施例中，所述基于所述融合数据对应的属性值，对所述整合数据进行数据清洗，得到清洗数据，包括：
[0029]
确定多个所述融合数据对应的属性值是否相同；
[0030]
对属性值相同的所述融合数据进行合并，得到所述清洗数据。
[0031]
在一实施例中，所述对跨系统的电网运行数据进行交换融合，得到融合数据，包括：
[0032]
基于预设的bayes融合算法，对所述电网运行数据进行交换融合，得到融合数据。
[0033]
第二方面，本技术实施例提供一种主数据管理装置，包括：
[0034]
融合模块，用于对跨系统的电网运行数据进行交换融合，得到融合数据；
[0035]
清洗模块，用于基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项；
[0036]
管控模块，用于基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据；
[0037]
检测模块，用于对所述主数据进行数据检测，得到目标主数据。
[0038]
第三方面，本技术实施例提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的主数据管理方法。
[0039]
第四方面，本技术实施例提供一种计算机可读存储介质，其存储有计算机程序，所
述计算机程序被处理器执行时实现第二方面所述的主数据管理方法。
[0040]
需要说明的是，上述第二方面至第四方面的有益效果请参见第一方面的相关描述，在此不再赘述。
附图说明
[0041]
图1为本技术实施例提供的主数据管理方法的流程示意图；
[0042]
图2为本技术实施例提供的主数据管理装置的结构示意图；
[0043]
图3为本技术实施例提供的计算机设备的结构示意图。
具体实施方式
[0044]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0045]
如相关技术记载，数据融合是将多个信息源给出的有用信息进行采集、传输、综合、过滤、相关及合成等的处理过程，以实现对数据的重要程度进行实时和完整的评价，辅助人们进行环境判定、规划、探测、验证和诊断。但是目前，跨系统数据仅仅只是对数据的数据层进行融合，融合效果不好，融合后存在的杂乱数据较多，不利于主数据管理与数据导出。
[0046]
为此，本技术实施例提供一种主数据管理方法、装置、计算机设备及存储介质，通过对跨系统的电网运行数据进行交换融合，得到融合数据，以实现对不同系统的异构电网运行数据进行处理，实现多个系统之间的数据融合；并基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项，以去除无效数据，降低数据杂乱程度；以及基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据，以使清洗后的数据更加符合规范，从而进一步降低数据杂乱程度；最后对所述主数据进行数据检测，得到目标主数据，以减少数据错误率，提升融合效果，从而便于主数据管理与数据导出。
[0047]
请参照图1，图1为本技术实施例提供的一种主数据管理方法的流程示意图。本技术实施例的主数据管理方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器。如图1所示，主数据管理方法包括步骤s101至步骤s104，详述如下：
[0048]
步骤s101，对跨系统的电网运行数据进行交换融合，得到融合数据。
[0049]
在本步骤中，跨系统可以为不同数据库系统，也可以为不同采集设备的设备系统，电网运行数据为电网运行过程产生的数据，例如光信号、热信号、设备状态信号等。交换融合为对电网运行数据进行综合分析，以完成所需决策和评估任务而进行的数据处理过程。
[0050]
步骤s102，基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项。
[0051]
在本步骤中，属性值可以为融合数据对应在数据库中的属性，目标数据项为数据清洗后的多个融合数据。可选地，基于数据编码规则、数据属性规则或数据结构规则对融合
数据进行数据清洗。
[0052]
可选地，通过手动将融合数据中缺失的数据进行输入，再利用统计分析算法识别错误值或异常值，例如偏差分析算法识别不遵守分布或回归方程的值。可选地，通过对融合数据进行语义分析，确定融合数据之间的关联性，以根据数据关联性，出去异常数据。
[0053]
步骤s103，基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据。
[0054]
在本步骤中，元数据信息为描述目标数据项的信息。数据管控为通过数据唯一性、数据完整性、数据自约束性和数据相似性对标准数据进行质量管控处理，以保证主数据质量。可选地，通过对多个目标数据项和对应的元数据信息进行对比，确定重复数据项和非重复数据项，以得到主数据。
[0055]
步骤s104，对所述主数据进行数据检测，得到目标主数据。
[0056]
在本步骤中，数据检测包括但不限于数据验证、数据定位和数据修正，通过数据检测修正异常数据，同时能够剔除无法修正的异常数据，以减少杂乱数据，从而降低杂乱数据对主数据的不利影响，降低主数据管理难度和数据导出难度。
[0057]
在一实施例中，在图1所示实施例的基础上，上述步骤s104对所述主数据进行数据检测，得到目标主数据，包括：
[0058]
对所述主数据进行数据定位，得到所述异常数据的数据位置；
[0059]
基于所述数据位置，对所述异常数据进行数据修正，得到修正数据；
[0060]
对所述修正数据进行数据验证，得到所述目标主数据。
[0061]
在本实施例中，通过数据定位以确定异常数据的位置，从而便于对数据进行修正和验证，保证数据主数据质量。
[0062]
可选地，对所述异常数据进行数据定位，得到所述异常数据的数据位置，包括：基于预设的数据定位公式，对所述异常数据进行数据定位，得到所述异常数据的数据位置，所述数据定位公式为：
[0063][0064][0065][0066]
其中s为数据位置，w为加权函数，d
ij
为数据节点i与数据节点j之间的距离，xi为数据节点i中的坐标向量，f(xi)为中间函数，k为坐标向量包含的数值总数量，x
ia
为数据节点i的坐标向量中的第a个值，x
ja
为数据节点j的坐标向量中的第a个值，d
min
为与当前数据节点相邻的另一个数据节点距离，nj为与当前数据节点相邻的数据节点集。
[0067]
需要说明的是，s为数据位置范围，通过该数据位置范围能够确定异常数据(异常数据)对应的扇区存储位置，从而实现异常数据的定位。
[0068]
在一实施例中，在图1所示实施例的基础上，上述步骤s103基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据，包括：
[0069]
对多个所述目标数据项进行对比，得到第一对比数据；
[0070]
对多个所述目标数据项对应的元数据信息进行对比，得到第二对比数据；
[0071]
根据第一对比数据和第二对比数据，确定同源数据项；
[0072]
对所述同源数据项和所述同源数据项对应的元数据信息进行图数据分析，生成所述主数据。
[0073]
在本实施例中，通过对比至少两个目标数据项，得到第一对比数据，对比至少两个目标数据项对应的元数据信息，得到第二对比数据；结合第一对比数据和第二对比数据，得到同源数据项及其对应的关联元数据信息，对同源数据项和关联元数据信息进行图数据分析，生成重复数据项和非重复数据项，保证数据的完整性，以此获取标准化质控主数据。
[0074]
在一实施例中，在图1所示实施例的基础上，上述步骤s102基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项，包括：
[0075]
对所述融合数据进行数据整合，得到整合数据；
[0076]
基于所述融合数据对应的属性值，对所述整合数据进行数据清洗，得到清洗数据；
[0077]
对所述清洗数据进行数据转换，得到所述标准数据。
[0078]
在本实施例中，数据整合包括对跨系统中的非结构化数据、半结构化数据以及结构化数据进行整合。数据清洗后，将不符合预设标准化条件的数据进行转换，将原始数据自然对数值作为分析数据，如果原始数据中有零，可以在底数中加上一个小数值，使处理后的数据符合标准。
[0079]
可选地，所述基于所述融合数据对应的属性值，对所述整合数据进行数据清洗，得到清洗数据，包括：
[0080]
确定多个所述融合数据对应的属性值是否相同；
[0081]
若所述属性值相同，则对相同属性值的所述融合数据进行合并，得到所述清洗数据。
[0082]
在本实施例中，若融合数据对应在数据库中的属性值相同，则判定数据重复记录，将属性值相同的融合数据合并为一个数据，以利用消重方式达到数据清洗的目的。
[0083]
在一实施例中，在图1所示实施例的基础上，上述步骤s104对电网运行数据进行交换融合，得到融合数据，包括：
[0084]
基于预设的bayes融合算法，对所述电网运行数据进行交换融合，得到融合数据。
[0085]
在本实施例中，示例性地，假定完成任务所需的有关电网环境特征用向量f表示，通过电网设备获得的电网运行数据用向量d表示，d和f都可看作是随机向量；融合任务为由数据d推导和估计环境f。假设p(f，d)为随机向量f和d的联合概率分布密度函数，则p(f，d)＝p(f/d).p(d)＝p(f|d).p(f)；p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数；p(f/d)表示在已知f的条件下，d关于f的条件概率密度函数；p(d)和p(f)分别表示d和f的边缘分布密度函数；已知d时，要推断f，只须掌握p(f/d)即可，即p(f|d)＝p(d|f).p(f)/p(d)。
[0086]
交换融合通过数据信息d做出对环境f的推断，即求解p(f/d)，由bayes融合算法公式可知，只须知道p(f/d)和p(f)即可，因为p(d)可看作是使p(f/d).p(f)成为概率密度函数的归一化常数，p(d/f)是在已知客观环境变量f的情况下，电网设备得到的d关于f的条件密
度，当环境情况和电网设备性能已知时，p(f/d)由决定环境和电网设备完全确定，而p(f)可通过先验知识的获取和积累，逐步渐近准确地得到。
[0087]
为了执行上述方法实施例对应的主数据管理方法，以实现相应的功能和技术效果。参见图2，图2示出了本技术实施例提供的一种主数据管理装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本技术实施例提供的主数据管理装置，包括：
[0088]
融合模块201，用于对跨系统的电网运行数据进行交换融合，得到融合数据；
[0089]
清洗模块202，用于基于所述融合数据对应的属性值，对所述融合数据进行数据清洗，得到标准数据，所述标准数据包含多个目标数据项；
[0090]
管控模块203，用于基于所述目标数据项和所述目标数据项对应的元数据信息，对所述标准数据进行数据管控，得到主数据；
[0091]
检测模块204，用于对所述主数据进行数据检测，得到目标主数据。
[0092]
在一实施例中，所述检测模块204，包括：
[0093]
定位单元，用于对所述主数据进行数据定位，得到所述异常数据的数据位置；
[0094]
修正单元，用于基于所述数据位置，对所述异常数据进行数据修正，得到修正数据；
[0095]
验证单元，用于对所述修正数据进行数据验证，得到所述目标主数据验证单元，用于对所述主数据进行数据验证，得到异常数据；
[0096]
在一实施例中，定位单元，具体用于：
[0097]
基于预设的数据定位公式，对所述异常数据进行数据定位，得到所述异常数据的数据位置，所述数据定位公式为：
[0098][0099]
s为数据位置，w为加权函数，d
ij
为数据节点i与数据节点j之间的距离，xi为数据节点i中的坐标向量，f(xi)为中间函数。
[0100]
在一实施例中，所述管控模块203，包括：
[0101]
第一对比单元，用于对多个所述目标数据项进行对比，得到第一对比数据；
[0102]
第二对比单元，用于对多个所述目标数据项对应的元数据信息进行对比，得到第二对比数据；
[0103]
确定单元，用于根据第一对比数据和第二对比数据，确定同源数据项；
[0104]
生成单元，用于对所述同源数据项和所述同源数据项对应的元数据信息进行图数据分析，生成所述主数据。
[0105]
在一实施例中，清洗模块202，包括：
[0106]
整合单元，用于对所述融合数据进行数据整合，得到整合数据；
[0107]
清洗单元，用于基于所述融合数据对应的属性值，对所述整合数据进行数据清洗，得到清洗数据；
[0108]
转换单元，用于对所述清洗数据进行数据转换，得到所述标准数据。
[0109]
在一实施例中，所述清洗单元，包括：
[0110]
确定子单元，用于确定多个所述融合数据对应的属性值是否相同；
[0111]
合并子单元，用于若所述属性值相同，则对相同属性值的所述融合数据进行合并，
得到所述清洗数据。
[0112]
在一实施例中，所述融合模块201，具体用于：
[0113]
基于预设的bayes融合算法，对所述电网运行数据进行交换融合，得到融合数据。
[0114]
上述的主数据管理装置可实施上述方法实施例的主数据管理方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本技术实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
[0115]
图3为本技术一实施例提供的计算机设备的结构示意图。如图3所示，该实施例的计算机设备3包括：至少一个处理器30(图3中仅示出一个)处理器、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算机程序32时实现上述任意方法实施例中的步骤。
[0116]
所述计算机设备3可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0117]
所称处理器30可以是中央处理单元(central processing unit，cpu)，该处理器30还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0118]
所述存储器31在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
[0119]
另外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
[0120]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现上述各个方法实施例中的步骤。
[0121]
在本技术所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
[0122]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以
存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0123]
以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围。特别指出，对于本领域技术人员来说，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。