电力信息通信数据质量检测模型的构建方法及构建系统与流程

1.本发明涉及通讯数据共享技术领域，尤其涉及一种电力信息通信数据质量检测模型的构建方法及构建系统。


背景技术：

2.电力信息通信系统内业务数据的数量和种类的逐步增多，数据共享需求迫切。而数据质量和数据共享利用水平不高，一是数据对分析决策支持度低，同一数据存在多个数多源、统计口径不一致的问题；二是数据对运营管理的支持度有待提高，数据质量参差不齐，部分数据无业务系统支持，缺乏统一的规范、标准和明确的数据问责；三是一线人员数据录入工作量巨大，数据重复录入，业务功能重复；四是数据质量管控滞后，管控工作片面化，没有形成一个完整性的数据质量管控体系和全面有效的数据质量保障机制，规范数据价值的深度挖掘，目前，由于上述问题导致了电力数据质量下降，影响电网公司对电力数据质量的管理水平。
3.因此，有必要开发一种电力信息通信数据质量检测模型的构建方法及构建系统，能够对多源信息的电力信息通信数据进行准确有效的检测，及时发现电力数据质量下降的隐患，提高电网公司对电力数据质量的管理水平。


技术实现要素：

4.本发明旨在解决现有技术或相关技术中存在的技术问题之一。
5.为此本发明提出了一种电力信息通信数据质量检测模型的构建方法及构建系统。
6.有鉴于此，本发明的一方面提出了一种电力信息通信数据质量检测模型的构建方法，所述构建方法包括：
7.基于多源电力信息通信数据，采用集成存储与并行汇集处理技术，构建数据源模型；
8.基于所述数据源模型，确定数据质量检测对象；
9.基于实际业务需求，选择数据质量检测指标；
10.基于选择的所述数据质量检测指标，设计不同维度指标的数据质量检测规则；
11.基于所述数据质量检测规则进行评估，计算得到所述数据质量检测指标的合格百分比；
12.运用层次分析法构建判断矩阵，确定各个所述数据质量检测指标的权重及期望值；
13.基于所述数据质量检测对象、所述数据质量检测指标、所述数据质量检测规则、所述权重及期望值和所述合格百分比，构建电力信息通信数据质量检测模型。
14.进一步地，所述多源电力信息通信网数据包括运行数据、生产数据、erp数据和营销数据。
15.进一步地，所述数据质量检测对象为数据项或数据集，其中，所述数据集是数据项
的集合，能够将所述数据集划分成所述数据质量检测对象的小类。
16.进一步地，所述数据质量检测指标包括正确性、完整性、唯一性、准确性、有效性、一致性和时效性。
17.进一步地，所述正确性是指所述数据质量检测对象否符合客观事实，所述数据质量检测对象采集、传输、转储等过程中是否发生错误；所述完整性是指所述数据质量检测对象是否存在缺失记录；所述唯一性是指所述数据质量检测对象是否存在相似重复记录；所述准确性是指所述数据质量检测对象的精度是否符合要求；所述时效性是指所述数据质量检测对象在当前条件下是否仍然有效；所述一致性是指所述数据质量检测对象的表达格式是否一致；所述有效性是指所述数据质量检测对象的表达格式、数值大小是否有效。
18.进一步地，设计所述数据质量检测规则包括：
19.参照数据质量检测指标，设计数据质量检测规则ri(ii)，每条数据质量检测指标对应着一条数据质量检测规则。
20.进一步地，运用层次分析法构建所述判断矩阵，确定各个所述数据质量检测指标的权重及期望值包括：
21.将问题层次化，形成由目标层、准则层和措施层组成的递阶层次结构；
22.采用“1-9标度法”，形成判断矩阵；
23.基于所述层次分析法检验所述判断矩阵的一致性；
24.通过逐层计算，得到所述方案层对所述目标层的权重，比重最大的一个方案即为解决问题的最优方案。
25.进一步地，计算得到所述数据质量检测指标的合格百分比包括：
26.根据所述数据质量检测规则ri(ii)，对所述数据质量检测对象进行检测分析，计算满足所述数据质量检测规则ri(ii)的数据个数百分比si(ri(ii))；
27.再给出对每个所述数据质量检测指标的期望值ei，分别计算出所述数据质量检测对象的质量评估结果sa、总体期望值se和相对量化值sr。
28.进一步地，构建电力信息所述通信数据质量检测模型为：
29.m＝《d,i,r,w,e,s》
30.式中：d为数据质量检测对象；i为d上需要进行检测的数据质量检测指标集合；r为与数据质量检测指标相对应的数据质量检测规则集合；w为数据质量检测指标的权重；e为对r给出的期望值；s为指数据质量检测对象基于数据质量检测规则进行数据质量评估的数据质量评分。
31.根据本发明的另一方面提供了一种电力信息通信数据质量检测模型的构建系统，数据源模型模块，基于多源电力信息通信数据，采用集成存储与并行汇集处理技术，构建数据源模型；
32.数据质量检测对象模块，基于所述数据源模型，确定数据质量检测对象；
33.数据质量检测指标模块，基于实际业务需求，选择数据质量检测指标；
34.数据质量检测规则模块，基于选择的所述数据质量检测指标，设计不同维度指标的数据质量检测规则；
35.合格百分比模块，基于所述数据质量检测规则进行评估，计算得到所述数据质量检测指标的合格百分比；
36.权重及期望值模块，运用层次分析法构建判断矩阵，确定各个所述数据质量检测指标的权重及期望值；
37.电力信息通信数据质量检测模型系统，基于所述数据质量检测对象模块、所述数据质量检测指标模块、所述数据质量检测规则模块、所述权重及期望值模块和所述合格百分比模块，构建电力信息通信数据质量检测模型。
38.本发明提供的技术方案可以包括以下有益效果：
39.数据质量检测对象、数据质量检测指标、权重及期望值和合格百分比，构建电力信息通信数据质量检测模型能够对多源信息的电力信息通信数据进行准确有效的检测，及时发现电力数据质量下降的隐患，提高电网公司对电力数据质量的管理水平。
40.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
41.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1示出了根据本发明一个实施例的电力信息通信数据质量检测模型的构建方法的步骤流程图；
44.图2示出了根据本发明一个实施例的确定各个数据质量检测指标的权重的步骤流程图；
45.图3示出了根据本发明一个实施例的目标层、准则层和措施层的关系示意图。
具体实施方式
46.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
47.实施例1
48.图1示出了根据本发明一个实施例的电力信息通信数据质量检测模型的构建方法的步骤流程图。
49.如图1所示，本实施例提供了一种电力信息通信数据质量检测模型的构建方法，该构建方法包括：
50.步骤1，基于多源电力信息通信数据，采用集成存储与并行汇集处理技术，构建数据源模型；
51.步骤2，基于数据源模型，确定数据质量检测对象；
52.步骤3，基于实际业务需求，选择数据质量检测指标；
53.步骤4，基于选择的数据质量检测指标，设计不同维度指标的数据质量检测规则；
54.步骤5，基于数据质量检测规则进行评估，计算得到数据质量检测指标的合格百分比；
55.步骤6，运用层次分析法构建判断矩阵，确定各个数据质量检测指标的权重及期望值；
56.步骤7，基于数据质量检测对象、数据质量检测指标、数据质量检测规则、权重及期望值和合格百分比，构建电力信息通信数据质量检测模型。
57.根据数据质量检测对象、数据质量检测指标、数据质量检测规则、权重及期望值和合格百分比，构建电力信息通信数据质量检测模型能够对多源信息的电力信息通信数据进行准确有效的检测，及时发现电力数据质量下降的隐患，提高电网公司对电力数据质量的管理水平。
58.进一步地，多源电力信息通信网数据包括运行数据、生产数据、erp数据和营销数据。
59.其中，运行数据包括光纤速率、调度级别、otn总览时隙分配占比等；生产数据包括设备信息、设备状态、设备使用情况等；erp数据财务数据、资产数据、物流数据等；营销数据包括交易电价、售电量、用电客户信息等。
60.进一步地，数据质量检测对象为数据项或数据集，其中，数据集是数据项的集合，能够将数据集划分成数据质量检测对象的小类。
61.需要说明的是，数据质量检测对象(以d表示)可以是数据项也可以是数据集。数据集是数据项的集合包含多个数据项，根据数据集中的数据项，数据集可以划分成数据质量检测对象小类。例如以机房为质量检测对象，其中环境数据、网络安全数据、设备运行数据等就是数据质量检测对象小类。
62.进一步地，数据质量检测指标包括正确性、完整性、唯一性、准确性、有效性、一致性和时效性。
63.其中，正确性是指数据质量检测对象否符合客观事实，数据质量检测对象采集、传输、转储等过程中是否发生错误；完整性是指数据质量检测对象是否存在缺失记录；唯一性是指数据质量检测对象是否存在相似重复记录；准确性是指数据质量检测对象的精度是否符合要求；时效性是指数据质量检测对象在当前条件下是否仍然有效；一致性是指数据质量检测对象的表达格式是否一致；有效性是指数据质量检测对象的表达格式、数值大小是否有效，其中数据质量检测对象d上需要进行检测的数据质量检测指标集合以i表示。
64.需要说明的是，准确性已不在是衡量数据质量的唯一标准，数据质量标准需从用户的角度出发，不同的用户在不同时期对数据质量有不同的标准。
65.进一步地，设计数据质量检测规则包括：
66.参照数据质量检测指标，设计数据质量检测规则ri(ii)，每条数据质量检测指标对应着一条数据质量检测规则。
67.其中，不同维度指标是指数据质量检测指标的正确性、完整性、唯一性、准确性、有效性、一致性和时效性这7个维度，数据质量检测指标相对应的数据质量检测规则集合以r表示。
68.需要说明的是，以交换机为例，针对交换机容量r1选择数据质量检测指标完整性i1设计完整性规则r1(i1)，根据实际业务要求，交换机容量数据的完整性不能为空，所以交换
机容量为非空，r1(i1)！＝null，这就是交换机容量的完整性规则。
69.图2示出了根据本发明一个实施例的确定各个数据质量检测指标的权重的步骤流程图。
70.如图2所示，运用层次分析法构建判断矩阵，确定各个数据质量检测指标的权重及期望值包括：
71.步骤601，将问题层次化，形成由目标层、准则层和措施层组成的递阶层次结构；
72.步骤602，采用“1-9标度法”，形成判断矩阵；
73.步骤603，基于层次分析法检验判断矩阵的一致性；
74.步骤604，通过逐层计算，得到方案层对目标层的权重，比重最大的一个方案即为解决问题的最优方案。
75.其中，层次分析法是对定性问题进行定量分析的一种简单、灵活、实用的多准则决策方法。该方法将定量分析与定性分析结合起来，用决策者的经验判断各衡量目标能否实现的标准之间的相对重要程度，并合理地给出每个决策方案的每个标准的权数，利用权数求出各方案的优劣次序。
76.图3示出了根据本发明一个实施例的目标层、准则层和措施层的关系示意图。
77.需要说明的是，如图3所示本发明的问题就是对多源电力信息通信网数据进行质量检测，目标层a的元素就是目标，就是合理检测数据质量，提高数据质量整体水平，准则层b的元素就是数据质量检测指标准侧层b，包括正确性b1、完整性b2、唯一性b3、准确性b4、有效性b5，措施层c的元素就是数据质量检测规则，包括正确性规则c1、完整性规则c2、唯一性规则c3、准确性规则c4、有效性规则c5。
78.更具体地，步骤601为建立递阶层次结构，首先明确要分析决策的问题，并把它条理化、层次化，理出递阶层次结构，递阶层次结构一般由以下三个层次组成：目标层(最高层)，指问题的预定目标；准则层(中间层)，指影响目标实现的准则；措施层(最低层)：指促使目标实现的措施。明确决策的目标，将该目标作为目标层(最高层)的元素，这个目标要求是唯一的，即目标层只有一个元素，然后找出影响目标实现的准则，作为目标层下的准则层因素，最后分析为了解决决策问题(实现决策目标)，在上述准则下，有哪些最终解决方案(措施)，并将它们作为措施层因素，放在递阶层次结构的最下面(最低层)，明确各个层次的因素及其位置，并将它们之间的关系用连线连接起来，就构成了递阶层次结构。
79.例如：针对多源电力信息通信数据，希望通过数据质量检测，使数据质量提高，即决策目标是“合理检测数据质量，提高数据质量整体水平”，为了实现这一目标，需要考虑的主要准则有五个，即正确性、完整性、唯一性、准确性、有效性。然后将各个层次的因素按其上下关系摆放好位置，并将它们之间的关系用连线连接起来，这样构成了递阶层次结构。
80.进一步地，根据递阶层次结构构造判断矩阵(这就是将问题层次化，形成由目标层、准则层和措施层组成的递阶层次结构的目的)。
81.步骤602为构造判断矩阵并赋值，其中，构造判断矩阵的方法：每一个具有向下隶属关系的元素(被称作准则)作为判断矩阵的第一个元素(位于左上角)，隶属于它的各个元素依次排列在其后的第一行和第一列，向专家反复询问，针对判断矩阵的准则，其中两个元素两两比较哪个重要，重要多少，对重要性标度按1-9赋值，重要性标度1-9赋值表如表1所示。
82.表1重要性标度1-9赋值表
[0083][0084]
获得的判断矩阵为：
[0085][0086]
其中，n为行数；m为列数。
[0087]
获得矩阵后计算权向量，采用方根求解判断矩阵a的特征向量近似解和最大特征值，求解过程首先是计算判断矩阵(公式1)每一行元素的乘积的n次方根为：
[0088][0089]
其中，n为行数，i和j为元素，上诉判断矩阵a是n行m列的矩阵。a
ij
是判断矩阵a中的任意一个元素，当i＝1,j＝1，a
ij
就是a
11
，以此类推。
[0090]
需要说明的是，在公式1中，当i＝1的时候，就变成了表示各项连乘，其中，j＝1是初始值，n是终值，表示判断矩阵a中的a
11
*a
12
*
…
*a
1n
，也就是判断矩阵a中第一行的乘积再开n次方根，求得的是第一行的权重向量，当i＝2的时候，求得的是第二行的权重向量，直到i＝n，求得是第n行的权重向量。
[0091]
进行归一化处理，获得每个指标的权重。计算每行乘积n次方根与方根和的商，构成特征向量wi＝(w1,w2,
…
,wn)
t
：
[0092][0093]
计算判断矩阵a的最大特征值λmax，其中，a为判断矩阵，(aw)i表示向量aw的第i个
元素：
[0094][0095]
步骤603为检验判断矩阵的一致性，一致性检验指标cr的计算公式为：
[0096][0097]
其中，n表示行数，ri为随机一致性指标，可查表获得，如表2所示，例如：对于5阶的判断矩阵，查表得到ri＝1.12。
[0098]
其中，层次分析法要求在得到判断矩阵的权重向量后进行一致性检查，以确保每层判断矩阵的有效性，通过cr的值反映判断矩阵a的非一致性严重程度。
[0099]
表2平均随机一致性指标ri表
[0100]
矩阵阶数12345678ri000.520.891.121.261.361.41矩阵阶数9101112131415 ri1.461.491.521.541.561.581.59 [0101]
若cr＜0.1，则a通过一致性检验；如果不通过，必须修正原判断矩阵，直到一致性检验通过，此时特征向量近似解即为各个元素的权重系数。
[0102]
具体地，步骤604为根据权重向量从最准则层到措施层依次计算该层所有元素对于目标层的重要性的权重，权重值最大的一个方案即为解决问题的最优方案，此时权重值最大的一个方案为w。
[0103]
进一步地，计算得到数据质量检测指标的合格百分比包括：
[0104]
根据数据质量检测规则ri(ii)，对数据质量检测对象进行检测分析，计算满足数据质量检测规则ri(ii)的数据个数百分比si(ri(ii))；
[0105]
再给出对每个数据质量检测指标的期望值ei，分别计算出数据质量检测对象的质量评估结果sa、总体期望值se和相对量化值sr。
[0106]
需要说明的是，si(ri(ii))就是数据质量检测指标的合格百分比，si(ri(ii))＝(di/dt)
×
100％，其中，di表示满足数据质量检测规则ri(ii)的数据个数，dt表示对数据质量检测对象总个数；根据合格百分比，结合实际检测需求设定数据质量检测指标的期望值ei(比如实际检测需求为数据完整性达到95％，数据质量检测指标的期望值就是95)。
[0107]
需要说明的是，根据特征向量wi合格百分比si[si(ri(ii))]，得到数据质量检测对象的质量评估结果sa：
[0108][0109]
其中，wi表示特征向量，si表示合格百分比，i表示第i个元素，n表示行数。
[0110]
根据特征向量wi，期望值ei，得到数据质量检测对象的总体期望值se：
[0111][0112]
根据数据质量检测对象的质量评估结果sa和数据质量检测对象的总体期望值se，得到数据质量检测对象的相对量化值：sr＝sa-se。
[0113]
其中，sa反映了数据质量检测对象的真实数据质量状况，se反映了对数据质量检测对象的总体期望值，而sr反映的是数据质量检测对象相对于其期望值se的数据质量状况。我们认为若sa∈(98，100]则评定该数据质量检测对象的数据质量水平为“优”，若sa∈(95，98]则评定该数据质量检测对象的数据质量水平为“良”，若sa∈(85，95]则评定该数据质量检测对象的数据质量水平为“中”，若sa∈(0，85]则评定该数据质量检测对象的数据质量水平为“差”，若sr符号为正，则其数值越大，说明数据质量比预期的更好；若sr符号为负，则其数值越大，说明数据质量比预期的更差。
[0114]
需要说明的是，sa、se、sr反映的数据质量情况，sa是质量评估结果，se是总期望值，sr是相对差值。假设计算得出的总体期望值se为98，综合评估值sa为97.8，计算得到相对差值sr为-0.2。得出结论sa为97.8符合sa∈(95，98]判定数据质量为优，sr为-0.2符号为负，说明数据质量比预期的差，但差距不大，反之，则相反。
[0115]
进一步地，构建电力信息通信数据质量检测模型为：
[0116]
m＝《d,i,r,w,ei,sa》
[0117]
式中：d为数据质量检测对象；i为d上需要进行检测的数据质量检测指标集合；r为与数据质量检测指标相对应的数据质量检测规则集合；w为数据质量检测指标的权重值最大的一个方案ei为对r给出的期望值；sa为指数据质量检测对象基于数据质量检测规则进行数据质量评估的数据质量评分。
[0118]
需要说明的是，数据质量检测对象d、数据质量检测指标集合i、数据质量检测规则集合r、权重值最大的一个方案为w，期望值ei，数据质量检测对象的质量评估结果sa,组成电力信息通信数据质量检测模型。
[0119]
实施例2
[0120]
本实施例提供了一种电力信息通信数据质量检测模型的构建系统，该构建系统包括：
[0121]
数据源模型模块，基于多源电力信息通信数据，采用集成存储与并行汇集处理技术，构建数据源模型；
[0122]
数据质量检测对象模块，基于数据源模型，确定数据质量检测对象；
[0123]
数据质量检测指标模块，基于实际业务需求，选择数据质量检测指标；
[0124]
数据质量检测规则模块，基于选择的数据质量检测指标，设计不同维度指标的数据质量检测规则；
[0125]
合格百分比模块，基于数据质量检测规则进行评估，计算得到数据质量检测指标的合格百分比；
[0126]
权重及期望值模块，运用层次分析法构建判断矩阵，确定各个数据质量检测指标的权重及期望值；
[0127]
电力信息通信数据质量检测模型系统，基于数据质量检测对象模块、数据质量检
测指标模块、数据质量检测规则模块、权重及期望值模块和合格百分比模块，构建电力信息通信数据质量检测模型。
[0128]
根据数据质量检测对象模块、数据质量检测指标模块、数据质量检测规则模块、权重及期望值模块和合格百分比模块，构建电力信息通信数据质量检测模型的构建系统能够对多源信息的电力信息通信数据进行准确有效的检测，及时发现电力数据质量下降的隐患，提高电网公司对电力数据质量的管理水平。
[0129]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0130]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。