一种维护指标唯一性的指标管理方法及系统与流程

1.本发明涉及大数据及指标管理技术领域，具体地说是一种维护指标唯一性的指标管理方法及系统。


背景技术：

2.随着大数据的广泛应用，不同业务场景中往往会根据需求设计各类指标，指标数量的持续增长，增加了指标有序管理的难度，如果在指标管理中，只是根据业务系统传入的指标定义进行管理，往往会因为语言表达的不一致而非语义的不一致导致大量冗余指标的存在。


技术实现要素：

3.本发明的技术任务是针对以上不足之处，一种维护指标唯一性的指标管理方法及系统，能够优化指标管理模式，避免冗余指标的出现。
4.本发明解决其技术问题所采用的技术方案是：
5.一种维护指标唯一性的指标管理方法，设置数据模型，包括数据维度表、运算维度表和指标表，分别用于存储指标的数据维度、运算维度以及指标定义和解析指标定义生成的逻辑表达式；
6.解析来源于业务场景的各指标定义，分离出数据维度和运算维度，完成指标由整到零拆分，并存入数据维度表和运算维度表中；指标的定义以及该指标对应的逻辑表达式存储于指标表中；
7.在新增指标时，若数据维度表和计算维度表中已经存在对应的元素，则不再增加,并根据指标定义生成对应的逻辑表达式；若根据指标定义解析后的逻辑表达式与指标表中存在的不一致，则把新的指标定义及对应的逻辑表达式加入；但若指标定义不完全一致，但解析后的逻辑表达式一致，则此类指标作为重复指标不再进行新增，并向业务系统反馈，以此避免重复指标的新增。
8.优选的，数据维度表包含数据标识、数据名称、数据来源、数据类型及数据单位；
9.运算维度表包含运算逻辑标识、运算逻辑名称及表达式格式；
10.指标表包含指标标识、指标定义及指标逻辑表达式。
11.进一步的，所述指标逻辑表达式包括数据部分和运算部分，数据部分为加工指标的数据源，可以是某个数据表或多个数据表的一个或多个数据字段；运算部分则为对数据部分的加工逻辑，如各数据的和、差，数据字段a与数据字段b的比值，或者某个量度内对各数据的统计等。
12.指标逻辑表达式是区分指标的根本，指标的逻辑表达式目的是为了避免因语言表达不同而非语义差别导致的重复，如a与b的和加上c与a、b、c合计值语义是一致的，在定义二者的逻辑表达式均是sum(a，b，c)。
13.优选的，该方法的实现过程如下：
14.1)、设计用于存储的数据模型，包括存储数据维度的数据维度表，存储运算维度的运算维度表及用于存储指标定义和指标逻辑表达式的指标表；
15.2)、确定数据维度、运算维度和指标逻辑表达式定义规则；
16.3)、拿到根据业务需求定义的指标后，解析指标定义，分离出数据维度和运算维度，分别存储于数据维度表和计算维度表，并生成此指标各数据维度和计算维度在数据库中的唯一标识；指标的逻辑表达式为数据维度和计算维度唯一标识的组合表示；
17.4)、将步骤3)中生成的指标逻辑表达式以及指标定义存储于指标表，并生成指标的唯一标识；
18.步骤3)和步骤4)即把一个指标的各项内容存入了数据库管理，可以方便查询和统计；
19.5)、当需要新增指标时，进行步骤3)的操作，如果数据库中已经存在了对应的数据维度和计算维度，则不再增加，并根据指标定义生成对应的逻辑表达式；
20.6)、在数据库中检索新增指标的逻辑表达式是否存在，如果不存在，将步骤5)中得到的逻辑表达式按步骤4)存入指标表；否则说明指标存在，不再新增，并反馈给业务系统。业务应用时可以根据检索得到的指标标识取之使用。
21.通过以上步骤，可以实现指标的优化管理，方便查询、统计。根据生成的指标逻辑表达式可以确认指标的唯一性，从而有效避免冗余指标的出现。同时，利用指标逻辑表达式，便于分析各指标的关联性，判断是否可以衍生出更具综合性的指标。
22.优选的，所述数据维度、运算维度和指标逻辑表达式定义规则如下：
23.数据维度的标识以结合业务内容、辨识度高为主要准则，数据维度可使用数据字段英文名称简写及数值表示；
24.运算维度根据业务积累预存各类有效的运算维度；
25.通过指标定义生成逻辑表达式，并在迭代指标逻辑表达式时，以此作为标准；
26.如果确实需要使用同一个逻辑表达式的两种语言表述的指标，只需在指标表中增加对应的指标定义内容即可。
27.优选的，所述运算维度包括求和、求比值、求最大值和最小值、计算方差、中位数、排名以及计算某个量度内的统计值。
28.进一步的，根据业务需求，确定存在一个指标逻辑表达式对应多个指标定义的情况，可以在指标表的指标定义列进行补充。
29.本发明还要求保护一种维护指标唯一性的指标管理系统，包括指标查询模块、指标解析模块、逻辑表达式生成模块，以及数据模型；所述数据模型包括数据维度表、运算维度表和指标表；
30.该系统实现上述的维护指标唯一性的指标管理方法。
31.本发明还要求保护一种维护指标唯一性的指标管理装置，包括至少一个存储器和至少一个处理器；
32.所述至少一个存储器，用于存储机器可读程序；
33.所述至少一个处理器，用于调用所述机器可读程序，执行上述的维护指标唯一性的指标管理方法。
34.本发明还要求保护计算机可读介质，所述计算机可读介质上存储有计算机指令，
所述计算机指令在被处理器执行时，使所述处理器执行上述的维护指标唯一性的指标管理方法。
35.本发明的一种维护指标唯一性的指标管理方法及系统与现有技术相比，具有以下有益效果：
36.本方法通过对指标定义的解析，实现指标和指标组成元素的分离管理，各指标组成元素(数据维度、运算维度)具备唯一标识符，并根据此唯一标识符组合生成指标逻辑表达式。各组成元素可服务于多个指标，不会造成资源冗余。
37.指标的逻辑表达式是指标定义的转义表达，且因各标识符唯一，根据指标定义生成的逻辑表达式则是用以区分各指标定义的刚性标准。因为逻辑表达式的唯一性，则可用此来判断各个指标定义是否存在重复，避免因语言文字描述不一致定义了多个语义一致的指标。
38.另外，利用指标逻辑表达式便于分析各指标的关联性，判断是否可以衍生出更具综合性的指标。
39.综上所述，本方法可以实现指标的优化管理，避免指标重复定义，方便衍生新指标，可以更有效地查询、统计各指标情况。
附图说明
40.图1是本发明实施例提供的维护指标唯一性的指标管理方法功能框图；
41.图2是本发明实施例提供的维护指标唯一性的指标管理方法实现流程图。
具体实施方式
42.下面结合附图和具体实施例对本发明作进一步说明。
43.本发明实施例提供一种维护指标唯一性的指标管理方法，如图1所示，设置数据模型，包括数据维度表、运算维度表和指标表，分别用于存储指标的数据维度、运算维度以及指标定义和解析指标定义生成的逻辑表达式；
44.解析来源于业务场景的各指标定义，分离出数据维度和运算维度，完成指标由整到零拆分，并存入数据维度表和运算维度表中；指标的定义以及该指标对应的逻辑表达式存储于指标表中；
45.在新增指标时，若数据维度表和计算维度表中已经存在对应的元素，则不再增加,并根据指标定义生成对应的逻辑表达式；若根据指标定义解析后的逻辑表达式与指标表中存在的不一致，则把新的指标定义及对应的逻辑表达式加入；但若指标定义不完全一致，但解析后的逻辑表达式一致，则此类指标作为重复指标不再进行新增，并向业务系统反馈，以此避免重复指标的新增。
46.本方法实现的具体过程如下：
47.1)、设计用于存储的数据模型，分别为存储数据维度的数据维度表，存储运算维度的运算维度表及用于存储指标定义和指标逻辑表达式的指标表；
48.数据维度表包含数据标识、数据名称、数据来源、数据类型及数据单位；
49.运算维度表包含运算逻辑标识、运算逻辑名称及表达式格式；
50.指标表包含指标标识、指标定义及指标逻辑表达式。
51.2)、确定数据维度、运算维度和指标逻辑表达式定义规则；指标逻辑表达式是区分指标的根本，指标逻辑表达式包括数据部分和运算部分，数据部分即是加工指标的数据源，可以是某个数据表或多个数据表的一个或多个数据字段；运算部分则是对数据部分的加工逻辑，如各数据的和、差，数据字段a与数据字段b的比值，或者某个量度内对各数据的统计等；
52.指标的逻辑表达式要为了避免因语言表达不同而非语义差别导致的重复，如a与b的和加上c与a、b、c合计值语义是一致的，在定义二者的逻辑表达式均是sum(a，b，c)。
53.制定各项规则如下：
54.a：数据维度的标识以结合业务内容、辨识度高为主要准则，可使用数据字段英文名称简写及数值表示，详细可参照b中示例。
55.b：运算维度标识表如表1所示，除了通用的求和、求比值、求最大值和最小值等运算，还增加了计算指标时常用的计算方差、中位数、排名以及计算某个量度内的统计值。逻辑表达式中，并列关系的元素用逗号间隔。(此处的表达式不是指标加工方法的实现，它是对指标定义进行运算逻辑的转化，同时可作为下一步指标加工时，明确各计算步骤的辅助参考。)运算维度可以根据业务积累预存各类有效的运算维度。
56.表1-运算维度标识表
57.[0058][0059]
现给出指标定义生成逻辑表达式示例如下：
[0060]
表2-各数据名称对应数据标识表
[0061]
数据名称数据标识2021利润总额profit_20212020利润总额profit_2020行政处罚列表punish_list行政处罚金额punish_money行政处罚时间punish_date企业成立时间ent_reg_date
[0062]
则指标定义和指标多级表达式对应如下：
[0063]
表3-指标定义和指标多级表达式对应表
[0064][0065]
c：指标逻辑表达式的存在是为了避免因语言表达而非语义差别导致的重复，所以在迭代指标逻辑表达式时，应以此作为标准。
[0066]
d：如果确实需要使用同一个逻辑表达式的两种语言表述的指标，只需在指标表中增加对应的指标定义内容即可。
[0067]
3)、拿到根据业务需求定义的指标后，解析指标定义，分离出数据维度和运算维度，分别存储于数据维度表和计算维度表，并生成此指标各数据维度和计算维度在数据库中的唯一标识；指标的逻辑表达式为数据维度和计算维度唯一标识的组合表示。
[0068]
4)、将步骤3)中生成的指标逻辑表达式以及指标定义存储于指标表，并生成指标的唯一标识；如果根据业务需求，确定存在一个指标逻辑表达式对应多个指标定义的情况，可以在指标表的指标定义列进行补充。
[0069]
步骤3)和步骤4)即把一个指标的各项内容存入了数据库管理，可以方便查询和统计。
[0070]
5)、当需要新增指标时，进行步骤3)的操作，如果数据库中已经存在了对应的数据维度和计算维度，则不再增加，并根据指标定义生成对应的逻辑表达式。
[0071]
6)、在数据库中检索新增指标的逻辑表达式是否存在，如果不存在，将步骤5)中得到的逻辑表达式按步骤4)存入指标表；否则说明指标存在，不再新增，并反馈给业务系统。业务应用时可以根据检索得到的指标标识取之使用。
[0072]
通过以上步骤，可以实现指标的优化管理，方便查询、统计。根据生成的指标逻辑表达式可以确认指标的唯一性，从而有效避免冗余指标的出现。同时，利用指标逻辑表达
式，便于分析各指标的关联性，判断是否可以衍生出更具综合性的指标。
[0073]
各流程实现步骤如图2所示。
[0074]
本方法通过对指标定义的解析，实现指标和指标组成元素的分离管理，各指标组成元素(数据维度、运算维度)具备唯一标识符，并根据此唯一标识符组合生成指标逻辑表达式。各组成元素可服务于多个指标，不会造成资源冗余。
[0075]
指标的逻辑表达式是指标定义的转义表达，且因各标识符唯一，根据指标定义生成的逻辑表达式则是用来区分各指标定义的刚性标准。因为逻辑表达式的唯一性，则可用此来判断各个指标定义是否存在重复，避免因语言文字描述不一致定义了多个语义一致的指标。
[0076]
利用指标逻辑表达式便于分析各指标的关联性，判断是否可以衍生出更具综合性的指标。
[0077]
本发明实施例还提供了一种维护指标唯一性的指标管理系统，包括指标查询模块、指标解析模块、逻辑表达式生成模块，以及数据模型；所述数据模型包括数据维度表、运算维度表和指标表；
[0078]
该系统实现本发明上述实施例中所述的维护指标唯一性的指标管理方法。
[0079]
本发明实施例还提供了一种维护指标唯一性的指标管理装置，包括至少一个存储器和至少一个处理器；
[0080]
所述至少一个存储器，用于存储机器可读程序；
[0081]
所述至少一个处理器，用于调用所述机器可读程序，执行本发明上述实施例中所述的维护指标唯一性的指标管理方法。
[0082]
本发明实施例还提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行本发明上述实施例中所述的维护指标唯一性的指标管理方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
[0083]
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
[0084]
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
[0085]
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
[0086]
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
[0087]
上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基与上述多个实施例本领域技术人员可以知晓，可以组合上述不同
实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。