一种轻便检查数据应用指标有效性的方法、装置及应用与流程

1.本技术涉及数据处理领域，特别是涉及一种轻便检查数据应用指标有效性的方法、装置及应用。


背景技术：

2.数字政府建设成效显著。一体化政务服务和监管效能大幅度提升，“一网通办”、“最多跑一次”、“一网统管”、“一网协同”等服务管理新模式广泛普及，数字营商环境持续优化，在线政务服务水平跃居全球领先行列，这其中离不开各地大数据局的数仓建设、数据治理。
3.通过对数据的整合、治理为数字政府、管理城市提供有力的数据底座支撑，通过集中化的智能提供了对日常城市运营的洞察。随着数字化改革的推进，智慧城市智能运行中心成为常见的数据应用展现，目前的展现侧大部分都没有做展现前的数据质量检查，一般的做法仅是在数据采集同步时和数据模型开发时对数据量、数据波动进行检查。这样只能保证单个数据模型的质量，并不能对具体的数据应用指标做有效性检查，从而无法保障数据应用指标的正确性，无法做到早发现，早处理，大部分情况都只能在数据应用展现后发现了异常再来进行人工干预处理。
4.现有的智慧城市智能运行中心中，例如：智慧城管运行分析专题中有：实时事件、街道统计、类型统计、常见问题分析的高发问题、重复问题等指标，目前从数据归集、治理、应用接口的数仓开发均基于大数据治理平台，在一些不具备数据质量检查或只支持数据表的质量检查的平台中，无法保证在数仓开发过程中的质量，虽然数仓开发过程中有调度任务的监控，如有报错可以查看报错并中断任务，但是也会存在一些源头本身数据的问题，比如：业务系统迁移，数据库停用，这种情况是不会影响到数仓的调度任务，因此数据质量在调度中无法完全暴露，会造成在数据应用继续展现异常的数据。


技术实现要素：

5.本技术实施例提供了一种轻便检查数据应用指标有效性的方法、装置及应用，利用python编程语言实现了轻便检查数据应用指标有效性的效果。
6.第一方面，本技术实施例提供了一种轻便检查数据应用指标有效性的方法，所述方法包括：基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；利用python脚本连接所述数据库，所述python脚本上引入时间模块；读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块的当前时间替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。
7.第二方面，本技术实施例提供了一种轻便检查数据应用指标有效性的装置，包括：
指标配置表设计单元，用于基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；连接单元，用于利用python脚本连接所述数据库，所述python脚本上引入时间模块；读取单元，用于读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；计算单元，用于运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；核查单元，用于汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。
8.第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的轻便检查数据应用指标有效性的方法。
9.第四方面，本技术实施例提供了一种计算机程序产品，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行根据权利要求所述的轻便检查数据应用指标有效性的方法。
10.本发明的主要贡献和创新点如下：
11.设计针对待稽核指标的指标配置表，通过python脚本连接数据库并将指标配置表内的字段赋值到python脚本内，利用python运算每个待稽核指标的结果值并生成结果表，基于结果表内的差异类型对待稽核指标的质量进行检查，实现了轻便检查待稽核指标质量的效果，同时可在数据运行过程中就进行数据检查，提高了数据质量检查的实效性。
12.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
14.图1是根据本技术实施例的轻便检查数据应用指标有效性的方法的流程图；
15.图2是根据本技术一种实施例的指标配置表的示意图；
16.图3是根据本技术实施例一种实施例的结果表的示意图；
17.图4是根据本技术实施例轻便检查数据应用指标有效性的装置的结构示意图；
18.图5是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
19.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
20.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进
行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
21.在介绍本方案的技术方案之前，首先介绍本方案涉及到的专业术语的解释：
22.python：提供了高效的高级数据结构，还能简单有效地面向对象编程。它具有简单、易学、易读、易维护的特性，在编程的用途非常广泛，且速度较快，也是一个免费的开源软件。
23.实施例一
24.如图1所示，本技术旨在提出一种轻便检查数据应用指标有效性的方法，包括以下步骤：
25.基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；
26.利用python脚本连接所述数据库，所述python脚本上引入时间模块；
27.读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；
28.运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块的当前时间替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；
29.汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。
30.在本方案中，用户根据实际需求选取待稽核指标，且每个待稽核指标有对应自己的数据合理性，若上传的数据明显不符合数据合理性的话，则代表该数据是无效的，根据所述待稽核指标及其数据合理性可得到所述待稽核指标的核查类型，进而可检查该待稽核指标的指标有效性。
31.示例性的，以某项目的智慧城管运行分析专题为例，用户选择的待稽核指标有：今日上报数、今日立案数、今日结案数、总上报数、总立案数、总结案数。针对这些待稽核数据常见的不合理情况有：所述总上报数为0，今日的总上报数小于昨日今日上报数等。针对以上待稽核数据的具体的核查类型有：数据量为0判断，数据波动判断以及枚举值判断。
32.也就是说，在“基于待稽核指标填写存放在数据库中的指标配置表”步骤中，获取所述待稽核指标，并基于所述待稽核指标的数据合理性确定所述待稽核指标的核查类型，基于所述核查类型填写存放在数据库中的指标配置表。所述核查类型包括但不限于：数数据量为0判断，数据波动判断以及枚举值判断。
33.所述指标配置表内填写对应每个待稽核指标的指标配置信息。所述待稽核指标的识别信息用于唯一地标识对应的待稽核指标，计算逻辑又可以包括当前值计算逻辑和目标值计算逻辑，当前值计算逻辑记录所述待稽核指标的当前值计算逻辑、目标值计算逻辑记录所述待稽核指标的目标值计算逻辑、周期记录所述待稽核指标的稽核周期、指标状态记录所述待稽核指标的指标状态，差异类型记录所述待稽核指标的核查类型。
34.在本方案中，所述待稽核指标的识别信息包括待稽核指标编码、待稽核指标名称以及业务指标名称，所述待稽核指标编码为四位代码可用于标识数据表的唯一性，所述待稽核指标名称标识待稽核指标的名称，所述待业务指标名称标识待稽核指标的业务含义；所述当前值计算逻辑和/或所述目标值计算逻为含有变量的sql语句编写；所述指标状态填写“有效”以及“无效”两种状态情况，当数据满足合理性的话则为“有效”；所述差异类型对
应所述核查类型，可以编码指代对应的核查类型。
35.在一些实施例中，所述指标配置表内针对需要稽核数据波动性的待稽核指标还可配置告警阈值，所述告警阈值作为数据波动值的校验标准。
36.示例性的，如图2所示提供了一项配置好的指标配置表。如图2所示，针对待稽核指标“今日上报数核查”的当前值计算逻辑填写sql语句，目标值计算逻辑为空，告警阈值为0，周期为天，指标状态为“有效”，差异类型为”1”，对应的是数据量为0判断的核查类型。
37.本方案的一大亮点在于借助python语句实现轻便的数据应用指标的检查，对应的，本方案引入python脚本连接所述数据库。
38.在本方案中，所述python脚本中引入的时间模块主要是用于做参数计算，可利用运算当前的当前时间替换所述计算逻辑中的时间变量
39.示例性的，如：所述计算逻辑中的create_dt＝${curdate}，这里的curdate为时间变量：当前日期yyyy-mm-dd。对时间变量进行赋值：curdate＝当前日期，如：2022-02-01；curmonth＝当前日期，如：2022-02。
40.在一些实施例中，所述python脚本连接数据库模块，利用所述数据库模块连接所述数据库并读取所述指标配置表内的配置信息。此时需要输入ip地址、端口、数据库名、账号、密码、队列等信息利用数据库模块登录连接数据库。
41.在“读取所述指标配置表，以对所述python脚本内对应的字段进行赋值”步骤中，所述python脚本内写有对应所述指标配置表的字段，将读取到的所述指标配置表内的配置信息作为值赋予对应的字段。
42.所述python脚本内的字段和指标配置表的的对应关系如下表一：
43.表一python脚本内的字段和指标配置表的对应关系
[0044][0045][0046]
值得一提的是，python脚本内字段名称和指标配置表是对应的关系，也就是说，改变指标配置表的内容就需要更改对应的python脚本的字段内容。
[0047]
在“运行每个待稽核指标的所述计算逻辑，并利用所述时间模块的当前时间替换所述计算逻辑内的时间变量，得到每个待稽核指标的结果值”步骤中，利用python脚本的时间模块的当前时间替换每个待稽核指标的所述计算逻辑内的时间变量，并依据所述计算逻辑计算所述待稽核指标的结果值。
[0048]
具体的，若所述每个待稽核指标的计算逻辑为当前值计算逻辑，则利用所述时间模块替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的当前值；若所述每个待稽核指标的计算逻辑为目标值计算逻辑，则利用所述时间模块替换所述目标值计算逻辑内的时间变量，得到每个待稽核指标的目标值；当然对于同时配置有当前值计算逻辑和目标值计算逻辑的待稽核指标而言，可以同时计算每个待稽核指标的当前值和目标值。
[0049]
在“汇总所有待稽核指标的结果值得到结果表”步骤中，所述结果表内至少配置所述待稽核指标的识别信息、结果值、数据日期以及差异类型。
[0050]
所述待稽核指标的识别信息沿用所述指标配置表内的所述待稽核指标的识别信息，所述差异类型沿用所述指标配置表内的所述所述差异类型，所述结果值沿用上一步骤计算得到的结果值，所述数据日期为获取所述结果值的时间。
[0051]
在一些实施例中，所述结果值包括当前值和目标值。此时，所述结果表内额外配置差异率和差异值，所述差异值为所述当前值和所述目标值的差值，所述差异率为所述差异值和所述当前值的比例。
[0052]
示例性，如图3所示，图3提供了一实施例的结果表，该结果表的字段包括：稽核指标编码、稽核指标名称、业务指标名称、当前值、目标值、差异率、差异值、差异类型、数据日期以及备注。
[0053]
在“依据所述结果表核查每一待稽核指标的质量”步骤中，由于所述结果表内记录针对每一待稽核指标的差异类型，基于所述差异类型核查所述待稽核指标的质量。具体的，基于所述差异类型对所述结果表中对应的字段数据进行判断，若不符合规定的话，则判断所述待稽核指标为不合规指标。
[0054]
具体的，若所述差异类型为数据量为0判断，则判断结果值是否为0，若为0则为不合规指标；若所述差异类型为数据波动判断数据，则判断差异值是否符合告警预警，若不符合则为不合规指标；若所述差异数据为枚举值判断，则判断所述结果值是否符合枚举值，若不符合则为不合规指标。
[0055]
且在一些优选实施例中，若基于所述差异类型核查所述待稽核指标的质量不合规，则将不合规的待稽核数据及对应的结果值形成报告。示例性的，形成的报告为：
[0056]
今日(周期)上报数(稽核指标名称)为0(结果值)，请及时处理。
[0057]
本月(周期)处置速度(稽核指标名称)已超过预定阀值(结果值，差异率)，请及时处理。
[0058]
通过本发明提供的方案在一些不具备数据质量检查或只支持数据表的质量检查的平台中，可以提升数据指标质量，提高客户满意度，有效的避免因一些源头本身数据的问题，比如：业务系统迁移，数据库停用等在调度中无法完全暴露的质量问题。
[0059]
实施例二
[0060]
基于相同的构思，参考图4，本技术还提出了一种轻便检查数据应用指标有效性的装置，包括：
[0061]
指标配置表设计单元301，用于基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；
[0062]
连接单元302，用于利用python脚本连接所述数据库，所述python脚本上引入时间模块；
[0063]
读取单元303，用于读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；
[0064]
计算单元304，用于运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；
[0065]
核查单元305，用于汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。
[0066]
关于实施例二中同于实施例一的技术内容在此不进行累赘说明。
[0067]
实施例三
[0068]
本实施例还提供了一种电子装置，参考图4，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项轻便检查数据应用指标有效性的方法实施例中的步骤。
[0069]
具体地，上述处理器402可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0070]
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(non-volatile)存储器。在特定实施例中，存储器404包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory，简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-accessmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器404(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory，简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory，简称sdram)等。
[0071]
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的轻便检查数据应用指标有效性的方法的计算机程序指令。
[0072]
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种轻便检查数据应用指标有效性的方法。
[0073]
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
[0074]
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
[0075]
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是待稽核指标等，输出的信息可以是结果表等。
[0076]
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
[0077]
基于待稽核指标填写存放在数据库中的指标配置表，其中所述指标配置表内至少配置所述待稽核指标的识别信息、计算逻辑、周期、指标状态以及差异类型；
[0078]
利用python脚本连接所述数据库，所述python脚本上引入时间模块；
[0079]
读取所述指标配置表，以对所述python脚本内对应的字段进行赋值；
[0080]
运行每个待稽核指标的所述当前值计算逻辑，并利用所述时间模块替换所述当前值计算逻辑内的时间变量，得到每个待稽核指标的结果值；
[0081]
汇总所有待稽核指标的结果值得到结果表，依据所述结果表核查每一待稽核指标的质量。
[0082]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0083]
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
[0084]
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
[0085]
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0086]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。