一种对数据进行稽核的方法、装置、设备和存储介质与流程

一种对数据进行稽核的方法、装置、设备和存储介质
【技术领域】
1.本技术涉及数据库技术领域，尤其涉及一种对数据进行稽核的方法、装置、设备和存储介质。


背景技术：

2.随着5g时代的到来，通信网络规模不断扩大、网络结构愈发复杂、网络业务不断多样化。在此大背景下，数据质量愈加重要，数据质量稽核工作的重要性日益突显。目前运营商通常都是在数据入库完成后通过一系列规则在数据库中进行稽核，得出稽核结果；数据库的服务器压力比较大，时间长，效率低；并且由于数据已经入库，如果数据经过稽核发现存在问题，还是不方便对数据进行调整。


技术实现要素：

3.本技术实施例提供了一种对数据进行稽核的方法、装置、设备和存储介质；以解决由于数据入库后进行稽核而无法对数据进行调整的问题。
4.第一方面，本技术实施例提供一种对数据进行稽核的方法，包括：
5.在数据从数据源写入数据库中的对应的源表的过程中，
6.依次对所述数据的各个目标属性进行稽核；
7.根据每一个目标属性的稽核结果确定最终的稽核结果。
8.在一种实施方式中，所述数据的目标属性包括以下的一种或者几种：完整性、及时性、准确性和一致性。
9.在一种实施方式中，如果最终的稽核结果不合格，方法还包括：报警。
10.在一种实施方式中，确定最终的稽核结果不合格，包括：
11.判断所述最终的稽核结果是否小于预先设定的阈值；
12.如果是，则确定稽核结果不合格。
13.在一种实施方式中，如果数据的稽核结果不合格，则对所述数据进行合并重构；对经过合并重构后的数据再次进行分级稽核得到稽核结果并判断得到的稽核结果是否合格。
14.第二方面，本技术还提出了一种对数据进行分级稽核的装置，包括：
15.稽核控制器和多个目标属性过滤器；
16.所述稽核控制器，在数据从数据源写入数据库中的对应的源表的过程中，
17.依次控制各个目标属性过滤器对所述数据的各个目标属性进行稽核；以及根据每一个目标属性的稽核结果确定最终的稽核结果；
18.目标属性过滤器，用于对所述数据的目标属性进行稽核得到稽核结果。
19.在一种实施方式中，还包括报警装置，用于如果最终的稽核结果不合格时报警。
20.在一种实施方式中，稽核控制器还用于：
21.判断所述最终的稽核结果是否小于预先设定的阈值；
22.如果是，则确定稽核结果不合格。
23.第三方面，本技术还提出了一种电子设备，包括：
24.至少一个处理器；以及
25.与所述处理器通信连接的至少一个存储器，其中：
26.所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述的方法。
27.第四方面，本技术还提出了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述的方法。
28.本技术的技术方案，在数据从数据源写入数据库中的对应的源表的过程中，依次经过各个级别的稽核过滤器；稽核过滤器依次对所述数据的各个目标属性进行稽核；稽核控制器统计最终的稽核结果；本发明通过流式计算，建立分级稽核过滤机制框架，使用数据合成中断机制，有效提升数据稽核效率，降低服务器负荷，提升用户感知和体验。
【附图说明】
29.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
30.图1为本技术提出的一种对数据进行稽核的方法流程图；
31.图2为本技术提出的一种数据稽核与数据重构的方法流程图；
32.图3为本技术提出的另一种数据稽核与数据重构的方法流程图；
33.图4为本技术提出的一种对数据进行稽核的装置的结构示意图；
34.图5为本技术提出的一种对数据进行稽核的设备的结构示意图。
【具体实施方式】
35.为了更好的理解本技术的技术方案，下面结合附图对本技术实施例进行详细描述。
36.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
37.在本技术实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
38.首先对本领域所用到的专业的术语进行解释说明，
39.稽核，对账目进行查对计算；在通信领域中，有大量的数据源需要稽核；数据源主要包括用户的话单数据；包括在线计费话单、离线话单、在线消息话单数据源等；如果用户的余额不足时，可以及时停机，避免用户透支产生不良欠费。
40.基于此，本技术实施例提供一种对数据进行稽核的方法，参见附图1所示的一种对数据进行稽核的方法；该方法包括：
41.步骤s101，在数据从数据源写入数据库中的对应的源表的过程中，依次对所述数
据的各个目标属性进行稽核；
42.其中，所述数据的目标属性包括以下的一种或者几种：完整性、及时性、准确性和一致性。当然，也可以包括更多的目标属性。
43.步骤s102，根据每一个目标属性的稽核结果确定最终的稽核结果。
44.本发明的上述的方法，在数据写入到数据库中的对应的源表的路径上，设置了多个稽核过滤器，依次对数据的各个目标属性进行稽核；其中，每一个稽核过滤器对每一个目标属性进行稽核，从而避免了数据完全写入到数据库中之后再进行稽核的情况，提高了稽核的效率，降低了服务器的负担。
45.在一种实施方式中，为了确定最终的稽核结果是否合格时，可以采取以下的方法进行：
46.判断所述最终的稽核结果是否小于预先设定的阈值；
47.如果是，则确定稽核结果不合格。如果否，则确定稽核结果合格。
48.如果数据的最终的稽核结果不合格，还可以报警。
49.在一种实施方式中，如果数据的稽核结果不合格，则对所述数据进行合并重构；对经过合并重构后的数据再次进行分级稽核得到稽核结果并判断得到的稽核结果是否合格，如果不合格，再次进行重构；参见附图2所示的一种数据稽核与数据重构的方法流程图；该方法包括：
50.步骤s201，基于流式计算的分级稽核过滤机制对数据进行分级稽核；
51.其中，得到每一级的结果，根据每一个级的稽核结果得到该数据的最终的稽核结果；根据上述最终的稽核结果；
52.开展基于流式计算的分级稽核过滤机制，结合业务需求构建基于流式计算的分级稽核过滤机制框架，提升效率，降低服务器压力；
53.步骤s202，判断数据是否达到预警阈值；
54.其中，是根据该数据的最终的稽核结果来判断数据是否达到预警阈值；
55.如果是，则发出报警，并且执行步骤s203；如果否，则不发出报警；
56.步骤s203，实施基于消息流机制的数据合成重构机制对数据进行重构。
57.通过实施基于消息流的数据合成重构机制，避免了服务器无效的计算开支，提升了用户的数据质量满意度感知。
58.在源数据质量较差的情况下，数据流的后续处理结果会变得不准确，从而影响用户感知体验。通过数据合成重构机制，重构后续数据的处理，减少服务器无效的数据处理消耗，增加数据处理容错能力，提升用户体验。基于消息流的数据合成重构机制流程，参见附图3所示的另一种数据稽核与数据重构的方法流程图；该方法包括：
59.步骤s301，基于消息流的数据合成重构机制流程对数据进行稽核；
60.步骤s302，根据稽核结果判断是否达到预警条件；
61.判定稽核结果是否满足告警条件，当满足告警条件时，实施基于消息流的数据合成中断机制，整个流程用消息流触发；
62.其中，是否告警采用质量评价算法；
63.质量评价算法qea公式如下：
64.65.注：(1)k为稽核过滤器的权重，k1 k2 ...kn＝1；
66.值得强调的是，本技术为不同的稽核过滤器设置了不同的权重，可以根据实际需要来设置稽核器的权重；
67.(2)fn为不符合质量规则的条数；
68.(3)为不符合质量规则的历史均值。
69.步骤s303，生成稽核消息；
70.其中，根据稽核结果生成相应的稽核消息，包括数据源，告警原因，时间的信息；
71.步骤s304，发送稽核消息给重构模块及程序调度处理模块；
72.其中，发送消息的方式为广播；消息广播到数据合成重构模块及程序调度处理模块；
73.步骤s305，数据合成重构模块调用路径重构算法重构数据合成路径；
74.步骤s306，程序处理模块调用新的数据合成路径执行。
75.以下为路径重构算法公式说明(该算法模型采用维度建模，纵向划分为三层结构，数据流由下至上(基础层-仓库层-集市层)流动，划分严格边界)；
76.路径重构cos＝k1
×
diff k2
×
comp k3
×
res；
77.注：(1)k1为路径发散程度diff权重系数，diff为每条路径的叶子节点数；
78.(2)k2为路径复杂程度comp权重系数，comp为路径的深度；
79.(3)k3为路径耗费资源res权重系数，res为路径每个节点耗费资源的期望值。
80.本发明提出了基于流式计算分级稽核过滤方法，提出的稽核链表及质量评价算法；提出了基于消息流的数据合成中断方法；基于消息流的数据合成稽核流程及路径重构算法。
81.第二方面，本技术还提出了一种对数据进行稽核的装置；针对目前运营商数据稽核都是通过一系列规则在数据库中去跑，效率比较低，服务器压力也比较大，时间比较长等问题。本发明的最终基于流式计算分级稽核过滤机制，通过在持续流入的数据流中加入稽核过滤器，并结合各种不同业务需求场景，建立基于流式计算的分级稽核过滤机制框架，根据业务需求灵活制定稽核过滤器开关动态调整数据稽核方式及内容，参见附图4所示的一种对数据进行稽核的装置；该装置包括：稽核控制器41和多个目标属性过滤器；
82.根据数据评估标准的四个方面，分别对应建立及时性、完整性、准确性、一致性、及其它自定义的目标属性过滤器，并形成一个稽核链表。当数据由数据源写入源表时，依次流过相应的目标属性过滤器，完成相应的稽核并将稽核结果写入稽核控制器41。目标属性过滤器包括：
83.及时性稽核过滤器42：用于判断数据是否在要求的时间范围内；
84.完整性稽核过滤器43：用于判断数据是否存在缺失的情况；
85.准确性稽核过滤器44：用于判断数据是否存在异常或错误；
86.一致性稽核过滤器45：用于判断数据是否遵循统一的规范，数据集合是否保持了统一的格式。当然，也可以包括更多类型的稽核过滤器。
87.所述稽核控制器41，在数据从数据源写入数据库中的对应的源表的过程中，依次控制各个目标属性过滤器对所述数据的各个目标属性进行稽核；以及根据每一个目标属性的稽核结果确定最终的稽核结果；目标属性过滤器，用于对所述数据的目标属性进行稽核
得到稽核结果。稽核控制器41，根据业务需求配置相应稽核规则，根据规则控制每个过滤器开关。并根据质量评价算法qea计算，用于判断是否预警，作为下一步动作的输入。
88.在一种实施方式中，还包括报警装置，用于如果最终的稽核结果不合格时报警。
89.在一种实施方式中，稽核控制器还用于：判断所述最终的稽核结果是否小于预先设定的阈值；如果是，则确定稽核结果不合格。
90.第三方面，本技术还提出了一种电子设备；参见附图5所示的电子设备的结构示意图；上述电子设备可以包括至少一个处理器；以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本技术实施例提供的一种对数据进行稽核的方法。
91.其中，上述电子设备可以为对数据进行稽核的设备，本实施例对上述电子设备的具体形态不作限定。
92.图5示出了适于用来实现本技术实施方式的示例性电子设备的框图。图5显示的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
93.如图5所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器51，存储器53，连接不同系统组件(包括存储器53和处理器51)的通信总线54。
94.通信总线54表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industry standard architecture；以下简称：isa)总线，微通道体系结构(micro channel architecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(video electronics standards association；以下简称：vesa)局域总线以及外围组件互连(peripheral component interconnection；以下简称：pci)总线。
95.电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
96.存储器53可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory；以下简称：ram)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compact disc read only memory；以下简称：cd-rom)、数字多功能只读光盘(digital video disc read only memory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与通信总线54相连。存储器53可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本技术各实施例的功能。
97.具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器53中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本技术所描述的实施例中的功能和/或方法。
98.电子设备也可以与一个或多个外部设备(例如键盘、指向设备、显示器等)通信，还
可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过通信接口52进行。并且，电子设备还可以通过网络适配器(图5中未示出)与一个或者多个网络(例如局域网(local area network；以下简称：lan)，广域网(wide area network；以下简称：wan)和/或公共网络，例如因特网)通信，上述网络适配器可以通过通信总线54与电子设备的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(redundant arrays of independent drives；以下简称：raid)系统、磁带驱动器以及数据备份存储系统等。
99.处理器51通过运行存储在存储器53中的程序，从而执行各种功能应用以及数据处理，例如实现本技术实施例提供的对数据进行稽核的方法。
100.本技术实施例还提供一种非临时性计算机可读存储介质，上述非暂态计算机可读存储介质存储计算机指令，上述计算机指令使上述计算机执行本技术实施例提供的对数据进行稽核的方法。
101.上述非临时性计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(read only memory；以下简称：rom)、可擦式可编程只读存储器(erasable programmable read only memory；以下简称：eprom)或闪存、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
102.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
103.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、rf等等，或者上述的任意合适的组合。
104.可以以一种或多种程序设计语言或其组合来编写用于执行本技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(local area network；以下简称：lan)或广域网(wide area network；以下简称：wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)
105.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
106.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
107.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
108.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
109.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本技术各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory；以下简称：rom)、随机存取存储器(random access memory；以下简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
110.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。