一种可柔性设置的应用系统业务数据稽核方法与流程

1.本发明涉及计算机技术领域，特别涉及一种可柔性设置的应用系统业务数据稽核方法。


背景技术：

2.目前，应用系统业务数据稽核的方法有很多，大多数稽核方法仍根据单一固化的业务数据稽核模型进行定制化开发实现，不能实现柔性灵活的设置，调用不同的业务数据稽核模型；实际情况下，由于业务的发展，业务数据稽核模型会不断的增加，只考虑单一固化的稽核模型往往难以满足需求；针对每一种稽核模型进行定制化开发，虽然能够保证各稽核模型互不干扰，独立运行，但人工成本高，后续运维工作量大，完成效率低，且应用系统代码冗余度高，造成系统的可拓展性和易维护性不高，如发明专利cn107085757b-一种稽核模型生成方法及装置中通过生成一种量化的稽核模型，适用于各种类型的待稽核业务数据，但是这种稽核方式比较单一固化不利于满足应用系统中业务数据的可拓展性和易维护性，此外，需要确定至少两个候选稽核规则，当稽核规则变多时，容易使得稽核过程更加复杂化，不利于待稽核数据的稽核准确率。


技术实现要素：

3.本发明提供一种可柔性设置的应用系统业务数据稽核方法，用以解决现有的数据稽核方法不能实现灵活设置，无法调用不同的业务数据稽核模型的情况。
4.一种可柔性设置的应用系统业务数据稽核方法，包括：
5.获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息；
6.根据所述数据稽核模型标识匹配对应的数据稽核模型，确定匹配结果，并基于所述匹配结果对所述待稽核业务数据进行校验；
7.获取所述待稽核数据的校验结果，并基于预设的展示逻辑对所述校验结果进行输出展示，确定输出展示结果。
8.作为本发明的一种实施例：所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，包括：
9.获取已稽核业务数据信息，针对所述已稽核业务数据信息进行筛选和分类，确定一级处理数据；
10.将所述一级处理数据中的数据稽核模型和对应的数据稽核模型标识建立映射连接，确定映射连接结果；其中，所述数据稽核模型用于针对待稽核业务数据信息进行稽核；
11.根据所述数据稽核请求确定待稽核业务数据信息，并基于所述映射连接结果，获取所述待稽核业务数据信息对应的数据稽核模型标识。
12.作为本发明的一种实施例：所述根据所述数据稽核模型标识匹配对应的数据稽核模型，确定匹配结果，并基于所述匹配结果对所述待稽核业务数据进行校验，包括：
13.针对所述数据稽核模型标识进行识别，确定标识识别结果，基于所述标识识别结果匹配对应的数据稽核模型，获取匹配结果；
14.当所述匹配结果显示所述数据稽核模型标识匹配成功时，基于预设的业务处理规则，并根据所述数据稽核模型，对待稽核业务数据信息进行校验，确定校验结果；
15.当所述校验结果显示所述待稽核业务数据信息满足所述业务处理规则时，对所述待稽核业务数据信息在数据稽核模型中进行计算处理；
16.当所述校验结果显示所述待稽核业务数据信息不满足所述业务处理规则时，对所述待稽核业务数据信息进行标记处理，并确定标记结果。
17.作为本发明的一种实施例：所述获取所述待稽核数据的校验结果，并基于预设的展示逻辑对所述校验结果进行输出展示，确定输出展示结果，包括：
18.当所述待稽核数据的校验结果和预设的业务处理规则进行比较，当比较结果显示所述待稽核数据的业务处理结果不符合所述业务处理规则时，判定业务数据稽核失败，并反馈失败原因；其中，所述失败原因至少包括：数据值过长超过预设最大值、身份证号唯一限制、启动超时、数据格式不一致等；
19.当比较结果显示所述待稽核数据的业务处理结果符合所述业务处理规则时，判定业务数据稽核成功，并将已稽核成功的业务数据进行输出展示。
20.作为本发明的一种实施例：所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，还包括：
21.根据所述待稽核业务数据信息，确定所述待稽核业务数据信息中的数据结构和字段关系；
22.基于预设的数据稽核系统，根据所述稽核业务数据信息中的数据结构和字段关系进行动态建模，确定动态建模结果；
23.基于所述动态建模结果，对所述待稽核业务数据进行数据分析，根据所述数据分析结果构建类图，确定待稽核数据中的内容属性；
24.根据所述待稽核数据的内容属性，对所述待稽核数据进行数据一致性检测并确定一致性检测结果。
25.作为本发明的一种实施例：所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，还包括：
26.将所述待稽核业务数据按照物理参数进行数据整合，获取整合结果；
27.当所述整合结果显示所述待稽核业务数据中的物理参数处于一致状态时，提取所述待稽核业务数据中的五元组数据；
28.将业务系统中的五元组数据和所述待稽核业务数据中的五元组数据进行比对，获取五元组数据的比对结果，当所述比对结果显示所述五元组数据一致时，判定所述待稽核业务数据中的五元组数据有效；
29.基于所述五元组数据的比对结果，针对所述待稽核业务数据构建端到端资源树，并判断所述端到端资源树是否构建成功，确定判断结果；其中所述资源树用于将所述待稽核业务数据以资源拓扑的方式显现；
30.当所述判断结果显示所述端到端资源树构建未成功时，针对所述端到端资源树构建未成功进行异常原因分析，获取异常原因分析结果。
31.作为本发明的一种实施例：所述当所述判断结果显示所述端到端资源树构建未成功时，针对所述端到端资源树构建未成功进行异常原因分析，获取异常原因分析结果，包括：
32.将所述待稽核业务数据根据稽核场景进行异常判断，确定异常判断结果；其中，所述稽核场景包括：业务数据占用端口是否异常、数据传输链路是否完整、逻辑参数是否一致；
33.根据所述异常判断结果，自动输出对应的稽核警报，根据所述稽核警报，获取故障业务数据的异常原因；
34.基于所述业务系统将所述故障业务数据分配分配至对应的数据修复端口，根据所述数据修复端口的故障业务数据修复结果，针对修复的数据进行自动校验，分析所述故障业务数据是否恢复正常，确定分析结果。
35.作为本发明的一种实施例：所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，包括：
36.将所述待稽核业务数据信息作为输入项输入至预设的人工智能清洗模型进行数据预处理，其中，所述人工智能清洗模型用于获取数据中的异构数据，并针对所述异构数据进行清洗；所述数据预处理的过程包括：
37.将所述待稽核业务数据信息进行数据标准化处理，确定第一处理数据；其中，所述数据标准化处理包括：定性标准化处理、定量标准化处理，所述定性标准化处理用于将来自不同业务系统的源数据中的相同字段数据进行整合处理，所述定量标准化处理用于按照预设的类型字段针对数据进行分类整合；
38.根据所述第一处理数据按照预设的排序方法进行排序处理，确定第二处理数据；
39.根据所述第二处理数据按照预设的数据特征进行数据识别，确定无效数据，并针对所述无效数据进行去除处理；其中，所述无效数据包括：重复数据、异常数据。
40.作为本发明的一种实施例：所述根据所述第一处理数据按照预设的排序方法进行排序处理，确定第二处理数据，包括：
41.根据所述第一处理数据判断所述第一处理数据是否有时间顺序，确定判断结果；
42.当所述判断结果显示所述第一处理数据有时间顺序时，根据数据的输入时间顺序进行排序处理；
43.当所述判断结果显示所述第一处理数据无时间顺序时，对所述第一处理数据进行数据矢量化处理，采用图论算法中弱连通图对所述第一处理数据进行排序处理。
44.作为本发明的一种实施例：所述当所述判断结果显示所述端到端资源树构建未成功时，针对所述端到端资源树构建未成功进行异常原因分析，获取异常原因分析结果，包括：
45.根据所述待稽核业务数据信息，采用数据挖掘技术获取待稽核业务数据信息中数据和事件之间的关联关系；
46.基于所述待稽核业务数据中数据和事件之间的关联关系，对所述待稽核业务数据进行异常检测，获取异常数据信息；
47.针对所述异常数据信息进行自动标注，并将经过自动标注后的数据信息发送至数据修复端口；其中，所述自动标注的信息包括：异常数据类型、异常等级，所述异常等级包
括：初级异常、中级异常、高级异常。
48.本发明有益效果为：本技术方案中通过针对数据稽核模型进行柔性灵活配置，有利于提高业务数据稽核的稽核效率，降低应用系统中代码的冗余度，此外，通过对数据稽核模型的标识进行识别，有利于快速选择对应的稽核模型进行稽核处理，最后通过针对稽核的结果进行输出展示，有利于实现稽核数据的可视化，并且能够实现数据的完整性和一致性，提噶奥数据质量和安全性。
49.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
50.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
51.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
52.图1为本发明实施例中一种可柔性设置的应用系统业务数据稽核方法的结构流程示意图；
53.图2为本发明实施例中一种可柔性设置的应用系统业务数据稽核方法中针对数据进行校验的框架流程示意图；
54.图3为本发明实施例中一种可柔性设置的应用系统业务数据稽核方法中针对数据稽核请求的流程示意图。
具体实施方式
55.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
56.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，“多个”的含义是两个或两个以上，除非另有明确具体的限定。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
57.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
58.实施例1：
59.本发明实施例提供了一种可柔性设置的应用系统业务数据稽核方法，如图1所示，包括：
60.获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息；
61.根据所述数据稽核模型标识匹配对应的数据稽核模型，确定匹配结果，并基于所
述匹配结果对所述待稽核业务数据进行校验；
62.获取所述待稽核数据的校验结果，并基于预设的展示逻辑对所述校验结果进行输出展示，确定输出展示结果；
63.在一个实际的场景中：随着业务数据种类和数量的不断提高，对应的业务数据稽核模型也会不断地增加，为了提高数据稽核的效率，会针对每一种稽核模型进行定制化开发，能够保证各稽核模型互不干扰，独立运行，但人工成本高，后续运维工作量大，完成效率低，且应用系统代码冗余度高，造成系统的可拓展性和易维护性不高；
64.本发明在进行实施的时候，采用柔性灵活配置，业务系统选取应用系统中需要稽核的业务数据，输入至稽核模型输入，针对稽核模型进行提取，通过此方式，由系统自动进行数据分类设置，提取业务数据并传入至稽核模型识别，在稽核模型识别过程中，对传入的数据稽核模型标识进行识别，分配指定的稽核模型并进行稽核处理，完成处理后将结果推送至稽核业务数据结果展示部分；在稽核业务数据结果展示部分，对满足业务处理规则的业务数据直接输出结果，对不满足业务处理规则的业务数据反馈失败原因，如数据值过长超过预设最大值、身份证号唯一限制、启动超时、数据格式不一致等；
65.上述技术方案的有益效果为：本技术方案中通过针对数据稽核模型进行柔性灵活配置，有利于提高业务数据稽核的稽核效率，降低应用系统中代码的冗余度，此外，通过对数据稽核模型的标识进行识别，有利于快速选择对应的稽核模型进行稽核处理，最后通过针对稽核的结果进行输出展示，有利于实现稽核数据的可视化，并且能够实现数据的完整性和一致性，提噶奥数据质量和安全性。
66.实施例2：
67.在一个实施例中，所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，包括：
68.获取已稽核业务数据信息，针对所述已稽核业务数据信息进行筛选和分类，确定一级处理数据；
69.将所述一级处理数据中的数据稽核模型和对应的数据稽核模型标识建立映射连接，确定映射连接结果；其中，所述数据稽核模型用于针对待稽核业务数据信息进行稽核；
70.根据所述数据稽核请求确定待稽核业务数据信息，并基于所述映射连接结果，获取所述待稽核业务数据信息对应的数据稽核模型标识；
71.在一个实际的场景中：在构建数据稽核模型时，主要是通过领域内的专家根据在业务数据稽核过程中结合一定的数据和人工的经验来定制的，因此，在现有技术中，稽核模型的生成过程中依赖于人工，无法实现稽核模型的自动生成，进而导致稽核模型的准确性下降，无法得到量化；
72.本发明在进行实施的时候，首先根据已稽核的业务数据进行筛选分类，并自动根据筛选和分类结果构建数据稽核模型，然后根据获取的待稽核数据进行分析，确定待稽核数据的模型标识，从一系列的数据稽核模型中根据模型的标识，选择对应的数据稽核模型；
73.上述技术方案的有益效果为：本技术方案中针对已稽核的业务数据进行筛选和分类，有利于提高应用系统中在进行数据稽核时数据的完整性和统一性，更加具有针对性，此外，通过人工智能技术对筛选和分类后的数据可自动构建数据稽核模型，不依赖于人工，并且能够提高数据稽核模型的准确性。
74.实施例3：
75.在一个实施例中，所述根据所述数据稽核模型标识匹配对应的数据稽核模型，确定匹配结果，并基于所述匹配结果对所述待稽核业务数据进行校验，包括：
76.针对所述数据稽核模型标识进行识别，确定标识识别结果，基于所述标识识别结果匹配对应的数据稽核模型，获取匹配结果；
77.当所述匹配结果显示所述数据稽核模型标识匹配成功时，基于预设的业务处理规则，并根据所述数据稽核模型，对待稽核业务数据信息进行校验，确定校验结果；
78.当所述校验结果显示所述待稽核业务数据信息满足所述业务处理规则时，对所述待稽核业务数据信息在数据稽核模型中进行计算处理；
79.当所述校验结果显示所述待稽核业务数据信息不满足所述业务处理规则时，对所述待稽核业务数据信息进行标记处理，并确定标记结果；
80.在一个实际的场景中：为了提高数据稽核模型的针对性和多功能性，至少设置两个候选稽核规则，稽核规则分别用于匹配事务集，获取待稽核数据的支持度等作用，当应用系统中出现多种稽核规则时容易提高数据稽核过程中的复杂度，对应稽核规则的选择无法进行自动化管理，进而降低数据稽核模型的稽核效率和准确率；
81.本发明在进行实施的时候，通过将经过校验的业务数据信息与预设的业务处理规则进行比较，当满足业务处理规则时直接通过数据稽核标识选择对应的数据稽核模型进行数据稽核的过程，当不满足业务处理规则时，进行原因分析，本技术方案中通过稽核数据标识选择对应的数据稽核模型实现数据的自动化稽核过程，无需像现有技术中预先设置多种稽核的规则；
82.上述技术方案的有益效果为：本技术方案通过根据待稽核数据进行分析和识别，自动生成数据稽核标识，根据稽核标识选择对应的数据稽核模型，有利于降低系统代码的冗余度，并且有利于提升应用系统的可拓展性和易维护性，此外，在数据稽核过程中仅设置一种规则即业务处理规则，有利于降低数据稽核过程中的计算复杂度，进而提高数据稽核的准确率和效率。
83.实施例4：
84.在一个实施例中，如图2所示，所述获取所述待稽核数据的校验结果，并基于预设的展示逻辑对所述校验结果进行输出展示，确定输出展示结果，包括：
85.当所述待稽核数据的校验结果和预设的业务处理规则进行比较，当比较结果显示所述待稽核数据的业务处理结果不符合所述业务处理规则时，判定业务数据稽核失败，并反馈失败原因；其中，所述失败原因至少包括：数据值过长超过预设最大值、身份证号唯一限制、启动超时、数据格式不一致等；
86.当比较结果显示所述待稽核数据的业务处理结果符合所述业务处理规则时，判定业务数据稽核成功，并将已稽核成功的业务数据进行输出展示；
87.在一个实际的场景中：针对待稽核数据进行稽核过程中，经常会遇到不符合要求的数据，但是对于这些不符合要求的数据缺少说明，不知道不符合要求的原因，因此容易导致数据稽核的效率降低；
88.本发明在进行实施的时候，通过对不满足预设业务处理规则的数据根据整个过程中进行监测和跟踪，分析不满足的原因，比如数据值过长超过预设最大值、身份证号唯一限
制、启动超时、数据格式不一致等原因，从反馈的原因中可以看出，有些数据不满足业务处理规则并不完全是因为数据本身不符合要求，而是因为受到了部分限制，因此不符合，本技术方案通过反馈的原因对数据进行处理，并对数据进行追溯，能够提高数据稽核的效率；
89.上述技术方案的有益效果为：本技术方案中根据不符合业务处理规则的数据进行原因的反馈，有利于在进行二次稽核过程中提高数据稽核效率，进而实现应用系统中数据的一致性，确定数据之间的内在联系，并且提高数据质量。
90.实施例5：
91.在一个实施例中，如图3所示，所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，还包括：
92.根据所述待稽核业务数据信息，确定所述待稽核业务数据信息中的数据结构和字段关系；
93.基于预设的数据稽核系统，根据所述稽核业务数据信息中的数据结构和字段关系进行动态建模，确定动态建模结果；
94.基于所述动态建模结果，对所述待稽核业务数据进行数据分析，根据所述数据分析结果构建类图，确定待稽核数据中的内容属性；
95.根据所述待稽核数据的内容属性，对所述待稽核数据进行数据一致性检测并确定一致性检测结果；
96.本发明在进行实施的原理为：针对应用系统中输入的数据进行分析，通过在数据内部的结构和字段间建立联系，对数据进行一致性检验，并根据一致性检验的结果对进动态建模，对数据进行录入查询和可视化，通过数据阈值、表内字段关系，表间字段关系，实现高质量的数据稽核过程；
97.上述技术方案的有益效果为：本技术方案通过针对待稽核业务数据提取稽核模型标识，并根据模型标识选择对应的数据稽核模型，有利于实现数据稽核过程的可视化，同时也有利于提高数据的完整性和一致性，提高了数据质量和数据的安全性。
98.实施例6：
99.在一个实施例中，所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，还包括：
100.将所述待稽核业务数据按照物理参数进行数据整合，获取整合结果；
101.当所述整合结果显示所述待稽核业务数据中的物理参数处于一致状态时，提取所述待稽核业务数据中的五元组数据；
102.将业务系统中的五元组数据和所述待稽核业务数据中的五元组数据进行比对，获取五元组数据的比对结果，当所述比对结果显示所述五元组数据一致时，判定所述待稽核业务数据中的五元组数据有效；
103.基于所述五元组数据的比对结果，针对所述待稽核业务数据构建端到端资源树，并判断所述端到端资源树是否构建成功，确定判断结果；其中所述资源树用于将所述待稽核业务数据以资源拓扑的方式显现；
104.当所述判断结果显示所述端到端资源树构建未成功时，针对所述端到端资源树构建未成功进行异常原因分析，获取异常原因分析结果；
105.本发明在进行实施的原理为：在对应用系统中的业务数据信息进行稽核时，针对
待稽核业务数据信息进行采集、分析、整合，并构建端到端资源树，在此基础上对待稽核业务数据进行数据稽核，输出表征问题数据的警报，在稽核过程中，待稽核的业务数据会绑定五元组来实现逻辑层面的数据管理，通过将应用系统中的五元组信息与待稽核数据中的五元组信息进行匹配，通过此方式来判定数据是否有效，当业务数据符合物理参数和逻辑参数的比较时，代表稽核数据能够输入至数据稽核模型，最终实现数据的自动稽核；
106.上述技术方案的有益效果为：本技术方案中通过比较五元组数据信息判定数据是否有效的方法有利于提高数据稽核的准确率，并且能够提升数据稽核的速度，有利于推进应用系统中数据管理更加智能化，提高数据的质量，数据可管可控，最终实现智能稽核、自动校验的全流程闭环管理，保持应用系统中数据的准确、完整、一致性。
107.实施例7：
108.在一个实施例中，所述当所述判断结果显示所述端到端资源树构建未成功时，针对所述端到端资源树构建未成功进行异常原因分析，获取异常原因分析结果，包括：
109.将所述待稽核业务数据根据稽核场景进行异常判断，确定异常判断结果；其中，所述稽核场景包括：业务数据占用端口是否异常、数据传输链路是否完整、逻辑参数是否一致；
110.根据所述异常判断结果，自动输出对应的稽核警报，根据所述稽核警报，获取故障业务数据的异常原因；
111.基于所述业务系统将所述故障业务数据分配分配至对应的数据修复端口，根据所述数据修复端口的故障业务数据修复结果，针对修复的数据进行自动校验，分析所述故障业务数据是否恢复正常，确定分析结果；
112.本发明在进行实施的原理为：本技术方案中针对稽核场景对待稽核数据进行异常判断，由于引起异常的原因有多种，如业务数据占用端口是否异常、数据传输链路是否完整、逻辑参数是否一致等，因此本技术方案中针对异常进行异常判断，根据对应得原因发出对应的稽核警报，并将故障业务数据分配分配至对应的数据修复端口，当数据修复端口接收到修复警报之后针对异常报告进行数据修复，并将修复后的数据重新输入数据稽核模型中，由于经过数据修复后的数据不一定有效，因此仍需对修复后的数据进行自动校验，当自动校验结果通过后对数据进行稽核处理；
113.在一个具体的实施例中，若要判断异常数据的异常原因，首先需要针对异常数据进行分类处理，对应的异常数据检测和分类规则对应为：
[0114][0115]
其中，i表示待稽核数据集中数据的序列号，error(i)表示待稽核数据值中第i个序列号对应的异常数据函数值，q表示待稽核数据集中总数据值，di表示数据集中第i个数据值到均值的数值差异，ni表示第i个数据值与已稽核数据集中对应的数值差异；
[0116]
步骤2：检测到异常数据后，考虑到可能会出现误报的情况，因此需要针对异常数据的误报率进行计算：
[0117]
[0118]
其中，rate表示针对异常数据进行误报率计算结果，di表示第i个数据经步骤1判定为异常数据，经计算，该数据为正常数据，n0表示待稽核数据集中含有n0的正常样本值；
[0119]
步骤3：通过构建高斯模型的线性组合对异常数据进行预测，预测函数如下：
[0120][0121]
其中，m表示高斯模型中的参数总数，j＝1,2,
…
,m，ωj表示第j个参数对应的权重系数，并且满足pj(x；μ,∑j)表示均值μj，协方差矩阵为∑j的正态概率分布函数，pre表示对异常数据的预测函数；
[0122]
上述技术方案的有益效果为：本技术方案中通过对待稽核业务数据基于稽核场景进行异常判断，有利于获取多种异常原因，如业务数据占用端口是否异常、数据传输链路是否完整、逻辑参数是否一致等原因，实现对数据的自动监控，可提高数据修复的效率和数据稽核的准确率，增加整个应用系统中数据的质量，通过针对高斯模型对异常数据进行预测，提高预测精度。
[0123]
实施例8：
[0124]
在一个实施例中，所述获取数据稽核请求，针对所述数据稽核请求进行解析，获取数据稽核模型标识和待稽核业务数据信息，包括：
[0125]
将所述待稽核业务数据信息作为输入项输入至预设的人工智能清洗模型进行数据预处理，其中，所述人工智能清洗模型用于获取数据中的异构数据，并针对所述异构数据进行清洗；所述数据预处理的过程包括：
[0126]
将所述待稽核业务数据信息进行数据标准化处理，确定第一处理数据；其中，所述数据标准化处理包括：定性标准化处理、定量标准化处理，所述定性标准化处理用于将来自不同业务系统的源数据中的相同字段数据进行整合处理，所述定量标准化处理用于按照预设的类型字段针对数据进行分类整合；
[0127]
根据所述第一处理数据按照预设的排序方法进行排序处理，确定第二处理数据；
[0128]
根据所述第二处理数据按照预设的数据特征进行数据识别，确定无效数据，并针对所述无效数据进行去除处理；其中，所述无效数据包括：重复数据、异常数据；
[0129]
本发明在进行实施的原理为：本技术方案中针对待稽核业务数据中的异构数据进行预处理，针对数据采集、数据挖掘、数据转换及数据清洗的全流程优化，从大数据和人工智能的角度出发，进行大数据人工智能清洗及匹配模型构建，预处理过程中的模型包括清洗模型和匹配模型，清洗模型应用于大数据清洗，匹配模型应用于数据的智能匹配，由于异构数据的存在，数据的标准化成为了所有数据分析的前提，同时也是清洗模型的第一个模块，在对数据进行清洗时，采用自然语言理解技术和机器学习机制，当数据标准化完成后，会对数据进行排序，针对有时间顺序的数据，采用基础的排序算法进行排序，对于没有时间顺序等类别的数据，通过清洗模型对数据进行矢量化处理，采用图论算法中弱连通图的原理进行排序，将经过数据标准化和排序处理后的数据对无效数据进行识别，并对无效数据进行去除处理，此外，通过加入k近邻算法，判断数据的有效性；
[0130]
在一个具体的实施例中，针对数据孤岛和异构数据的存在，为了提高数据稽核的
有效性和准确率，在进行数据稽核之前需针对数据进行预处理，即去除无效的数据，其中，无效数据包括重复数据和异常数据，
[0131]
步骤1：针对异常数据的查找，采用k近邻算法，通过在已稽核数据集合中查找k个相邻点，从而判断待稽核数据中是否存在异常数据，k近邻算法的计算公式如下：
[0132][0133][0134]
其中，j表示正在判断的待稽核数据集中的数据为有效数据，n0表示在已稽核数据集中最接近待稽核数据点的k个数据点的集合，k＝1,3,5,
…
,i表示已稽核数据集中的随机数据值对应的序列号，zi表示已稽核数据集对应序列号为i的值与待稽核数据集中对应数据的对比结果，j()为判断函数，当符合对比要求时，结果输出为1，当不符合对比要求时，结果输出为0；
[0135]
步骤2：当待稽核数据集中的无效数据被去除后，通过采用聚类分析的方法，智能监测待稽核数据和已稽核数据的匹配程度，通过循环迭代，提高每次迭代的匹配精度，其中，匹配精度的计算公式如下：
[0136][0137]
其中，d1,d2,
…
，d
l
表示将待稽核数据中划分的l个分组集合，每个组对应的数据集合，i表示所有组中的数据的数量，i∈d
l
，x(d
l
)表示不同分组中数据的匹配精度计算函数，i'表示待稽核数据集中l个分组集合中的对应i的数据；
[0138]
上述技术方案的有益效果为：本技术方案中通过构建清洗模型和匹配模型，有利于实现数据的自动化处理，整个流程中无需人工参与，通过采用自然语言理解对数据进行处理有利于加速数据标准化，去除无效的数据效果更好，提高数据的智能标准化的准确率，此外，通过k紧邻算法来判断数据的有效性，获取无效数据的效率和准确率较高，将数据经过匹配之后能够提高数据之间的关联度，进而提升稽核的效率和准确率。
[0139]
实施例9：
[0140]
在一个实施例中，所述根据所述第一处理数据按照预设的排序方法进行排序处理，确定第二处理数据，包括：
[0141]
根据所述第一处理数据判断所述第一处理数据是否有时间顺序，确定判断结果；
[0142]
当所述判断结果显示所述第一处理数据有时间顺序时，根据数据的输入时间顺序进行排序处理；
[0143]
当所述判断结果显示所述第一处理数据无时间顺序时，对所述第一处理数据进行数据矢量化处理，采用图论算法中弱连通图对所述第一处理数据进行排序处理；
[0144]
本发明在进行实施的原理为：当数据标准化完成后，会对数据进行排序，针对有时间顺序的数据，采用基础的排序算法进行排序，对于没有时间顺序等类别的数据，通过清洗模型对数据进行矢量化处理，采用图论算法中弱连通图的原理进行排序；
[0145]
上述技术方案的有益效果为：本技术方案中通过针对经过标准化处理后的数据进行排序时，优先按时间顺序进行处理，能够提高数据稽核过程中数据的有效性和速度。
[0146]
实施例10：
[0147]
在一个实施例中，所述当所述判断结果显示所述端到端资源树构建未成功时，针对所述端到端资源树构建未成功进行异常原因分析，获取异常原因分析结果，包括：
[0148]
根据所述待稽核业务数据信息，采用数据挖掘技术获取待稽核业务数据信息中数据和事件之间的关联关系；
[0149]
基于所述待稽核业务数据中数据和事件之间的关联关系，对所述待稽核业务数据进行异常检测，获取异常数据信息；
[0150]
针对所述异常数据信息进行自动标注，并将经过自动标注后的数据信息发送至数据修复端口；其中，所述自动标注的信息包括：异常数据类型、异常等级，所述异常等级包括：初级异常、中级异常、高级异常；
[0151]
本发明在进行实施的原理为：本技术方案中根据待稽核业务数据信息，采用数据挖掘技术获取待稽核业务数据信息中数据和事件之间的关联关系，对所述待稽核业务数据进行异常检测，获取异常数据信息，并对异常数据信息进行自动标注，并将经过自动标注后的数据信息发送至数据修复端口；
[0152]
上述技术方案的有益效果为：本技术方案中通过获取待稽核业务数据中数据和事件之间的关联关系，有利于提升数据稽核效率和稽核的准确性和有效性，能够有效降低人为因素导致的稽核失误，进而提升应用系统的稽核能力。
[0153]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0154]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0155]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0156]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0157]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精
神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。