数据文件校验方法、装置、电子设备及存储介质与流程

1.本技术属于数据处理技术领域，特别是涉及一种数据文件校验方法、装 置、电子设备及存储介质。


背景技术：

2.目前，年金是指企业及其员工在依法参加基本养老保险的基础上，自愿 建立的补充养老保险。年金包括企业缴费和员工个人缴费。年金也是一种较 好的投资安排，越来越多的企业参与年金计划。
3.而相关技术中，为了对年金业务进行有效综合的管理，企业往往设置有 年金受托系统，而年金受托系统在处理企业年金各业务数据时，往往是采用 一个校验引擎。
4.这样，由于年金受托系统仅使用一个校验引擎对数据文件进行处理，在 年金受托系统在处理大数据文件时，往往存在内存占用率过高、交叉校验耗 时较高等问题，从而导致大数据文件校验过程耗时较慢，使得系统的数据校 验效率被降低。


技术实现要素：

5.有鉴于此，本技术实施例提出一种数据文件校验方法、装置、电子设备 及存储介质，用于解决相关年金受托系统大数据文件校验过程耗时较慢，使 得数据校验的效率被降低的技术问题。
6.本技术第一方面提供一种数据文件校验方法，所述方法包括：
7.接收客户端发送的至少两个业务类型的数据文件；
8.通过所述业务类型相对应的业务校验引擎对所述数据文件进行校验，其 中所述业务校验引擎至少包括：规则校验引擎、关联校验引擎；所述规则校 验引擎用于对所述数据文件进行校验得到规则校验结果；所述关联校验引擎 用于在所述规则校验结果为通过的情况下，通过关联校验引擎对所述数据文 件和所述数据文件的关联数据进行校验，得到关联校验结果；
9.在所述关联校验结果为通过的情况下，通过全局校验引擎对所述规则校 验结果、所述关联校验结果进行校验，得到全局校验结果。
10.依据本技术第二方面，提供一种数据文件校验装置，所述装置包括：
11.接收模块，被配置为接收客户端发送的至少两个业务类型的数据文件；
12.第一校验模块，被配置为通过所述业务类型相对应的业务校验引擎对所 述数据文件进行校验，其中所述业务校验引擎至少包括：规则校验引擎、关 联校验引擎；所述规则校验引擎用于对所述数据文件进行校验得到规则校验 结果；所述关联校验引擎用于在所述规则校验结果为通过的情况下，通过关 联校验引擎对所述数据文件和所述数据文件的关联数据进行校验，得到关联 校验结果；
13.第二校验模块，被配置为在所述关联校验结果为通过的情况下，通过全 局校验引擎对所述规则校验结果、所述关联校验结果进行校验，得到全局校 验结果。
14.依据本技术第三方面，提供一种计算机可读存储介质，所述计算机可读 存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述第一 方面所述的数据文件校验方法。
15.依据本技术第四方面，提供一种电子设备，包括处理器，存储器及存储 在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被 所述处理器执行时实现上述第一方面所述的数据文件校验方法。
16.针对相关技术，本技术具备如下优点：
17.本技术提供的一种数据文件校验方法、装置、电子设备及存储介质，在 接收到客户端发送的不同业务类型的数据文件时，通过所述业务类型相对应 的业务校验引擎对所述数据文件进行校验，由于各个业务校验引擎可以是并 行处理的，因此可以提高数据校验的效率；设置所述业务校验引擎至少包括： 规则校验引擎、关联校验引擎；通过规则校验引擎对所述数据文件进行校验， 以得到规则校验结果，并在所述规则校验结果为通过的情况下，通过关联校 验引擎对所述数据文件和所述数据文件的关联数据进行校验，得到关联校验 结果；由于各个规则校验引擎和关联校验引擎可以是并行处理的，因此可以 进一步加快业务校验引擎的处理速度，进而进一步提高数据校验的效率，这 样可以在部分大文件校验过程加快校验速度；最后，在所述关联校验结果为 通过的情况下，通过全局校验引擎对所述规则校验结果、所述关联校验结果 进行校验，可以确保各个规则校验引擎和关联校验引擎已经对客户端发送的 数据文件进行了校验，从而保证数据文件的校验过程可靠性。
18.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技 术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它 目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
19.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本 领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的， 而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示 相同的部件。在附图中：
20.图1是本技术实施例提供的一种数据文件校验执行流程图；
21.图2是本技术实施例提供的一种数据文件校验方法的步骤流程图；
22.图3是本技术实施例提供的另一种数据文件校验方法的步骤流程图；
23.图4是本技术实施例提供的一种数据文件校验装置的结构框图。
具体实施方式
24.下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示 了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不 应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地 理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
25.目前，年金受托系统在处理企业年金各业务数据时，对文件按照特定行 数进行分片处理校验，比完整全量读取文件性能提高显著，但在大数据文件 处理还存在如下问题：分片规则固定，灵活性较差；在部分大数据文件校验 过程耗时较慢；内存占用率过高，很容
易出现内存溢出问题；交叉校验耗时 较高。
26.针对上述问题，本技术的目的在于提出了一种大数据文件校验方法、装 置、电子设备及存储介质，通过年金受托业务大数据文件智能校验处理服务 来解决年金业务中大数据文件处理难题，提高系统资源利用率，降低服务内 存占用率，有效提升文件处理速度，提高用户体验。
27.本发明主要通过以下几点来完成整个技术方案：
28.1、使用一个独立微服务作为技术载体，把所有耦合在年金各个系统的 文件处理部分进行剥离。
29.2、对数据文件进行分片解析，按照部署的硬件主机的性能进行分片， 采用多线程进行同步处理方案，设置最大线程数，按数据片数量设定数据池 大小，多线程开始解析，解析完成后存入基于分布式文件存储mongodb数 据库中。其中，mongodb是一个基于分布式文件存储的数据库，由c 语 言编写，旨在为全球广域网或万维网(world wide web，web)应用提供可 扩展的高性能数据存储解决方案。
30.3、由于需要校验的数据行数太多，传统分片规则按照行数分片校验， 在部分大数据文件是仍然存在严重性能问题，占用服务器内存较大。本方案 在此基础上进行优化，首先按照不同业务类型设置不同的校验引擎，如缴费 校验引擎、待遇支付引擎、成员转出引擎。第二在各个校验引擎中区分不同 规则的校验引擎，如：基本校验引擎、业务类校验引擎、交叉业务校验引擎。
31.4、整体技术方案应用mongodb进行贯穿，大量应用mongodb聚合函 数及映射归约(mapreduce)技术，以更快更高效的应对大数据处理操作。
32.通过以下实施例中的完整技术方案，可以构建出本技术所描述的系统， 提供智能处理校验逻辑，整体的系统事件执行流程图参见图1所示。
33.在企业年金受托系统中，以往如果出现大文件处理时，都发现存在长时 间阻塞、内存溢出、处理失败多次上传等此类影响用户体验的问题，通常的 解决方案是通过设置固定行数拆分文件进行解析、校验。但部分大文件校验 规则复杂，同时存在各个分片交叉检验的情况，容易出现服务器资源紧张， 校验耗时，影响用户体验。本技术提供的大数据文件校验方法、装置、电子 设备及存储介质，在对校验规则梳理的基础上，将各种校验规则解耦成不同 的校验引擎，例如：规则校验引擎、关联校验引擎和交叉校验引擎，各个校 验引擎单独部署，并行处理，加快校验进度，减少了服务器资源占有率，大 大提高了用户体验。
34.实施例一
35.图2是本技术实施例提供的一种数据文件校验方法的步骤流程图，方法 可以包括：
36.步骤101，接收客户端发送的至少两个业务类型的数据文件。
37.在本技术实施例中，业务类型至少可以包括：缴费、待遇支付、成员转 出，具体可以根据实际需求确定，此处不做限定。
38.在本技术实施例中，数据文件可以包括业务表单，也可以包括其他文件， 具体可以根据实际需求确定，此处不做限定。
39.在本技术实施例中，可以接收来自手机、个人电脑等电子设备的客户端 发送的至少两个业务类型的数据文件。
40.示例性地，客户或业务运营人员通过系统前端的客户端导入缴费的业务 表单、待遇支付的业务表单以及成员转出的业务表单的excel、txt数据文 件并提交。
41.步骤102，通过业务类型相对应的业务校验引擎对数据文件进行校验。
42.在本技术实施例中，业务校验引擎用于对与业务校验引擎相对应的业务 类型的数据文件进行校验，业务校验引擎至少可以包括：规则校验引擎、关 联校验引擎；规则校验引擎用于对数据文件进行校验得到规则校验结果；关 联校验引擎用于在规则校验结果为通过的情况下，通过关联校验引擎对数据 文件和数据文件的关联数据进行校验，得到关联校验结果，具体可以根据实 际需求确定，此处不做限定。
43.在本技术实施例中，可以通过业务类型相对应的业务校验引擎对数据文 件进行校验。
44.示例性地，通过缴费校验引擎对缴费的业务表单进行校验，通过待遇支 付校验引擎对待遇支付的业务表单进行校验，通过成员转出校验引擎对成员 转出的业务表单进行校验。
45.可选地，步骤102，可以包括：
46.子步骤1021，获取数据文件的校验规则。
47.在本技术实施例中，校验规则可以包括基本校验规则以及与业务类型相 对应的特殊校验规则；基本校验规则可以包括：数据长度，特殊校验规则可 以包括：数据格式，例如：缴费相对应的特殊校验规则可以是小数点后为两 位，基本校验规则和特殊校验规则具体可以根据实际需求确定，此处不做限 定。
48.在本技术实施例中，可以是从数据库中获取数据文件的校验规则，也可 以是从数据文件的预设位置获取数据文件的校验规则。
49.示例性的，可以从mongodb数据库中获取数据文件的校验规则。
50.子步骤1022，通过校验规则相对应的规则校验引擎对数据文件进行校 验，得到数据文件的规则校验结果并存储。
51.在本技术实施例中，规则校验引擎可以是校验数据长度，也可以是校验 数据大小，规则校验引擎可以包括数据长度校验引擎，也可以包括数据大小 校验引擎，具体可以根据实际需求确定，此处不做限定。
52.在本技术实施例中，规则校验结果可以存储在数据库中，例如： mongodb，也可以存储在预设的文本文件中，具体可以根据实际需求确定， 此处不做限定。
53.在本技术实施例中，可以是获取数据文件的校验规则后，通过校验规则 相对应的规则校验引擎对数据文件进行校验，得到数据文件的规则校验结果 并存储。
54.示例性的，从mongodb数据库中获取数据文件的校验规则后，确定校 验规则是校验数据长度，则通过数据长度相对应的数据长度校验引擎对数据 文件的数据长度进行校验，得到数据文件的数据长度的规则校验结果，并存 储到mongodb数据库中。
55.如企业年金缴费业务，企业缴费明细表的表单数据可能多达十几万到几 十万行，校验规则众多，同时涉及到数据之间关联校验的情况。因此在对校 验规则梳理的基础上，本技术实施例通过将数据文件的校验规则解耦成不同 的规则校验引擎，将各个规则校验引擎单独部署，并行处理，可以加快校验 进度，减少了服务器资源占有率，大大提高了用户体验。
56.子步骤1023，获取数据文件的关联规则。
57.在本技术实施例中，关联规则可以包括关联数据的存储位置、数据文件 与关联数据的对应关系，具体可以根据实际需求确定，此处不做限定。
58.在本技术实施例中，可以是在所述规则校验结果为通过的情况下，从数 据库中获取数据文件的关联规则，也可以是从数据文件的预设位置获取数据 文件的关联规则。
59.示例性的，可以从mongodb数据库中获取数据文件的关联规则。
60.子步骤1024，根据关联规则，获取数据文件的关联数据。
61.在本技术实施例中，关联数据可以是其他业务类型的数据文件的一部分 或全部，也可以是数据库中的其他数据，具体可以根据实际需求确定，此处 不做限定。
62.在本技术实施例中，关联规则可以包括关联数据的存储位置，根据该存 储位置从数据库中获取关联数据。
63.示例性的，可以从mongodb数据库中获取关联数据的存储位置，根据 该存储位置从mongodb数据库中获取关联数据。
64.子步骤1025，通过关联校验引擎对数据文件和关联数据进行校验，得到 关联校验结果并存储。
65.在本技术实施例中，关联校验引擎可以是校验数据类型，也可以是校验 数据数值，关联校验引擎可以包括数据类型校验引擎，也可以包括数据数值 校验引擎，具体可以根据实际需求确定，此处不做限定。
66.在本技术实施例中，关联校验结果可以存储在数据库中，例如： mongodb，也可以存储在预设的文本文件中，具体可以根据实际需求确定， 此处不做限定。
67.在本技术实施例中，可以是获取数据文件的关联规则后，通过关联校验 引擎对数据文件和关联数据进行校验，得到关联校验结果并存储。
68.示例性的，从mongodb数据库中获取数据文件的关联规则后，确定关 联规则是校验数据数值，则通过数据数值相对应的数据数值校验对数据文件 和关联数据进行校验，得到关联校验结果，并存储到mongodb数据库中。
69.本技术实施例通过将关联规则解耦成关联校验引擎，单独部署关联校验 引擎，可以加快校验进度，减少了服务器资源占有率，大大提高了用户体验。
70.步骤103，在关联校验结果为通过的情况下，通过对规则校验结果、关 联校验结果进行校验，得到全局校验结果。
71.在本技术实施例中，全局校验引擎可以是校验各个规则校验引擎的规则 校验结果、关联校验引擎的关联校验结果，也可以是校验各个业务类型的数 据文件，全局校验结果可以是各规则校验引擎、关联校验引擎以及交叉校验 引擎全部完成校验，也可以是各个业务类型的数据文件全部完成校验，具体 可以根据实际需求确定，此处不做限定。
72.在本技术实施例中，在关联校验结果为通过的情况下，通过全局校验引 擎对规则校验结果、关联校验结果进行校验，得到全局校验结果。在全局校 验结果为通过的情况下，输出提示信息或进入下一流程。
73.示例性地，在关联校验结果为通过的情况下，全局校验引擎会轮训检查 各个规则校验引擎、关联校验引擎是否完成，完成全部校验后进行统一数据 片处理，如果存在错误则返回错误信息的提示信息，无错误则返回文件数据 集。
74.本技术实施例提供的一种数据文件校验方法，在接收到客户端发送的不 同业务类型的数据文件时，通过所述业务类型相对应的业务校验引擎对所述 数据文件进行校验，由于各个业务校验引擎可以是并行处理的，因此可以提 高数据校验的效率；设置所述业务校验引擎至少包括：规则校验引擎、关联 校验引擎；通过规则校验引擎对所述数据文件进行校验，以得到规则校验结 果，并在所述规则校验结果为通过的情况下，通过关联校验引擎对所述数据 文件和所述数据文件的关联数据进行校验，得到关联校验结果；由于各个规 则校验引擎和关联校验引擎可以是并行处理的，因此可以进一步加快业务校 验引擎的处理速度，进而进一步提高数据校验的效率，这样可以在部分大文 件校验过程加快校验速度；最后，在所述关联校验结果为通过的情况下，通 过全局校验引擎对所述规则校验结果、所述关联校验结果进行校验，可以确 保各个规则校验引擎和关联校验引擎已经对客户端发送的数据文件进行了 校验，从而保证数据文件的校验过程可靠性。
75.实施例二
76.图3是本技术实施例提供的另一种数据文件校验方法的步骤流程图，业 务校验引擎还可以包括：交叉校验引擎；方法可以包括：
77.步骤201，接收客户端发送的至少两个业务类型的数据文件。
78.该步骤可参照步骤101的详细描述，此处不再赘述。
79.步骤202，对数据文件进行分片处理，得到数据文件对应的分片数据。
80.在本技术实施例中，分片处理可以是以所述数据文件内预设行数的数据 为一片，对所述数据文件进行分片处理，可以通过斯普瑞布特(spring框架， springboot)、开放源码函式库poi等java库，mongodb数据库操作和动 态脚本引擎解析工具qlexpress规则引擎等文件解析处理技术以及系统rpc 处理技术等进行处理，具体可以根据实际需求确定，此处不做限定。
81.在本技术实施例中，可以是以所述数据文件内预设行数的数据为一片， 对所述数据文件进行分片处理，得到数据文件对应的分片数据；在分片处理 完成后，将所述数据文件的标记为解析完成。
82.示例性的，对文件进行分片解析处理，目前以文件内数据行数2000行 为一片。开启多线程进行数据片解析得到数据文件对应的分片数据，并将分 片数据存入mongodb中做临时存储(建立待校验数据池)；然后判断是否 还有未处理的数据文件对，如果有则继续解析数据文件，没有则标记文件解 析完成。
83.步骤203，针对数据文件对应的每个分片数据，通过规则校验引擎对分 片数据进行校验得到规则校验结果，通过关联校验引擎对分片数据和分片数 据的关联数据进行校验，得到关联校验结果，通过交叉校验引擎对分片数据 进行校验得到交叉校验结果。
84.在本技术实施例中，交叉校验引擎用于对数据文件对应的分片数据进行 校验，可以是校验各个分片数据之间的关联关系，也可以是校验各个分片数 据的整体是否为一个数据文件，也可以是校验各个分片数据的业务类型，具 体可以根据实际需求确定，此处不做限定。
85.在本技术实施例中，在所述标记为文件解析完成的情况下，针对数据文 件对应的每个分片数据，通过规则校验引擎对分片数据进行校验得到规则校 验结果，通过关联校验引擎对分片数据和分片数据的关联数据进行校验，得 到关联校验结果，通过交叉校验引擎
对分片数据进行校验得到交叉校验结 果。
86.示例性的，对缴费的数据文件进行分片处理，在缴费的数据文件的标记 为解析完成的情况下，针对每个缴费分片数据，通过规则校验引擎对缴费分 片数据进行校验得到缴费规则校验结果并存储，通过关联校验引擎对缴费分 片数据和缴费分片数据的缴费关联数据进行校验，得到缴费关联校验结果并 存储，通过缴费交叉校验引擎对缴费分片数据进行校验得到缴费交叉校验结 果并存储到mongodb数据库中；对待遇支付的数据文件进行分片处理，在 待遇支付的数据文件的标记为解析完成的情况下，针对每个待遇支付分片数 据，通过规则校验引擎对待遇支付分片数据进行校验得到待遇支付规则校验 结果并存储，通过关联校验引擎对待遇支付分片数据和待遇支付分片数据的 待遇支付关联数据进行校验，得到待遇支付关联校验结果并存储，通过交叉 校验引擎对待遇支付分片数据进行校验得到待遇支付交叉校验结果并存储； 对成员转出的数据文件进行分片处理，在成员转出的数据文件的标记为解析 完成的情况下，针对每个成员转出分片数据，通过规则校验引擎对成员转出 分片数据进行校验得到成员转出规则校验结果并存储，通过关联校验引擎对 成员转出分片数据和成员转出分片数据的成员转出关联数据进行校验，得到 成员转出关联校验结果并存储，通过交叉校验引擎对成员转出分片数据进行 校验得到成员转出交叉校验结果并存储
87.可选地，步骤203，可以包括：
88.子步骤2031，获取数据文件的校验规则；
89.该步骤可参照步骤1021的详细描述，此处不再赘述。
90.子步骤2032，通过校验规则相对应的规则校验引擎对分片数据进行校 验，得到分片数据的规则校验结果并存储。
91.在本技术实施例中，可以是从数据库中获取数据文件的校验规则后，通 过校验规则相对应的规则校验引擎对数据文件相对应的各个分片数据分别 进行校验，得到各个分片数据的规则校验结果并存储到数据库中。
92.示例性的，在各缴费校验引擎、待遇支付校验引擎、成员转出校验引擎 中，细化业务规则校验引擎，如基本规则校验引擎，细分业务规则类校验引 擎，将不同的校验引擎区分开，批量同时对分片数据进行校验，加快校验速 度。
93.子步骤2033，获取数据文件的关联规则。
94.该步骤可参照步骤1023的详细描述，此处不再赘述。
95.子步骤2034，根据关联规则，获取分片数据的关联数据。
96.在本技术实施例中，可以是对于具有关联规则的数据文件，需要从数据 库中获取该数据文件的分片数据的关联数据。
97.示例性的，从mongodb数据库中获取具有关联规则的数据文件的分片 数据的关联数据。
98.子步骤2035，通过关联校验引擎对分片数据和关联数据进行校验，得到 关联校验结果并存储。
99.在本技术实施例中，可以是对于具有关联规则的数据文件，在获取该数 据文件的分片数据的关联数据后，通过关联校验引擎对分片数据和关联数据 进行校验，得到关联校验结果并存储到数据库中。
100.示例性的，可以是对于具有关联规则的数据文件，单独设置关联校验的 引擎。在部分校验处理数据较多时，占用服务器资源会较多，可以分配较多 的线程资源和服务器资源。
101.步骤204，在交叉校验结果为通过的情况下，通过全局校验引擎对规则 校验结果、关联校验结果和交叉校验结果进行校验，得到第一全局校验结果。
102.在本技术实施例中，第一全局校验结果可以是各规则校验引擎、关联校 验引擎以及交叉校验引擎全部完成校验，也可以是各个业务类型的数据文件 全部完成校验，具体可以根据实际需求确定，此处不做限定。
103.在本技术实施例中，规则校验结果可以包括规则校验完成情况和规则校 验错误信息，关联校验结果可以包括关联校验完成情况和关联校验错误信 息，交叉校验结果可以包括交叉校验完成情况和交叉校验错误信息，具体可 以根据实际需求确定，此处不做限定。
104.在本技术实施例中，在交叉校验结果为通过的情况下，通过全局校验引 擎对规则校验结果、关联校验结果和交叉校验结果进行校验，得到第一全局 校验结果。在第一全局校验结果为通过的情况下，输出提示信息或进入下一 流程。
105.示例性的，在交叉校验结果为通过的情况下，全局校验引擎会轮训检查 各个规则校验引擎、关联校验引擎和交叉校验引擎是否完成，完成全部校验 后进行统一数据片处理。
106.本技术实施例，在对所述数据文件进行分片处理后，通过针对各个分片 数据的单独设置交叉校验引擎，不仅可以与关联校验引擎并行处理，可以加 快校验进度，减少了服务器资源占有率，大大提高了用户体验。，还可以避 免分片数据过多时对进行校验所占用服务器资源过多，以使得分片校验配置 规则灵活，极大提高了数据文件的各个分片数据的交叉校验速度，在所述交 叉校验结果为通过的情况下，才通过全局校验引擎进行校验，可以保证进入 全局校验引擎之前已经得到规则校验结果、关联校验结果和交叉校验结果， 避免全局校验引擎无法进行又通过业务校验引擎进行校验，保证数据文件的 校验过程可靠性。此外，将数据文件解析成分片数据的分片处理过程，可以 与其他数据文件的规则校验引擎进行校验的过程同步进行，以提升服务器资 源利用率、cpu使用率，降低内存占用率。
107.可选地，步骤204，可以包括：
108.子步骤2041，在交叉校验结果为通过的情况下，检查规则校验完成情况、 关联校验完成情况以及交叉校验完成情况。
109.在本技术实施例中，规则校验完成情况、关联校验完成情况以及交叉校 验完成情况可以是完成或未完成，具体可以根据实际需求确定，此处不做限 定。
110.在本技术实施例中，在交叉校验结果为通过的情况下，可以从数据库或 预设的文本文件中获取规则校验完成情况、关联校验完成情况以及交叉校验 完成情况，然后检查规则校验完成情况、关联校验完成情况以及交叉校验完 成情况。
111.示例性的，在交叉校验结果为通过的情况下，可以从mongodb数据库 中获取规则校验完成情况、关联校验完成情况以及交叉校验完成情况，然后 检查规则校验完成情况、关联校验完成情况以及交叉校验完成情况。
112.子步骤2042，在规则校验完成情况、关联校验完成情况以及交叉校验完 成情况都为完成的情况时，获取规则校验错误信息、关联校验错误信息或交 叉校验错误信息，并输出规则校验错误信息、关联校验错误信息或交叉校验 错误信息。
113.在本技术实施例中，在规则校验完成情况、关联校验完成情况以及交叉 校验完成情况都为完成的情况时，可以从数据库或预设的文本文件中获取规 则校验错误信息、关联校验错误信息或交叉校验错误信息，并通过语音形式 或文本形式输出规则校验错误信息、关联校验错误信息或交叉校验错误信 息。
114.示例性的，在规则校验完成情况、关联校验完成情况以及交叉校验完成 情况都为完成的情况时，可以从mongodb数据库中获取规则校验错误信息、 关联校验错误信息或交叉校验错误信息，并通过语音形式播报规则校验错误 信息、关联校验错误信息或交叉校验错误信息。
115.本技术实施例，在所述交叉校验结果为通过的情况下，通过全局校验引 擎会轮训检查各个规则校验引擎、各个关联校验引擎和各个交叉校验引擎是 否完成，完成全部校验后进行统一数据片处理等下一步操作，如果存在错误 则可以返回规则校验错误信息、关联校验错误信息或交叉校验错误信息等错 误信息，无错误则可以返回文件数据集，以保证数据文件的校验过程可靠性。
116.步骤205，通过全局校验引擎对数据文件进行校验，得到第二全局校验 结果。
117.在本技术实施例中，第二全局校验结果可以是各个业务类型的数据文件 的各分片数据全部完成校验，具体可以根据实际需求确定，此处不做限定。
118.在本技术实施例中，可以在检查所述规则校验完成情况、所述关联校验 完成情况以及所述交叉校验完成情况之前，通过全局校验引擎对数据文件进 行校验，得到第二全局校验结果。
119.示例性的，在检查所述规则校验完成情况、所述关联校验完成情况以及 所述交叉校验完成情况之后，通过全局校验引擎对数据文件的各分片数据完 成情况进行校验，得到第二全局校验结果。
120.步骤206，在第一全局校验结果和第二全局校验结果为通过的情况下， 确认完成校验过程。
121.在本技术实施例中，在得到第一全局校验结果和第二全局校验结果后， 在第一全局校验结果和第二全局校验结果为通过的情况下，确认完成校验过 程；在第一全局校验结果或第二全局校验结果为不通过的情况下，返回步骤 202或步骤102。
122.示例性的，在得到第一全局校验结果和第二全局校验结果后，在第一全 局校验结果和第二全局校验结果为通过的情况下，确认完成校验过程。
123.本技术实施例通过在第一全局校验结果和第二全局校验结果为通过的 情况下，可以确定各个业务类型的数据文件的各分片数据全部完成校验，各 个规则校验引擎、各个关联校验引擎以及各个交叉校验引擎全部完成校验， 以及各个业务类型的数据文件全部完成校验，从而确认完成校验过程，保证 了数据文件的校验过程可靠性。
124.本技术实施例提供的另一种数据文件校验方法，在对所述数据文件进行 分片处理后，通过针对各个分片数据的单独设置交叉校验引擎，不仅可以与 关联校验引擎并行处理，可以加快校验进度，减少了服务器资源占有率，大 大提高了用户体验。，还可以避免分
片数据过多时对进行校验所占用服务器 资源过多，以使得分片校验配置规则灵活，极大提高了数据文件的各个分片 数据的交叉校验速度，在所述交叉校验结果为通过的情况下，才通过全局校 验引擎进行校验，可以保证进入全局校验引擎之前已经得到规则校验结果、 关联校验结果和交叉校验结果，避免全局校验引擎无法进行又通过业务校验 引擎进行校验，保证数据文件的校验过程可靠性。此外，将数据文件解析成 分片数据的分片处理过程，可以与其他数据文件的规则校验引擎进行校验的 过程同步进行，以提升服务器资源利用率、cpu使用率，降低内存占用率。 在所述交叉校验结果为通过的情况下，通过全局校验引擎会轮训检查各个规 则校验引擎、各个关联校验引擎和各个交叉校验引擎是否完成，完成全部校 验后进行统一数据片处理等下一步操作，如果存在错误则可以返回规则校验 错误信息、关联校验错误信息或交叉校验错误信息等错误信息，无错误则可 以返回文件数据集，以保证数据文件的校验过程可靠性。通过在第一全局校 验结果和第二全局校验结果为通过的情况下，可以确定各个业务类型的数据 文件的各分片数据全部完成校验，各个规则校验引擎、各个关联校验引擎以 及各个交叉校验引擎全部完成校验，以及各个业务类型的数据文件全部完成 校验，从而确认完成校验过程，进一步保证了数据文件的校验过程可靠性。
125.实施例三
126.业务类型至少可以包括：缴费、待遇支付、成员转出；数据文件可以包 括业务表单，业务校验引擎至少可以包括：缴费校验引擎、待遇支付校验引 擎、成员转出校验引擎；方法可以包括：
127.步骤301，接收客户端发送的缴费的业务表单、待遇支付的业务表单以 及成员转出的业务表单。
128.在本技术实施例中，还可以接收客户端发送的其他业务表单，业务表单 可以是文本文档，例如txt，也可以是表格文档，例如excel，具体可以根 据实际需求确定，此处不做限定。
129.在本技术实施例中，可以接收来自手机、个人电脑等电子设备的客户端 发送的缴费的业务表单、待遇支付的业务表单以及成员转出的业务表单。
130.示例性的，接收客户或业务运营人员通过系统前端的客户端发送的缴费 的excel、txt业务表单、待遇支付的excel、txt业务表单以及成员转出 的excel、txt业务表单，对缴费的业务表单、待遇支付的业务表单以及成 员转出的业务表单进行分片处理，得到缴费的业务表单对应的缴费分片数 据、待遇支付的业务表单对应的待遇支付分片数据以及成员转出的业务表单 对应的成员转出分片数据。
131.步骤302，通过缴费校验引擎对缴费的业务表单进行校验，通过待遇支 付校验引擎对待遇支付的业务表单进行校验，通过成员转出校验引擎对成员 转出的业务表单进行校验。
132.在本技术实施例中，可以对解析后数据文件进行分批校验，按照缴费对 应的缴费校验引擎对解析后的缴费的业务表单进行校验、按照待遇支付对应 的待遇支付校验引擎对解析后的待遇支付的业务表单进行校验、按照成员转 出对应的成员转出校验引擎对解析后的成员转出的业务表单进行校验。
133.示例性的，以文件内数据行数2000行为一片，对所述数据文件进行分 片处理解
析，对解析后数据文件进行分批校验，按照缴费对应的缴费校验引 擎对解析后的缴费的业务表单进行校验、按照待遇支付对应的待遇支付校验 引擎对解析后的待遇支付的业务表单进行校验、按照成员转出对应的成员转 出校验引擎对解析后的成员转出的业务表单进行校验。
134.步骤303，在关联校验结果为通过的情况下，通过全局校验引擎对规则 校验结果、关联校验结果进行校验，得到全局校验结果。
135.该步骤可参照步骤103的详细描述，此处不再赘述。
136.本技术实施例通过按照缴费对应的缴费校验引擎对解析后的缴费的业 务表单进行校验、按照待遇支付对应的待遇支付校验引擎对解析后的待遇支 付的业务表单进行校验、按照成员转出对应的成员转出校验引擎对解析后的 成员转出的业务表单进行校验，可以实现对不同类型的业务表单批量同时进 行校验，加快校验速度。
137.实施例四
138.参照图4，本技术实施例提供了一种数据文件校验装置40的结构框图， 该数据文件校验装置40可以包括：
139.接收模块401，被配置为接收客户端发送的至少两个业务类型的数据文 件；
140.第一校验模块402，被配置为通过业务类型相对应的业务校验引擎对数 据文件进行校验，其中业务校验引擎至少包括：规则校验引擎、关联校验引 擎；规则校验引擎用于对数据文件进行校验得到规则校验结果；关联校验引 擎用于在规则校验结果为通过的情况下，通过关联校验引擎对数据文件和数 据文件的关联数据进行校验，得到关联校验结果；
141.第二校验模块403，被配置为在关联校验结果为通过的情况下，通过全 局校验引擎对规则校验结果、关联校验结果进行校验，得到全局校验结果。
142.可选的，业务校验引擎还包括：交叉校验引擎，数据文件校验装置40， 还可以包括：
143.分片模块，被配置为对数据文件进行分片处理，得到数据文件对应的分 片数据；
144.第一校验模块402，还被配置为：
145.针对数据文件对应的每个分片数据，通过规则校验引擎对分片数据进行 校验得到规则校验结果，通过关联校验引擎对分片数据和分片数据的关联数 据进行校验，得到关联校验结果，通过交叉校验引擎对分片数据进行校验得 到交叉校验结果；
146.第二校验模块403，还被配置为：
147.在交叉校验结果为通过的情况下，通过全局校验引擎对规则校验结果、 关联校验结果和交叉校验结果进行校验，得到第一全局校验结果。
148.可选的，规则校验结果包括规则校验完成情况和规则校验错误信息，关 联校验结果包括关联校验完成情况和关联校验错误信息，交叉校验结果包括 交叉校验完成情况和交叉校验错误信息；第二校验模块403，还被配置为：
149.在交叉校验结果为通过的情况下，检查规则校验完成情况、关联校验完 成情况以及交叉校验完成情况；
150.在规则校验完成情况、关联校验完成情况以及交叉校验完成情况都为完 成的情况时，获取规则校验错误信息、关联校验错误信息或交叉校验错误信 息，并输出规则校验错误信息、关联校验错误信息或交叉校验错误信息。
151.可选的，该数据文件校验装置40还可以包括：
152.第三校验模块，被配置为通过全局校验引擎对数据文件进行校验，得到 第二全局校验结果；
153.判定模块，被配置为在第一全局校验结果和第二全局校验结果为通过的 情况下，确认完成校验过程。
154.可选的，第一校验模块402，还被配置为：
155.获取数据文件的校验规则；
156.通过校验规则相对应的规则校验引擎对数据文件进行校验，得到数据文 件的规则校验结果并存储。
157.可选的，第一校验模块402，还被配置为：
158.获取数据文件的关联规则；
159.根据关联规则，获取数据文件的关联数据；
160.通过关联校验引擎对数据文件和关联数据进行校验，得到关联校验结果 并存储。
161.可选的，业务类型至少包括：缴费、待遇支付、成员转出；数据文件包 括业务表单，业务校验引擎至少包括：缴费校验引擎、待遇支付校验引擎、 成员转出校验引擎；
162.接收模块401，还被配置为接收客户端发送的缴费的业务表单、待遇支 付的业务表单以及成员转出的业务表单；
163.第一校验模块402，还被配置为通过缴费校验引擎对缴费的业务表单进 行校验，通过待遇支付校验引擎对待遇支付的业务表单进行校验，通过成员 转出校验引擎对成员转出的业务表单进行校验。
164.本技术实施例提供的一种数据文件校验装置，在接收到客户端发送的不 同业务类型的数据文件时，通过所述业务类型相对应的业务校验引擎对所述 数据文件进行校验，由于各个业务校验引擎可以是并行处理的，因此可以提 高数据校验的效率；设置所述业务校验引擎至少包括：规则校验引擎、关联 校验引擎；通过规则校验引擎对所述数据文件进行校验，以得到规则校验结 果，并在所述规则校验结果为通过的情况下，通过关联校验引擎对所述数据 文件和所述数据文件的关联数据进行校验，得到关联校验结果；由于各个规 则校验引擎和关联校验引擎可以是并行处理的，因此可以进一步加快业务校 验引擎的处理速度，进而进一步提高数据校验的效率，这样可以在部分大文 件校验过程加快校验速度；最后，在所述关联校验结果为通过的情况下，通 过全局校验引擎对所述规则校验结果、所述关联校验结果进行校验，可以确 保各个规则校验引擎和关联校验引擎已经对客户端发送的数据文件进行了 校验，从而保证数据文件的校验过程可靠性。
165.实施例五
166.本技术实施例提供了一种电子设备，存储器及存储在存储器上并可在处 理器上运行的程序或指令，程序或指令被处理器执行时实现上述任一的数据 文件校验方法。
167.本技术实施例提供的一种电子设备，在接收到客户端发送的不同业务类 型的数据文件时，通过所述业务类型相对应的业务校验引擎对所述数据文件 进行校验，由于各个业务校验引擎可以是并行处理的，因此可以提高数据校 验的效率；设置所述业务校验引擎至少包括：规则校验引擎、关联校验引擎； 通过规则校验引擎对所述数据文件进行校验，以得到规则校验结果，并在所 述规则校验结果为通过的情况下，通过关联校验引擎对所述数
据文件和所述 数据文件的关联数据进行校验，得到关联校验结果；由于各个规则校验引擎 和关联校验引擎可以是并行处理的，因此可以进一步加快业务校验引擎的处 理速度，进而进一步提高数据校验的效率，这样可以在部分大文件校验过程 加快校验速度；最后，在所述关联校验结果为通过的情况下，通过全局校验 引擎对所述规则校验结果、所述关联校验结果进行校验，可以确保各个规则 校验引擎和关联校验引擎已经对客户端发送的数据文件进行了校验，从而保 证数据文件的校验过程可靠性。
168.实施例六
169.本技术实施例提供了一种计算机存储介质，其上存储有计算机程序，计 算机程序被处理器执行时能实现上述的数据文件校验方法。
170.本技术的实施例提供了一种计算机存储介质，在接收到客户端发送的不 同业务类型的数据文件时，通过所述业务类型相对应的业务校验引擎对所述 数据文件进行校验，由于各个业务校验引擎可以是并行处理的，因此可以提 高数据校验的效率；设置所述业务校验引擎至少包括：规则校验引擎、关联 校验引擎；通过规则校验引擎对所述数据文件进行校验，以得到规则校验结 果，并在所述规则校验结果为通过的情况下，通过关联校验引擎对所述数据 文件和所述数据文件的关联数据进行校验，得到关联校验结果；由于各个规 则校验引擎和关联校验引擎可以是并行处理的，因此可以进一步加快业务校 验引擎的处理速度，进而进一步提高数据校验的效率，这样可以在部分大文 件校验过程加快校验速度；最后，在所述关联校验结果为通过的情况下，通 过全局校验引擎对所述规则校验结果、所述关联校验结果进行校验，可以确 保各个规则校验引擎和关联校验引擎已经对客户端发送的数据文件进行了 校验，从而保证数据文件的校验过程可靠性。
171.本技术领域技术人员可以理解，本发明技术方案的执行主体是开发人 员，所依附的载体是医疗设备、智能设备以及服务器交互形成的组合设备。 本发明提出的是一种数据文件校验方法、装置、电子设备及存储介质，侵权 证据需要从对方服务器上获取，因此获得侵权证据的难度较大。
172.本技术领域技术人员可以理解，本技术包括涉及用于执行本技术中所述 操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制 造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的 计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以 被存储在设备(例如，计算机)的存储介质中或者存储在适于存储电子指令并 分别耦联到总线的任何类型的介质中，该计算机存储介质包括但不限于任何 类型的盘(包括软盘、硬盘、光盘、cd
‑
rom和磁光盘)、rom(read
‑
onlymemory，只读存储器)、ram(random access memory，随即存储器)、 eprom(erasable programmable read
‑
only memory，可擦写可编程只读存储 器)、eeprom(electrically erasable programmable read
‑
only memory，电可 擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储介质包 括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
173.本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构 图和/或框图和/或流程图中的每个框以及这些结构图和/或框图和/或流程图 中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令 提供给通用计算机、专业计算机或其它可编程数据处理方法的处理器来实 现，从而通过计算机或其他可编程数据处理方法
的处理器来执行本技术公开 的结构图和/或框图和/或流图的框或多个框中指定的方案。
174.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易 想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护 范围应以所述权利要求的保护范围为准。