一种大数据测试平台及数据处理方法与流程

1.本发明涉及数据处理技术领域，具体涉及一种大数据测试平台及数据处理方法。


背景技术：

2.随着互联网的发展，越来越多的应用系统被开发出来。应用系统在实际使用之前，需对应用系统进行测试。目前对应用系统的测试方式为：针对待测试的应用系统单独开发相应的测试工具，再利用测试工具对待测试的应用系统进行测试。但是，由于应用系统的数量和种类繁多，每种应用系统都单独开发测试工具会浪费较大的人力和物力，测试成本较高且测试效率较低。


技术实现要素：

3.有鉴于此，本发明实施例提供一种大数据测试平台及数据处理方法，以解决现有测试应用系统的方式存在的测试成本较高且测试效率较低等问题。
4.为实现上述目的，本发明实施例提供如下技术方案：
5.本发明实施例第一方面公开一种大数据测试平台，所述大数据测试平台至少包括：数据准备模块和自动化测试模块；
6.所述数据准备模块，用于确定多项测试信息，并将多项所述测试信息发送至待测试对象进行处理，所述测试信息为预先构建的信息或者从源系统获取的信息，所述待测试对象为大数据平台或应用系统；
7.所述自动化测试模块，用于调用与所述待测试对象的业务功能对应的测试工具，对每项所述测试信息进行处理得到相应的第一处理结果，获取由所述待测试对象对每项所述测试信息进行处理得到的第二处理结果；
8.所述自动化测试模块，还用于：针对每项所述测试信息，比对所述测试信息的所述第一处理结果和所述第二处理结果，得到相应的比对结果。
9.优选的，用于构建所述测试信息的所述数据准备模块，具体用于：响应于维度选取指令，确定用于构建所述测试信息的维度，所述维度为类型维度、系统维度和日期维度中的一项或多项；根据所述维度、预设的文件下发规则和预设的数据结构规则，构建所述测试信息。
10.优选的，所述测试信息为数据或文件，所述自动化测试模块还用于：对多项所述测试信息进行统计得到第一数据数量和第一文件数量；获取由所述待测试对象对多项所述测试信息进行统计得到的第二数据数量和第二文件数量；比对所述第一数据数量和所述第二数据数量得到第一数量比对结果，以及比对所述第一文件数量和所述第二文件数量得到第二数量比对结果。
11.优选的，所述自动化测试模块具体用于：针对每项所述测试信息，计算所述测试信息的所述第一处理结果的第一哈希值，及计算所述测试信息的所述第二处理结果的第二哈希值；针对每项所述测试信息，比对所述测试信息对应的所述第一哈希值和所述第二哈希
值，得到相应的比对结果。
12.优选的，所述大数据测试平台还包括：
13.管理模块，用于管理和调度所述大数据测试平台的指定信息。
14.优选的，所述自动化测试模块还用于：打印每项所述测试信息对应的所述比对结果，并高亮显示指示所述第一处理结果和所述第二处理结果不一致的所述比对结果。
15.本发明实施例第二方面公开一种数据处理方法，所述方法包括：
16.确定多项测试信息，并将多项所述测试信息发送至待测试对象进行处理，所述测试信息为预先构建的信息或者从源系统获取的信息，所述待测试对象为大数据平台或应用系统；
17.调用与所述待测试对象的业务功能对应的测试工具，对每项所述测试信息进行处理得到相应的第一处理结果；
18.获取由所述待测试对象对每项所述测试信息进行处理得到的第二处理结果；
19.针对每项所述测试信息，比对所述测试信息的所述第一处理结果和所述第二处理结果，得到相应的比对结果。
20.优选的，构建所述测试信息的过程包括：
21.响应于维度选取指令，确定用于构建所述测试信息的维度，所述维度为类型维度、系统维度和日期维度中的一项或多项；
22.根据所述维度、预设的文件下发规则和预设的数据结构规则，构建所述测试信息。
23.优选的，针对每项所述测试信息，比对所述测试信息的所述第一处理结果和所述第二处理结果，得到相应的比对结果，包括：
24.针对每项所述测试信息，计算所述测试信息的所述第一处理结果的第一哈希值，及计算所述测试信息的所述第二处理结果的第二哈希值；
25.针对每项所述测试信息，比对所述测试信息对应的所述第一哈希值和所述第二哈希值，得到相应的比对结果。
26.优选的，还包括：
27.打印每项所述测试信息对应的所述比对结果，并高亮显示指示所述第一处理结果和所述第二处理结果不一致的所述比对结果。
28.基于上述本发明实施例提供的一种大数据测试平台及数据处理方法，大数据测试平台至少包括：数据准备模块和自动化测试模块；数据准备模块确定多项测试信息，将多项测试信息发送至待测试对象进行处理，测试信息为预先构建的信息或者从源系统获取的信息；自动化测试模块调用与待测试对象的业务功能对应的测试工具，对每项测试信息进行处理得到相应的第一处理结果，获取由待测试对象对每项测试信息进行处理得到的第二处理结果；针对每项测试信息，自动化测试模块比对测试信息的第一处理结果和第二处理结果，得到相应的比对结果。通过大数据测试平台即可完成各类应用系统或数据平台的测试，不需要单独开发相应的测试工具，降低测试成本和提高测试效率。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
30.图1为本发明实施例提供的一种大数据测试平台的结构框图；
31.图2为本发明实施例提供的数据准备模块的功能示意图；
32.图3为本发明实施例提供的数据准备模块的执行原理示意图；
33.图4为本发明实施例提供的自动化测试模块的执行原理示意图；
34.图5为本发明实施例提供的数据准备模块和自动化测试模块的交互示意图；
35.图6为本发明实施例提供的管理模块的功能示意图；
36.图7为本发明实施例提供的大数据测试平台的架构示意图；
37.图8为本发明实施例提供的一种数据处理方法的流程图。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
40.需要说明的是，本发明提供的一种大数据测试平台及数据处理方法可用于大数据领域。上述仅为示例，并不对本发明提供的一种大数据测试平台及数据处理方法的应用领域进行限定。
41.由背景技术可知，目前在对应用系统进行测试时，需针对待测试的应用系统单独开发相应的测试工具，再利用测试工具对待测试的应用系统进行测试。但是由于应用系统的数量和种类繁多，每种应用系统都单独开发测试工具会浪费较大的人力和物力，测试成本较高且测试效率较低。
42.因此，本发明实施例提供一种大数据测试平台及数据处理方法，该大数据测试平台包括数据准备模块和自动化测试模块。数据准备模块确定多项测试信息，将多项测试信息发送至待测试对象进行处理。自动化测试模块调用与待测试对象的业务功能对应的测试工具，对每项测试信息进行处理得到相应的第一处理结果，获取由待测试对象对每项测试信息进行处理得到的第二处理结果。针对每项测试信息，自动化测试模块比对测试信息的第一处理结果和第二处理结果，得到相应的比对结果。通过大数据测试平台即可完成各类应用系统或数据平台的测试，不需要单独开发相应的测试工具，以降低测试成本和提高测试效率。
43.参见图1，示出了本发明实施例提供的一种大数据测试平台的结构框图，该大数据测试平台至少包括：数据准备模块100和自动化测试模块200。
44.具体地，数据准备模块100用于确定多项测试信息，并将多项测试信息发送至待测
试对象进行处理，测试信息为预先构建的信息或者从源系统获取的信息，待测试对象为大数据平台或应用系统；自动化测试模块200用于调用与待测试对象的业务功能对应的测试工具，对每项测试信息进行处理得到相应的第一处理结果，获取由待测试对象对每项测试信息进行处理得到的第二处理结果；自动化测试模块200还用于针对每项所述测试信息，比对测试信息的第一处理结果和第二处理结果，得到相应的比对结果。
45.可以理解的是，数据准备模块100所确定的测试信息，可以是根据所选择的维度(如系统维度、日期维度和类型维度等)构建的信息，也可以是从与大数据测试平台对接的源系统所获取的信息(可以理解为真实的源信息)。也就是说，数据准备模块100所确定的测试信息可以是构建的也可以是从源系统获取的，例如数据准备模块100所确定的测试信息包括但不仅限于：源系统下发数据(或文件)、功能测试环境数据(或文件)、脱敏后的生产数据(或文件)和构建的数据(或文件)。
46.需要说明的是，数据准备模块100的功能之一为上述提及的确定测试信息，数据准备模块100还可以将大数据测试平台的其它模块处理相关信息得到的数据进行存储，以供大数据测试平台的各个模块使用。如图2示出的数据准备模块的功能示意图，数据准备模块100可以通过接口访问或传输协议等方式从源系统中获取测试信息，以及根据系统维度、日期维度和类型维度等维度构建结构化或半结构化的测试信息，以及将大数据测试平台的测试模块处理测试信息所得到的结构存储在数据库中，以供各个测试模块使用。
47.在一些具体实施例中，数据准备模块100构建测试信息的具体流程为：响应于维度选取指令，确定用于构建测试信息的维度，维度为类型维度、系统维度和日期维度中的一项或多项；根据所确定的维度、预设的文件下发规则和预设的数据结构规则，构建测试信息。具体而言，测试数据的构建是根据标准库(包含表数据信息和表结构等)进行的，按照标准文件名命名规范对标准库的基本表数据信息内的相应字段(例如系统号和省联行号等)进行抽取和拼接，以及对标准库内的表结构进行赋值，从而生成符合文件下发规则和数据结构规则的测试信息。
48.以上实施例是关于数据准备模块100确定多项测试信息的相关说明，据此可知，数据准备模块100所确定的多项测试信息可以是构建得到的也可以是从源系统中获取得到的；具体来说，根据待测试对象的不同测试轮次和不同测试阶段，选择构建测试信息或者从源系统中获取测试信息，例如：在待测试对象的测试初期，由于真实的信息尚未到位(如脱敏后的生产信息尚未到位)，可采用构建的方式来构建测试信息以用于测试，待真实的信息到位后，再从源系统中获取测试信息以用于测试。
49.为更好解释说明数据准备模块100如何确定多项测试信息，通过图3示出的数据准备模块的执行原理示意图进行举例说明，需要说明的是，图3仅用于举例说明，且图3中来自源系统的测试信息为生产信息，图3包括以下步骤：
50.步骤s301：根据用户的操作指令，确定是否构建测试信息。若构建测试信息，执行步骤s302至步骤s303，若不构建测试信息，执行步骤s304至步骤s306。
51.在具体实现步骤s301的过程中，数据准备模块100可响应于用户的操作指令，确定是否构建测试数据。
52.步骤s302：响应于用户的维度选择指令，确定测试信息的维度，并构建和读取测试信息。
53.在具体实现步骤s302的过程中，响应于用户的维度选择指令，确定测试信息的维度(系统维度、类型维度和日期维度)，并按照所选择的维度结合文件下发规则和数据结构规则，构建和读取测试信息。
54.步骤s303：确定是否完成测试信息的构建和读取，若是，结束流程，若否，返回继续执行步骤s302。
55.步骤s304：响应于用户的信息选择指令，选择测试信息。
56.需要说明的是，在本示例中，所选择的测试信息为生产信息。
57.步骤s305：从源系统接入测试信息。
58.需要说明的是，在本示例中，源系统为基础系统和直连系统。
59.步骤s306：确定是否完成测试信息的接入。若是，结束流程，若否，返回继续执行步骤s305。
60.以上各个实施例的内容，是关于数据准备模块100确定测试信息的相关内容。
61.可以理解的是，数据准备模块100确定多项测试信息后，将所确定的多项测试信息传输给自动化测试模块200和待测试对象，由自动化测试模块200和待测试对象分别对多项测试信息进行处理。自动化测试模块200调用与待测试对象的业务功能对应的测试工具对每项测试信息进行处理，得到相应的第一处理结果；待测试对象对每项测试信息进行处理得到相应的第二处理结果，自动化测试模块200从待测试对象获取每项测试信息对应的第二处理结果。
62.需要说明的是，自动化测试模块200中包含了多个预先构建的测试工具，例如：界面类自动化测试工具、接口类自动化测试工具、数据分析类自动化测试工具和全量比对测试工具，其中，全量比对测试工具至少包含文件处理自动化测试工具、数据处理自动化测试工具、数据存储自动化测试工具和数据模型自动化测试工具等。
63.在一示例中，自动化测试模块200调用全量比对测试工具对每项测试信息进行处理得到相应的第一处理结果，具体可通过执行程序来对每项测试信息进行处理；同理，待测试对象也可以通过执行程序来对每项测试信息进行处理。
64.为更好解释说明自动化测试模块200和待测试对象处理每项测试信息的过程，通过图4示出的自动化测试模块的执行原理示意图进行举例说明，需要说明的是，图4仅用于举例说明，图4包括以下步骤：
65.步骤s401：响应于用户的执行指令，确定是否执行程序。若执行程序，则执行步骤s402和步骤s403，若确定不执行程序，返回继续等待程序的执行指令。
66.步骤s402：大数据测试平台执行程序，对每项测试信息进行处理得到相应的第一处理结果。
67.在具体实现步骤s402的过程中，自动化测试模块200执行程序，调用测试工具对每项测试信息进行处理得到相应的第一处理结果。
68.步骤s403：待测试对象执行程序，对每项测试信息进行处理得到相应的第二处理结果。
69.步骤s404：确定程序是否执行完毕。若执行完毕，执行步骤s405，若未执行完毕，返回继续执行步骤s402和步骤s403。
70.步骤s405：自动化测试模块比对测试信息的第一处理结果和第二处理结果，得到
相应的比对结果。
71.以上内容是关于自动化测试模块200和待测试对象处理每项测试信息的示例。
72.在一些具体实施例中，自动化测试模块200比对每项测试信息的第一处理结果和第二处理结果的具体方式为：针对每项测试信息，自动化测试模块200计算该测试信息的第一处理结果的第一哈希值(如md5值)，及计算该测试信息的第二处理结果的第二哈希值；针对每项测试信息，自动化测试模块200比对该测试信息对应的第一哈希值和第二哈希值，得到相应的比对结果。对于每项测试信息，若该测试信息对应的第一处理结果的第一哈希值和第二处理结果的第二哈希值一致，则说明自动化测试模块200处理该测试信息的结果与待测试对象处理该测试信息的结果一致，也就是说明该测试信息的第一处理结果和第二处理结果一致。
73.在一些具体实施例中，在得到每项测试信息对应的比对结果之后，自动化测试模块200打印每项测试信息对应的比对结果，并高亮显示指示第一处理结果和第二处理结果不一致的比对结果；具体可利用比对工具打印每项测试信息对应的比对结果，将指示第一处理结果和第二处理结果不一致的比对结果高亮显示。
74.可以理解的是，每项测试信息为数据或文件，自动化测试模块200可以验证所有测试信息的文件完整性和数据正确性，具体来说，验证文件完整性主要包括验证所有测试信息对应的文件数量和内容，验证数据正确性主要包括验证所有测试信息对应的数据数量和内容。
75.需要说明的是，验证所有测试信息对应的内容，即为上述实施例提及的比对测试信息对应的第一处理结果和第二处理结果以得到相应的比对结果，具体内容可参见上述实施例中关于比对测试信息对应的第一处理结果和第二处理结果的相关内容，在此不再赘述。
76.验证所有测试信息对应的文件数量及数据数量的具体过程为：自动化测试模块200对多项测试信息进行统计得到第一数据数量和第一文件数量，具体而言，通过数据条数计数函数对多项测试信息进行统计得到第一数据数量，通过文件个数计数函数对多项测试信息进行统计得到第一文件数量；自动化测试模块200获取由待测试对象对多项测试信息进行统计得到的第二数据数量和第二文件数量，需要说明的是，待测试对象可通过监控站点对多项测试信息进行统计得到第二数据数量和第二文件数量；自动化测试模块200比对第一数据数量和第二数据数量得到第一数量比对结果，以及比对第一文件数量和第二文件数量得到第二数量比对结果。
77.自动化测试模块200基于上述实施例确定的第一数量比对结果、第二数量比对结果和每项测试信息对应的比对结果，可验证所有测试信息的文件完整性和数据正确性。
78.可以理解的是，测试信息为文件时，自动化测试模块200对测试信息的处理包括但不仅限于文件解压、文件转码和文件备份；测试信息为数据时，自动化测试模块200对测试信息的处理包括但不仅限于表结构验证、模型验证和半结构化验证。
79.通过以上实施例中的内容可知，由数据准备模块100确定测试信息并将其分别传输给待测试对象和自动化测试模块200进行后续处理，为更好理解以上实施例的内容，通过图5示出的数据准备模块和自动化测试模块的交互示意图进行举例说明，需要说明的是，图5中，待测试对象为大数据平台。
80.请参见图5，数据准备模块100可构建测试信息，也可以通过ftp或hive从源系统中接入获取测试信息，将测试信息存储至数据库、文件系统或服务器中。
81.自动化测试模块200和大数据平台可从数据库、文件系统或服务器中调用测试信息，大数据平台利用自身对应的业务功能对测试信息进行处理得到第二处理结果，自动化测试模块200利用测试工具对测试信息进行处理得到第一处理结果。自动化测试模块200可比对每项测试信息对应的第一处理结果和第二处理结果并将比对结果输出，自动化测试模块200还可验证测试信息的文件完整性和数据正确性并将验证结果输出。
82.利用以上实施例中所涉及的大数据测试平台，即可完成各类应用系统或数据平台的测试，不需要单独开发相应的测试工具，降低测试成本和提高测试效率。
83.在本发明的一些实施例中，大数据测试平台还包括：管理模块；
84.管理模块用于管理和调度大数据测试平台的指定信息；具体而言，管理模块用于管理和调度大数据测试平台中的脚本和测试工具；管理模块与大数据测试平台的内部信息系统和精准测试中台等连接，从而实现用户登录和测试数据统计等功能。
85.管理模块的功能主要为测试管理、调度管理和公共管理，如图6示出的管理模块的功能示意图，管理模块划分为测试管理模块、调度管理模块和公共管理模块。
86.其中，测试管理模块与自动化测试平台和质量智能管理平台连接，且测试管理模块的功能包含脚本管理、工具管理和任务管理等；调度管理模块与精准测试中台、自动化测试平台和jira平台连接，调度管理模块的功能包含数据调度、脚本调度和工具调度等；公共管理模块与内部信息系统连接，公共管理子模块的功能包含用户管理、权限管理和日志管理。
87.通过以上实施例的内容可知，本发明实施例中的大数据测试平台主要包含数据准备模块、自动化测试模块和管理模块，其中管理模块主要划分为调度管理模块、测试管理模块和公共管理模块；如图7示出的大数据测试平台的架构示意图，可通过大数据测试平台来完成诸如大数据平台等待测试对象的测试，
88.在一些具体实施例中，如图7示出的大数据测试平台的架构示意图，该大数据测试平台的各个模块基于微服务构建，可单独调用大数据测试平台中的任一模块，也可以通过流水线串接的方式调用大数据测试平台中的多个模块，并且自动记录各个模块的执行记录和执行结果。
89.需要说明的是，如图7示出的大数据测试平台的架构示意图，该大数据测试平台的前端基于vue.js构建，该大数据测试平台的中台基于python构建，该大数据测试平台采用后线存储相关数据。
90.以上内容是关于大数据测试平台的一些说明，本发明一些实施例中还公开了数据处理方法。
91.参见图8，示出了本发明实施例提供的一种数据处理方法的流程图，该数据处理方法包括：
92.步骤s801：确定多项测试信息，并将多项测试信息发送至待测试对象进行处理。
93.需要说明的是，测试信息为预先构建的信息或者从源系统获取的信息，待测试对象为大数据平台或应用系统。
94.在一些具体实施例中，构建测试信息的过程包括：响应于维度选取指令，确定用于
构建测试信息的维度，维度为类型维度、系统维度和日期维度中的一项或多项；根据维度、预设的文件下发规则和预设的数据结构规则，构建测试信息。
95.步骤s802：调用与待测试对象的业务功能对应的测试工具，对每项测试信息进行处理得到相应的第一处理结果。
96.步骤s803：获取由待测试对象对每项测试信息进行处理得到的第二处理结果。
97.步骤s804：针对每项测试信息，比对测试信息的第一处理结果和第二处理结果，得到相应的比对结果。
98.在具体实现步骤s804的过程中，针对每项测试信息，计算该测试信息的第一处理结果的第一哈希值，及计算该测试信息的第二处理结果的第二哈希值。针对每项测试信息，比对该测试信息对应的第一哈希值和第二哈希值，得到相应的比对结果。
99.优选的，打印每项测试信息对应的比对结果，并高亮显示指示第一处理结果和第二处理结果不一致的比对结果。
100.优选的，测试信息为数据或文件，对多项测试信息进行统计得到第一数据数量和第一文件数量；获取由待测试对象对多项测试信息进行统计得到的第二数据数量和第二文件数量；比对第一数据数量和第二数据数量得到第一数量比对结果，以及比对第一文件数量和第二文件数量得到第二数量比对结果。
101.需要说明的是，图8中各个步骤的执行原理，在上文中对大数据测试平台已有详细的描述，在此不再赘述。
102.在本发明实施例中，确定多项测试信息，将多项测试信息发送至待测试对象进行处理。调用与待测试对象的业务功能对应的测试工具，对每项测试信息进行处理得到相应的第一处理结果，获取由待测试对象对每项测试信息进行处理得到的第二处理结果。针对每项测试信息，比对测试信息的第一处理结果和第二处理结果，得到相应的比对结果。通过大数据测试平台即可完成各类应用系统或数据平台的测试，不需要单独开发相应的测试工具，降低测试成本和提高测试效率。
103.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
104.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
105.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。
对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。