一种数据校验方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及计算机应用技术领域，特别是涉及一种数据校验方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着大数据的发展，可以利用数据库对数据进行存储，当访问端需要对数据库中的数据进行访问时，访问端通过调用连接数据库的数据接口进行数据调取，并将调取到的接口数据输出到浏览器页面进行显示。为了核实显示到浏览器页面的数据是否正确，需要进行数据校验。
3.现有的数据校验方式主要分为两种，一种是通过将接口数据与数据库数据进行对比的方式进行数据校验；另一种是通过将页面数据与数据库数据进行对比的方式进行数据校验。但是以上两种数据校验方式均存在一应的缺点，首先，接口数据与数据库数据对比的方式，仅能够对接口数据调取结果进行校验，不能确定页面显示数据是否正确；其次，页面数据与数据库数据对比的方式，若页面数据与数据库数据不一致，仅能得到数据不一致的结果，很难确定数据在传输过程中是哪一环节出现问题。
4.综上所述，如何有效地解决现有的数据校验方式不能确定页面显示数据是否正确，或者在确定数据不一致时，很难确定数据在传输过程中是哪一环节出现问题等问题，是目前本领域技术人员急需解决的问题。


技术实现要素：

5.本发明的目的是提供一种数据校验方法，该方法实现了对数据的全面校验，提升了数据的准确性，能够快速地进行错误定位；本发明的另一目的是提供一种数据校验装置、设备及计算机可读存储介质。
6.为解决上述技术问题，本发明提供如下技术方案：
7.一种数据校验方法，应用于pyppeteer自动化框架，包括：
8.当监听到接口请求时，截获接口响应数据；
9.获取所述接口响应数据对应的页面显示数据；
10.获取所述接口请求对应的数据库持久化数据；
11.判断所述接口响应数据、所述页面显示数据、所述数据库持久化数据是否一致；
12.若是，则确定数据校验通过。
13.在本发明的一种具体实施方式中，当监听到接口请求时，截获接口响应数据，包括：
14.对监听到的接口请求进行解析，得到目标接口；
15.对所述目标接口中的响应内容进行截获，得到所述接口响应数据。
16.在本发明的一种具体实施方式中，获取所述接口响应数据对应的页面显示数据，包括：
17.获取所述接口响应数据经前端js处理显示到浏览器页面中的页面显示数据。
18.在本发明的一种具体实施方式中，还包括：
19.当确定所述接口响应数据、所述页面显示数据、所述数据库持久化数据不完全一致时，收集校验结果数据；
20.对所述校验结果数据进行记录。
21.一种数据校验装置，应用于pyppeteer自动化框架，包括：
22.接口数据截获模块，用于当监听到接口请求时，截获接口响应数据；
23.页面数据获取模块，用于获取所述接口响应数据对应的页面显示数据；
24.数据库数据获取模块，用于获取所述接口请求对应的数据库持久化数据；
25.判断模块，用于判断所述接口响应数据、所述页面显示数据、所述数据库持久化数据是否一致；
26.校验通过确定模块，用于当所述接口响应数据、所述页面显示数据、所述数据库持久化数据均一致时，确定数据校验通过。
27.在本发明的一种具体实施方式中，所述接口数据截获模块包括：
28.请求解析子模块，用于对监听到的接口请求进行解析，得到目标接口；
29.接口数据截获子模块，用于对所述目标接口中的响应内容进行截获，得到所述接口响应数据。
30.在本发明的一种具体实施方式中，所述页面数据获取模块具体为获取所述接口响应数据经前端js处理显示到浏览器页面中的页面显示数据的模块。
31.在本发明的一种具体实施方式中，还包括：
32.校验结果收集模块，用于当确定所述接口响应数据、所述页面显示数据、所述数据库持久化数据不完全一致时，收集校验结果数据；
33.数据记录模块，用于对所述校验结果数据进行记录。
34.一种数据校验设备，包括：
35.存储器，用于存储计算机程序；
36.处理器，用于执行所述计算机程序时实现如前所述数据校验方法的步骤。
37.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述数据校验方法的步骤。
38.本发明所提供的数据校验方法，应用于pyppeteer自动化框架，包括：当监听到接口请求时，截获接口响应数据；获取接口响应数据对应的页面显示数据；获取接口请求对应的数据库持久化数据；判断接口响应数据、页面显示数据、数据库持久化数据是否一致；若是，则确定数据校验通过。通过设置于pyppeteer自动化框架，操作前端页面的同时，可监听接口请求，从而同时获取到接口、页面、数据库三方数据，对三方数据进行比对，通过系统数据的完全比对，实现了对数据的全面校验，提升了数据的准确性，并且经过三方数据的对比，在数据不一致时，能够快速地进行错误定位。
39.相应的，本发明还提供了与上述数据校验方法相对应的数据校验装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例中数据校验方法的一种实施流程图；
42.图2为本发明实施例中数据校验方法的另一种实施流程图；
43.图3为本发明实施例中一种数据校验装置的结构框图；
44.图4为本发明实施例中一种数据校验设备的结构框图；
45.图5为本实施例提供的一种数据校验设备的具体结构示意图。
具体实施方式
46.为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.参见图1，图1为本发明实施例中数据校验方法的一种实施流程图，应用于pyppeteer自动化框架，该方法可以包括以下步骤：
48.s101：当监听到接口请求时，截获接口响应数据。
49.预先设置pyppeteer自动化框架，pyppeteer是一款自动化测试工具，可以模拟页面操作，从而验证页面功能是否实现。pyppeteer自动化框架中设置pyppeteer.network_manager模块，pyppeteer.network_manager模块中包含响应(response)组件，设定asyncio异步方法，通过response组件监听所有的请求，当监听到接口请求时，该接口请求会传送至数据库，数据库会针对接口请求进行响应，向相应的接口返回接口请求对应的接口响应数据，截获接口响应数据。并可以对接口响应数据进行缓存。
50.s102：获取接口响应数据对应的页面显示数据。
51.在接口响应数据返回至相应接口之后，会传送给浏览器页面进行显示。在接口响应数据输出值浏览器页面完成时，获取接口响应数据对应的页面显示数据。pyppeteer自动化框架包含页面page组件，通过pyppeteer自动化框架的page组件获取接口响应数据对应的页面显示数据，并可以对页面显示数据进行缓存。
52.s103：获取接口请求对应的数据库持久化数据。
53.数据库中存储有持久化的真实数据，获取接口请求对应的数据库持久化数据。如可以通过pymysql发起一个数据库连接请求，获取到数据库中持久化的真实数据。
54.s104：判断接口响应数据、页面显示数据、数据库持久化数据是否一致，若是，则执行步骤s105，若否，则执行步骤s106。
55.在分别获取到接口响应数据、页面显示数据以及数据库持久化数据之后，判断接口响应数据、页面显示数据、数据库持久化数据是否一致，即仅当接口响应数据、页面显示数据以及数据库持久化数据三方数据均一致时，判断结果为数据一致，若是，则说明数据在整个传输过程中未出错，若否，则说明数据在整个传输过程中出现错误。
56.s105：确定数据校验通过。
57.当确定接口响应数据、页面显示数据、数据库持久化数据均一致时，说明数据在整个传输过程中未出错，确定数据校验通过。
58.s106：确定数据校验未通过。
59.当确定接口响应数据、页面显示数据、数据库持久化数据中存在一方数据与另外两方数据不一致，或三方数据均不一致时，说明数据在整个传输过程中出现错误，确定数据校验未通过。通过采用pyppeteer自动化框架，实现操作前端页面的同时可监听接口请求，为数据比对创造了条件，再结合pymysql获取数据库数据，实现了将前端页面展示的数据、接口返回的数据和数据库中持久化的数据进行三方比对，从而获得相对准确的测试结果，并且当三方数据不完全一致时，能够快速准确定位到某一方数据的异常。
60.本发明所提供的数据校验方法，应用于pyppeteer自动化框架，包括：当监听到接口请求时，截获接口响应数据；获取接口响应数据对应的页面显示数据；获取接口请求对应的数据库持久化数据；判断接口响应数据、页面显示数据、数据库持久化数据是否一致；若是，则确定数据校验通过。通过设置于pyppeteer自动化框架，操作前端页面的同时，可监听接口请求，从而同时获取到接口、页面、数据库三方数据，对三方数据进行比对，通过系统数据的完全比对，实现了对数据的全面校验，提升了数据的准确性，并且经过三方数据的对比，在数据不一致时，能够快速地进行错误定位。
61.需要说明的是，基于上述实施例，本发明实施例还提供了相应的改进方案。在后续实施例中涉及与上述实施例中相同步骤或相应步骤之间可相互参考，相应的有益效果也可相互参照，在下文的改进实施例中不再一一赘述。
62.参见图2，图2为本发明实施例中数据校验方法的另一种实施流程图，应用于pyppeteer自动化框架，该方法可以包括以下步骤：
63.s201：当监听到接口请求时，对监听到的接口请求进行解析，得到目标接口。
64.当监听到接口请求时，接口请求中包含需要进行数据获取的目标接口。对监听到的接口请求进行解析，得到目标接口，从而确定出需要对哪一接口进行响应数据获取。
65.s202：对目标接口中的响应内容进行截获，得到接口响应数据。
66.在解析得到目标接口之后，对目标接口中的响应内容进行截获，得到接口响应数据，从而保证了接口的正确性，避免了由于接口判断有误，造成的接口响应数据与页面显示数据及数据库持久化数据不一致的误判。
67.s203：获取接口响应数据经前端js处理显示到浏览器页面中的页面显示数据。
68.在接口响应数据返回至相应接口之后，会经前端js(javascript)处理显示到浏览器页面中。获取接口响应数据经前端js处理显示到浏览器页面中的页面显示数据。如系统通过page对象的queryselector方法查找到需要验证的数据对象并获取检测text内容。
69.s204：获取接口请求对应的数据库持久化数据。
70.s205：判断接口响应数据、页面显示数据、数据库持久化数据是否一致，若是，则执行步骤s206，若否，则执行步骤s207。
71.s206：确定数据校验通过。
72.s207：收集校验结果数据。
73.当确定口响应数据、页面显示数据、数据库持久化数据中存在一方数据与另外两
方数据不一致，或三方数据均不一致时，说明数据在整个传输过程中出现错误，确定数据校验未通过，收集校验结果数据。
74.s208：对校验结果数据进行记录。
75.在收集到校验结果数据之后，对校验结果数据进行记录。通过对校验结果数据进行记录，从而方便后续对异常数据的准确定位，并进行后续的系统维护操作。
76.本实施例区别于独立权利要求1所要求保护的技术方案对应的实施例一，还增加了从属权利要求2至4对应要求保护的技术方案，当然，根据实际情况和要求的不同，可将各从属权利要求对应要求保护的技术方案在不影响方案完整性的基础上进行灵活组合，以更加符合不同使用场景的要求，本实施例只是给出了其中一种包含方案最多、效果最优的方案，因为情况复杂，无法对所有可能存在的方案一一列举，本领域技术人员应能意识到根据本技术提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本技术的保护范围内。
77.相应于上面的方法实施例，本发明还提供了一种数据校验装置，下文描述的数据校验装置与上文描述的数据校验方法可相互对应参照。
78.参见图3，图3为本发明实施例中一种数据校验装置的结构框图，应用于pyppeteer自动化框架，该装置可以包括：
79.接口数据截获模块31，用于当监听到接口请求时，截获接口响应数据；
80.页面数据获取模块32，用于获取接口响应数据对应的页面显示数据；
81.数据库数据获取模块33，用于获取接口请求对应的数据库持久化数据；
82.判断模块34，用于判断接口响应数据、页面显示数据、数据库持久化数据是否一致；
83.校验通过确定模块35，用于当接口响应数据、页面显示数据、数据库持久化数据均一致时，确定数据校验通过。
84.本发明所提供的数据校验方法，应用于pyppeteer自动化框架，包括：当监听到接口请求时，截获接口响应数据；获取接口响应数据对应的页面显示数据；获取接口请求对应的数据库持久化数据；判断接口响应数据、页面显示数据、数据库持久化数据是否一致；若是，则确定数据校验通过。通过设置于pyppeteer自动化框架，操作前端页面的同时，可监听接口请求，从而同时获取到接口、页面、数据库三方数据，对三方数据进行比对，通过系统数据的完全比对，实现了对数据的全面校验，提升了数据的准确性，并且经过三方数据的对比，在数据不一致时，能够快速地进行错误定位。
85.在本发明的一种具体实施方式中，接口数据截获模块31包括：
86.请求解析子模块，用于对监听到的接口请求进行解析，得到目标接口；
87.接口数据截获子模块，用于对目标接口中的响应内容进行截获，得到接口响应数据。
88.在本发明的一种具体实施方式中，页面数据获取模块32具体为获取接口响应数据经前端js处理显示到浏览器页面中的页面显示数据的模块。
89.在本发明的一种具体实施方式中，该装置还可以包括：
90.校验结果收集模块，用于当确定接口响应数据、页面显示数据、数据库持久化数据不完全一致时，收集校验结果数据；
91.数据记录模块，用于对校验结果数据进行记录。
92.相应于上面的方法实施例，参见图4，图4为本发明所提供的数据校验设备的示意图，该设备可以包括：
93.存储器332，用于存储计算机程序；
94.处理器322，用于执行计算机程序时实现上述方法实施例的数据校验方法的步骤。
95.具体的，请参考图5，图5为本实施例提供的一种数据校验设备的具体结构示意图，该数据校验设备可因配置或性能不同而产生比较大的差异，可以包括处理器(central processing units，cpu)322(例如，一个或一个以上处理器)和存储器332，存储器332存储有一个或一个以上的计算机应用程序342或数据344。其中，存储器332可以是短暂存储或持久存储。存储在存储器332的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，处理器322可以设置为与存储器332通信，在数据校验设备301上执行存储器332中的一系列指令操作。
96.数据校验设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341。
97.上文所描述的数据校验方法中的步骤可以由数据校验设备的结构实现。
98.相应于上面的方法实施例，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
99.当监听到接口请求时，截获接口响应数据；获取接口响应数据对应的页面显示数据；获取接口请求对应的数据库持久化数据；判断接口响应数据、页面显示数据、数据库持久化数据是否一致；若是，则确定数据校验通过。
100.该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
101.对于本发明提供的计算机可读存储介质的介绍请参照上述方法实施例，本发明在此不做赘述。
102.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
103.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。