一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种大数据测试方法及系统与流程

2021-11-05 19:21:00 来源:中国专利 TAG:


1.本技术涉及大数据技术领域,具体而言,涉及一种大数据测试方法及系统。


背景技术:

2.随着数据处理技术的不断发展,使得对海量数据的应用得到了实现。其中,在数据的应用过程中,一般会涉及到数据查询,但是,经发明人研究发现,在现有的数据查询技术中,查询得到的数据的可靠性难以有效保障的问题,使得数据的应用的有效性也难以得到保障。


技术实现要素:

3.有鉴于此,本技术的目的在于提供一种大数据测试方法及系统,以改善现有技术中查询得到的数据的可靠性难以有效保障的问题。
4.为实现上述目的,本技术实施例采用如下技术方案:
5.一种大数据测试方法,应用于大数据处理设备,所述大数据处理设备通信连接有数据查询请求设备,所述大数据测试方法包括:
6.在确定需要基于所述数据查询请求设备发送的目标数据查询请求信息查询得到目标业务数据时,基于所述目标数据查询请求信息查询得到所述目标业务数据,其中,所述目标数据查询请求信息基于所述数据查询请求设备响应对应的查询用户进行的数据查询操作生成;
7.在获取到所述目标业务数据之后,确定是否需要对所述目标业务数据进行数据测试处理;
8.若确定需要对所述目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对所述目标业务数据的测试处理,以确定所述目标业务数据是否属于被篡改的数据。
9.在一种可能的实施例中,在上述大数据测试方法中,所述在获取到所述目标业务数据之后,确定是否需要对所述目标业务数据进行数据测试处理的步骤,包括:
10.在获取到所述目标业务数据之后,确定所述目标数据查询请求信息中是否携带有所述数据查询请求设备获取所述目标业务数据之后所述目标业务数据的目标用途信息;
11.若所述目标数据查询请求信息中携带有所述目标用途信息,则基于预先建立的用途

数据可靠度对应关系确定所述目标用途信息对应的目标数据可靠度信息,并确定所述目标数据可靠度信息与预先确定的数据可靠度阈值信息之间的大小关系,其中,所述数据可靠度阈值信息基于所述大数据处理设备响应对应的管理用户进行的可靠度阈值配置操作生成;
12.若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息,则确定需要对所述目标业务数据进行测试处理;
13.若所述目标数据可靠度信息小于所述数据可靠度阈值信息,则确定不需要对所述目标业务数据进行测试处理。
14.在一种可能的实施例中,在上述大数据测试方法中,所述在获取到所述目标业务数据之后,确定是否需要对所述目标业务数据进行数据测试处理的步骤,还包括:
15.若所述目标数据查询请求信息中未携带有所述目标用途信息,则生成用途确认通知信息,并将所述用途确认通知信息发送给所述数据查询请求设备,其中,所述数据查询请求设备用于基于所述用途确认通知信息生成对应的目标用途信息,并将所述目标用途信息发送给所述大数据处理设备;
16.判断是否获取到所述数据查询请求设备基于所述用途确认通知信息发送的目标用途信息;
17.若获取到所述数据查询请求设备发送的所述目标用途信息,则基于所述用途

数据可靠度对应关系确定所述目标用途信息对应的目标数据可靠度信息,并确定所述目标数据可靠度信息与所述数据可靠度阈值信息之间的大小关系,其中,若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息,则确定需要对所述目标业务数据进行测试处理,若所述目标数据可靠度信息小于所述数据可靠度阈值信息,则确定不需要对所述目标业务数据进行测试处理;
18.若未获取到所述数据查询请求设备发送的所述目标用途信息,则基于所述目标业务数据的数据类型,确定所述目标业务数据的各种用途信息,并基于所述用途

数据可靠度对应关系确定每一种所述用途信息对应的数据可靠度信息;
19.在每一种所述用途信息对应的数据可靠度信息中确定出目标数据可靠度信息,并确定所述目标数据可靠度信息与所述数据可靠度阈值信息之间的大小关系,其中,若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息,则确定需要对所述目标业务数据进行测试处理,若所述目标数据可靠度信息小于所述数据可靠度阈值信息,则确定不需要对所述目标业务数据进行测试处理。
20.在一种可能的实施例中,在上述大数据测试方法中,所述若确定需要对所述目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对所述目标业务数据的测试处理,以确定所述目标业务数据是否属于被篡改的数据的步骤,包括:
21.若确定需要对所述目标业务数据进行数据测试处理,则获取所述大数据处理设备的运行日志信息;
22.对所述运行日志信息进行解析处理,确定所述目标业务数据是否属于被篡改的数据。
23.在一种可能的实施例中,在上述大数据测试方法中,所述对所述运行日志信息进行解析处理,确定所述目标业务数据是否属于被篡改的数据的步骤,包括:
24.对所述运行日志信息进行解析处理,得到对应的解析结果;
25.若所述解析结果表征所述目标业务数据在存储之后未被修改,则确定所述目标业务数据不属于被篡改的数据;
26.若所述解析结果表征所述目标业务数据在存储之后有被修改,则确定请求修改所述目标业务数据的目标修改设备,并对所述目标修改设备进行设备验证处理,得到对应的设备验证结果;
27.若所述设备验证结果为所述目标修改设备通过验证,则确定所述目标业务数据不属于被篡改的数据;
28.若所述设备验证结果为所述目标修改设备未通过验证,则确定所述目标业务数据属于被篡改的数据。
29.在一种可能的实施例中,在上述大数据测试方法中,在执行所述在获取到所述目标业务数据之后,确定是否需要基于所述目标业务数据进行数据测试处理的步骤之后,所述大数据测试方法还包括:
30.若确定不需要对所述目标业务数据进行数据测试处理,则将所述目标业务数据进行发送给所述数据查询请求设备。
31.在一种可能的实施例中,在上述大数据测试方法中,在执行所述若确定需要对所述目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对所述目标业务数据的测试处理,以确定所述目标业务数据是否属于被篡改的数据的步骤之后,所述大数据测试方法还包括:
32.若确定所述目标业务数据不属于被篡改的数据,则将所述目标业务数据进行发送给所述数据查询请求设备;
33.若确定所述目标业务数据属于被篡改的数据,则确定是否能够将所述目标业务数据恢复至被篡改之前,并在不能将所述目标业务数据恢复至被篡改之前,则生成数据查询失败信息,并将所述数据查询失败信息发送给所述数据查询请求设备,或者,在能够将所述目标业务数据恢复至被篡改之前,则将所述目标业务数据恢复至被篡改之前,并将恢复后的目标业务数据发送给所述数据查询请求设备。
34.本技术还提供一种大数据测试系统,应用于大数据处理设备,所述大数据处理设备通信连接有数据查询请求设备,所述大数据测试系统包括:
35.查询请求处理模块,用于在确定需要基于所述数据查询请求设备发送的目标数据查询请求信息查询得到目标业务数据时,基于所述目标数据查询请求信息查询得到目标业务数据,其中,所述目标数据查询请求信息基于所述数据查询请求设备响应对应查询用户进行的数据查询操作生成;
36.测试处理确定模块,用于在获取到所述目标业务数据之后,确定是否需要对所述目标业务数据进行数据测试处理;
37.数据测试处理模块,用于若确定需要对所述目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对所述目标业务数据的测试处理,以确定所述目标业务数据是否属于被篡改的数据。
38.在一种可能的实施例中,在上述大数据测试系统中,所述测试处理确定模块具体用于:
39.在获取到所述目标业务数据之后,确定所述目标数据查询请求信息中是否携带有所述数据查询请求设备获取所述目标业务数据之后所述目标业务数据的目标用途信息;
40.若所述目标数据查询请求信息中携带有所述目标用途信息,则基于预先建立的用途

数据可靠度对应关系确定所述目标用途信息对应的目标数据可靠度信息,并确定所述目标数据可靠度信息与预先确定的数据可靠度阈值信息之间的大小关系,其中,所述数据可靠度阈值信息基于所述大数据处理设备响应对应的管理用户进行的可靠度阈值配置操作生成;
41.若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息,则确定需要对
memory,prom),可擦除只读存储器(erasable programmable read

only memory,eprom),电可擦除只读存储器(electric erasable programmable read

only memory,eeprom)等。所述处理器可以是一种通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)、片上系统(system on chip,soc)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
55.并且,图1所示的结构仅为示意,所述大数据处理设备还可包括比图1中所示更多或者更少的组件,或具有与图1所示不同的配置,例如,可以包括用于与其它设备(如手机等数据查询请求设备)进行信息交互的通信单元。其中,在一种可以替代的示例中,所述大数据处理设备可以是一种具备数据处理能力的服务器。
56.结合图2,本技术实施例还提供一种大数据测试方法,可应用于上述大数据处理设备。其中,所述大数据测试方法有关的流程所定义的方法步骤,可以由所述大数据处理设备实现。
57.下面将对图2所示的具体流程,进行详细阐述。
58.步骤s110,在确定需要基于所述数据查询请求设备发送的目标数据查询请求信息查询得到目标业务数据时,基于所述目标数据查询请求信息查询得到所述目标业务数据。
59.在本实施例中,所述大数据处理设备可以先在确定需要基于所述数据查询请求设备发送的目标数据查询请求信息查询得到目标业务数据时,基于所述目标数据查询请求信息查询得到所述目标业务数据。
60.其中,所述目标数据查询请求信息基于所述数据查询请求设备响应对应的查询用户进行的数据查询操作生成。
61.步骤s120,确定是否需要对所述目标业务数据进行数据测试处理。
62.在本实施例中,在基于步骤s110获取到所述目标业务数据之后,所述大数据处理设备可以确定是否需要对所述目标业务数据进行数据测试处理。其中,若确定需要对所述目标业务数据进行数据测试处理,可以执行步骤s130,以进行相应的测试。
63.步骤s130,按照预先确定的数据测试规则对所述目标业务数据的测试处理,以确定所述目标业务数据是否属于被篡改的数据。
64.在本实施例中,在基于步骤s120确定需要对所述目标业务数据进行数据测试处理之后,所述大数据处理设备可以按照预先确定的数据测试规则对所述目标业务数据的测试处理,如此,可以确定所述目标业务数据是否属于被篡改的数据。
65.基于上述方法,在查询得到目标业务数据之后,确定是否需要对目标业务数据进行数据测试处理,并在确定需要对目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对目标业务数据的测试处理,以确定目标业务数据是否属于被篡改的数据,基于此,可以避免利用被篡改的数据进行相应的应用处理而导致可靠性降低的问题,即改善现有技术中查询得到的数据的可靠性难以有效保障的问题。
66.可以理解的是,在一种可以替代的示例中,在执行步骤s110时,可以基于步骤s111、步骤s112和步骤s113以进行查询处理。
67.步骤s111,获取所述数据查询请求设备发送的目标数据查询请求信息。
68.在本实施例中,所述大数据处理设备可以先获取通信连接的数据查询请求设备发
送的目标数据查询请求信息。
69.其中,所述目标数据查询请求信息基于所述数据查询请求设备响应对应的查询用户进行的数据查询操作生成,且发送给所述大数据处理设备。
70.步骤s112,对所述目标数据查询请求信息进行验证处理,得到对应的验证结果,并基于所述验证结果确定是否执行所述目标数据查询请求信息对应的目标数据查询请求操作。
71.在本实施例中,在基于步骤s111得到所述目标数据查询请求信息之后,所述大数据处理设备可以对所述目标数据查询请求信息进行验证处理,得到对应的验证结果,并基于所述验证结果确定是否执行所述目标数据查询请求信息对应的目标数据查询请求操作。
72.其中,若所述验证结果为验证通过或验证不通过,且在验证通过时,确定执行所述目标数据查询请求信息对应的目标数据查询请求操作,在验证未通过时,则确定不执行所述目标数据查询请求信息对应的目标数据查询请求操作。并且,若需要执行所述目标数据查询请求操作,可以执行步骤s113。若不需要执行所述目标数据查询请求操作,则生成对应的查询失败提示信息,并将所述查询失败提示信息发送给所述数据查询请求设备。
73.步骤s113,基于目标数据查询请求信息查询得到对应目标业务数据。
74.在本实施例中,在基于步骤s112确定需要执行所述目标数据查询请求操作之后,所述大数据处理设备可以基于所述目标数据查询请求信息查询得到对应目标业务数据(如设备运行的数据或业务订单数据等)。
75.基于上述步骤,在获取到数据查询请求设备发送的目标数据查询请求信息之后,先进行验证处理,且在验证通过之后再基于目标数据查询请求信息查询得到对应目标业务数据。基于此,相较于直接基于数据查询请求信息进行查询的常规技术方法,由于增加了验证处理,使得查询的安全性得到有效的提升,从而改善现有技术中数据查询的安全性不高的问题。
76.可以理解的是,在一种可以替代的示例中,在执行步骤s111时,在所述大数据处理设备通信连接有多个数据查询请求设备的基础上,可以基于以下步骤获取所述目标数据查询请求信息:
77.首先,(如在一个时刻或一个较短的时段内)获取至少一个所述数据查询请求设备发送的数据查询请求信息,得到至少一条数据查询请求信息;
78.其次,统计所述至少一条数据查询请求信息的数量,得到对应的第一数量;
79.然后,确定所述第一数量与预先确定的第一预设阈值之间的大小关系,其中,所述第一预设阈值可以基于所述大数据处理设备响应对应管理用户根据实际应用场景进行的阈值配置操作生成;
80.最后,若所述第一数量小于或等于所述第一预设阈值,则将所述第一数量条数据查询请求信息中的每一条数据查询请求信息确定为目标数据查询请求信息,得到所述第一数量条目标数据查询请求信息。
81.可以理解的是,在一种可以替代的示例中,在执行步骤s111时,在所述大数据处理设备通信连接有多个数据查询请求设备的基础上,还可以基于以下步骤获取所述目标数据查询请求信息:
82.第一步,若所述第一数量大于所述第一预设阈值,则确定所述第一数量条数据查
询请求信息中的每一条数据查询请求信息的接收时间和发送时间,得到对应的接收时间信息和发送时间信息;
83.第二步,基于每一条所述目标数据查询请求信息的接收时间信息之间的早晚关系,分别确定每一条所述目标数据查询请求信息的第一表征系数,其中,任意两条所述目标数据查询请求信息,具有较早的接收时间信息对应的第一表征系数大于具有较晚的接收时间信息对应的第一表征系数;
84.第三步,基于每一条所述目标数据查询请求信息的发送时间信息之间的早晚关系,分别确定每一条所述目标数据查询请求信息的第二表征系数,其中,任意两条所述目标数据查询请求信息,具有较早的发送时间信息对应的第二表征系数大于具有较晚的发送时间信息对应的第二表征系数;
85.第四步,针对每一条所述目标数据查询请求信息,基于该目标数据查询请求信息对应的第一表征系数和第二表征系数进行融合处理(如相乘处理等),得到该目标数据查询请求信息对应的融合表征系数;
86.第五步,基于所述融合表征系数之间的大小关系,在所述第一数量条数据查询请求信息中筛选出所述第一预设阈值条数据查询请求信息(如筛选出所述融合系数最大的所述第一预设阈值条数据查询请求信息),作为目标数据查询请求信息,得到所述第一预设阈值条目标数据查询请求信息。
87.可以理解的是,在一种可以替代的示例中,在执行步骤s111时,在基于上述步骤,在得到所述第一数量条目标数据查询请求信息之后,还可以执行以下步骤(其中,在得到所述第一预设阈值条目标数据查询请求信息之后,也可以执行相同的步骤,在此不再一一赘述):
88.第一步,在得到所述第一数量条目标数据查询请求信息之后,确定每一条所述目标数据查询请求信息的接收时间信息和发送时间信息;
89.第二步,基于每一条所述目标数据查询请求信息的接收时间信息之间的早晚关系,分别确定每一条所述目标数据查询请求信息的第一表征系数,其中,任意两条所述目标数据查询请求信息,具有较早的接收时间信息对应的第一表征系数大于具有较晚的接收时间信息对应的第一表征系数;
90.第三步,基于每一条所述目标数据查询请求信息的发送时间信息之间的早晚关系,分别确定每一条所述目标数据查询请求信息的第二表征系数,其中,任意两条所述目标数据查询请求信息,具有较早的发送时间信息对应的第二表征系数大于具有较晚的发送时间信息对应的第二表征系数;
91.第四步,针对每一条所述目标数据查询请求信息,基于该目标数据查询请求信息对应的第一表征系数和第二表征系数进行融合处理,得到该目标数据查询请求信息对应的融合表征系数;
92.第五步,基于所述融合表征系数之间的大小关系,确定所述第一数量条目标数据查询请求信息之间的目标先后顺序关系,其中,所述目标先后顺序关系用于表征基于对应的所述目标数据查询请求信息执行所述对所述目标数据查询请求信息进行验证处理,得到对应的验证结果的步骤的优先级(例如,所述融合表征系数越大的目标数据查询请求信息的优先级越高,所述融合表征系数越小的目标数据查询请求信息的优先级越低,如此,可以
先针对优先级高的目标数据查询请求信息执行后续的步骤s112,然后针对优先级低的目标数据查询请求信息执行后续的步骤s112)。
93.可以理解的是,在一种可以替代的示例中,在执行步骤s112时,可以基于以下步骤以对所述目标数据查询请求信息进行验证处理,得到对应的验证结果:
94.首先,基于所述目标数据查询请求信息确定待查询的目标数据内容的目标数据标识信息,并基于所述目标数据标识信息确定所述目标数据内容对应的目标安全保护等级信息(可以预先建立有不同数据内容与不同安全保护等级信息之间的对应关系);
95.其次,基于所述目标安全保护等级信息和预先确定的安全保护等级阈值信息,确定是否对所述目标数据查询请求信息执行目标验证处理,其中,所述安全保护等级阈值信息可以基于所述大数据处理设备响应对应管理用户根据实际应用场景进行的阈值配置操作生成,且若所述目标安全保护等级信息高于所述安全保护等级阈值信息,表明对应的数据相对重要,则确定对所述目标数据查询请求信息执行目标验证处理,若所述目标安全保护等级信息不高于所述安全保护等级阈值信息,表明对应的数据相对不重要,则确定不对所述目标数据查询请求信息执行目标验证处理;
96.然后,若确定对所述目标数据查询请求信息执行目标验证处理,则对所述目标数据查询请求信息执行所述目标验证处理,得到对应的验证结果;
97.最后,若确定不对所述目标数据查询请求信息执行目标验证处理,则生成表征验证通过的验证结果,即直接通过验证。
98.可以理解的是,在一种可以替代的示例中,可以基于以下步骤以对所述目标数据查询请求信息执行所述目标验证处理:
99.首先,获取所述目标数据查询请求信息对应的数据查询请求设备的目标设备身份信息(如设备指纹等唯一性标识信息),并基于所述目标设备身份信息获取在历史上所述数据查询请求设备发送的至少一条历史数据查询请求信息;
100.其次,在所述至少一条历史数据查询请求信息中,基于每一条所述历史数据查询请求信息的接收时间确定一条历史数据查询请求信息,作为第一历史数据查询请求信息(如接收时间为中位值的一条历史数据查询请求信息,可以作为所述第一历史数据查询请求信息);
101.然后,基于所述第一历史数据查询请求信息对所述目标数据查询请求信息执行执行所述目标验证处理,得到对应的验证结果。
102.可以理解的是,在一种可以替代的示例中,可以基于以下步骤以基于所述第一历史数据查询请求信息对所述目标数据查询请求信息执行执行所述目标验证处理,得到对应的验证结果:
103.第一步,确定所述第一历史数据查询请求信息对应的接收时间与当前时间之间的目标时间段,并获取在所述目标时间段内所述目标设备身份信息对应的数据查询请求设备对所述大数据处理设备和所述大数据处理设备的关联数据处理设备(可以预先存储所述大数据处理设备和所述关联数据处理设备的关联关系,然后,从所述关联数据处理设备获取对应的历史数据查询请求信息)进行数据查询的的每一条历史数据查询请求信息,并基于该历史数据查询请求信息的接收时间,对该历史数据查询请求信息按照时间从早到晚的顺序进行排序,得到对应的历史数据查询请求信息序列;
104.第二步,在所述历史数据查询请求信息序列包括的历史数据查询请求信息中,确定查询的代表数据内容,其中,所述代表数据内容对应的历史数据查询请求信息的数量具有最大值;
105.第三步,确定所述目标设备身份信息以外的多个第二设备身份信息和每一个所述第二设备身份信息对应的第二历史数据查询请求信息,其中,每一个所述第二设备身份信息对应的数据查询请求设备在所述目标时间段内有向所述大数据处理设备发送数据查询请求信息,每一条所述第二历史数据查询请求信息用于对所述大数据处理设备或所述大数据处理设备进行数据查询;
106.第四步,针对每一个所述第二设备身份信息,按照接收时间从早到晚的顺序对该第二设备身份信息对应的第二历史数据查询请求信息进行排序,得到对应的第二历史数据查询请求信息序列;
107.第五步,分别确定每一个所述第二历史数据查询请求信息序列包括的第二历史数据查询请求信息对应的数据内容是否包括所述代表数据内容,并分别统计包括所述代表数据内容的每一条第二历史数据查询请求信息序列包括的第二历史数据查询请求信息的数量,得到对应的第二数量;
108.第六步,对于小于预先确定的第二预设阈值的每一个所述第二数量,将对应的每一个所述第二历史数据查询请求信息序列按照预先确定的第三预设阈值进行筛选处理(如随机筛选等),得到对应的第二历史数据查询请求信息代表序列,其中,所述第三预设阈值与所述历史数据查询请求信息序列包括的历史数据查询请求信息的数量相同,使得每一个第二历史数据查询请求信息代表序列包括的第二历史数据查询请求信息的数量与所述历史数据查询请求信息序列包括的历史数据查询请求信息的数量相同,所述第二预设阈值和所述第三预设阈值可以基于所述大数据处理设备响应对应管理用户进行的阈值配置操作生成;
109.第七步,对于大于或等于所述第二预设阈值的每一个所述第二数量,针对对应的每一个所述第二历史数据查询请求信息序列,在该第二历史数据查询请求信息序列中,选择(如随机选择等)包括所述代表数据内容对应的第二历史数据查询请求信息的连续的所述第三预设阈值个第二历史数据查询请求信息,组成第二历史数据查询请求信息代表序列,使得每一个第二历史数据查询请求信息代表序列包括的第二历史数据查询请求信息的数量与所述历史数据查询请求信息序列包括的历史数据查询请求信息的数量相同;
110.第八步,针对每一个所述第二历史数据查询请求信息代表序列,计算该第二历史数据查询请求信息代表序列与所述历史数据查询请求信息序列之间关于对应的数据内容形成的序列相似度(如判断对应序列位置的数据查询请求信息对应的数据内容是否相同,并统计具有相同数据内容的序列位置的数量占比,从而得到所述序列相似度),并确定该序列相似度是否大于预先确定的第四预设阈值,所述四预设阈值可以基于所述大数据处理设备响应对应管理用户进行的阈值配置操作生成;
111.第九步,确定是否存在大于所述第四预设阈值的序列相似度,并在确定存在大于所述第四预设阈值的序列相似度时,将该序列相似度对应的第二历史数据查询请求信息代表序列对应的第二设备身份信息确定为与所述目标设备身份信息之间具有关联关系,并确定验证通过(表明对应的数据查询请求设备与其它查询请求设备具有一定的关联性,具有
一定的安全性,可以予以通过),并在确定不存在大于所述第四预设阈值的序列相似度时,确定验证未通过(表明对应的数据查询请求设备与其它查询请求设备不具有一定的关联性或关联性较低,使得安全性较低,可以不通过)。
112.可以理解的是,在一种可以替代的示例中,在执行步骤s113时,可以基于以下步骤以查询得到对应目标业务数据:
113.首先,若确定需要执行所述目标数据查询请求操作,则基于所述目标数据查询请求信息确定待查询的目标数据内容的目标数据标识信息;
114.其次,基于所述目标数据标识信息确定所述目标数据内容的存储位置,得到对应的目标存储位置信息(可以在存储数据时,建立不同数据内容的存储位置信息与数据标识信息之间的对应关系);
115.然后,在所述目标存储位置信息对应的目标数据库(既可以是所述大数据处理设备的本地数据库,也可以是所述大数据处理设备的远端数据库)中查询得到所述目标数据查询请求信息对应的目标业务数据。
116.可以理解的是,在一种可以替代的示例中,在执行步骤s120时,可以基于以下步骤以在获取到所述目标业务数据之后,确定是否需要对所述目标业务数据进行数据测试处理:
117.首先,在获取到所述目标业务数据之后,确定所述目标数据查询请求信息中是否携带有所述数据查询请求设备获取所述目标业务数据之后所述目标业务数据的目标用途信息(如用于进行数据预测的基础,或者,只是满足用户的浏览需求等);
118.其次,若所述目标数据查询请求信息中携带有所述目标用途信息,则基于预先建立的用途

数据可靠度对应关系确定所述目标用途信息对应的目标数据可靠度信息,并确定所述目标数据可靠度信息与预先确定的数据可靠度阈值信息之间的大小关系,其中,所述数据可靠度阈值信息基于所述大数据处理设备响应对应的管理用户进行的可靠度阈值配置操作生成;
119.然后,若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息(即对数据的可靠度需要较高,因而需要保证数据的有效性),则确定需要对所述目标业务数据进行测试处理;
120.最后,若所述目标数据可靠度信息小于所述数据可靠度阈值信息(即对数据的可靠度需要较高,因而不需要充分保证数据的有效性),则确定不需要对所述目标业务数据进行测试处理。
121.可以理解的是,在一种可以替代的示例中,在执行步骤s120时,还可以基于以下步骤以在获取到所述目标业务数据之后,确定是否需要对所述目标业务数据进行数据测试处理:
122.第一步,若所述目标数据查询请求信息中未携带有所述目标用途信息,则生成用途确认通知信息,并将所述用途确认通知信息发送给所述数据查询请求设备,其中,所述数据查询请求设备用于基于所述用途确认通知信息生成对应的目标用途信息(如向对应的查询用户进行显示,使得查询用户进行对应的操作),并将所述目标用途信息发送给所述大数据处理设备;
123.第二步,判断是否获取到所述数据查询请求设备基于所述用途确认通知信息发送
的目标用途信息;
124.第三步,若获取到所述数据查询请求设备发送的所述目标用途信息,则基于所述用途

数据可靠度对应关系确定所述目标用途信息对应的目标数据可靠度信息,并确定所述目标数据可靠度信息与所述数据可靠度阈值信息之间的大小关系,其中,若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息,则确定需要对所述目标业务数据进行测试处理,若所述目标数据可靠度信息小于所述数据可靠度阈值信息,则确定不需要对所述目标业务数据进行测试处理;
125.第四步,若未获取到所述数据查询请求设备发送的所述目标用途信息,则基于所述目标业务数据的数据类型,确定所述目标业务数据的各种用途信息(即基于数据类型确定可能具有的各种用途,其中,数据类型和对应的各种用途可以基于对应的管理用户进行自定义),并基于所述用途

数据可靠度对应关系确定每一种所述用途信息对应的数据可靠度信息;
126.第五步,在每一种所述用途信息对应的数据可靠度信息中确定出目标数据可靠度信息,并确定所述目标数据可靠度信息与所述数据可靠度阈值信息之间的大小关系,其中,若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息,则确定需要对所述目标业务数据进行测试处理,若所述目标数据可靠度信息小于所述数据可靠度阈值信息,则确定不需要对所述目标业务数据进行测试处理。
127.可以理解的是,在一种可以替代的示例中,在执行步骤s130时,可以基于以下步骤以按照预先确定的数据测试规则对所述目标业务数据的测试处理,确定所述目标业务数据是否属于被篡改的数据:
128.首先,若确定需要对所述目标业务数据进行数据测试处理,则获取所述大数据处理设备的运行日志信息;
129.其次,对所述运行日志信息进行解析处理,确定所述目标业务数据是否属于被篡改的数据。
130.可以理解的是,在一种可以替代的示例中,可以基于以下步骤以对所述运行日志信息进行解析处理,确定所述目标业务数据是否属于被篡改的数据:
131.第一步,对所述运行日志信息进行解析处理,得到对应的解析结果;
132.第二步,若所述解析结果表征所述目标业务数据在存储之后未被修改,则确定所述目标业务数据不属于被篡改的数据;
133.第三步,若所述解析结果表征所述目标业务数据在存储之后有被修改,则确定请求修改所述目标业务数据的目标修改设备,并对所述目标修改设备进行设备验证处理(如确定所述目标修改设备是否属于预设的白名单或或者是否属于预设的黑名单,其中,属于白名单时,对应的设备验证结果为所述目标修改设备通过验证,属于黑未名单时,对应的设备验证结果为所述目标修改设备通过验证),得到对应的设备验证结果;
134.第四步,若所述设备验证结果为所述目标修改设备通过验证,则确定所述目标业务数据不属于被篡改的数据;
135.第五步,若所述设备验证结果为所述目标修改设备未通过验证,则确定所述目标业务数据属于被篡改的数据。
136.可以理解的是,在一种可以替代的示例中,在上述示例的基础上,在执行所述在获
取到所述目标业务数据之后,确定是否需要基于所述目标业务数据进行数据测试处理的步骤之后,即在执行步骤s120之后,所述大数据测试方法还可以包括以下步骤:
137.若确定不需要对所述目标业务数据进行数据测试处理,则将所述目标业务数据进行发送给所述数据查询请求设备。
138.可以理解的是,在一种可以替代的示例中,在上述示例的基础上,在执行所述若确定需要对所述目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对所述目标业务数据的测试处理,以确定所述目标业务数据是否属于被篡改的数据的步骤之后,即在执行步骤s130之后,所述大数据测试方法还可以包括以下步骤:
139.首先,若确定所述目标业务数据不属于被篡改的数据,则将所述目标业务数据进行发送给所述数据查询请求设备;
140.其次,若确定所述目标业务数据属于被篡改的数据,则确定是否能够将所述目标业务数据恢复至被篡改之前(如基于进行篡改的日志信息是否能够进行恢复,或者,是否存在备份数据以进行恢复等),并在不能将所述目标业务数据恢复至被篡改之前,则生成数据查询失败信息,并将所述数据查询失败信息发送给所述数据查询请求设备,或者,在能够将所述目标业务数据恢复至被篡改之前,则将所述目标业务数据恢复至被篡改之前,并将恢复后的目标业务数据发送给所述数据查询请求设备。
141.本技术实施例还提供一种大数据测试系统,可应用于上述大数据处理设备。其中,所述大数据测试系统可以包括查询请求处理模块、测试处理确定模块和数据测试处理模块。
142.所述查询请求处理模块,可以用于在确定需要基于所述数据查询请求设备发送的目标数据查询请求信息查询得到目标业务数据时,基于所述目标数据查询请求信息查询得到目标业务数据,其中,所述目标数据查询请求信息基于所述数据查询请求设备响应对应查询用户进行的数据查询操作生成。在本实施例中,所述查询请求处理模块可用于执行图2所示的步骤s110,关于所述查询请求处理模块的相关内容可以参照前文对步骤s110的描述。
143.所述测试处理确定模块,可以用于在获取到所述目标业务数据之后,确定是否需要对所述目标业务数据进行数据测试处理。在本实施例中,所述测试处理确定模块可用于执行图2所示的步骤s110,关于所述测试处理确定模块的相关内容可以参照前文对步骤s110的描述。
144.所述数据测试处理模块,可以用于若确定需要对所述目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对所述目标业务数据的测试处理,以确定所述目标业务数据是否属于被篡改的数据。在本实施例中,所述数据测试处理模块可用于执行图2所示的步骤s110,关于所述数据测试处理模块的相关内容可以参照前文对步骤s110的描述。
145.可以理解的是,在一种可以替代的示例中,所述测试处理确定模块具体用于:在获取到所述目标业务数据之后,确定所述目标数据查询请求信息中是否携带有所述数据查询请求设备获取所述目标业务数据之后所述目标业务数据的目标用途信息;若所述目标数据查询请求信息中携带有所述目标用途信息,则基于预先建立的用途

数据可靠度对应关系确定所述目标用途信息对应的目标数据可靠度信息,并确定所述目标数据可靠度信息与预先确定的数据可靠度阈值信息之间的大小关系,其中,所述数据可靠度阈值信息基于所述
大数据处理设备响应对应的管理用户进行的可靠度阈值配置操作生成;若所述目标数据可靠度信息大于或等于所述数据可靠度阈值信息,则确定需要对所述目标业务数据进行测试处理;若所述目标数据可靠度信息小于所述数据可靠度阈值信息,则确定不需要对所述目标业务数据进行测试处理。
146.可以理解的是,在一种可以替代的示例中,所述数据测试处理模块具体用于:若确定需要对所述目标业务数据进行数据测试处理,则获取所述大数据处理设备的运行日志信息;对所述运行日志信息进行解析处理,确定所述目标业务数据是否属于被篡改的数据。
147.综上所述,本技术提供的一种大数据测试方法及系统,在查询得到目标业务数据之后,确定是否需要对目标业务数据进行数据测试处理,并在确定需要对目标业务数据进行数据测试处理,则按照预先确定的数据测试规则对目标业务数据的测试处理,以确定目标业务数据是否属于被篡改的数据,基于此,可以避免利用被篡改的数据进行相应的应用处理而导致可靠性降低的问题,即改善现有技术中查询得到的数据的可靠性难以有效保障的问题。
148.在本技术实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
149.另外,在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
150.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,电子设备,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
151.以上所述仅为本技术的优选实施例而已,并不用于限制本技术,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修
改、等同替换、改进等,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献