一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

数据查询方法、装置、计算机设备和存储介质与流程

2022-02-21 04:32:27 来源:中国专利 TAG:


1.本技术涉及数据库及数据处理技术领域,特别是涉及一种数据查询方法、装置、计算机设备和存储介质。


背景技术:

2.随着网络信息技术的蓬勃发展,很多不同的业务系统都会接入同一数据平台,用户通过该数据平台对各业务系统(也可以称为被监测单位)的业务数据进行查询、监测和处理。
3.目前,用户通过发送查询请求,在数据平台上对每一被监测单位的数据进行查询访问。由于用户访问每一被监测单位的时间不统一,因此通常需要针对每个被监测单位设置查询条件。在查询过程中数据平台在访问时间记录中实时更新用户访问时间,仅保留最近一次访问时间。
4.然而,目前的数据查询方法,针对每一被监测单位的查询都需要设置不同的查询筛选条件,使得查询筛选条件复杂,数据平台查询性能降低,并且由于数据平台仅保留用户最近一次访问时间,每当用户需要进行数据查询时,用户均需要主动发起查询请求,数据平台根据该查询请求重新统计数据查询结果,导致数据查询效率低。


技术实现要素:

5.基于此,有必要针对上述技术问题,提供一种数据查询方法、装置、计算机设备和存储介质。
6.一种数据查询方法,所述方法包括:
7.获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;
8.基于所述目标数据,统计各所述被监测单位的基础查询结果,并将所述基础查询结果存储至所述预设数据结构中;
9.基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,并将所述最终查询结果推送至终端设备,以使用户通过所述终端设备进行查阅。
10.在其中一个实施例中,所述根据预设数据结构中的过滤筛选条件,筛选得到目标数据,包括:
11.按照预设时间周期,根据预设数据结构中的至少一个过滤筛选条件在各所述被监测单位数据流中周期性筛选得到候选数据,并根据至少一个数据分类规则对所述候选数据进行分类,得到分类后的目标数据;
12.所述基于所述目标数据,统计各所述被监测单位的基础查询结果,包括:
13.针对每一所述被监测单位对应的所述目标数据,根据所述目标数据中包含的各事件类型以及事件类型数量,分配新增数据量统计进程;
14.通过所述新增数据量统计进程,统计所述目标数据中的每一所述事件类型的新增数据量,得到每一所述被监测单位对应的基础查询结果。
15.在其中一个实施例中,所述基础查询结果包含新增已读数据量和新增数据量,所述新增已读数据量为所述新增数据量中已推送至终端设备的数据量;所述基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,包括:
16.在所述预设数据结构中,获取每一所述被监测单位对应的基础查询结果;
17.根据所述基础查询结果中的所述新增数据量与所述新增已读数据量,计算得到所述被监测单位的新增未读数据量,将所述新增未读数据量作为所述最终查询结果。
18.在其中一个实施例中,所述方法还包括:
19.接收数据读取请求,所述数据读取请求中携带目标被监测单位标识;
20.根据所述目标被监测单位标识,在所述预设数据结构中确定至少一个过滤筛选条件以及至少一个数据分类规则;
21.所述根据预设数据结构中的过滤筛选条件,筛选得到目标数据,包括:
22.根据所述过滤筛选条件和所述数据分类规则,在所述目标被监测单位对应的数据流中筛选得到候选数据;
23.根据所述数据分类规则,对所述候选数据进行分类,得到分类后的目标数据;所述目标数据包含上一数据读取请求所处时刻至当前所述数据读取请求所处时刻的时间范围内的全部数据;
24.读取所述目标数据,将所述目标数据反馈至终端设备显示端进行输出显示。
25.在其中一个实施例中,所述基于所述目标数据,统计各所述被监测单位的基础查询结果,包括:
26.当所述目标数据被反馈至终端设备后,将所述目标被监测单位对应的目标数据标记为已读,得到新增已读数据;
27.根据数据量统计进程对所述新增已读数据进行数据量统计,得到所述目标被监测单位的基础查询结果。
28.在其中一个实施例中,所述根据数据量统计进程对所述新增已读数据进行数据量统计,得到所述目标被监测单位的基础查询结果,包括:
29.解析所述新增已读数据中包含的网络安全事件的事件类型;
30.根据各所述事件类型以及事件类型数量,分配数据量统计进程,并通过所述数据量统计进程确定每一所述事件类型的新增已读数据量,得到所述目标被监测单位的基础查询结果。
31.一种数据查询装置,所述装置包括:
32.获取模块,用于获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;
33.统计模块,用于基于所述目标数据,统计各所述被监测单位的基础查询结果,并将所述基础查询结果存储至所述预设数据结构中;
34.推送模块,用于基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,并将所述最终查询结果推送至终端设备,以使用户通过所述终端设备进行查阅。
35.在其中一个实施例中,所述基础查询结果包含已读数据量和新增数据量,所述新增已读数据量为所述新增数据量中已推送至终端设备的数据量;所述推送模块,具体用于在所述预设数据结构中,获取每一所述被监测单位对应的基础查询结果;
36.根据所述基础查询结果中的所述新增数据量与所述新增已读数据量,计算得到所述被监测单位的新增未读数据量,将所述新增未读数据量作为所述最终查询结果。
37.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
38.获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;
39.基于所述目标数据,统计各所述被监测单位的基础查询结果,并将所述基础查询结果存储至所述预设数据结构中;
40.基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,并将所述最终查询结果推送至终端设备,以使用户通过所述终端设备进行查阅。
41.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
42.获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;
43.基于所述目标数据,统计各所述被监测单位的基础查询结果,并将所述基础查询结果存储至所述预设数据结构中;
44.基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,并将所述最终查询结果推送至终端设备,以使用户通过所述终端设备进行查阅。
45.上述数据查询方法、装置、计算机设备和存储介质,获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;基于所述目标数据,统计各所述被监测单位的基础查询结果,并将所述基础查询结果存储至所述预设数据结构中;基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,并将所述最终查询结果推送至终端设备,以使用户通过所述终端设备进行查阅。采用本方法,通过预设数据结构中的过滤筛选条件,对数据流中的数据进行基础查询结果的实时统计,进而根据预置的数据处理规则以及该基础查询结果,统计各被监测单位的最终查询结果,向用户的终端设备进行推送。无需用户发起数据查询请求,也无需针对每次数据查询请求进行查询结果的重新计算,实时更新推送数据流中各被监测单位的最终查询结果,提高数据查询效率。
附图说明
46.图1为一个实施例中数据查询方法的流程示意图;
47.图2为一个实施例中实时监测并更新基础查询结果步骤的流程示意图;
48.图3为一个实施例中新增数据过滤筛选并统计数据量步骤的流程图;
49.图4为一个实施例中确定最终查询结果具体步骤的流程示意图;
50.图5为一个实施例中数据读取步骤的流程示意图;
51.图6为一个实施例中目标监测单位进行数据量统计步骤的流程示意图;
52.图7为一个实施例中标记已读数据并计算基础查询结果步骤的流程图;
53.图8为一个实施例中确定目标被监测单位的基础查询结果步骤的流程图;
54.图9为一个实施例中数据查询方法示例的流程图;
55.图10为一个实施例中数据查询方法架构图;
56.图11为一个实施例中数据查询装置的结构框图;
57.图12为一个实施例中计算机设备的内部结构图。
具体实施方式
58.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
59.在一个实施例中,如图1所示,提供了一种数据查询方法,该方法可以应用于终端,也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例以该方法应用于终端进行举例说明,其中,终端上集成有数据查询处理平台,因此,在各实施例中终端均通过数据查询处理平台执行各步骤。本实施例中,该方法包括以下步骤:
60.步骤101,获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据。
61.在实施中,各被监测单位的数据(例如,网络安全事件数据)统一接入到数据查询处理平台,由数据查询处理平台进行规划处理,因此,数据查询处理平台可以获取各被监测单位的数据流,并根据预设的数据结构中的过滤筛选条件,对数据流中的数据进行筛选,例如,预设数据结构中的过滤筛选条件可以包括被监测单位的网络安全事件的事件等级、事件类型以及时间信息等,本技术实施例对于数据的过滤筛选条件不做限定。进而数据查询处理平台根据预设数据结构中的过滤筛选条件筛选得到目标数据。
62.步骤102,基于目标数据,统计各被监测单位的基础查询结果,并将基础查询结果存储至预设数据结构中。
63.在实施中,数据查询处理平台基于筛选得到的目标数据,统计各被监测单位的基础查询结果。其中基础查询结果也可以称为数据查询的中间计算结果。中间计算结果的确定取决于最终计算结果的中间计算输出,例如,若最终计算结果为新增未读数据量,则该参量的中间计算结果包含各被监测单位的新增数据总数量和已读数据量。若最终计算结果为网络安全事件数据的总数量,则该参量的中间计算结果包含各被监测单位网络安全事件数据总数量。因此,本技术对于基础查询结果不做限定。
64.步骤103,基于数据处理规则对预设数据结构中的基础查询结果进行处理,得到最终查询结果,并将最终查询结果推送至终端设备,以使用户通过终端设备进行查阅。
65.在实施中,在预设时间周期内,数据查询处理平台根据预置的数据处理规则以及各被监测单位的基础查询结果,统计得到各被监测单位的最终查询结果。具体的,数据查询处理平台实时(例如,5秒为一个周期)更新各被监测单位的基础查询结果,进而,根据更新
后的基础查询结果按照预设时间间隔(15秒一个周期)更新最终查询结果。其中,数据处理规则表示用户查询需求,例如,用户查询需求为新增未读数据量,则数据查询处理平台可以根据该数据处理规则对基础查询结果进行处理,得到最终查询结果为新增未读数据量。然后,数据查询处理平台将生成的最终查询结果存储在redis(remote dictionary server,远程字典服务)数据库,并以预设时间周期(例如,15秒)推送至终端设备的web(网络)前端,以使用户进行实时查阅。具体的,数据查询处理平台通过websocket实时监听redis数据库中的最终查询结果,并将监听到的最终查询结果实时推送至web前端。
66.上述数据查询方法中,数据查询处理平台获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;基于目标数据,统计各被监测单位的基础查询结果,并将基础查询结果存储至预设数据结构中;基于数据处理规则对预设数据结构中的基础查询结果进行处理,得到最终查询结果,并将最终查询结果推送至终端设备,以使用户通过终端设备进行查阅。采用本方法,通过预设数据结构中的过滤筛选条件,对数据流中的数据进行基础查询结果的实时统计,进而根据预置的数据处理规则以及该基础查询结果,统计各被监测单位的最终查询结果,向用户的终端设备进行推送。无需用户发起数据查询请求,也无需针对每次数据查询请求进行查询结果的重新计算,实时更新推送数据流中各被监测单位的最终查询结果,提高数据查询效率。
67.在一个实施例中,如图2所示,步骤101中的根据预设数据结构中的过滤筛选条件,筛选得到目标数据,包括:
68.步骤201,按照预设时间周期,根据预设数据结构中的至少一个过滤筛选条件在各被监测单位数据流中周期性筛选得到候选数据,并根据至少一个数据分类规则对候选数据进行分类,得到分类后的目标数据。
69.在实施中,数据查询处理平台实时监控redis数据库中的数据结构,基于预设时间周期,根据数据结构中包含的过滤筛选条件,对各被监测单位的数据流进行实时筛选,得到候选数据。进而根据数据分类规则对候选数据进行分类,得到目标数据。具体的,数据查询处理平台按照预设时间周期(例如,15秒),基于数据库redis的数据结构中的至少一个过滤筛选条件在各被监测单位数据流中周期性的筛选,得到筛选出的候选数据,并根据至少一个数据分类规则(例如,事件等级数据分类规则)对候选数据进行进一步分类,得到分类后的目标数据。如图3所示,数据结构中包含的过滤筛选条件为:时间筛选条件(当日:0时至24时),被监测单位筛选条件(有效被监测单位:被监测单位a、被监测单位b和被监测单位c)等。数据分类规则包含:第一分类规则:有效被监测单位,第二分类规则:事件类型等,因此,数据查询处理平台不仅可以对数据流中的数据进行过滤筛选,而且可以对筛选后的数据进行聚合分类,本技术实施例对于数据结构中包含的数据筛选条件和数据分类规则的种类和数量不做限定。
70.可选的,在数据查询处理平台进行数据筛选处理数据的过程中,可以预先选取过滤筛选条件与数据分类规则进行匹配,并将匹配好的过滤筛选条件与数据分类规则封装为一个组件,通过该组件进行数据筛选时,可以直接输出根据该组件中包含的至少一条过滤筛选条件和至少一条数据分类规则得到的数据流中的目标数据。
71.则步骤102的具体处理过程包括:
72.步骤202,针对每一被监测单位对应的目标数据,根据目标数据中包含的各事件类
型以及事件类型数量,分配新增数据量统计进程。
73.在实施中,数据查询处理平台针对每一被监测单位对应的目标数据,根据目标数据中包含的各事件类型以及事件类型数据,分配新增数据量统计进程,例如,目标数据中包含5种事件类型,每一事件类型对应的数据量分别为:事件类型1:100条;事件类型2:80条;事件类型3:50条;事件类型4:20条;事件类型5:10条。基于这5种事件类型可以适当的分配3个数据量统计进程来对数据进行统计,根据每一事件类型的数据量的多少,保证数据量统计进程间的负载均衡,例如,进程1统计事件类型1的数据量,进程2统计事件类型2的数据量,进程3统计事件类型3、事件类型4和事件类型5的数据量。
74.如图3所示,10个事件类型分配n(n=10)个新增数据量统计进程,对每一事件类型的数据进行数据量统计。其中,n可以等于事件类型数目,也可以大于或者小于事件类型数目,本技术实施例不做限定。
75.步骤203,通过新增数据量统计进程,统计目标数据中的每一事件类型的新增数据量,得到每一被监测单位对应的基础查询结果。
76.在实施中,数据查询处理平台通过新增数据量统计进程,统计目标数据中的每一事件类型的新增数据量,例如,事件类型a:50条,事件类型b:150条,事件类型c:40条,事件类型d:120条,以此作为每一被监测单位对应的基础查询结果(新增数据量查询结果)。
77.在其中一个实施例中,如图4所示,基础查询结果包含新增已读数据量和新增数据量,新增已读数据量为新增数据量中已推送至终端设备的数据量;步骤103的具体处理过程包括如下步骤:
78.步骤401,在预设数据结构中,获取每一被监测单位对应的基础查询结果。
79.在实施中,数据查询处理平台预先规划用于存储数据的数据结构,并将规划好的数据结构存储在内存数据库redis中,其中,数据结构中不仅包含数据流中的数据,而且数据结构中包含了数据的过滤筛选条件(例如,过滤筛选属性值:事件等级)以及基础查询结果,具体为基于过滤筛选条件对数据进行筛选和存储,并基于筛选后的目标数据计算得到基础查询结果。其中,基础查询结果也可以称为中间计算结果,例如,新增网络安全事件总数据量、新增已读网络安全事件数据量等,然后,数据查询处理平台通过websocket监听redis数据库中的数据结构,针对每一被监测单位,以预设时间周期获取其对应的目标数据结构中的基础查询结果。
80.可选的,数据查询处理平台可以按照预设时间周期将基础查询结果推送至终端设备的web端进行输出显示。
81.步骤402,根据基础查询结果中的新增数据量与新增已读数据量,计算得到被监测单位的新增未读数据量,将新增未读数据量作为最终查询结果。
82.在实施中,数据查询处理平台根据基础查询结果中的新增数据量和新增已读数据量,将新增数据量(新增总数据量)与新增已读数据量进行作差计算,得到被监测单位的新增未读数据量,以此作为被监测单位的最终查询结果。
83.本实施例中,数据查询处理平台实时监测redis数据库中的数据结构,利用该数据结构中包含的每一被监测单位的基础查询结果对每一被监测单位的最终查询结果进行实时统计,以推送给用户进行输出显示,无需用户发起数据查询请求,提高数据查询效率。
84.在一个实施例中,如图5所示,当用户需要对某一被监测单位的数据流中数据进行
读取时,需要发起数据读取请求,则该方法还包括:
85.步骤501,接收数据读取请求。
86.其中,数据读取请求中携带目标被监测单位标识。
87.在实施中,用户需要对某一被监测单位的数据进行读取时,用户通过终端设备web端向后台服务端发送数据读取请求。进而,数据查询处理平台接收该数据读取请求,根据该数据读取请求识别所需读取的被监测单位。
88.步骤502,根据目标被监测单位标识,在预设数据结构中确定至少一个过滤筛选条件以及至少一个数据分类规则。
89.在实施中,数据查询处理平台根据目标被监测单位标识,在整体数据结构中识别目标数据结构,并在目标数据结构中确定目标被监测单位的至少一个目标过滤筛选条件,例如,如图6所示,确定出的目标过滤筛选条件为时间条件:开始时间(0时)至结束时间(24时),有效被监测单位(例如,被监测单位a),然后,根据该目标过滤条件确定该目标过滤筛选条件匹配的数据分类规则(也可以称为聚合规则)group by()(例如,网络安全事件等级分类规则)。其中,数据分类规则(聚合规则)是对数据进行分类统计的规则,例如,数据分类规则是网络安全事件等级,若网络安全事件等级划分为3级,则分别以网络安全事件第一等级,网络安全事件第二等级和网络安全事件第三等级去划分同一被监测单位的数据。
90.则步骤101的具体处理过程包括:
91.步骤503,根据过滤筛选条件和数据分类规则,在目标被监测单位对应的数据流中筛选得到候选数据。
92.在实施中,数据查询处理平台根据过滤筛选条件和数据分类规则,在目标被监测单位对应的数据流中筛选得到候选数据。例如,该过滤筛选条件中包含有效监测单位信息(即目标被监测单位)以及当日完整时间(0时至24时)限定的数据时间筛选条件,则筛选得到截止至数据读取请求发送时刻(例如,当日8时)(后续时间段还未到来)的全部新增数据,作为候选数据。
93.步骤504,根据数据分类规则,对候选数据进行分类,得到分类后的目标数据。
94.其中,目标数据包含上一数据读取请求所处时刻至当前数据读取请求所处时刻的时间范围内的全部数据。
95.在实施中,数据查询处理平台根据与过滤筛选条件相匹配的数据分类规则,对候选数据进行分类,得到分类后的目标数据。例如,数据分类规则为事件等级分类规则,则根据事件等级分类规则,可以将候选数据分类,得到目标被监测单位数据流中以安全事件等级划分的目标数据。
96.步骤505,读取目标数据,将目标数据反馈至终端设备显示端进行输出显示。
97.在实施中,数据查询处理平台读取目标数据,并将目标数据反馈至终端设备显示端进行输出显示,以使用户可以对目标被监测单位的数据进行读取和进一步处理。
98.在一个实施例中,如图7所示,步骤102的具体处理过程包括如下步骤:
99.步骤701,当目标数据被反馈至终端设备后,将目标被监测单位对应的目标数据标记为已读,得到新增已读数据。
100.在实施中,当目标数据被反馈至终端设备后,数据查询处理平台将读取的目标被监测单位的目标数据标记为已读,得到新增已读数据。具体的,针对某一被监测单位(目标
被监测单位)的新增已读数据,数据结构中记录的新增未读数据量更新为零。例如,当日新增数据量由0时开始进行统计,用户在上午8时发送数据读取请求,则在0时至8时的时间范围内,该目标被监测单位的数据查询结果被实时(15秒)推送至web端,而截至8时,数据查询结果更新为:新增数据量500条,新增未读数据量500条,新增已读数据量0条。同时,用户在8时发起数据读取请求后,响应于数据读取请求读取并推送全部未读数据,从而全部未读数据标记为已读,则数据查询结果更新为:新增数据量500条,新增未读数据量0条,新增已读数据量500条,即得到的已读数据量为500条。
101.步骤702,根据数据量统计进程对新增已读数据进行数据量统计,得到目标被监测单位的基础查询结果。
102.在实施中,数据查询处理平台针对获取到的目标数据,分配对应的数据量统计进程,根据数据量统计进程对目标数据(新增已读数据)进行数据量统计,进而得到目标被监测单位的基础查询结果(即新增已读数据量)。
103.在一个实施例中,如图8所示,步骤702的具体处理步骤包括:
104.步骤801,解析新增已读数据中包含的网络安全事件的事件类型。
105.在实施中,数据查询处理平台针对获取到的新增已读数据可以进一步划分处理,以满足用户多样的数据查询需求,如图6所示,新增已读数据为网络安全数据时,网络安全数据中包含多种不同的网络安全事件类型(例如,10种),进而,数据查询处理平台可以解析新增已读数据中包含的网络安全事件类型,以根据网络安全事件类型对新增已读数据进行进一步划分。
106.步骤802,根据各事件类型以及事件类型数量,分配数据量统计进程,并通过数据量统计进程确定每一事件类型的新增已读数据量,得到目标被监测单位的基础查询结果。
107.在实施中,数据查询处理平台根据各事件类型以及事件类型数据量,进行数据量统计进程的分配,例如,新增已读数据中包含10种事件类型,基于这10种事件类型可以适当的分配3个数据量统计进程来对数据进行统计,根据每一事件类型的数据量的多少,保证数据量统计进程间的负载均衡。然后,数据查询处理平台根据数据量统计进程的统计得到每一事件类型的新增已读数据量,以此作为目标被监测单位的基础查询结果。
108.可选的,数据处理平台将重新计算得到的基础查询结果更新至redis数据库中目标被监测单位所处数据结构的read字段中,以用于将基础查询结果实时更新并推送至用户web端进行输出显示。
109.应该理解的是,虽然图1至图8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1至图8中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
110.在一个实施例中,如图9所示,提供了一种数据查询方法示例,该示例的具体方案实施架构如图10所示,图9和图10中所示内容,其具体方案包括以下步骤:
111.步骤901,监听redis数据库中的数据结构。
112.步骤902,解析每一被监测单位的数据结构中包含的过滤筛选条件。
113.步骤903,根据数据结构中由过滤筛选条件和聚合规则组装得到的综合过滤条件,对数据流中的数据进行过滤筛选和分类,并将筛选出的目标数据以及对应的基础查询结果、最终查询结果进行实时更新。
114.步骤904,通过websocket方式,将更新后的目标数据、基础查询结果和最终查询结果实时推送给web前端。
115.步骤905,web前端输出呈现。
116.在一个实施例中,如图11所示,提供了一种数据查询装置1100,包括:获取模块1110、统计模块1120和推送模块1130,其中:
117.获取模块1110,用于获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;
118.统计模块1120,用于基于所述目标数据,统计各所述被监测单位的基础查询结果,并将所述基础查询结果存储至所述预设数据结构中;
119.推送模块1130,用于基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,并将所述最终查询结果推送至终端设备,以使用户通过所述终端设备进行查阅。
120.在其中一个实施例中,获取模块1110,具体用于按照预设时间周期,根据预设数据结构中的至少一个过滤筛选条件在各所述被监测单位数据流中周期性筛选得到候选数据,并根据至少一个数据分类规则对所述候选数据进行分类,得到分类后的目标数据;
121.统计模块1120,具体用于针对每一所述被监测单位对应的所述目标数据,根据所述目标数据中包含的各事件类型以及事件类型数量,分配新增数据量统计进程;通过所述新增数据量统计进程,统计所述目标数据中的每一所述事件类型的新增数据量,得到每一所述被监测单位对应的基础查询结果。
122.在其中一个实施例中,所述基础查询结果包含新增已读数据量和新增数据量,所述新增已读数据量为所述新增数据量中已推送至终端设备的数据量;推送模块1130,具体用于在所述预设数据结构中,获取每一所述被监测单位对应的基础查询结果;
123.根据所述基础查询结果中的所述新增数据量与所述新增已读数据量,计算得到所述被监测单位的新增未读数据量,将所述新增未读数据量作为所述最终查询结果。
124.在其中一个实施例中,该装置1100还包括:
125.接收模块,用于接收数据读取请求,所述数据读取请求中携带目标被监测单位标识;
126.确定模块,用于根据所述目标被监测单位标识,在所述预设数据结构中确定至少一个过滤筛选条件以及至少一个数据分类规则;
127.统计模块1120,还用于根据所述过滤筛选条件,在所述目标被监测单位对应的数据流中筛选得到候选数据;
128.根据所述数据分类规则,对所述候选数据进行分类,得到分类后的目标数据;所述目标数据包含上一数据读取请求所处时刻至当前所述数据读取请求所处时刻的时间范围内的全部数据;
129.读取所述目标数据,将所述目标数据反馈至终端设备显示端进行输出显示。
130.在其中一个实施例中,统计模块1120,还用于当所述目标数据被反馈至终端设备后,将所述目标被监测单位对应的目标数据标记为已读,得到新增已读数据;
131.根据数据量统计进程对所述新增已读数据进行数据量统计,得到所述目标被监测单位的基础查询结果。
132.在其中一个实施例中,统计模块1120,还用于解析所述新增已读数据中包含的网络安全事件的事件类型;
133.根据各所述事件类型以及事件类型数量,分配数据量统计进程,并通过所述数据量统计进程确定每一所述事件类型的新增已读数据量,得到所述目标被监测单位的基础查询结果。
134.关于数据查询装置1100的具体限定可以参见上文中对于数据查询方法的限定,在此不再赘述。上述数据查询装置1100中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
135.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据查询方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
136.本领域技术人员可以理解,图12中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
137.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
138.获取各被监测单位的数据流,根据预设数据结构中的过滤筛选条件,筛选得到目标数据;
139.基于所述目标数据,统计各所述被监测单位的基础查询结果,并将所述基础查询结果存储至所述预设数据结构中;
140.基于数据处理规则对所述预设数据结构中的所述基础查询结果进行处理,得到最终查询结果,并将所述最终查询结果推送至终端设备,以使用户通过所述终端设备进行查阅。
141.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
142.按照预设时间周期,根据预设数据结构中的至少一个过滤筛选条件在各所述被监测单位数据流中周期性筛选得到候选数据,并根据至少一个数据分类规则对所述候选数据
进行分类,得到分类后的目标数据;
143.针对每一所述被监测单位对应的所述目标数据,根据所述目标数据中包含的各事件类型以及事件类型数量,分配新增数据量统计进程;
144.通过所述新增数据量统计进程,统计所述目标数据中的每一所述事件类型的新增数据量,得到每一所述被监测单位对应的基础查询结果。
145.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
146.在所述预设数据结构中,获取每一所述被监测单位对应的基础查询结果;
147.根据所述基础查询结果中的所述新增数据量与所述新增已读数据量,计算得到所述被监测单位的新增未读数据量,将所述新增未读数据量作为所述最终查询结果。
148.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
149.接收数据读取请求,所述数据读取请求中携带目标被监测单位标识;
150.根据所述目标被监测单位标识,在所述预设数据结构中确定至少一个过滤筛选条件以及至少一个数据分类规则;
151.根据所述过滤筛选条件,在所述目标被监测单位对应的数据流中筛选得到候选数据;
152.根据所述数据分类规则,对所述候选数据进行分类,得到分类后的目标数据;所述目标数据包含上一数据读取请求所处时刻至当前所述数据读取请求所处时刻的时间范围内的全部数据;
153.读取所述目标数据,将所述目标数据反馈至终端设备显示端进行输出显示。
154.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
155.当所述目标数据被反馈至终端设备后,将所述目标被监测单位对应的目标数据标记为已读,得到新增已读数据;
156.根据数据量统计进程对所述新增已读数据进行数据量统计,得到所述目标被监测单位的基础查询结果。
157.在一个实施例中,处理器执行计算机程序时还实现以下步骤:
158.解析所述新增已读数据中包含的网络安全事件的事件类型;
159.根据各所述事件类型以及事件类型数量,分配数据量统计进程,并通过所述数据量统计进程确定每一所述事件类型的新增已读数据量,得到所述目标被监测单位的基础查询结果。
160.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
161.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存
储器(dynamic random access memory,dram)等。
162.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
163.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献