基于增量算法的数据查询方法及装置、存储介质与流程

1.本技术涉及数据库领域，尤其是涉及到一种基于增量算法的数据查询方法及装置、存储介质和计算机设备。


背景技术：

2.很多系统都包含大量的用户及其对应的标签，例如用户近180天的贷款次数等。为了保证用户查询标签的时效性和正确性，相关技术都是每天计算一次每个标签的查询结果，并将查询结果写入在线数据库中，计算量大，且在线服务数据库写入压力高。


技术实现要素：

3.有鉴于此，本技术提供了一种基于增量算法的数据查询方法及装置、存储介质和计算机设备，有助于减少计算量，并降低在线服务数据库的写入压力。
4.根据本技术的一个方面，提供了一种基于增量算法的数据查询方法，包括：
5.数据同步模块读取数据仓库中预设时段内的新增数据，并通过在线服务接口模块将所述新增数据写入在线服务数据库中；
6.所述在线服务接口模块接收来自服务调用方的数据查询指令，并在所述在线服务数据库中读取与所述数据查询指令中的目标查询标签匹配的目标数据；
7.标签实时计算模块读取规则管理模块中配置的数据处理规则，并依据所述数据处理规则对所述目标数据进行处理，得到所述目标数据的查询结果；
8.通过所述在线服务接口模块，将所述查询结果反馈至所述服务调用方。
9.可选地，所述在线服务接口模块接收来自服务调用方的数据查询指令，并在所述在线服务数据库中读取与所述数据查询指令中的目标查询标签匹配的目标数据，具体包括：
10.所述在线服务接口模块接收并解析所述数据查询指令包含的目标查询标签，其中，所述目标查询标签包括目标用户编码、目标用户行为类别以及目标时段信息；
11.在所述在线服务数据库中，根据所述目标查询标签、所述新增数据对应的第一用户编码、第一行为类别以及第一新增时间，筛选所述目标数据。
12.可选地，所述标签实时计算模块读取规则管理模块中配置的数据处理规则，并依据所述数据处理规则对所述目标数据进行处理，得到所述目标数据的查询结果，具体包括：
13.在所述规则管理模块中，确定所述目标查询标签对应的数据处理规则；
14.所述标签实时计算模块根据所述数据处理规则计算所述目标数据，得到所述查询结果。
15.可选地，所述数据同步模块读取数据仓库中预设时段内的新增数据，具体包括：
16.根据所述规则管理模块中的数据筛选规则确定所述新增数据对应的目标行为类别；
17.在所述数据仓库中，确定第二新增时间在所述预设时段内，且第二行为类别与所
述目标行为类别相对应的数据，作为所述新增数据。
18.可选地，所述方法还包括：
19.响应于第一指令，解析所述第一指令，得到更新的数据筛选规则；
20.将所述更新的数据筛选规则添加至所述规则管理模块中，其中所述新增数据筛选模型能够调用所述规则管理模块中的数据筛选规则。
21.可选地，所述方法还包括：
22.响应于第二指令，解析所述第二指令，得到更新的数据处理规则；
23.将所述更新的数据处理规则略添加至所述规则管理模块中，其中所述标签计算模型能够调用所述规则管理模块中的数据处理规则。
24.可选地，在将所述更新的数据处理规则添加至所述规则管理模块中之后，所述方法还包括：
25.测试所述规则管理模块中的数据处理规则是否正确；
26.若不正确，则生成错误信息并结束查询。
27.根据本技术的另一方面，提供了一种基于增量算法的数据查询装置，包括：
28.同步模块，用于读取数据仓库中预设时段内的新增数据，并通过在线服务接口模块将所述新增数据写入在线服务数据库中；
29.所述在线服务接口模块，用于接收来自服务调用方的数据查询指令，并在所述在线服务数据库中读取与所述数据查询指令中的目标查询标签匹配的目标数据；
30.标签实时计算模块，用于读取规则管理模块中配置的数据处理规则，并依据所述数据处理规则对所述目标数据进行处理，得到所述目标数据的查询结果；
31.发送模块，用于通过所述在线服务接口模块，将所述查询结果反馈至所述服务调用方。
32.可选地，所述在线服务接口模块具体用于：
33.接收并解析所述数据查询指令包含的目标查询标签，其中，所述目标查询标签包括目标用户编码、目标用户行为类别以及目标时段信息；
34.在所述在线服务数据库中，根据所述目标查询标签、所述新增数据对应的第一用户编码、第一行为类别以及第一新增时间，筛选所述目标数据。
35.可选地，所述标签实时计算模块具体用于：
36.在所述规则管理模块中，确定所述目标查询标签对应的数据处理规则；
37.根据所述数据处理规则计算所述目标数据，得到所述查询结果。
38.可选地，所述同步模块具体用于：
39.根据所述规则管理模块中的数据筛选规则确定所述新增数据对应的目标行为类别；
40.在所述数据仓库中，确定第二新增时间在所述预设时段内，且第二行为类别与所述目标行为类别相对应的数据，作为所述新增数据。
41.可选地，所述装置还包括：更新模块。所述更新模块具体用于：
42.响应于第一指令，解析所述第一指令，得到更新的数据筛选规则；
43.将所述更新的数据筛选规则添加至所述规则管理模块中，其中所述新增数据筛选模型能够调用所述规则管理模块中的数据筛选规则。
44.可选地，所述更新模块还用于：
45.响应于第二指令，解析所述第二指令，得到更新的数据处理规则；
46.将所述更新的数据处理规则略添加至所述规则管理模块中，其中所述标签计算模型能够调用所述规则管理模块中的数据处理规则。
47.可选地，所述装置还包括：测试模块。所述测试模块具体用于：
48.测试所述规则管理模块中的数据处理规则是否正确；
49.若不正确，则生成错误信息并结束查询。
50.根据本技术又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述基于增量算法的数据查询方法。
51.根据本技术再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于增量算法的数据查询方法。
52.借由上述技术方案，本技术将新增的数据写入在线服务数据库，在接收到查询指令时，在在线服务数据库中查询对应的数据并得到查询结果。本技术仅把新增的数据写入在线服务数据库，降低了数据库的写入压力；同时仅计算查询指令对应的查询结果，减少了运算量。
53.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
54.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
55.图1示出了本技术实施例提供的一种基于增量算法的数据查询方法的流程示意图；
56.图2示出了本技术实施例提供的另一种基于增量算法的数据查询系统的结构图；
57.图3示出了本技术实施例提供的一种基于增量算法的数据查询的结构框图。
具体实施方式
58.下文中将参考附图并结合实施例来详细说明本技术。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
59.在本实施例中提供了一种基于增量算法的数据查询方法，如图1所示，该方法包括：
60.步骤101，数据同步模块读取数据仓库中预设时段内的新增数据，并通过在线服务接口模块将新增数据写入在线服务数据库中；
61.本技术实施例提供的数据查询方法，基于增量算法，将数据仓库中新增的离线数据写入到在线服务数据库中进行计算。其中，数据仓库卫数据开发加工和产出数据的离线数据库，适合加工和分析离线数据；而在线服务数据库是提供在线服务的实时数据库，可以提供较快的实时查询能力。
62.具体地，可以针对数据仓库设置定时任务，每隔预设时长就筛选出来新增的数据，并把新增的数据同步到在线服务数据库中。
63.步骤102，在线服务接口模块接收来自服务调用方的数据查询指令，并在在线服务数据库中读取与数据查询指令中的目标查询标签匹配的目标数据；
64.在该实施例中，在线服务接口模块提供与服务调用方的数据交互功能，可以解析服务调用方的数据查询指令，得到目标查询标签，并基于目标查询标签从在线服务数据库中查询目标数据。
65.步骤103，标签实时计算模块读取规则管理模块中配置的数据处理规则，并依据数据处理规则对目标数据进行处理，得到目标数据的查询结果；
66.在该实施例中，规则管理模块中包含至少一个预设的数据处理规则，在规则管理模块中选择与目标查询标签对应的数据处理规则，并根据选择出的数据处理规则处理目标数据，以得到查询结果。
67.步骤104，通过在线服务接口模块，将查询结果反馈至服务调用方。
68.通过应用本实施例的技术方案，将新增的数据由数据仓库同步至在线服务数据库，并基于查询指令包含的目标查询标签计算查询结果，而不需要事先将每个查询标签对应的查询结果都计算出来并写入在线服务数据库。该实施例所采用的按需计算的方法，大大减少无用查询标签的计算量，提升了系统的整体效率。此外，由于增量算法只同步新增的那部分数据，无需同步全量数据，因此减少了在线服务数据库的更新压力。
69.进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种基于增量算法的数据查询方法，在该方法中，在线服务接口模块接收来自服务调用方的数据查询指令，并在在线服务数据库中读取与数据查询指令中的目标查询标签匹配的目标数据，具体包括：
70.步骤201，在线服务接口模块接收并解析数据查询指令包含的目标查询标签，其中，目标查询标签包括目标用户编码、目标用户行为类别以及目标时段信息；
71.在该实施例中，在线服务接口模块可以解析数据查询指令，得到目标查询标签包括的信息，并根据解析上述信息执行后续步骤。
72.其中，目标查询标签包括目标用户编码、目标用户行为类别以及目标时段信息。例如，目标查询标签可以是编号为001的用户在2020年1月1日至2020年12月31日之间的所有贷款行为。在此例中，目标用户编码为001，目标用户行为类别为贷款，目标时段信息为2020年1月1日至2020年12月31日。当然，目标查询标签也可以是其他信息，在此不做限定。
73.步骤202，在在线服务数据库中，根据目标查询标签、新增数据对应的第一用户编码、第一行为类别以及第一新增时间，筛选目标数据。
74.在该实施例中，根据目标查询标签中的目标用户编码、目标用户行为类别以及目标时段信息，选择目标数据。具体地，在线服务数据库中的数据均包括第一用户编码、第一行为类别以及第一新增时间字段，在在线服务数据中，选择第一用户编码与目标用户编码相同、第一行为类别与目标行为类别相同、并且第一新增时间在目标时段内的数据，作为目标数据。
75.进一步地，在另一种基于增量算法的数据查询方法中，标签实时计算模块读取规则管理模块中配置的数据处理规则，并依据数据处理规则对目标数据进行处理，得到目标
数据的查询结果，具体包括：
76.步骤301，在规则管理模块中，确定目标查询标签对应的数据处理规则；
77.步骤302，标签实时计算模块根据数据处理规则计算目标数据，得到查询结果。
78.在该实施例中，在管理规则模块包括的多个数据处理规则中，选择一个与目标查询标签对应的数据处理规则，并利用标签实时计算模块按照选择出的数据处理规则计算目标数据。
79.例如，目标查询标签为当前用户最近180天的贷款总额，那么就可以从在线数据库中查询当前用户近180天的贷款记录，并选择可以计算贷款总额的数据处理规则，并利用这个规则计算贷款记录，得到查询结果。
80.进一步地，在另一种基于增量算法的数据查询方法中，数据同步模块读取数据仓库中预设时段内的新增数据，具体包括：
81.步骤401，根据规则管理模块中的数据筛选规则确定新增数据对应的目标行为类别；
82.在该实施例中，规则管理模块中预设数据筛选规则，根据数据筛选规则可以选择出要写入在线服务数据库的新增数据。其中，数据筛选规则可以限定新增数据的目标行为类别，以将行为类别与目标行为类别一致的数据筛选出来。例如，数据筛选规则可以限定目标行为类别为提前还款。
83.步骤402，在数据仓库中，确定第二新增时间在预设时段内，且第二行为类别与目标行为类别相对应的数据，作为新增数据。
84.在该实施例中，在确定目标行为类别后，在数据仓库中选择行为类别与目标行为类别相对应，并且新增时间在预设时段内的数据作为新增数据。其中，预设时段可以为数据写入周期，每隔预设时段，执行一次新增数据写入到在线服务数据库的操作。
85.例如，在确定目标行为类别为提前还款后，若预设时段为一天，则选择新增时间为一天内，且行为类别为提前还款的数据，作为新增数据。
86.进一步地，在另一种基于增量算法的数据查询方法中，方法还包括：
87.步骤501，响应于第一指令，解析第一指令，得到更新的数据筛选规则；
88.步骤502，将更新的数据筛选规则添加至规则管理模块中，其中新增数据筛选模型能够调用规则管理模块中的数据筛选规则。
89.在该实施例中，可以根据第一指令向规则管理模块中添加新的数据筛选规则，也即更新的数据筛选规则。新增数据筛选模型可以调用规则管理模块中的数据筛选规则，实现新增数据的筛选，因此，添加更新的数据筛选规则可以满足更多使用场景。
90.进一步地，在另一种基于增量算法的数据查询方法中，方法还包括：
91.步骤601，响应于第二指令，解析第二指令，得到更新的数据处理规则；
92.步骤602，将更新的数据处理规则略添加至规则管理模块中，其中标签计算模型能够调用规则管理模块中的数据处理规则。
93.在该实施例中，可以根据第二指令向规则管理模块中添加新的数据处理规则，也即更新的数据处理规则。标签计算模型可以调用规则管理模块中的数据处理规则，计算目标数据以得到查询结果，因此，添加更新的数据处理规则可以满足更多使用场景。
94.进一步地，在另一种基于增量算法的数据查询方法中，方法还包括：
95.测试规则管理模块中的处理规则是否正确；若不正确，则生成错误信息并结束查询。
96.在该实施例中，在向规则管理模块添加更新的数据处理规则后，可以测试规则管理模块中的数据处理规则是否正确。如果正确，则可以利用数据处理规则处理数据，得到查询结果；如果不正确，则生成错误信息，并且停止提供查询服务。
97.此外，如果不正确，也可以不停止查询，而是将不正确的数据处理规则置为停用状态，正确的数据处理规则置为启用状态。利用启用状态的数据处理规则，继续为服务调用方提供查询服务。
98.如图2所示，基于增量算法的数据查询系统，包括配置规则与管理模块、标签实时计算模块、数据同步模块、在线服务接口模块四个模块，以及数据仓库和在线服务数据库两个数据库。该系统包括系统管理员、标签开发人员以及服务调用方三种角色。其中，系统管理员可以新增或编辑数据同步规则，标签开发人员可以新增或编辑数据处理规则，服务调用方可以发送查询请求以得到查询结果。系统包括数据仓库和在线服务数据库两个数据库，其中，数据仓库为离线数据库，可以为hive等类型的数据库，在线服务数据库提供实时查询服务，可以为mysql或hbase等类型的数据库。系统包括配置规则与管理模块、标签实时计算模块、数据同步模块、在线服务接口模块四个模块，其中，系统管理员和标签开发人员分别在配置规则与管理模块管理新增数据筛选规则和数据处理规则；数据同步模块利用新增数据筛选规则将数据仓库中的新增数据写入至在线数据库；在线服务接口模块接收服务调用方的查询请求并返回查询结果；实时标签计算模块利用数据处理规则计算目标数据得到查询结果。
99.进一步地，作为上述基于增量算法的数据查询方法的具体实现，本技术实施例提供了一种基于增量算法的数据查询装置，如图3所示，该装置包括：同步模块、在线服务接口模块、标签实时计算模块以及发送模块。
100.同步模块，用于读取数据仓库中预设时段内的新增数据，并通过在线服务接口模块将新增数据写入在线服务数据库中；
101.在线服务接口模块，用于接收来自服务调用方的数据查询指令，并在在线服务数据库中读取与数据查询指令中的目标查询标签匹配的目标数据；
102.标签实时计算模块，用于读取规则管理模块中配置的数据处理规则，并依据数据处理规则对目标数据进行处理，得到目标数据的查询结果；
103.发送模块，用于通过在线服务接口模块，将查询结果反馈至服务调用方。
104.在具体的应用场景中，可选地，在线服务接口模块具体用于：
105.接收并解析数据查询指令包含的目标查询标签，其中，目标查询标签包括目标用户编码、目标用户行为类别以及目标时段信息；
106.在在线服务数据库中，根据目标查询标签、新增数据对应的第一用户编码、第一行为类别以及第一新增时间，筛选目标数据。
107.在具体的应用场景中，可选地，标签实时计算模块具体用于：
108.在规则管理模块中，确定目标查询标签对应的数据处理规则；
109.根据数据处理规则计算目标数据，得到查询结果。
110.在具体的应用场景中，可选地，同步模块具体用于：
111.根据规则管理模块中的数据筛选规则确定新增数据对应的目标行为类别；
112.在数据仓库中，确定第二新增时间在预设时段内，且第二行为类别与目标行为类别相对应的数据，作为新增数据。
113.在具体的应用场景中，可选地，装置还包括：更新模块。更新模块具体用于：
114.响应于第一指令，解析第一指令，得到更新的数据筛选规则；
115.将更新的数据筛选规则添加至规则管理模块中，其中新增数据筛选模型能够调用规则管理模块中的数据筛选规则。
116.在具体的应用场景中，可选地，更新模块还用于：
117.响应于第二指令，解析第二指令，得到更新的数据处理规则；
118.将更新的数据处理规则略添加至规则管理模块中，其中标签计算模型能够调用规则管理模块中的数据处理规则。
119.在具体的应用场景中，可选地，装置还包括：测试模块。测试模块具体用于：
120.测试规则管理模块中的数据处理规则是否正确；
121.若不正确，则生成错误信息并结束查询。
122.需要说明的是，本技术实施例提供的一种医疗影像的处理装置所涉及各功能模块的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。
123.基于上述如图1和图2所示方法，相应的，本技术实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的基于增量算法的数据查询方法。
124.基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。
125.基于上述如图1和图2所示的方法，以及图3所示的虚拟装置实施例，为了实现上述目的，本技术实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的基于增量算法的数据查询方法。
126.可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(radio frequency，rf)电路，传感器、音频电路、wi-fi模块等等。用户接口可以包括显示屏(display)、输入单元比如键盘(keyboard)等，可选用户接口还可以包括usb接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、wi-fi接口)等。
127.本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
128.存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
129.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。本技术包括凭证发放
模型和若干个实体模型，通过实体接口实现凭证发放模型和实体模型之间的数据交互。本技术根据规则建立单独的凭证发放模型，既能够实现规则的复用，同时又能够提高规则的可扩展性。此外，本技术将规则分为不同类别，也即将规则进行分层，在不同阶段仅仅利用对应类型的规则，不同类别的规则之间互不影响。
130.本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的单元或流程并不一定是实施本技术所必须的。本领域技术人员可以理解实施场景中的装置中的单元可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的单元可以合并为一个单元，也可以进一步拆分成多个子单元。
131.上述本技术序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本技术的几个具体实施场景，但是，本技术并非局限于此，任何本领域的技术人员能思之的变化都应落入本技术的保护范围。