一种数据查询方法、装置、设备及存储介质与流程

1.本发明实施例涉及计算机技术领域，尤其涉及一种数据查询方法、装置、设备及存储介质。


背景技术：

2.随着信息技术的高速发展和互联网的普及，数据量出现了飞跃式的增长，应用服务的数据存储规模和数据的访问量也随之增大，传统的关系型数据库无法满足需求，非关系型数据库应运而生。键值存储是非关系型数据库的一种典型的存储方式，键值存储系统中数据按照键值对的形式进行组织存储，由于其横向扩展的性能扩展方式，可以较好地应对现今大数据时代的需要，已经成为了现今存储行业的主流方式之一。
3.在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：现有的键值存储系统内存使用控制不合理，导致系统稳定性差，在查询数据量过大时或请求并发数较多时导致系统崩溃。


技术实现要素：

4.本发明实施例提供了一种数据查询方法、装置、设备及存储介质，以实现合理的控制键值存储系统的内存使用，提高系统的稳定性。
5.第一方面，本发明实施例提供了一种数据查询方法应用于服务端，服务端包括服务接口层和数据处理层，方法包括：
6.服务接口层响应于检测到的数据查询请求，创建数据查询请求对应的数据管道，并调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层；
7.数据处理层获取数据查询请求对应的分批数据包，并将分批数据包依次写入数据管道中；
8.服务接口层循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息。
9.第二方面，本发明实施例还提供了一种数据查询装置，包括：
10.数据管道创建模块，配置于服务接口层，用于响应于检测到的数据查询请求，创建数据查询请求对应的数据管道，调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层；
11.目标数据写入模块，配置于数据处理层，用于获取数据查询请求对应的分批数据包，并将分批数据包写入数据管道中；
12.响应信息生成模块，配置于服务接口层，用于循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息。
13.第三方面，本发明实施例还提供了一种计算机设备，设备包括：
14.一个或多个处理器；
15.存储装置，用于存储一个或多个程序；
16.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的数据查询方法。
17.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的数据查询方法。
18.本发明实施例通过服务接口层响应于检测到的数据查询请求，创建数据查询请求对应的数据管道，并调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层；数据处理层获取数据查询请求对应的分批数据包，并将分批数据包依次写入数据管道中；服务接口层循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息，通过创建数据管道分批次传输数据查询请求对应的目标数据，减少了查询数据量大或并发数量多时内存的占用，使系统内存的使用更加合理，提高了系统的稳定性。
附图说明
19.图1是本发明实施例一所提供的一种数据查询方法的流程图；
20.图2a是本发明实施例二所提供的一种键值存储系统服务端的数据查询方法的流程示意图；
21.图2b是本发明实施例二所提供的一种键值存储系统客户端的数据查询方法的流程示意图
22.图3是本发明实施例三所提供的一种数据查询装置的结构示意图；
23.图4是本发明实施例四所提供的一种计算机设备的结构示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
25.实施例一
26.图1是本发明实施例一所提供的一种数据查询方法的流程图。本实施例可适用于键值存储系统对接收到的数据查询请求进行响应时的情形。该方法可以由数据查询装置执行，该数据查询装置可以采用软件和/或硬件的方式实现，例如，该数据查询装置可配置于键值存储系统的服务端，键值存储系统的服务端可以以计算机设备的形式展现。如图1所示，该方法包括：
27.s110、服务接口层响应于检测到的数据查询请求，创建数据查询请求对应的数据管道，并调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层。
28.在本实施例中，在本实施例中，服务端包括服务接口层和数据处理层。服务接口层实现与应用端的信息交互，数据处理层实现数据的查询等操作。示例性的，应用端检测到用户触发的数据查询操作后，生成数据查询请求发送至服务端，服务端的服务接口层将数据查询请求转发至数据处理层，以使数据处理层查询数据查询请求对应的目标数据，数据处理层将目标数据传输至服务接口层，服务接口层基于目标数据生成响应信息进行响应。
29.数据处理层在查询数据查询请求对应的目标数据时，需要将查询到的目标数据进行缓存，查询完毕后，将所有的目标数据打包传输至服务接口层。但当数据量过大或并发数
量较多时，内存占用过多时容易导致系统崩溃。本实施例中，为避免内存占用过多导致系统崩溃，在数据处理层进行查询时，不再等到查询完毕再进行数据的传输，而是在积累一批目标数据后，将目标数据发送至服务接口层，服务接口层将数据查询请求对应的目标数据分批分次发送至应用端。
30.本实施例中通过建立数据管道实现目标数据分批分次的传输。具体的，服务接口层在接收到数据查询请求后，建立该数据查询请求对应的数据管道，用于此次数据查询请求的数据传输。建立管道后，将数据查询请求和管道传输至数据处理层的数据生成接口，即可实现服务接口层和数据处理层的数据传输。
31.一个实施例中，创建数据查询请求对应的数据管道，包括：调用管道创建函数创建数据管道，管道创建函数的执行参数包括管道标识和数据类型，数据类型表征数据管道内的数据传输类型。以go语言为例，管道创建函数可以为ch1＝make(chan数据类型)，其中，ch1为数据管道的管道标识，数据类型表征数据管道内可以传输的数据类型。示例性的，可以将数据类型设定为整型，创建一个整型类型的数据管道，用于传输整型类型的数据；还可以将数据类型设定为空接口类型，创建一个空接口类型的数据管道，用于传输任意格式类型的数据。可以理解的是，数据类型可以根据实际需求设置。
32.s120、数据处理层获取数据查询请求对应的分批数据包，并将分批数据包依次写入数据管道中。
33.数据处理层接收到数据管道及数据查询请求后，查询数据查询请求对应的目标数据，生成多个分批数据包，将分批数据包依次写入数据管道中。可选的，可以预先设置数据量阈值，设定分批数据包的数据量不大于预先设定的数据量阈值，设置数据量阈值可以使数据处理层获取到目标数据缓存时不会占用过大的内存，保证了数据查询总量过大或并发过多时内存的可用性。
34.可选的，数据处理层获取数据查询请求对应的分批数据包，包括：调用键值数据库查询数据查询请求对应的目标数据，并将数据存放至缓存数组中，当缓存数组中的数据达到预设的数据量时，将缓存数组中的目标数据打包为分批数据包，将分批数据包写入数据管道中；继续查询数据查询请求对应的数据，直到查询完数据处理查询请求对应的数据。数据处理层查询到目标数据后，将目标数据缓存至缓存数组中，当缓存数组中的数据量达到预设的数据量阈值时，将缓存数据中的目标数据打包为分批数据包放入数据管道中，继续获取目标数据，生成分批数据包写入数据管道，直到查询完所有目标数据。以键值数据库为boltdb为例，数据处理层根据数据查询请求的查询请求条件，调用内存kvindex索引树，通过关键字得到所有要查询数据的版本revision列表，根据每个版本调用数据库查询对应的值keyvalue，将查询到的数据存放到缓存数组中，每积累一批数据，就把这批数据作为分批数据包写入服务接口层传下来的数据管道循环往复，直到所有数据全部写入数据管道。在数据处理层查询目标数据时，缓存的revesion列表不大，每个revesion占用的内存很小，所以当并发量高时一次得到所有的revesion列表内存占用也不会过大，提高了系统的稳定性。可以通过数据写入函数将分批数据包写入数据管道中。数据写入函数可以根据开发语言确定，以go语言为例，可以通过数据写入函数datachan
←
xx将分批数据包xx写入数据管道中。
35.数据处理层可以在生成分批数据包时，添加数据是否查询完成的标识，以使服务
接口层根据标识确定是否继续读取数据管道中的数据。还可以使用其他方式指示服务接口层数据传输完成。在本发明的一种实施方式中，当所有分批数据包写入数据管道后，生成空数据包写入数据管道，以使服务接口层根据空数据包确认数据查询请求对应的目标数据传输完成。可选的，可以在所有的目标数据传输完成后，生成空数据包写入数据管道，服务接口层读取到空数据包后，确认数据查询请求对应的目标数据传输完成。
36.s130、服务接口层循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息。
37.将数据管道发送至数据处理层后，循环读取数据管道中的数据，读取到数据管道中的分批数据包后，基于分批数据包生成响应信息，将响应信息发送至应用端。可以理解的是，本实施例中，分批数据包有多个，服务接口层每读取到一个分批数据包，都会形成一个响应信息，通过分批数据包的分配分次返回使得系统内存的使用更加合理。可选的，服务接口层循环读取数据管道中的分批数据包，包括：服务接口层循环调用管道数据读取函数读取数据管道中的分批数据包。管道数据读取函数可以根据开发语言确定，以go语言为例，可以通过管道数据读取函数data:＝
←
datachan读取数据管道中的分批数据包。
38.可选的，基于分批数据包生成响应信息，包括：在分批数据包中填充包头信息后，将分批数据包进行序列化生成响应信息。在读取到分批数据包后，填充包头信息response header，包括集群标识、处理节点memberid、任期号raft term、数据版本信息revision等，然后将填充后表头信息的分批数据包进行网络io的序列化生成响应数据，返回至客户端，循环上述过程。其中，可以通过grpc response工具将分批数据包进行网络io的序列化。在上述过程中，循环的停止确定方式可以有多种，可以根据数据处理层的设置确定。示例性的，可以根据分批数据包中的标识确认目标数据是否传输完成，或在设定时间段内未读取到分批数据包后确认目标数据传输完成，或在读取到数据管道中的空数据包是确认目标数据传输完成。
39.可选的，服务接口层读取到数据管道中的空数据包后，生成空数据包发送至应用端，以使应用端根据空数据包确认数据查询请求对应的目标数据传输完成。具体的，空数据包表示目标数据传输完成，服务接口层读取到数据管道中的空数据包后，生成空数据包发送至应用端，应用端接收到空数据后，确认数据查询请求对应的目标数据传输完成。
40.需要说明的是，应用端可以根据实际需求调整接收数据的逻辑。为使业务的应用程序尽可能的不改代码，可以调整系统的客户端驱动的数据接收逻辑，以保证将数据查询请求对应的目标数据一次性的返回至应用程序，应用程序只需要调整接口即可。优选的，可以客户端驱动的网络io通讯的底层使用流式查询的方法，每收到一批数据就追加到内存数组列表里，直到本次查询的数据全部接收，再一次性的返回至应用程序。
41.本发明实施例通过服务接口层响应于检测到的数据查询请求，创建数据查询请求对应的数据管道，并调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层；数据处理层获取数据查询请求对应的分批数据包，并将分批数据包依次写入数据管道中；服务接口层循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息，通过创建数据管道分批次传输数据查询请求对应的目标数据，减少了查询数据量大或并发数量多时内存的占用，使系统内存的使用更加合理，提高了系统的稳定性。
42.实施例二
43.本实施例在上述方案的基础上，提供了一种优选实施例。在本实施例中，将键值存储系统具体化为etcd，对数据查询方法进行说明。
44.图2a是本发明实施例二所提供的一种键值存储系统服务端的数据查询方法的流程示意图。如图2a所示，将键值存储系统具体化为etcd，etcd服务端的服务接口层收到客户端发送的数据查询请求(rangestream请求)后，创建该请求对应的数据管道，异步调用下层数据生成接口，并把数据管道传给这个接口，以使这样在下层生成的数据可以通过数据管道返回给本层处理。循环这个数据管道，在收到一批数据后，填充包头信息response header，包括集群id、处理节点memberid、任期号raft term、数据版本信息revision，然后把这批数据通过grpc response进行网络io的序列化返回给客户端。循环上述过程直到收到null空数据为止。
45.数据处理层收到上层传过来的数据管道后，根据业务要查询的请求条件，调用内存索引树kvindex，通过关键字得到所有要查询数据的revision列表，然后根据每个revesion版本调用键值数据库查询对应的值keyvalue,存放到缓存数组buffer中，每当积累一批，就把积累的数据写入上层传下来的数据管道返回给上层，循环往复，直到所有数据全部返回。
46.图2b是本发明实施例二所提供的一种键值存储系统客户端的数据查询方法的流程示意图。如图2b所示，在客户端驱动内使用流式查询的方法。具体的，应用程序只需要添加流式查询的调用接口，如将range()接口改为rangestream()作为流式查询的接口调用。在客户端驱动的网络io通讯的底层使用流式查询的方法，每收到一批数据，就追加到内存数组列表里，直到本次查询的数据全部返回，再一次性的返回给应用程序。
47.本发明实施例在键值存储系统进行数据查询时，打破了内存使用与数据规模成正比的链条，无论数据库中存储的数据量有多少，都可以通过流式查询进行数据返回，且每批返回的数据量很少，也无需担心高并发的情况下键值存储系统的内存会成几何级的飙升，对键值存储系统集群线上的稳定性在数据查询这一环境提供了强有力的保障，满足了业务在对键值存储系统进行高并发、查询海量数据时，更加合理的控制对内存的使用,不至于出现内存被瞬间全部占用造成内存溢出等系统稳定性的问题。
48.实施例三
49.图3是本发明实施例三所提供的一种数据查询装置的结构示意图。该数据查询装置可以采用软件和/或硬件的方式实现，例如该数据查询装置可以配置于计算机设备中。如图3所示，该装置包括数据管道创建模块310、目标数据写入模块320和响应信息生成模块330，其中：
50.数据管道创建模块310，配置于服务接口层，用于响应于检测到的数据查询请求，创建数据查询请求对应的数据管道，调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层；
51.目标数据写入模块320，配置于数据处理层，用于获取数据查询请求对应的分批数据包，并将分批数据包写入数据管道中；
52.响应信息生成模块330，配置于服务接口层，用于循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息。
53.本发明实施例通过服务接口层响应于检测到的数据查询请求，创建数据查询请求
对应的数据管道，并调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层；数据处理层获取数据查询请求对应的分批数据包，并将分批数据包依次写入数据管道中；服务接口层循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息，通过创建数据管道分批次传输数据查询请求对应的目标数据，减少了查询数据量大或并发数量多时内存的占用，使系统内存的使用更加合理，提高了系统的稳定性。
54.可选的，在上述方案的基础上，数据管道创建模块310具体用于：
55.调用管道创建函数创建数据管道，管道创建函数的执行参数包括管道标识和数据类型，数据类型表征数据管道内的数据传输类型。
56.可选的，在上述方案的基础上，响应信息生成模块330具体用于：
57.循环调用管道数据读取函数读取数据管道中的分批数据包。
58.可选的，在上述方案的基础上，目标数据写入模块320具体用于：
59.调用键值数据库查询数据查询请求对应的目标数据，并将数据存放至缓存数组中，当缓存数组中的数据达到预设的数据量时，将缓存数组中的目标数据打包为分批数据包，将分批数据包写入数据管道中；
60.继续查询数据查询请求对应的数据，直到查询完数据处理查询请求对应的数据。
61.可选的，在上述方案的基础上，目标数据写入模块320还用于：
62.当所有分批数据包写入数据管道后，生成空数据包写入数据管道，以使服务接口层根据空数据包确认数据查询请求对应的目标数据传输完成。
63.可选的，在上述方案的基础上，响应信息生成模块330还用于：
64.在分批数据包中填充包头信息后，将分批数据包进行序列化生成响应信息。
65.本发明实施例所提供的数据查询装置可执行本发明任意实施例所提供的数据查询方法，具备执行方法相应的功能模块和有益效果。
66.实施例四
67.图4是本发明实施例四所提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备412的框图。图4显示的计算机设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
68.如图4所示，计算机设备412以通用计算设备的形式表现。计算机设备412的组件可以包括但不限于：一个或者多个处理器416，系统存储器428，连接不同系统组件(包括系统存储器428和处理器416)的总线418。
69.总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器416或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
70.计算机设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
71.系统存储器428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)430和/或高速缓存存储器432。计算机设备412可以进一步包括其它可移动/
不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储装置434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd
‑
rom，dvd
‑
rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
72.具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
73.计算机设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该计算机设备412交互的设备通信，和/或与使得该计算机设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口422进行。并且，计算机设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与计算机设备412的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
74.处理器416通过运行存储在系统存储器428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据查询方法，该方法包括：
75.服务接口层响应于检测到的数据查询请求，创建所述数据查询请求对应的数据管道，调用所述数据处理层的数据生成接口，将所述数据管道和所述数据查询请求传送至数据处理层；
76.数据处理层获取数据查询请求对应的分批数据包，并将分批数据包写入数据管道中；
77.服务接口层循环读取数据管道中的分批数据包，并基于分批数据包生成响应信息。
78.当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的数据查询方法的技术方案。
79.实施例五
80.本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的数据查询方法，该方法包括：
81.服务接口层响应于检测到的数据查询请求，创建数据查询请求对应的数据管道，调用数据处理层的数据生成接口，将数据管道和数据查询请求传送至数据处理层；
82.数据处理层获取数据查询请求对应的分批数据包，并将分批数据包写入数据管道中；
83.服务接口层循环读取数据管道中的分批数据包，并基于分批数据包生成响应信
息。
84.当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的数据查询方法的相关操作。
85.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
86.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
87.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
88.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
89.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。