一种查询方法及装置与流程
本发明涉及计算机,具体而言,涉及一种查询方法及装置。
背景技术:
1、在分布式查询引擎中,通常是串行查询对应分片内部各个待查询文件的。虽然在查询引擎的系统层面实现了索引分片级别的并发查询,但仍会出现集群资源浪费的问题,也即现有分布式查询引擎的并发度有所欠缺,导致查询效率较低。
技术实现思路
1、有鉴于此,本公开实施例至少提供了一种查询方法、装置、电子设备及存储介质,能够提高查询的并发度,从而提高查询效率。
2、第一方面,本公开实施例提供了一种查询方法,包括:
3、基于查询请求,将目标分片划分成多个查询分组;每个查询分组中包括至少一个待查询文件;
4、并行查询各查询分组,得到与每个查询分组对应的查询子结果;
5、将查询子结果进行合并,得到与查询请求对应的查询结果。
6、可选地,基于查询请求,把目标分片划分成多个查询分组,包括:
7、建立与查询请求对应的查询上下文,基于查询上下文将查询请求发送至目标分片;
8、基于查询上下文与目标分片中的待查询文件,将目标分片划分成多个查询分组。
9、可选地,基于查询请求,将目标分片划分成多个查询分组,包括:
10、基于请求等待队列中各查询请求的数量以及系统的负载情况,确定查询分组的数量;
11、根据目标分片中各待查询文件的数据量大小,将各待查询文件放入各查询分组中,以将目标分片划分成多个查询分组;其中,不同查询分组中的待查询文件的数据量大小的差值不超过预设阈值。
12、可选地,根据目标分片中各待查询文件的数据量大小,将各待查询文件放入各查询分组中,包括:
13、按照数据量大小,对目标分片中各待查询文件进行首次排序;
14、基于首次排序的排序结果,确定每个查询分组中的待查询文件,将各待查询文件放入对应的各查询分组中;
15、按照待查询文件的文件编号,分别对各查询分组中的待查询文件进行二次排序,以在各查询分组中按照二次排序后的排序结果对各待查询文件进行查询。
16、可选地,并行查询各所述查询分组,得到与每个所述查询分组对应的查询子结果,包括:
17、并行查询各所述查询分组,从各查询分组的待查询文件中筛选出与查询请求对应的目标文件;
18、根据目标文件与所述查询请求的匹配程度,对目标文件进行评分,得到与每个所述查询分组对应的查询子结果。
19、可选地,查询请求存储在请求等待队列中;方法还包括:
20、响应于请求等待队列的容量超过预设的最大容量,从请求等待队列中获取查询请求,基于查询请求,对所述目标分片中各待查询文件进行串行查询,以得到与查询请求对应的查询结果;
21、响应于请求等待队列的容量未超过预设的最大容量,则从请求等待队列中获取所述查询请求,基于所述查询请求,将目标分片划分成多个查询分组,以得到与查询请求对应的查询结果。
22、第二方面,本公开实施例还提供一种查询装置,包括:
23、划分模块,用于基于查询请求,将目标分片划分成多个查询分组;每个查询分组中包括至少一个待查询文件;
24、查询模块,用于并行查询各查询分组,得到与每个查询分组对应的查询子结果;
25、合并模块,用于将查询子结果进行合并,得到与查询请求对应的查询结果。
26、第三方面,本公开实施例还提供一种电子设备,包括:处理器、存储器和总线,存储器存储有处理器可执行的机器可读指令,当计算机设备运行时,处理器与存储器之间通过总线通信,机器可读指令被处理器执行时执行上述第一方面,或第一方面中任一种可选的实施方式中的步骤。
27、第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可选的实施方式中的步骤。
28、第五方面,本公开实施例还提供一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述任一实施例的方法。
29、上述任一方面或任一方面的任一实施方式,通过将目标分片划分为多个查询分组,对每个查询分组中的至少一个待查询文件进行查询,能够将原本单线程的查询工作分解到不同线程中进行并行执行,充分利用了分布式查询引擎的计算资源,避免了单一节点或线程的过载;此外,通过并行查询各查询分组,也能够将原本索引分片级别的并行查询细化到了分片内部各查询分组的并行查询,减少了查询所需的整体时间,提高了查询的并发度,从而提高了查询效率。同时,由于各个查询分组内的任务相对独立,不会因为部分查询分组查询的复杂性或数据量较大而影响其他分组的执行效率。在得到各查询分组的查询子结果后,通过将各查询子结果合并即可得到与查询请求对应的查询结果,提高了查询吞吐量,有效利用了系统资源,提高了查询效率。
30、上述查询装置、电子设备及存储介质的效果参见上述查询方法的说明,此处不再赘述。
1.一种查询方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,基于查询请求,把目标分片划分成多个查询分组,包括:
3.根据权利要求1所述的方法,其特征在于,基于查询请求,将目标分片划分成多个查询分组,包括:
4.根据权利要求3所述的方法,其特征在于,根据所述目标分片中各待查询文件的数据量大小,将各待查询文件放入各查询分组中,包括:
5.根据权利要求1所述的方法,其特征在于,并行查询各所述查询分组,得到与每个所述查询分组对应的查询子结果,包括:
6.根据权利要求1-5任一所述的方法,其特征在于,所述查询请求存储在请求等待队列中;所述方法还包括:
7.一种查询装置,其特征在于,包括:
8.一种电子设备,其特征在于,包括:
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
10.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com