一种分布式存储内有序列举的加速方法及系统与流程

摘要: 本发明涉及分布式存储,具体而言,涉及一种分布式存储内有序列举的加速方法及系统。背景技术:1、在现有的分布式存储技术中,用户数据通常按照特定粒度和规则打散分布到多...
一种分布式存储内有序列举的加速方法及系统与流程

本发明涉及分布式存储,具体而言,涉及一种分布式存储内有序列举的加速方法及系统。

背景技术:

1、在现有的分布式存储技术中,用户数据通常按照特定粒度和规则打散分布到多个存储实例,以实现实例间的容量均衡和负载均衡,但这种打散操作破坏了用户视角下数据的全局有序性,使得原本连续有序的数据被切分为多个局部有序分片,当缺乏跨实例的全局索引或协同归并机制,则当业务需要进行有序数据枚举时,系统必须向所有实例发起查询并合并结果,导致了读取效率严重下降的问题。

2、因此,现亟需一种分布式存储内有序列举的加速方法及系统,解决了读取效率严重下降的问题。

技术实现思路

1、本发明的目的在于提供一种分布式存储内有序列举的加速方法及系统,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:

2、第一方面,本申请提供了一种分布式存储内有序列举的加速方法,包括:

3、对分布式存储分层中的数据分片进行有序键值序列的分段扫描,生成每个分片的局部有序子集;

4、对所有分片的所述局部有序子集进行全局归并排序,生成全局临时有序集合,并提取最大键值作为全局临时收敛阈值;

5、对分片进行继续分段扫描,将当前分片扫描的局部有序子集与所述全局临时收敛阈值进行比对;

6、当所述局部有序子集小于所述全局临时收敛阈值时计算与所述全局临时有序集合合并后的收益增量,当收益增量超过预设收益阈值时触发多重收敛阈值刷新,得到维护全局集合;

7、当所述局部有序子集不小于所述全局临时收敛阈值时停止分片扫描,将所述维护全局集合作为最终全局列举结果。

8、第二方面,本申请还提供了一种分布式存储内有序列举的加速系统,包括:

9、局部扫描模块,用于对分布式存储分层中的数据分片进行有序键值序列的分段扫描,生成每个分片的局部有序子集;

10、归并模块,用于对所有分片的所述局部有序子集进行全局归并排序,生成全局临时有序集合,并提取最大键值作为全局临时收敛阈值;

11、比对模块,用于对分片进行继续分段扫描,将当前分片扫描的局部有序子集与所述全局临时收敛阈值进行比对;

12、计算模块,用于当所述局部有序子集小于所述全局临时收敛阈值时计算与所述全局临时有序集合合并后的收益增量,当收益增量超过预设收益阈值时触发多重收敛阈值刷新,得到维护全局集合;

13、停止模块,用于当所述局部有序子集不小于所述全局临时收敛阈值时停止分片扫描,将所述维护全局集合作为最终全局列举结果。

14、本发明的有益效果为:

15、本发明通过对各个分片进行局部有序子集扫描,再以全局归并排序生成临时收敛阈值,避免了对所有分片数据进行全量归并,减少了不必要的扫描和比较操作。在此基础上,通过对当前分片扫描的局部有序子集与所述全局临时收敛阈值进行比对,当局部子集合并至全局集合能产生足够有效新增数据时,才刷新收敛阈值并更新全局有序集合;少量低价值数据直接舍弃,避免得不偿失的计算开销;随有效局部子集持续更新全局数据上界,持续扩大提前截断分片的范围,形成正向性能迭代优化;综上所述,本发明解决了读取效率严重下降的问题。

16、本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书,以及附图中所特别指出的结构来实现和获得。

1.一种分布式存储内有序列举的加速方法,其特征在于,包括:

2.根据权利要求1所述的分布式存储内有序列举的加速方法,其特征在于,对所有分片的所述局部有序子集进行全局归并排序,生成全局临时有序集合,并提取最大键值作为全局临时收敛阈值,包括:

3.根据权利要求1所述的分布式存储内有序列举的加速方法,其特征在于,计算与所述全局临时有序集合合并后的收益增量,当收益增量超过预设收益阈值时触发多重收敛阈值刷新,得到维护全局集合,包括:

4.根据权利要求3所述的分布式存储内有序列举的加速方法,其特征在于,所述全局临时集合刷新机制,包括:

5.根据权利要求1所述的分布式存储内有序列举的加速方法,其特征在于,当所述局部有序子集不小于所述全局临时收敛阈值时停止分片扫描,将所述维护全局集合作为最终全局列举结果,包括:

6.一种分布式存储内有序列举的加速系统,其特征在于,包括:

7.根据权利要求6所述的分布式存储内有序列举的加速系统,其特征在于,所述归并模块,包括:

8.根据权利要求6所述的分布式存储内有序列举的加速系统,其特征在于,所述计算模块,包括:

9.根据权利要求8所述的分布式存储内有序列举的加速系统,其特征在于,所述刷新单元的全局临时集合刷新机制,包括:

10.根据权利要求6所述的分布式存储内有序列举的加速系统,其特征在于,所述停止模块,包括: