存储系统的数据遍历方法及装置、电子设备和存储介质与流程

本申请涉及数据存储，尤其涉及一种存储系统的数据遍历方法及装置、电子设备和存储介质。

背景技术：

1、对象存储凭借高扩展性、高可用性和低成本的优势，在数据备份、数据湖、云原生应用等场景中应用广泛。这类存储系统采用键值对存储模式，通过唯一的对象标识区分每个对象，而非传统文件系统的目录结构，能高效管理海量数据，但也面临遍历效率的挑战。对象存储的主要遍历接口，每次调用返回的对象数量有限，且下一次调用必须依赖上一次的返回标识，只能按顺序执行，无法同时开展多个调用。面对海量对象时，需要进行大量连续调用，遍历过程耗时漫长，难以满足实时数据处理、快速迁移等场景的需求。

2、实际使用中，很多对象的标识会集中在某个共同前缀下，这个前缀下的对象数量远多于其他前缀，导致遍历该前缀的过程成为效率瓶颈，进一步拉长整体遍历时间，还会造成负载不均。此前的优化尝试，要么受接口顺序限制，难以实现真正的并行遍历；要么在对象标识没有明显前缀规律或存在上述集中前缀的情况下，优化效果有限。

技术实现思路

1、本申请提供了一种存储系统的数据遍历方法及装置、电子设备和存储介质，以至少在一定程度上解决相关技术中的技术问题之一。

2、本申请提供了一种存储系统的数据遍历方法，包括：

3、获取原始对象标识符，通过转换函数为每个原始对象标识符生成对应的转换后标识符并存储，其中，转换函数被配置为使转换后标识符的集合在预定的排序规则下具有比原始对象标识符的集合更均匀的分布特性；

4、根据转换后标识符的排序规则，将转换后标识符的集合划分为多个连续且互不重叠的标识符区间；

5、针对每个标识符区间，启动一个独立的遍历子任务，在每个遍历子任务中，基于标识符区间的边界信息调用分布式对象存储系统的列表接口进行遍历；

6、汇集所有遍历子任务的遍历结果，对遍历结果中的每个转换后标识符，应用转换函数的逆函数，还原得到对应的原始对象标识符。

7、本申请还提供了一种存储系统的数据遍历装置，包括：

8、生成单元，用于获取原始对象标识符，通过转换函数为每个原始对象标识符生成对应的转换后标识符并存储，其中，转换函数被配置为使转换后标识符的集合在预定的排序规则下具有比原始对象标识符的集合更均匀的分布特性；

9、划分单元，用于根据转换后标识符的排序规则，将转换后标识符的集合划分为多个连续且互不重叠的标识符区间；

10、遍历单元，用于针对每个标识符区间，启动一个独立的遍历子任务，在每个遍历子任务中，基于标识符区间的边界信息调用分布式对象存储系统的列表接口进行遍历；

11、还原单元，用于汇集所有遍历子任务的遍历结果，对遍历结果中的每个转换后标识符，应用转换函数的逆函数，还原得到对应的原始对象标识符。

12、本申请还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行计算机程序时实现上述任一种方法的步骤。

13、本申请还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，其中，计算机程序被处理器执行时实现上述任一种方法的步骤。

14、本申请还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一种方法的步骤。

15、本申请提供了一种存储系统的数据遍历方法及装置、电子设备和存储介质，通过转换函数使转换后标识符的集合在预定排序规则下具有比原始对象标识符集合更均匀的分布特性，且基于该均匀分布可将转换后标识符集合划分为多个连续互不重叠的标识符区间，每个区间能通过独立遍历子任务并行调用分布式对象存储系统的列表接口开展遍历，最终可通过转换函数的逆函数还原得到原始对象标识符，因此，可以解决现有技术中因原始对象标识符分布不均引发热点前缀瓶颈、遍历过程受串行执行限制导致效率低下的问题，达到显著提升海量对象遍历效率、实现遍历负载均衡且准确还原原始对象标识符的技术效果。

16、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种存储系统的数据遍历方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述转换函数为哈希函数；

3.根据权利要求1所述的方法，其特征在于，所述多个独立的遍历子任务被并行执行。

4.根据权利要求1所述的方法，其特征在于，在所述还原得到对应的原始对象标识符之后，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述转换函数的逆函数被配置为从所述转换后标识符中移除一个固定长度的前缀部分。

6.根据权利要求1所述的方法，其特征在于，所述标识符区间的边界信息通过向所述分布式对象存储系统写入与各区间的边界对应的标记对象来确定。

7.根据权利要求1所述的方法，其特征在于，当监测到所述遍历子任务发生故障时，自动重启发生故障的遍历子任务，并从该子任务故障前最后成功遍历到的转换后标识符处继续执行遍历。

8.一种存储系统的数据遍历装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的存储系统的数据遍历方法。