一种面向内存系统地址转换的层级混合索引方法及装置

本技术属于数据处理，更具体地，涉及一种面向内存系统地址转换的层级混合索引方法及装置。

背景技术：

1、在常用的内存系统地址转换场景下，逻辑地址呈现连续与离散共存的异构特征，传统单一索引（学习索引、哈希索引）及简单混合索引存在适配性不足、性能瓶颈明显的缺陷，其中，静态的单一学习索引受限于固定的模型参数，无法处理动态数据更新，难以适配地址分布的动态变化，而动态的单一学习索存在稀疏节点开销大、搜索效率低、并发性能差的问题，且两类学习索引均无法适配逻辑地址连续与离散共存的异构分布特征，导致实际检索性能难以达到预期；静态的单一哈希索抑制冲突时需预留大量冗余槽位，导致内存利用率低，无法适配海量地址映射的内存需求，动态的单一索引存在扩容阻塞、物理聚集效应明显等问题，且其随机化映射机制难以感知数据分布，会破坏物理存储局部性，引发高频缓存缺失，影响检索效率；简单混合索引缺乏针对内存系统地址转换场景的针对性设计，无法实现学习索引与哈希索引的优势深度互补，既无法解决学习索引的搜索瓶颈，也无法破解哈希索引的扩容难题，且并发性能不足，无法在复杂负载场景下实现全场景最优性能，难以适配高性能内存系统的核心需求。因此，上述方式检索物理地址的效率较低。

技术实现思路

1、针对现有技术的缺陷，本技术的目的在于提供一种面向内存系统地址转换的层级混合索引方法及装置，旨在解决现有技术因无法处理动态数据更新，难以适配地址分布的动态变化、无法适配逻辑地址连续与离散共存的异构分布特征、无法适配海量地址映射的内存需求、存在扩容阻塞、物理聚集效应、缺乏针对内存系统地址转换场景的针对性设计、并发性能不足导致检索物理地址的效率较低的问题。

2、为实现上述目的，第一方面，本技术提供了一种面向内存系统地址转换的层级混合索引方法，包括：

3、基于自适应分段单元，根据内存系统地址转换的实际应用场景设定地址连续性判定阈值，并根据所述地址连续性判定阈值构建目标混合适配关系，根据所述目标混合适配关系更新共享哈希索引；

4、在接收到地址转换请求时，基于上层引导层，根据改进型学习索引确定与所述地址转换请求相对应的逻辑地址，并定位所述逻辑地址所属的段类型；

5、在所述段类型为哈希段时，控制所述上层引导层进行地址转换请求的导向；

6、基于下层数据层，根据更新后的共享哈希索引和共享桶单元定位地址存储区域，并基于自适应双向探测单元，根据所述地址存储区域检索物理地址。

7、在一实施例中，所述基于自适应分段单元，根据内存系统地址转换的实际应用场景设定地址连续性判定阈值，并根据所述地址连续性判定阈值构建目标混合适配关系的步骤，包括：

8、实时采集内存系统地址转换场景下的逻辑地址集合，并对所述逻辑地址集合进行数据清洗；

9、基于统计分析策略对清洗后的逻辑地址集合进行特征挖掘，并根据地址分布特征识别连续地址簇与离散地址片段；

10、基于自适应分段单元，根据内存系统地址转换的实际应用场景设定地址连续性判定阈值；

11、根据段划分范围将满足所述地址连续性判定阈值的连续地址簇划分为预设精确段，以及将满足所述地址连续性判定阈值的离散地址片段划分为预设哈希段，并根据所述预设精确段和所述预设哈希段构建目标混合适配关系，根据所述目标混合适配关系更新共享哈希索引。

12、在一实施例中，所述根据段划分范围将满足所述地址连续性判定阈值的连续地址簇划分为预设精确段，以及将满足所述地址连续性判定阈值的离散地址片段划分为预设哈希段，并根据所述预设精确段和所述预设哈希段构建目标混合适配关系的步骤，包括：

13、根据不同时刻的地址分布特征确定地址分布动态变化数据；

14、在根据所述地址分布动态变化数据确定所述地址部分特征发生明显偏移时，对地址连续性判定阈值和段划分范围进行动态调整，以确保由上层引导层、下层数据层以及自适应分段单元构成的索引结构始终适配数据分布变化；

15、根据调整后的段划分范围将满足调整后的地址连续性判定阈值的连续地址簇划分为预设精确段以及将满足调整后的地址连续性判定阈值的离散地址片段划分为预设哈希段，并根据所述预设精确段和所述预设哈希段构建目标混合适配关系。

16、在一实施例中，所述在接收到地址转换请求时，基于上层引导层，根据改进型学习索引确定与所述地址转换请求相对应的逻辑地址，并定位所述逻辑地址所属的段类型的步骤，包括：

17、在接收到地址转换请求时，基于上层引导层，根据改进型学习索引确定与所述地址转换请求相对应的逻辑地址；

18、基于所述改进型学习索引的层级跳过线程，在查询路径遍历过程中识别稀疏无效节点，并采用跳过所述稀疏无效节点的方式确定优化节点遍历路径；

19、基于所述改进型学习索引的误差范围调优线程，基于核变点检测算法实时监测学习模型的预测误差变化，并根据所述预测误差变化动态调整误差界限；

20、基于所述改进型学习索引的无分支二分搜索线程或线性扫描线程，根据所述优化节点遍历路径、调整后的误差界限定位所述逻辑地址所属的段类型。

21、在一实施例中，所述基于所述改进型学习索引的层级跳过线程，在查询路径遍历过程中识别稀疏无效节点，并采用跳过所述稀疏无效节点的方式确定优化节点遍历路径的步骤之前，还包括：

22、在上层引导层的应用场景为高并发场景时，控制无锁并发单元与下层数据层的并发分裂迁移单元协同工作；

23、基于所述无锁并发单元，根据写时拷贝协议、原子版本校验及重组策略对所述上层引导层的多线程进行无锁化操作。

24、在一实施例中，所述基于下层数据层，根据更新后的共享哈希索引和共享桶单元定位地址存储区域，并基于自适应双向探测单元，根据所述地址存储区域检索物理地址的步骤，包括：

25、基于下层数据层，根据更新后的共享哈希索引和共享桶单元定位地址存储区域；

26、在检测到发生哈希冲突时，确定目标冲突位置；

27、在所述目标存储区域内，基于自适应双向探测单元从所述目标冲突位置沿双向进行中心扩散探测；

28、根据扩散探测结果定位空闲存储插槽，并根据所述空闲存储插槽检索物理地址。

29、第二方面，本技术提供一种面向内存系统地址转换的层级混合索引装置，包括：

30、构建模块，用于基于自适应分段单元，根据内存系统地址转换的实际应用场景设定地址连续性判定阈值，并根据所述地址连续性判定阈值构建目标混合适配关系，根据所述目标混合适配关系更新共享哈希索引；

31、确定模块，用于在接收到地址转换请求时，基于上层引导层，根据改进型学习索引确定与所述地址转换请求相对应的逻辑地址，并定位所述逻辑地址所属的段类型；

32、控制模块，用于在所述段类型为哈希段时，控制所述上层引导层进行地址转换请求的导向；

33、检索模块，用于基于下层数据层，根据更新后的共享哈希索引和共享桶单元定位地址存储区域，并基于自适应双向探测单元，根据所述地址存储区域检索物理地址。

34、第三方面，本技术提供一种电子设备，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

35、第四方面，本技术提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

36、第五方面，本技术提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

37、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

38、总体而言，通过本技术所构思的以上技术方案与现有技术相比，具有以下有益效果：

39、（1）本技术引入由上层引导层、下层数据层以及自适应分段单元构成的索引结构，打破现有混合索引简单叠加的设计模式，实现学习索引与哈希索引的深度协同，能够精准适配内存系统逻辑地址的异构分布特征，有效解决现有混合索引适配性不足的核心问题，实现检索性能与空间利用率的最优平衡，适配不同类型的地址转换场景。对于适应分段策单元来说，根据内存系统地址转换的实际应用场景设定地址连续性判定阈值，并根据地址连续性判定阈值构建目标混合适配关系，实现索引与负载特征的动态匹配，动态提升性能。

40、（2）本技术在上层引导层方面，使用的是改进型学习索引，其结构由层级跳过单元、混合搜索单元、误差范围调优单元以及无锁并发单元组成，且每个模块均设置有相对应的线程，例如，层级跳过线程、误差范围调优线程、无分支二分搜索线程等，各模块协同工作，共同提升引导层的检索效率与并发性能，针对性解决传统学习索引存在的稀疏节点开销大、分支预测失败、搜索效率低的瓶颈，同时通过无锁并发设计，采用rcu协议与原子版本校验策略，大幅提升上层引导层的并发吞吐量，能够稳定适配高并发地址转换场景，解决传统学习索引并发性能差的问题。

41、（3）本技术在下层数据层方面，使用的是共享哈希索引，结构由共享桶单元、自适应双向探测单元、并发分裂与迁移单元组成，各模块分工明确、协同配合，有效解决传统哈希索引内存利用率低、物理聚集效应明显、扩容阻塞的技术缺陷，实现高内存效率与高并发稳定性的双重提升，能够适配海量地址映射的需求，在吞吐量、尾延迟、内存开销、扩展性上均有显著提升，支持线性扩展，能够适配海量地址映射场景的应用需求。

42、综上，本技术基于自适应分段单元，根据内存系统地址转换的实际应用场景设定地址连续性判定阈值，并根据所述地址连续性判定阈值构建目标混合适配关系，根据所述目标混合适配关系更新共享哈希索引；在接收到地址转换请求时，基于上层引导层，根据改进型学习索引确定与所述地址转换请求相对应的逻辑地址，并定位所述逻辑地址所属的段类型；在所述段类型为哈希段时，控制所述上层引导层进行地址转换请求的导向；基于下层数据层，根据更新后的共享哈希索引和共享桶单元定位地址存储区域，并基于自适应双向探测单元，根据所述地址存储区域检索物理地址。通过上述方式，引入由上层引导层、下层数据层以及自适应分段单元构成的索引结构，基于精准区分连续地址与离散地址，并构建目标混合适配关系，采用共享哈希索引和自适应双向探测单元进行差异化检索，从而能够有效提高检索物理地址的效率，满足高性能内存系统对高吞吐、低延迟、低内存开销的需求。