数据库索引膨胀清理方法及装置、计算机程序产品与流程
本发明涉及数据库管理与存储,尤其涉及一种数据库索引膨胀清理方法及装置、计算机程序产品。
背景技术:
1、随着云计算与分布式存储技术的飞速发展,基于底层键值(key-value,简称kv)存储系统(如foundationdb等)构建的高性能分布式关系型数据库得到了越来越广泛的应用。在这种存算分离或分层架构中,为了加速对海量数据的检索效率,数据库系统通常会建立大量的二级索引或主键索引。同时,为了保证高并发场景下的数据一致性与读写性能,主流数据库普遍采用多版本并发控制(mvcc)机制,即在数据发生更新或删除时,并不直接覆盖或立刻物理清除旧数据,而是通过追加新版本的方式进行记录。然而,mvcc机制的长期运行不可避免地会带来严重的数据膨胀问题。特别是对于索引结构而言,随着大量历史事务的提交与回滚,底层存储系统中会残留海量已过期、不可见的无效数据元组引用。若不及时清理这些膨胀的垃圾索引数据,不仅会大量侵占宝贵的存储空间,还会显著增加查询时的扫描范围,导致数据库整体读写性能的严重衰退。
2、在现有技术中,针对数据库索引膨胀的清理通常依赖于传统的单线程逐行扫描,或者基于主表驱动的垃圾回收机制,但这些常规手段在应对海量分布式数据时暴露出诸多局限性。现有的索引扫描机制通常采用固定物理偏移量或全量串行遍历的方式读取数据,在面对海量且分布不均的底层物理索引键时,缺乏高效且平滑的逻辑切分手段。同时,现有索引清理操作的锁粒度往往较粗(例如仅支持表级锁),在处理大型表时受到锁机制的限制,无法通过增加并发来提升执行效率,这往往导致单线程负载过重、内存极易溢出,或者因并发度不足而导致清理周期漫长。此外,传统扫描请求通常会一次性获取完整键值对数据,在仅需进行预筛查的阶段造成了极大的网络带宽消耗与资源浪费。
3、在识别与验证索引有效性的过程中,现有技术的跨层可见性验证开销极大,存在严重的“读放大”效应。由于在底层键值存储模型中,索引信息与实际数据元组通常是解耦分离存储的,现有技术在判断某条索引记录是否应当被清除时,通常需要将整页或完整的数据元组从底层频繁拉取到计算层进行状态解析。这种缺乏精准定点溯源及独立快照对比的粗放式验证方式,极易在复杂的活跃事务并发环境下产生锁冲突,从而在确保数据一致性时,阻塞其他需要修改数据的正常业务操作。
4、在最终的清理执行阶段,现有技术往往容易引发底层存储引擎的i/o风暴并加剧性能劣化。在确定了需要删除的垃圾索引键后,现有机制普遍采用同步的、单条逐一调用的方式执行物理删除操作。在分布式系统中,这种频繁的单点远程过程调用请求不仅会导致高昂的网络通信延迟,而且在执行大规模垃圾清理时,还会引发大量随机的网络与磁盘交互,严重占用底层的网络与i/o资源,从而严重干扰数据库正常业务请求的响应与吞吐能力。
技术实现思路
1、本发明的目的在于,提供一种数据库索引膨胀清理方法及装置、计算机程序产品,以解决上述问题,可以显著提升清理操作的整体执行并发度,大大缩短索引膨胀清理的整体执行时间。
2、本发明提出了一种数据库索引膨胀清理方法,包括如下步骤:
3、遍历扫描底层键值存储系统中的物理索引键,并根据预设批次大小对所述物理索引键进行切分,生成包含逻辑边界信息的多个切片任务;
4、将所述多个切片任务分发给多个并发执行单元进行并行处理;
5、各并发执行单元根据接收到的切片任务中的逻辑边界信息,依次拼接还原出所述逻辑边界信息范围内的各个目标物理索引键,并针对每一个目标物理索引键执行以下操作:
6、从所述底层键值存储系统中读取该目标物理索引键对应的索引值信息,并解码得到数据元组引用信息集合;
7、遍历所述数据元组引用信息集合中的各个数据元组引用信息,执行验证操作:根据当前遍历的数据元组引用信息中的数据元组行标识拼接生成数据元组键,从底层键值存储系统中读取对应的数据元组包裹信息,并根据该数据元组引用信息中的版本标识,从数据元组包裹信息中提取出对应的目标版本信息后,基于目标版本信息判断该数据元组引用信息是否可见;
8、当判定该目标物理索引键对应的所有数据元组引用信息均不可见时,确定该目标物理索引键为待删除键;
9、将所述待删除键传入预设的异步处理通道,并通过调用存储引擎接口执行所述待删除键的删除操作。
10、在一个实施例中,所述遍历扫描底层键值存储系统中的物理索引键,并根据预设批次大小对所述物理索引键进行切分,生成包含逻辑边界信息的多个切片任务,具体包括:
11、通过调用底层键值存储系统的范围查询接口发起仅获取物理索引键的流式读取请求,其中,所述流式读取请求中携带预设批次大小作为单次读取数量上限参数;
12、基于当前返回结果,提取其中的首个物理索引键和末尾物理索引键,生成包含逻辑边界信息的切片任务;
13、将所述末尾物理索引键作为下一批次流式读取请求的起始键游标,循环执行所述范围查询接口调用,直至遍历完所述底层键值存储系统中的所有物理索引键,以生成多个切片任务。
14、在一个实施例中,所述依次拼接还原出所述逻辑边界信息范围内的各个目标物理索引键,具体包括:
15、获取当前数据库系统预先配置的命名空间前缀、逻辑分区标识以及目标索引表的关系路径;
16、依次确定所述逻辑边界信息限定范围内的各个索引列编码数据;
17、将所述命名空间前缀、逻辑分区标识、关系路径与所述索引列编码数据按照预设的层级顺序与分隔符进行拼接,生成目标物理索引键。
18、在一个实施例中,所述基于目标版本信息判断该数据元组引用信息是否可见,具体包括:
19、提取所述目标版本信息中记录的创建事务标识和删除事务标识;
20、获取当前数据库系统中处于活跃状态的事务快照,所述事务快照包含当前正在运行且未提交的事务标识列表;
21、若所述创建事务标识指示的事务已提交且不在所述事务快照中,并且,所述删除事务标识为空、为无效标识、或者其指示的事务包含在所述事务快照中,则判定该数据元组引用信息可见;
22、若所述创建事务标识指示的事务未提交、已回滚或包含在所述事务快照中,或者,所述删除事务标识指示的事务已提交且不在所述事务快照中,则判定该数据元组引用信息不可见。
23、在一个实施例中,针对每一个目标物理索引键,所述方法还包括:
24、当判定该目标物理索引键对应的数据元组引用信息集合中仅有部分数据元组引用信息不可见时,从所述数据元组引用信息集合中剔除不可见的数据元组引用信息;
25、将剩余可见的数据元组引用信息重新进行编码,生成新的索引值信息;
26、将所述新的索引值信息写回所述底层键值存储系统中,以覆盖该目标物理索引键对应的索引值信息。
27、在一个实施例中,将所述待删除键传入预设的异步处理通道之前,还包括:
28、在当前切片任务中的各个目标物理索引键处理完成后,按照索引键的顺序判断所述多个目标物理索引键中标记为待删除键的键在物理存储上是否连续;
29、若连续,则将连续的待删除键进行范围合并,并在相邻的待删除键不连续时结束当前合并,生成待删除区间信息;
30、相应的,将所述待删除键传入预设的异步处理通道,并通过调用存储引擎接口执行所述待删除键的删除操作,包括:将所述待删除区间信息传入所述异步处理通道,以通过调用存储引擎接口执行批量删除操作。
31、在一个实施例中,所述异步处理通道配置有多个并发执行单元;
32、所述通过调用存储引擎接口执行所述待删除键的删除操作,具体包括:
33、所述多个并发执行单元并发从所述异步处理通道中提取所述待删除键或待删除区间信息,并通过调用所述底层键值存储系统的应用程序编程接口完成物理删除操作;
34、在全部并发执行单元完成对应切片任务的扫描且全部待删除键或待删除区间信息完成物理删除操作后,确定目标索引表的膨胀清理执行完毕。
35、本发明还提出了一种数据库索引膨胀清理装置,用于实现如上所述的数据库索引膨胀清理方法,包括:
36、任务切分模块,用于遍历扫描底层键值存储系统中的物理索引键,并根据预设批次大小对所述物理索引键进行切分,生成包含逻辑边界信息的多个切片任务;
37、任务分发模块,用于将所述多个切片任务分发给由多个并发执行单元构成的并行处理集群进行并行处理;
38、键还原模块,用于在由所述并发执行单元并行处理时,根据接收到的切片任务中的逻辑边界信息,依次拼接还原出所述逻辑边界信息范围内的各个目标物理索引键;
39、溯源验证模块,用于在由所述并发执行单元并行处理时,针对每一个目标物理索引键,从所述底层键值存储系统中读取该目标物理索引键对应的索引值信息,并解码得到数据元组引用信息集合,并遍历所述数据元组引用信息集合中的各个数据元组引用信息,执行验证操作:根据当前遍历的数据元组引用信息中的数据元组行标识拼接生成数据元组键,从底层键值存储系统中读取对应的数据元组包裹信息,并根据该数据元组引用信息中的版本标识,从数据元组包裹信息中提取出对应的目标版本信息后,基于目标版本信息判断该数据元组引用信息是否可见;
40、状态标记模块,用于在由所述并发执行单元并行处理时,当判定该目标物理索引键对应的所有数据元组引用信息均不可见时,确定该目标物理索引键为待删除键;
41、异步删除模块,用于将所述待删除键传入预设的异步处理通道,并通过调用存储引擎接口执行所述待删除键的删除操作。
42、在一个实施例中,所述数据库索引膨胀清理装置还包括部分回收模块,所述部分回收模块用于在由所述并发执行单元并行处理时,当判定目标物理索引键对应的数据元组引用信息集合中仅有部分数据元组引用信息不可见时,从所述数据元组引用信息集合中剔除不可见的数据元组引用信息,将剩余可见的数据元组引用信息重新进行编码,生成新的索引值信息,并将所述新的索引值信息写回所述底层键值存储系统中,以覆盖该目标物理索引键对应的索引值信息。
43、在一个实施例中,所述异步删除模块还用于在当前切片任务中的各个目标物理索引键处理完成后,按照索引键的顺序判断标记为待删除键的多个目标物理索引键在物理存储上是否连续,若连续,则将连续的待删除键进行范围合并,并在相邻的待删除键不连续时结束当前合并,生成待删除区间信息,将所述待删除区间信息传入所述异步处理通道,以通过调用所述存储引擎接口执行批量删除操作。
44、本发明还提出了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上所述的数据库索引膨胀清理方法。
45、与现有技术相比,本发明的数据库索引膨胀清理方法及装置、计算机程序产品的有益效果在于:
46、1)本发明将索引膨胀清理的扫描与处理粒度从传统的表级别细化至具体的物理索引键级别,通过遍历扫描底层键值存储系统中的物理索引键,并根据预设批次大小切分生成包含逻辑边界信息的切片任务,将任务分发给多个并发执行单元并行处理,有效克服了传统单线程扫描带来的负载瓶颈。该方式能够平滑且均衡地切分海量且分布不均的索引数据,显著提升了扫描与清理操作的整体执行并发度,大大缩短了索引膨胀清理的整体执行时间,从而有效减少了清理操作对正常业务运行的影响。同时,在预筛查阶段仅读取键字段而不拉取完整键值对,大幅降低了网络带宽消耗与计算节点的内存占用,有效避免了处理大型表时的内存溢出风险。
47、2)本发明通过从底层键值存储系统读取并解码索引值信息,结合数据元组行标识与版本标识,精准溯源对应的数据元组包裹信息以提取目标版本信息,并基于创建事务标识、删除事务标识与活跃事务快照执行多版本并发控制的可见性验证,实现了细粒度的独立状态解析,避免了将整页或完整数据元组频繁拉取至计算层所引发的读放大问题。这种轻量级的验证逻辑在保障高并发事务环境下数据一致性的前提下,减少了由于粗粒度锁机制引发的锁冲突,降低了清理操作对正常业务修改操作的阻塞影响。
48、3)本发明利用预设的异步处理通道及配置的多个并发执行单元执行物理删除操作,并在切片任务处理完成后,基于物理存储的连续性将连续相同操作的待删除键进行压缩与范围合并生成待删除区间信息,进而通过调用存储引擎接口批量进行清理,不仅将高耗时的物理删除任务与正常业务主链路进行了有效的异步隔离,还将大量的单点随机远程过程调用转化为高效的批量操作,显著降低了网络通信延迟与底层存储引擎的输入输出开销。在面对极高垃圾膨胀率的大型系统索引表时,该批量处理与合并机制能够大幅缩短清理耗时,使执行效率获得成倍提升。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com