日志索引生成方法、日志读取方法及数据库系统与流程

摘要: 本说明书实施例涉及数据库,特别涉及日志索引生成方法、日志读取方法及数据库系统。背景技术:1、随着数据库系统、分布式存储系统或事务处理系统的不断发展与广泛应用,日...
日志索引生成方法、日志读取方法及数据库系统与流程

本说明书实施例涉及数据库,特别涉及日志索引生成方法、日志读取方法及数据库系统。

背景技术:

1、随着数据库系统、分布式存储系统或事务处理系统的不断发展与广泛应用,日志机制作为保障数据一致性、支持故障恢复的重要手段,其性能和效率直接影响到系统的整体运行表现。传统的日志管理方法通常采用顺序写入的方式将重放日志(redo log)记录至磁盘,以确保系统发生故障时能够通过日志回放恢复未提交的事务。

2、现有技术提出构建日志索引结构,以便加快对重放日志项的定位与访问。但这些方法往往是在每次生成一个日志索引项后即进行持久化写入,导致大量的小粒度i/o操作,增加了系统负担,并降低了整体性能。此外,现有的索引构建过程缺乏对日志项之间关系的有效利用,难以实现高效的合并与批量写入操作,限制了日志处理的整体优化空间。因此,亟需一种较为有效的日志索引生成方法以解决上述问题。

技术实现思路

1、有鉴于此,本说明书实施例提供了一种日志索引生成方法。本说明书一个或者多个实施例同时涉及一种日志读取方法、一种数据库系统,一种日志索引生成系统,一种日志索引生成装置,一种日志读取装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种日志索引生成方法,包括:

3、在存储重放日志的日志空间中读取目标重放日志项;

4、基于所述重放日志项的日志信息生成日志索引项,并在所述日志空间中获取所述重放日志项关联的下一重放日志项;

5、将所述下一重放日志项作为所述重放日志项,并执行所述基于所述重放日志项生成日志索引项的步骤;

6、直至生成至少两项日志索引项,基于所述至少两项日志索引项生成日志索引,并对所述日志索引进行持久化存储。

7、根据本说明书实施例的第二方面,提供了一种日志读取方法,包括:

8、确定待读取日志信息对应的重写日志范围;

9、在所述重写日志范围内,通过基于所述待读取日志信息查询区段关系文件,确定待读取日志索引项区段的区段信息;

10、基于所述区段信息查询索引存储文件,获得关联所述待读取日志信息的目标索引信息,并基于所述目标索引信息在所述日志空间中读取目标日志。

11、根据本说明书实施例的第三方面,提供了一种日志索引生成系统,应用于数据库系统的日志索引引擎,所述数据库系统包含存储引擎和存储层;

12、所述存储引擎中确定存储重放日志的日志空间,并在所述日志空间读取目标重放日志项;

13、基于所述重放日志项的日志信息生成日志索引项,并在所述日志空间中获取所述重放日志项关联的下一重放日志项;

14、将所述下一重放日志项作为所述重放日志项,并执行所述基于所述重放日志项生成日志索引项的步骤;

15、直至生成至少两项日志索引项,基于所述至少两项日志索引项生成日志索引,并将所述日志索引存储至所述存储层,进行持久化存储。

16、根据本说明书实施例的第四方面,提供了一种数据库系统,包括存储引擎、日志索引引擎和存储层;

17、所述存储引擎,用于按照对数据页的操作顺序生成并存储多项重放日志项;

18、所述日志索引引擎,用于在所述存储引擎中读取多项重放日志项,并根据日志生成方法生成日志索引,将所述日志索引存储至存储层;

19、所述存储层,用于持久化存储所述日志索引引擎生成的所述日志索引。

20、根据本说明书实施例的第五方面,提供了一种日志索引生成装置,包括:

21、读取模块,被配置为在存储重放日志的日志空间中读取目标重放日志项;

22、生成模块,被配置为基于所述重放日志项的日志信息生成日志索引项,并在所述日志空间中获取所述重放日志项关联的下一重放日志项;

23、执行模块,被配置为将所述下一重放日志项作为所述重放日志项,并执行所述基于所述重放日志项生成日志索引项的步骤;

24、存储模块,被配置为直至生成至少两项日志索引项,基于所述至少两项日志索引项生成日志索引,并对所述日志索引进行持久化存储。

25、根据本说明书实施例的第六方面,提供了一种日志读取装置,包括:

26、确定模块,被配置为确定待读取日志信息对应的重写日志范围;

27、查询模块,被配置为在所述重写日志范围内,通过基于所述待读取日志信息查询区段关系文件,确定待读取日志索引项区段的区段信息;

28、读取模块,被配置为基于所述区段信息查询索引存储文件,获得关联所述待读取日志信息的目标索引信息,并基于所述目标索引信息在所述日志空间中读取目标日志。

29、根据本说明书实施例的第七方面,提供了一种计算设备,包括:

30、存储器和处理器;

31、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述日志索引生成方法的步骤。

32、根据本说明书实施例的第八方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述日志索引生成方法的步骤。

33、根据本说明书实施例的第九方面,提供了一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述日志索引生成方法的步骤。

34、本说明书一个实施例提供的日志索引生成方法,在存储重放日志的日志空间中读取目标重放日志项;基于重放日志项的日志信息生成日志索引项,并在日志空间中获取重放日志项关联的下一重放日志项;将下一重放日志项作为重放日志项,并基于重放日志项生成日志索引项,直至生成至少两项日志索引项。也就是针对存储重放日志项的日志空间,逐一读取重放日志项,并生成重放日志项对应的日志索引项。在日志空间中按照重放日志的存储顺序,读取一条重放日志项,生成对应的日志索引项,存储在内存中,重复执行读取-生成操作,直到生成至少两项日志项索引项时,基于至少两项日志索引项生成日志索引,并对日志索引进行持久化存储。实现对日志空间中的重放日志项进行高效的缓存合并和持久化、规范化存储。后续即可基于生成的日志索引快速访问日志空间存储的重放日志项。

1.一种日志索引生成方法,包括:

2.根据权利要求1所述的日志索引生成方法,所述在存储重放日志的日志空间中读取目标重放日志项,包括:

3.根据权利要求2所述的日志索引生成方法,所述利用异步线程在所述日志空间中存储的所述重放日志项中确定所述目标重放日志项,包括:

4.根据权利要求3所述的日志索引生成方法,所述基于所述至少两项日志索引项生成日志索引,包括:

5.根据权利要求1所述的日志索引生成方法,所述对所述日志索引进行持久化存储,包括:

6.根据权利要求5所述的日志索引生成方法,所述按照所述至少两个日志索引项区段的区段顺序对所述日志索引进行持久化存储,包括:

7.根据权利要求6所述的日志索引生成方法,所述对所述索引存储文件进行持久化存储之后,还包括:

8.根据权利要求7所述的日志索引生成方法,所述基于所述目标索引信息在所述日志空间中读取目标日志之后,还包括:

9.一种日志读取方法,包括:

10.一种日志索引生成系统,应用于数据库系统的日志索引引擎,所述数据库系统包含存储引擎和存储层;

11.一种数据库系统,包括存储引擎、日志索引引擎和存储层;

12.一种日志索引生成装置,包括:

13.一种计算设备,包括:

14.一种计算机可读存储介质,其存储有计算机程序或指令,该计算机程序或指令被处理器执行时实现权利要求1至9任意一项所述方法的步骤。

15.一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现权利要求1至9任意一项所述方法的步骤。