分布式日志持久化方法、系统、装置、存储介质及电子设备与流程

摘要: 本申请涉及计算机领域,具体而言,涉及一种分布式日志持久化方法、系统、装置、存储介质及电子设备。背景技术:1、数据库系统(例如,rocksdb、postgresq...
分布式日志持久化方法、系统、装置、存储介质及电子设备与流程

本申请涉及计算机领域,具体而言,涉及一种分布式日志持久化方法、系统、装置、存储介质及电子设备。

背景技术:

1、数据库系统(例如,rocksdb、postgresql、mysql等)在事务提交时,必须先将事务修改记录写入日志并持久化,才能向应用返回提交成功。这一机制通常称为预写日志(write-ahead log,wal)或重做日志(redo log)。

2、日志写入具有严格的顺序追加、高频小写入、同步阻塞、多副本需求等特点。所谓严格的顺序追加,是指日志记录按照事务发生的顺序依次追加;高频小写入,是指每个事务仅产生几十到几百字节的日志记录;同步阻塞,是指事务提交时必须等待日志成功持久化;多副本需求,则是指为保证数据可靠性,日志需要在多个物理节点上保存副本。

3、研究发现,正是由于日志写入具有上述特点,无论是传统本地文件系统方案,还是基于远程直接内存访问(remote direct memory access,rdma)的远程存储方案,在对日志进行持久化时,客户端都在日志写入路径上承担了过多的职责,包括网络通信发起、数据复制协调、持久化确认等待等,而这种客户端主导的架构模式限制了写入性能的进一步提升。

技术实现思路

1、为了克服现有技术中的至少一个不足,本申请提供一种分布式日志持久化方法、系统、装置、存储介质及电子设备,其能够将持久化的主导对象由数据库客户端一侧转为副本服务端一侧,数据库客户端无需在写入路径上发起网络通信、协调数据复制或等待持久化确认,写入动作终止于本地内存的拷贝,随后即可向数据库服务返回写入成功响应,使得受限的写入性能得以释放,提高了日志的持久化效率。

2、第一方面,本申请提供一种分布式日志持久化方法,应用于数据库客户端,所述数据库客户端与数据库服务以及副本服务端通信连接,所述数据库客户端侧设置有共享给所述副本服务端的共享缓冲区,所述方法包括:

3、接收数据库服务响应于数据库访问请求发送的日志数据;

4、将所述日志数据写入所述共享缓冲区的日志缓冲区,以使所述副本服务端自动从所述日志缓冲区读取所述日志数据进行持久化;

5、在将所述日志数据写入所述共享缓冲区后,向所述数据库服务返回写入成功响应。

6、第二方面,本申请提供一种分布式日志持久化系统,所述分布式日志持久化系统包括数据库客户端、与所述数据库客户端通信连接的数据库服务以及副本服务端,所述数据库客户端侧设置有共享给所述副本服务端的共享缓冲区;

7、所述数据库客户端接收数据库服务响应于数据库访问请求发送的日志数据;将所述日志数据写入所述共享缓冲区的日志缓冲区;

8、所述副本服务端自动从所述日志缓冲区读取所述日志数据进行持久化;

9、在将所述日志数据写入所述共享缓冲区后,数据库客户端向所述数据库服务返回写入成功响应。

10、第三方面,本申请提供一种分布式日志持久化装置,应用于数据库客户端,所述数据库客户端与数据库服务以及副本服务端通信连接,所述数据库客户端侧设置有共享给所述副本服务端的共享缓冲区,所述装置包括:

11、日志交互模块,用于接收数据库服务响应于数据库访问请求发送的日志数据;

12、日志缓冲模块,用于将所述日志数据写入所述共享缓冲区的日志缓冲区,以使所述副本服务端自动从所述日志缓冲区读取所述日志数据进行持久化;

13、所述日志交互模块,还用于在将所述日志数据写入所述共享缓冲区后,向所述数据库服务返回写入成功响应。

14、第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序在被处理器执行的条件下,实现所述的分布式日志持久化方法。

15、第五方面,本申请提供一种电子设备,所述电子设备包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器执行的条件下,实现所述的分布式日志持久化方法。

16、相对于现有技术而言,本申请具有以下有益效果:

17、本申请提供的分布式日志持久化方法、系统、装置、存储介质及电子设备中,数据库客户端接收数据库服务响应于数据库访问请求发送的日志数据后,将其写入日志缓冲区,由副本服务端自动从日志缓冲区读取日志数据进行持久化。由于持久化的主导对象由数据库客户端一侧转为副本服务端一侧,数据库客户端无需在写入路径上发起网络通信、协调数据复制或等待持久化确认,写入动作终止于本地内存的拷贝,随后即可向数据库服务返回写入成功响应。如此,使得受限的写入性能得以释放,提高了日志的持久化效率。

1.一种分布式日志持久化方法,其特征在于,应用于数据库客户端,所述数据库客户端与数据库服务以及副本服务端通信连接,所述数据库客户端侧设置有共享给所述副本服务端的共享缓冲区,所述方法包括:

2.根据权利要求1所述的分布式日志持久化方法,其特征在于,所述共享缓冲区还包括副本进度表,在将所述日志数据写入所述共享缓冲区后,所述方法还包括:

3.根据权利要求2所述的分布式日志持久化方法,其特征在于,所述副本服务端的数量为多个,所述副本进度表记录有各所述副本服务端回写的持久化个体进度;

4.根据权利要求1所述的分布式日志持久化方法,其特征在于,所述方法还包括:

5.一种分布式日志持久化系统,其特征在于,所述分布式日志持久化系统包括数据库客户端、与所述数据库客户端通信连接的数据库服务以及副本服务端,所述数据库客户端侧设置有共享给所述副本服务端的共享缓冲区;

6.根据权利要求5所述的分布式日志持久化系统,其特征在于,所述副本服务端的数量为多个;

7.根据权利要求5所述的分布式日志持久化系统,其特征在于,所述副本服务端的数量为多个;

8.一种分布式日志持久化装置,其特征在于,应用于数据库客户端,所述数据库客户端与数据库服务以及副本服务端通信连接,所述数据库客户端侧设置有共享给所述副本服务端的共享缓冲区,所述装置包括:

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序在被处理器执行的条件下,实现权利要求1-4任意一项所述的分布式日志持久化方法。

10.一种电子设备,其特征在于,所述电子设备包括处理器以及存储器,所述存储器存储有计算机程序,所述计算机程序在所述处理器执行的条件下,实现权利要求1-4任意一项所述的分布式日志持久化方法。