处理预写日志的方法、装置及系统与流程

技术特征：
1.一种处理预写日志的方法，包括：基于消息队列通信协议提供发布接口以及订阅接口；通过所述发布接口接收预写日志写入请求；根据所述预写日志写入请求携带的数据获取预写日志记录；将所述预写日志记录存储入消息队列，使订阅端通过所述订阅接口消费所述日志记录；其中，所述预写日志记录中的日志序号是基于消息偏移量与日志序号之间的对应规则确定的，所述消息偏移量是所述预写日志记录在消息队列中的消息偏移量，所述日志序号，用于使订阅端基于消息偏移量与日志序号之间的对应规则，确定需要回放的预写日志记录对应的消息偏移量。2.根据权利要求1所述的方法，所述通过所述发布接口接收预写日志写入请求，包括：通过所述发布接口接收所述数据库的计算引擎发出的预写日志写入请求，其中，所述预写日志写入请求是所述计算引擎响应于接收到数据写入请求，将数据写入请求携带的数据转换为预写日志的格式之后发出的。3.根据权利要求1所述的方法，所述将预写日志记录存储入消息队列，包括：根据发布所述预写日志记录的数据库映射到的消息主题，将所述预写日志记录存储入所述消息主题下的消息队列中，其中，数据库与消息主题之间是一一对应的映射关系。4.根据权利要求1所述的方法，所述预写日志记录中单条日志记录的内容，包括：多个字段各自的描述信息以及所述多个字段各自的日志数据。5.根据权利要求1所述的方法，还包括：利用分布式一致性协议与其他预写日志组件节点之间保持预写日志的一致性。6.一种处理预写日志的装置，包括：接口提供模块，被配置为基于消息队列通信协议提供发布接口以及订阅接口；请求接收模块，被配置为通过所述发布接口接收预写日志写入请求；记录获取模块，被配置为根据所述预写日志写入请求携带的数据获取预写日志记录；记录存储模块，被配置为将所述预写日志记录存储入消息队列，使订阅端通过所述订阅接口消费所述日志记录；其中，所述预写日志记录中的日志序号是基于消息偏移量与日志序号之间的对应规则确定的，所述消息偏移量是所述预写日志记录在消息队列中的消息偏移量，所述日志序号，用于使订阅端基于消息偏移量与日志序号之间的对应规则，确定需要回放的预写日志记录对应的消息偏移量。7.一种处理预写日志的系统，包括：数据库以及应用如权利要求1-5任一项所述处理预写日志的方法实现的预写日志组件；其中，所述数据库包括：计算引擎，被配置为响应于数据写入请求，通过所述预写日志组件提供的发布接口向预写日志组件发送预写日志写入请求；存储引擎，被配置为作为订阅端通过所述预写日志组件提供的订阅接口消费预写日志记录，在发生存储异常时基于消息偏移量与日志序号之间的对应规则，确定需要回放的预写日志记录对应的消息偏移量。
8.根据权利要求7所述的系统，所述数据库为数据库集群中的任意数据库，所述数据库集群包括主数据库集群以及备数据库集群。9.根据权利要求7所述的系统，还包括：所述数据库以外的外部应用程序；所述外部应用程序，被配置为作为订阅端通过所述预写日志组件提供的订阅接口消费预写日志记录。10.一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至5任意一项所述处理预写日志的方法的步骤。11.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至5任意一项所述处理预写日志的方法的步骤。

技术总结
本说明书实施例提供处理预写日志的方法、装置及系统，其中所述处理预写日志的方法包括：基于消息队列通信协议提供发布接口以及订阅接口；通过所述发布接口接收预写日志写入请求；根据所述预写日志写入请求携带的数据获取预写日志记录；将所述预写日志记录存储入消息队列，使订阅端通过所述订阅接口消费所述日志记录；其中，所述预写日志记录中的日志序号是基于消息偏移量与日志序号之间的对应规则确定的，所述消息偏移量是所述预写日志记录在消息队列中的消息偏移量，所述日志序号，用于使订阅端基于消息偏移量与日志序号之间的对应规则，确定需要回放的预写日志记录对应的消息偏移量。偏移量。偏移量。


技术研发人员：伊翼 胡建洪 张友东 孟庆义
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：2022.02.21
技术公布日：2022/6/4