一种HTAP分布式数据库的故障切换方法以及装置与流程
本发明涉及数据库,尤其涉及一种htap分布式数据库的故障切换方法以及装置。
背景技术:
1、传统数据处理模式通常将oltp(online transaction processing,联机事务处理)系统与olap(online analytical processing,联机分析处理)系统分离,业务数据需要经过etl(extract-transform-load,抽取-转换-加载)流程从oltp系统迁移至数据仓库或数据湖中进行分析,这种数据处理模式导致数据时效性差,无法支持实时决策需求。随着金融风控、实时推荐、动态定价等业务场景对实时数据分析能力的需求不断提升,业界亟需打通oltp与olap之间的技术壁垒,htap(hybrid transactional/analytical processing,混合事务/分析处理)架构由此应运而生。htap分布式数据库在同一套系统内融合了oltp和olap,可在承载高并发事务写入业务的同时,直接执行复杂分析查询,能够很好适配金融风控、实时推荐、动态定价等对数据实时性要求较高的业务场景。
2、然而,现有基于htap架构的故障切换方案存在如下不足:其缺少完备的故障自愈与容灾切换机制,当数据节点发生故障时,易造成业务交易中断,引发分析查询的数据延迟甚至查询结果异常,破坏行列存储之间的数据一致性与数据新鲜度,进而无法有效保障实时风控、实时推荐、动态定价等关键业务的稳定运行。
技术实现思路
1、本发明提供了一种htap分布式数据库的故障切换方法以及装置,以在htap分布式数据库分片的主数据节点发生故障时,保障业务的连续性与稳定性,提升行列存储之间的数据一致性与数据新鲜度。
2、根据本发明的一方面,提供了一种htap分布式数据库的故障切换方法,htap分布式数据库包括集群管理器和多个分片,且每一分片下的所有数据节点均包括行存储单元和列存储单元;该方法由集群管理器执行,包括:
3、对于htap分布式数据库中的每一分片,在确定该分片的主数据节点发生故障的情况下,向该分片下所有备数据节点各自部署的数据库监控代理发送同步状态获取请求,并接收该分片下各备数据节点所部署的数据库监控代理反馈的同步信息;
4、获取htap分布式数据库的故障切换策略,并根据故障切换策略和该分片下各备数据节点所部署的数据库监控代理反馈的同步信息,进行故障切换。
5、根据本发明的另一方面,提供了一种htap分布式数据库的故障切换装置,htap分布式数据库包括集群管理器和多个分片,且每一分片下的所有数据节点均包括行存储单元和列存储单元;该装置部署在集群管理器上,包括:
6、备数据节点同步信息获取模块,用于对于htap分布式数据库中的每一分片,在确定该分片的主数据节点发生故障的情况下,向该分片下所有备数据节点各自部署的数据库监控代理发送同步状态获取请求,并接收该分片下各备数据节点所部署的数据库监控代理反馈的同步信息;
7、故障切换模块,用于获取htap分布式数据库的故障切换策略,并根据故障切换策略和该分片下各备数据节点所部署的数据库监控代理反馈的同步信息,进行故障切换。
8、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
9、至少一个处理器;
10、以及与至少一个处理器通信连接的存储器;其中,
11、存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的htap分布式数据库的故障切换方法。
12、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例的htap分布式数据库的故障切换方法。
13、根据本发明的另一方面,提供了计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本发明任一实施例的htap分布式数据库的故障切换方法。
14、本发明实施例的技术方案,由htap分布式数据库中的集群管理器执行,具体是:对于htap分布式数据库中的每一分片,在确定该分片的主数据节点发生故障的情况下,向该分片下所有备数据节点各自部署的数据库监控代理发送同步状态获取请求,并接收该分片下各备数据节点所部署的数据库监控代理反馈的同步信息;获取htap分布式数据库的故障切换策略,并根据故障切换策略和该分片下各备数据节点所部署的数据库监控代理反馈的同步信息,进行故障切换。上述技术方案,在确定htap分布式数据库中分片的主数据节点发生故障的情况下,根据从该分片下各备数据节点所部署的数据库监控代理反馈的同步信息,确定该分片的新主数据节点并完成故障切换,保障了业务的连续性与稳定性,提升了行列存储之间的数据一致性与数据新鲜度。
15、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种htap分布式数据库的故障切换方法,其特征在于,所述htap分布式数据库包括集群管理器和多个分片,且每一分片下的所有数据节点均包括行存储单元和列存储单元;所述方法由所述集群管理器执行,包括:
2.根据权利要求1所述的方法,其特征在于,所述同步信息包括行接收gtid集合、行执行gtid集合和列存同步点位;
3.根据权利要求2所述的方法,其特征在于,所述根据所述故障切换策略、以及所述新主数据节点的行存同步点位和列存同步点位,进行故障切换,包括:
4.根据权利要求1所述的方法,其特征在于,在故障切换成功之后,所述方法包括:
5.根据权利要求4所述的方法,其特征在于,所述角色元数据查询请求的发送条件为:
6.根据权利要求1所述的方法,其特征在于,通过如下方式确定所述htap分布式数据库中分片的主数据节点是否发生故障:
7.一种htap分布式数据库的故障切换装置,其特征在于,所述htap分布式数据库包括集群管理器和多个分片,且每一分片下的所有数据节点均包括行存储单元和列存储单元;所述装置部署在所述集群管理器上,包括:
8.一种电子设备,其特征在于,所述电子设备包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的htap分布式数据库的故障切换方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1-6中任一项所述的htap分布式数据库的故障切换方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com