分布式数据库环境下的数据快速分片方法以及电子设备与流程

摘要: 本技术涉及数据分片领域,并且更加具体地,涉及一种分布式数据库环境下的数据快速分片方法以及电子设备。背景技术:1、随着大数据技术、云计算和互联网服务的高速发展,传...
分布式数据库环境下的数据快速分片方法以及电子设备与流程

本技术涉及数据分片领域,并且更加具体地,涉及一种分布式数据库环境下的数据快速分片方法以及电子设备。

背景技术:

1、随着大数据技术、云计算和互联网服务的高速发展,传统单机数据库在数据规模、处理效率和访问并发能力方面逐渐暴露出瓶颈问题。进而,为满足现代应用系统对高可用、高性能和高可扩展性的要求,越来越多的数据库系统采用了分布式数据库架构。该架构通过将数据划分为多个分片并分布在不同的物理节点上,实现横向扩展和负载均衡,从而有效支撑大规模、高并发的业务需求。

2、但是,现有分片策略大多基于部署初期的静态规划,且在执行分片拆分、合并、迁移等操作时,经常产生访问冲突、资源竞争或服务阻塞等问题,严重限制系统的可维护性和灵活性。

技术实现思路

1、本技术实施例针对背景技术中所涉及的一些缺陷,提供了一种分布式数据库环境下的数据快速分片方法以及电子设备。本技术通过构建分片间的依赖关系图并量化依赖强度,实现了对分片间复杂依赖关系的精准识别与动态治理,在执行分片拆分或合并操作时能够充分考虑依赖关系的影响。进而,避免因依赖未解耦而产生访问冲突、资源竞争或服务阻塞等问题,显著提升了分布式数据库系统的可维护性和灵活性。

2、第一方面,提供了一种分布式数据库环境下的数据快速分片方法,该方法包括:获取多个节点的节点生命周期信息、节点负载信息和数据访问模式信息,其中,该节点生命周期信息用于预测该节点的下线时间;根据该数据访问模式信息,确定该多个分片之间的依赖关系图,其中,该依赖关系图包括依赖节点和依赖边,该依赖节点用于指示该分片,该依赖边用于指示该分片之间的数据访问依赖,每个依赖边还包括依赖权重,该依赖权重用于指示两个该分片之间的依赖关系强度;根据该节点生命周期信息、该节点负载信息、该数据访问模式信息和该依赖关系图,确定分片策略,该分片策略用于指示该多个分片中待拆分或待合并的分片;根据该依赖关系图和该分片策略,对该多个分片执行分片拆分操作或分片合并操作。

3、通过该方案,构建了分片间的依赖关系图并量化依赖强度,在执行分片拆分或合并操作前能够精准识别相关分片的依赖关系,避免因拆分导致访问路径中断或依赖关系破坏,增强了系统的模块化和可维护性。同时,基于节点负载信息和数据访问模式信息动态制定分片策略,使得分片数量与大小更加合理,减少了频繁的重分片操作,提高了系统整体性能。

4、结合第一方面,在第一方面可能的实现方式中,该方法还包括:根据该依赖关系图中的该依赖强度,对该分片策略中指示的待拆分或待合并的分片进行优先级排序,其中,依赖关系强度高的分片优先级高于依赖关系强度低的分片;该根据该分片策略,对该多个分片执行分片拆分操作或分片合并操作,包括:根据该分片策略以及该优先级排序的结果,执行分片拆分或分片合并操作。

5、通过该方案,对依赖关系强的分片进行优先处理,确保高耦合分片在调整时优先操作,有效降低了因分片调整导致的数据访问异常或性能瓶颈风险。

6、结合第一方面,在第一方面可能的实现方式中,该依赖关系强度根据两个该分片对同一数据项的访问频次以及两个该分片之间的依赖连接数确定。

7、通过该方案,利用访问频次和依赖连接数两个维度的数据量化依赖强度,使得依赖关系的评估更加精准和客观。

8、结合第一方面,在第一方面可能的实现方式中,该分片之间的依赖关系包括循环依赖,该循环依赖用于指示多个该分片之间的依赖关系形成闭环,在对该多个分片执行该分片策略中指示的分片拆分或分片合并操作之前,该方法还包括:在检测到该循环依赖的情况下,执行以下至少一种处理策略:抽象出公共接口或服务,将该循环依赖转变为单向依赖;使用异步消息或事件总线替代直接调用;使用框架中的目标机制解决启动死锁问题。

9、通过该方案,能够精准识别分片间的循环依赖并制定差异化的处理策略,将双向调用关系变为单向调用关系,打破循环依赖,显著降低了服务间的耦合度。

10、结合第一方面,在第一方面可能的实现方式中,该方法还包括:根据该依赖关系图中该分片的依赖关系方向,确定有向边以得到有向图;从每个该分片开始,检测该有向图中的环路,并标记节点状态,该节点状态包括未访问、正在访问、已访问;若检测到正在访问的节点,则确定该有向图中存在有向环,并确定存在该循环依赖。

11、通过该方案,对有向图进行环路检测,能够高效、准确地识别分片间的循环依赖关系。

12、结合第一方面,在第一方面可能的实现方式中,该分片之间的依赖关系包括交叉依赖,该交叉依赖用于指示两个或多个分片都依赖同一组数据,在对该多个分片执行该分片策略中指示的分片拆分或分片合并操作之前,该方法还包括:在检测到该交叉依赖的情况下,确定该交叉依赖中的热点分片;对该热点分片执行以下至少一种处理策略:针对该热点分片,进行缓存优化;将该热点分片的数据划分到模块内本地维护。

13、通过该方案,能够精准识别分片间的交叉依赖热点并采取针对性的治理措施,通过引入缓存机制和模块级数据本地维护,显著降低了交叉依赖带来的访问延迟与资源争用,减少了分片间资源冲突率。

14、结合第一方面,在第一方面可能的实现方式中,该方法还包括:检测服务间调用频率和资源共用度;在该资源共用度大于预设公用度阈值的情况下,确定该分片之间存在该交叉依赖;根据该服务间调用频率,确定被多个上游频繁调用的分片为该热点分片。

15、通过该方案,利用监控服务间调用频率和资源共用度,实现了交叉依赖及其热点的自动化识别。

16、结合第一方面,在第一方面可能的实现方式中,该获取多个节点的节点负载信息和数据访问模式信息包括:获取分布式数据库中的该多个节点的实时负载状况和数据访问模式;根据该多个节点的实时负载状况和数据访问模式和预训练的预测模型,确定未来预设时间段内的该多个节点的该节点负载信息和数据访问模式信息。

17、通过该方案,利用预测模型对未来时间段内节点负载趋势和数据访问模式进行前瞻性预测,使得分片策略的制定能够提前响应业务高峰或资源压力变化,避免因突发流量或访问集中导致的性能瓶颈和系统不稳定。

18、结合第一方面,在第一方面可能的实现方式中,该根据该节点负载信息和该数据访问模式信息,确定分片策略,包括:根据该节点负载信息和该数据访问模式信息,确定当前系统的负载分配状态、节点生命周期变化以及分片的资源需求;根据该负载分配状态、该节点生命周期变化以及该资源需求,确定该分片策略。

19、通过该方案,综合考量系统负载分配、节点生命周期变化和分片资源需求等多维因素来制定分片策略,使得分片调整更加贴合系统实际运行状态。

20、结合第一方面,在第一方面可能的实现方式中,该方法还包括:根据该依赖关系图中指示的该依赖权重,确定该分片之间的依赖关系失配风险;在该依赖关系失配风险大于预设的风险阈值的情况下,进行以下的至少一种调整措施:调整分片的负载;将部分负载转移到其他节点;优化分片的访问路径;将分片迁移至更合适的节点;将两个分片合并或拆分以减少跨分片依赖关系。

21、通过该方案,基于依赖强度与节点负载联动判断分片间的依赖关系失配风险,能够在依赖路径与节点负载状态不匹配时及时预警并自动调整分片运行状态,有效防止因依赖链断裂或访问路径失效导致的性能过载和服务拥堵。

22、结合第一方面,在第一方面可能的实现方式中,根据该依赖关系图中指示的该依赖权重,确定该分片之间的依赖关系失配风险,包括:根据两个该分片之间的该依赖关系强度、两个该分片的当前负载、两个该分片之间的通信延迟以及预设的调节系数,确定两个该分片之间的依赖关系失配风险,其中,该调节系数用于调整负载差异对该依赖关系失配风险的影响程度。

23、通过该方案,将依赖关系强度、节点负载和通信延迟纳入统一的风险评估公式,实现了依赖关系失配风险的量化评估。

24、第二方面,提供了一种电子设备,该电子设备包括一个或多个处理器和一个或多个存储器;该一个或多个存储器存储有一个或多个计算机程序,该一个或多个计算机程序包括指令,当该指令被该一个或多个处理器执行时,使得如第一方面或第一方面任一可能的实现方式中所述的方法被执行。

25、第三方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得如第一方面或第一方面任一可能的实现方式中所述的方法被执行。

26、第四方面,提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行如第一方面或第一方面任一可能的实现方式中所述的方法。