基于分布式架构的高并发数据库管理方法及系统

摘要: 本发明涉及分布式数据库,特别涉及一种基于分布式架构的高并发数据库管理方法及系统。背景技术:1、随着互联网业务的发展,分布式数据库被广泛应用于处理海量数据。在典型...
基于分布式架构的高并发数据库管理方法及系统

本发明涉及分布式数据库,特别涉及一种基于分布式架构的高并发数据库管理方法及系统。

背景技术:

1、随着互联网业务的发展,分布式数据库被广泛应用于处理海量数据。在典型的分布式数据库架构中,通常采用一致性哈希算法将海量数据和并发请求分散映射到多个底层物理节点上进行处理,以实现负载均衡。

2、然而,在面对带有极强爆发性的高并发场景(如突发新闻、瞬间秒杀)时,瞬时并发流量会在微秒级别内瞬间指向特定数据分片所在的单一目标物理节点。现有的分布式数据库负载均衡与管理方法,极度依赖于读取操作系统层面的监控指标(如cpu利用率、内存占用率或磁盘i/o)来判断节点是否发生拥塞。这种基于操作系统层面的监控存在严重的毫秒级甚至秒级的采集滞后。

3、当高并发洪峰来临时,底层的网络接口卡(网卡)硬件队列会瞬间堆积溢出。在传统的管理方法中,等操作系统监控到cpu负载报警并触发流量调度时,底层的网卡早已因队列溢出导致大量请求丢包、超时。并且,传统的扩容调度往往伴随着重资产的底层数据块迁移,无法应对微秒级的瞬时拥塞。综上,现有技术中存在“由于依赖操作系统宏观监控指标存在严重的时间滞后,无法超前感知微秒级的底层网卡硬件拥塞,进而导致瞬时高并发下目标节点网卡击穿丢包”的技术问题。

技术实现思路

1、为了解决背景技术中提出的“由于依赖操作系统宏观监控指标存在严重的时间滞后,无法超前感知微秒级的底层网卡硬件拥塞,进而导致瞬时高并发下目标节点网卡击穿丢包”的技术问题,本发明的目的在于提供一种基于分布式架构的高并发数据库管理方法及系统。

2、本发明所采用的技术方案是:一种基于分布式架构的高并发数据库管理方法,方法包括以下步骤:

3、s10、接收客户端的并发写请求,解析得到数据载荷与目标主键,依据一致性哈希路由表映射得到对应的目标物理节点;

4、s20、获取所述目标物理节点中底层网卡的微观硬件遥测数据,所述微观硬件遥测数据包含发送队列深度与优先流控暂停帧速率;

5、s30、对所述发送队列深度与所述优先流控暂停帧速率进行基于权重分配的聚合计算,生成所述目标物理节点对应的硬件背压指数;

6、s40、获取预设背压阈值,将所述硬件背压指数与所述预设背压阈值进行比对,判断所述硬件背压指数是否大于所述预设背压阈值;

7、s50、若判断结果为大于,沿所述一致性哈希环顺时针方向进行探测寻址,获取满足可用状态条件的首个顺时针相邻节点;

8、s60、生成哈希偏转指令,基于所述哈希偏转指令将所述数据载荷路由至所述首个顺时针相邻节点,触发代理追加写入操作。

9、进一步地,在所述步骤s10中依据一致性哈希路由表映射得到对应的目标物理节点之前,还包括:

10、s11、提取所述并发写请求的请求头信息,解析得到数字签名字符串与时间戳验证数据;

11、s12、获取预先配置的公钥证书文件,基于所述公钥证书文件对所述数字签名字符串进行解密,得到请求哈希比对值;

12、s13、依据所述时间戳验证数据确认所述并发写请求有效,对所述并发写请求进行哈希计算生成当前哈希值;

13、s14、当所述当前哈希值与所述请求哈希比对值一致时生成验证通过标志,触发执行映射所述目标物理节点的步骤。

14、进一步地,所述步骤s30中生成所述目标物理节点对应的硬件背压指数,包括:

15、s31、在预设时间窗口内对所述发送队列深度取极值获得队列峰值数据,对所述优先流控暂停帧速率求平均获得流控均值数据;

16、s32、提取预设非线性惩罚系数、队列权重系数及基础流控常数,利用公式对所述队列峰值数据与所述流控均值数据进行计算;

17、s33、输出所述硬件背压指数,其中i为所述硬件背压指数,q为所述队列峰值数据,r为所述流控均值数据,为所述队列权重系数,为所述基础流控常数,为所述非线性惩罚系数。

18、进一步地,在所述步骤s40中获取预设背压阈值之前,还包括动态生成所述预设背压阈值的步骤,包括:

19、s41、提取底层网络中各节点的历史吞吐量及光纤链路连接状态构建图特征矩阵,将所述目标物理节点设为中心节点并将其拓扑相邻节点设为邻居节点;

20、s42、将所述图特征矩阵输入时空背压预测模型的图卷积层进行空间特征聚合计算,输出表征拓扑连接关系的空间特征向量;

21、s43、将所述空间特征向量输入所述时空背压预测模型的长短期记忆层进行时序演进提取,输出表征拥塞趋势的时序隐藏向量;

22、s44、利用所述时空背压预测模型的全连接层对所述时序隐藏向量进行回归处理,生成所述预设背压阈值。

23、进一步地,所述步骤s50中获取满足可用状态条件的首个顺时针相邻节点,包括:

24、s51、获取所述目标物理节点的逻辑环坐标,利用哈希探测公式逐步计算生成多个探测目标地址;其中为所述逻辑环坐标,s为预设步长,m为哈希空间总容量;

25、s52、并行获取所述探测目标地址映射的候选节点的微观硬件遥测数据,经聚合计算获得实时背压指数,剔除所述实时背压指数大于或等于所述预设背压阈值的候选节点;

26、s53、在剩余候选节点中提取逻辑距离最近的物理节点作为所述首个顺时针相邻节点,并提取其网络地址生成接管标识。

27、进一步地,在所述步骤s60中生成哈希偏转指令之前,还包括:

28、s61、提取所述数据载荷的业务属性标签,利用预设掩码对所述业务属性标签进行匹配,判断所述数据载荷是否具备最终一致性特征;

29、s62、若判定具备,获取系统可用扩展空闲槽位,利用向下取整逻辑处理所述扩展空闲槽位生成槽位分裂因子;

30、s63、依据所述槽位分裂因子生成对应数量的子分片后缀加密盐值,将所述子分片后缀加密盐值追加至所述哈希偏转指令中;

31、s64、利用所述哈希偏转指令控制所述首个顺时针相邻节点执行多节点散列代理写入操作。

32、进一步地,所述步骤s60中触发代理追加写入操作,包括:

33、s71、解析所述哈希偏转指令提取源节点标识,基于所述接管标识建立所述分布式数据库网关与所述首个顺时针相邻节点间的专属通信连接;

34、s72、将所述源节点标识、所述数据载荷及所述目标主键封装拼接,生成携带代理标签的补偿写入数据包;

35、s73、将所述补偿写入数据包通过所述专属通信连接发送至所述首个顺时针相邻节点,控制其追加记录至本地预写日志并返回落盘状态码;

36、s74、接收所述落盘状态码,当判断所述落盘状态码为成功标识时,向所述客户端输出写入成功确认回执。

37、进一步地,在所述步骤s74中向所述客户端输出写入成功确认回执之后,还包括:

38、s75、提取所述源节点标识对应节点的实时队列深度,获取系统配置的初始告警深度与持续观察时间,利用公式生成拥塞恢复阈值;其中为所述拥塞恢复阈值,为所述初始告警深度,t为所述持续观察时间,为衰减率,将所述实时队列深度与所述拥塞恢复阈值进行比对;

39、s76、当所述实时队列深度连续三个周期小于所述拥塞恢复阈值时,确认网络拥塞消散并生成拥塞解除信号;

40、s77、利用所述拥塞解除信号生成异步日志回放指令,透传至所述首个顺时针相邻节点以触发针对所述补偿写入数据包的回放同步操作。

41、进一步地,在所述步骤s60中触发代理追加写入操作之后,还包括:

42、s81、读取预设全局时间段内由所述哈希偏转指令触发的偏转路由累计次数,提取拓扑降维重构阈值;

43、s82、判断所述偏转路由累计次数是否大于所述拓扑降维重构阈值;

44、s83、若判定大于,则生成针对所述目标物理节点的虚拟节点缩减控制指令,将所述虚拟节点缩减控制指令广播至底层主控协调节点;

45、s84、接收所述主控协调节点返回的拓扑环刷新确认响应,提取更新路由表数据替换所述一致性哈希路由表。

46、本发明的另一目的在于提供一种基于分布式架构的高并发数据库管理系统,所述系统包括相互通信连接的分布式数据库网关与若干个物理存储节点;

47、所述分布式数据库网关内置有旁路操作系统的网络监测探针与一致性哈希路由表,所述网络监测探针与底层网络建立直连遥测通道;

48、所述物理存储节点分别配置有rdma网卡,所述rdma网卡向所述直连遥测通道开放发送队列深度与优先流控暂停帧速率的数据读取接口;

49、所述分布式数据库网关用于通过所述直连遥测通道获取所述微观硬件遥测数据并计算硬件背压指数,在判定所述硬件背压指数大于预设背压阈值时,在路由侧生成哈希偏转指令,将数据载荷路由至满足可用状态条件的首个顺时针相邻物理存储节点。

50、本发明的有益效果为:

51、1、本发明直接旁路操作系统获取底层网卡的发送队列深度与优先流控暂停帧速率;通过将这两个微观物理量聚合计算为硬件背压指数,能够在网卡硬件队列即将溢出的微秒级别内,精准、超前地识别出拥塞危机,有效解决了传统监控指标严重滞后导致网卡击穿丢包的技术问题;

52、2、在判定拥塞后,本发明未采用缓慢的底层数据块迁移扩容策略,而是利用一致性哈希环的拓扑特性,顺时针探测获取健康的相邻节点,并通过哈希偏转指令将流量平滑转移至相邻节点进行代理追加写入,该过程无需解析复杂表结构,实现了“零数据搬迁”的瞬时流量避让,极大提升了分布式数据库在面临瞬时高并发洪峰时的生存能力与系统总吞吐量。