一种自适应心跳集群通信方法与流程

摘要: 本发明涉及心跳集群通信,特别是涉及一种自适应心跳集群通信方法。背景技术:1、在服务器集群和分布式系统中,节点之间的状态监测与通信链路管理是保障系统稳定运行的关键...
一种自适应心跳集群通信方法与流程

本发明涉及心跳集群通信,特别是涉及一种自适应心跳集群通信方法。

背景技术:

1、在服务器集群和分布式系统中,节点之间的状态监测与通信链路管理是保障系统稳定运行的关键环节,传统集群通信方案中,各节点通常采用独立的心跳报文机制来完成集群节点间的存活状态监测,即各节点按照固定检测周期单独发送心跳报文,与业务数据包相互隔离传输;当通信链路发生中断后重新恢复连通时,系统默认执行全量数据同步操作;在整个运行过程中,心跳检测周期为固定预设值,且不存在增量数据同步机制。

2、然而,上述传统方案在实际应用中存在诸多不足:

3、首先,集群各节点采用固定周期独立发送心跳报文,由于心跳报文与业务数据包相互隔离传输,长期运行过程中需要占用大量的集群通信带宽,造成网络资源的冗余浪费;

4、其次,当通信链路发生中断恢复后,系统默认执行全量数据同步,不仅消耗大量的服务器算力和网络带宽资源,而且同步耗时长,严重影响集群业务的恢复效率;

5、心跳检测周期固定不变,无法适配服务器运行过程中的高低负载动态变化场景,在高负载时段固定频率的心跳检测容易进一步加剧网络拥塞,引发集群通信卡顿甚至超时;

6、现有方案缺少增量数据同步机制,链路恢复后只能执行全量同步,数据同步效率极低,在数据量较大的场景下尤为突出。

技术实现思路

1、本发明的目的在于提供一种自适应心跳集群通信方法,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:一种自适应心跳集群通信方法,包括以下步骤:

3、采集集群各节点运行参数完成心跳周期基线初始化,并基于历史运行数据构建各节点负载趋势预测模型;

4、取消独立心跳报文,将心跳特征码按差异化频次嵌入业务数据包中随业务链路传输,并根据链路质量反馈动态调节嵌入密度;

5、实时监测节点负载及网络状态,耦合预测模型输出的未来负载趋势,在负载变化到达前以分步递进方式提前平滑调节心跳检测周期;

6、将链路划分为含正常、亚健康、故障的多级健康等级,基于心跳缺失或响应时延偏离阈值进行评定,亚健康时主链路传输并备用预感预传,故障时切换备用链路;

7、断连期间两端将新增数据按时间顺序构建增量数据指纹链,恢复后比对指纹链分叉点和重合点定位差异边界,仅同步边界内差异化数据块;

8、以状态机管理全流程状态流转并配置独立参数集,增量同步完成后平滑回调心跳周期至匹配值,形成闭环自适应。

9、优选的,所述实时监测节点负载及网络状态的步骤中,负载状态参数至少包括节点的cpu占用率和内存使用率,网络质量参数至少包括通信链路的响应时延和丢包率。

10、优选的,所述分步递进方式中,每一步调节的周期调整幅度不超过当前状态监测周期值的10%,相邻两次调节之间的时间间隔不少于两个当前状态监测周期时长,直至达到目标周期值。

11、优选的,所述提前平滑调节的起始时刻根据预测模型输出的负载拐点到达时间戳确定,起始时刻与负载拐点到达时刻之间的时间差值为提前调节时间窗口,该时间窗口的长度等于预测到达时间乘以预设调节系数,所述预设调节系数的取值范围为0.3至0.7。

12、优选的,所述目标周期值根据预测模型输出的未来时间窗口内预测负载值确定,具体为:以当前状态监测周期值为基准,按照周期值与负载值成反比的映射关系计算目标周期值,且目标周期值限定在预设的周期上限值和周期下限值之间。

13、优选的,所述状态监测周期的调节过程中,实时监测当前实际负载值,当实际负载值的变化方向与预测模型输出的预测负载变化方向出现偏离且偏离量超出预设偏差阈值时,暂停当前分步递进调节流程,重新采集当前负载状态并更新预测模型,待预测模型修正后重新确定调节起始时刻和目标周期值。

14、优选的,所述将特征码按差异化频次嵌入业务数据包中随业务链路传输的步骤中,特征码嵌入频次由当前链路质量等级动态决定:当链路质量等级为优良时,特征码按第一频次嵌入,当链路质量等级为中度拥塞时,特征码按高于第一频次的第二频次嵌入,当链路质量等级为重度拥塞时,特征码按高于第二频次的第三频次嵌入,且各频次均不超过业务数据包总发送频率的设定百分比阈值。

15、优选的,所述切换备用链路的步骤中,备用链路的选择基于各备用路由的当前带宽余量和历史稳定度评分进行加权排序,优先选择加权评分最高者作为目标切换链路,切换完成后,原故障链路进入隔离观察期,在隔离观察期内持续监测其响应时延和丢包率,待连续n个监测周期均恢复至正常阈值范围后,将其重新纳入备用链路池。

16、优选的,所述亚健康状态下主链路传输并备用预感预传的步骤中,预感预传具体为:当链路被评定为亚健康等级时,主链路继续承担业务数据实时传输,同时将当前待发送业务数据的副本经压缩处理后通过备用链路以低优先级流量进行预传输,当主链路由亚健康恶化至故障等级时,备用链路上已预传输的数据副本直接切换为主用数据源参与业务处理,未完成预传输的剩余数据切换至备用链路继续传输。

17、优选的,所述集群各节点运行参数采集完成后,对各节点的本地时钟进行同步校准,建立全局逻辑时间戳基准,在断连期间两端构建增量数据指纹链时,每个指纹数据块均关联所述全局逻辑时间戳基准下的本地时间戳,恢复后比对指纹链时,先按全局逻辑时间戳对齐两端数据时间轴,再基于对齐后的时间窗口内执行指纹链分叉点和重合点的定位。

18、本发明的技术效果和优点:

19、(1)本发明通过取消独立心跳报文并将特征码嵌入业务数据包随业务链路传输,解决了独立心跳报文长期占用带宽造成网络资源冗余浪费的问题,同时通过实时监测负载及网络状态并耦合预测模型、在负载变化到达前以分步递进方式提前平滑调节检测周期,解决了固定检测周期无法适配高低负载场景、高负载时段易加剧网络拥塞的问题,达到了消除心跳独立传输的冗余开销、使检测周期动态适配集群实时运行状态、高负载自动降频避免拥塞、低负载自动升频保障监测灵敏度的有益效果。

20、(2)本发明通过将链路划分为正常、亚健康、故障多级等级并基于特征码缺失和时延偏离阈值评定、亚健康时主链路传输并备用预传且故障时切换备用链路,解决了链路异常无法提前感知、故障切换滞后导致通信中断的问题,同时通过在断连期间构建增量数据指纹链、恢复后比对分叉点和重合点定位差异边界并仅同步差异化数据块,解决了链路恢复后全量同步导致算力带宽消耗大耗时久、缺少增量机制导致同步效率低下的问题,达到了快速识别链路故障并自动切换备用路由实现无感切换保障通信连续性、大幅减少同步量与带宽消耗并缩短耗时、显著提升断连恢复后数据同步效率的有益效果。

1.一种自适应心跳集群通信方法,其特征在于,包括以下步骤:

2.根据权利要求1所述一种自适应心跳集群通信方法,其特征在于,所述实时监测节点负载及网络状态的步骤中,负载状态参数至少包括节点的cpu占用率和内存使用率,网络质量参数至少包括通信链路的响应时延和丢包率。

3.根据权利要求2所述一种自适应心跳集群通信方法,其特征在于,所述分步递进方式中,每一步调节的周期调整幅度不超过当前状态监测周期值的10%,相邻两次调节之间的时间间隔不少于两个当前状态监测周期时长,直至达到目标周期值。

4.根据权利要求3所述一种自适应心跳集群通信方法,其特征在于,所述提前平滑调节的起始时刻根据预测模型输出的负载拐点到达时间戳确定,起始时刻与负载拐点到达时刻之间的时间差值为提前调节时间窗口,该时间窗口的长度等于预测到达时间乘以预设调节系数,所述预设调节系数的取值范围为0.3至0.7。

5.根据权利要求4所述一种自适应心跳集群通信方法,其特征在于,所述目标周期值根据预测模型输出的未来时间窗口内预测负载值确定,具体为:以当前状态监测周期值为基准,按照周期值与负载值成反比的映射关系计算目标周期值,且目标周期值限定在预设的周期上限值和周期下限值之间。

6.根据权利要求5所述一种自适应心跳集群通信方法,其特征在于,所述状态监测周期的调节过程中,实时监测当前实际负载值,当实际负载值的变化方向与预测模型输出的预测负载变化方向出现偏离且偏离量超出预设偏差阈值时,暂停当前分步递进调节流程,重新采集当前负载状态并更新预测模型,待预测模型修正后重新确定调节起始时刻和目标周期值。

7.根据权利要求6所述一种自适应心跳集群通信方法,其特征在于,所述将特征码按差异化频次嵌入业务数据包中随业务链路传输的步骤中,特征码嵌入频次由当前链路质量等级动态决定:当链路质量等级为优良时,特征码按第一频次嵌入,当链路质量等级为中度拥塞时,特征码按高于第一频次的第二频次嵌入,当链路质量等级为重度拥塞时,特征码按高于第二频次的第三频次嵌入,且各频次均不超过业务数据包总发送频率的设定百分比阈值。

8.根据权利要求7所述一种自适应心跳集群通信方法,其特征在于,所述切换备用链路的步骤中,备用链路的选择基于各备用路由的当前带宽余量和历史稳定度评分进行加权排序,优先选择加权评分最高者作为目标切换链路,切换完成后,原故障链路进入隔离观察期,在隔离观察期内持续监测其响应时延和丢包率,待连续n个监测周期均恢复至正常阈值范围后,将其重新纳入备用链路池。

9.根据权利要求8所述一种自适应心跳集群通信方法,其特征在于,所述亚健康状态下主链路传输并备用预感预传的步骤中,预感预传具体为:当链路被评定为亚健康等级时,主链路继续承担业务数据实时传输,同时将当前待发送业务数据的副本经压缩处理后通过备用链路以低优先级流量进行预传输,当主链路由亚健康恶化至故障等级时,备用链路上已预传输的数据副本直接切换为主用数据源参与业务处理,未完成预传输的剩余数据切换至备用链路继续传输。

10.根据权利要求9所述一种自适应心跳集群通信方法,其特征在于,所述集群各节点运行参数采集完成后,对各节点的本地时钟进行同步校准,建立全局逻辑时间戳基准,在断连期间两端构建增量数据指纹链时,每个指纹数据块均关联所述全局逻辑时间戳基准下的本地时间戳,恢复后比对指纹链时,先按全局逻辑时间戳对齐两端数据时间轴,再基于对齐后的时间窗口内执行指纹链分叉点和重合点的定位。