服务器故障根因定位方法、装置、设备及介质与流程

摘要: 本发明涉及故障检测,具体地,涉及服务器故障根因定位方法、装置、设备及介质。背景技术:1、随着物流快递行业数字化转型的深入,分拣调度、订单处理、轨迹追踪等核心业务...
服务器故障根因定位方法、装置、设备及介质与流程

本发明涉及故障检测,具体地,涉及服务器故障根因定位方法、装置、设备及介质。

背景技术:

1、随着物流快递行业数字化转型的深入,分拣调度、订单处理、轨迹追踪等核心业务普遍采用云原生微服务架构部署,数据中心服务器集群规模持续扩张,业务链路跨节点、跨系统的联动复杂度显著提升。服务器故障可由硬件资源过载、服务调用异常、链路传输中断、拓扑架构变更、业务适配失效等多种因素引发,且故障会沿服务依赖链路快速传导,对运维排查能力提出了更高要求。

2、当前主流的故障定位方案多基于单一运维数据维度,通过人工维护的固定阈值规则实现告警。一方面,物流业务存在显著的潮汐流量特性,早晚高峰、电商大促期间业务负载大幅波动,固定阈值易将正常业务波动误判为故障,误报率高;另一方面,现有方案难以结合集群拓扑关系追溯故障传导路径,面对多系统联动的复合故障,运维人员需跨系统逐层排查,故障定位周期长,易导致订单处理停滞、分拣效率下降、物流轨迹更新中断等业务影响扩大;此外,现有方案普遍缺乏与物流业务场景适配的分级修复策略,无法快速支撑业务恢复,难以满足快递行业高时效、高连续性的运维需求。

技术实现思路

1、本发明的主要目的在于解决现有技术中服务器故障由多种因素引发,故障会沿服务依赖链路快速传导,从而出现故障定位周期长且误报率高的技术问题。

2、本发明第一方面提供了一种服务器故障根因定位方法,包括:

3、采集服务器集群的运维数据,包括日志数据、指标时序数据、链路追踪数据和拓扑关系数据;

4、对采集到的运维数据进行预处理,得到预处理后的日志数据、指标时序数据、链路追踪数据和拓扑关系数据;

5、针对预处理后的日志数据、指标时序数据、链路追踪数据分别按照集群内的节点粒度进行特征编码,得到各节点对应的日志语义特征向量、指标时序特征向量、链路调用特征向量,同时,基于预处理后的拓扑关系数据构建服务依赖拓扑图;

6、基于各节点对应的日志语义特征向量、指标时序特征向量、链路调用特征向量进行特征融合,得到各节点的综合状态特征向量;

7、将全集群的节点综合状态特征分布与预设场景化正常基线对比,触发执行故障检测;当检测到故障时,基于故障关联节点的综合状态特征向量,采用轻量级卷积神经网络进行故障根因分类;

8、同时,将各节点的综合状态特征向量作为节点属性,输入所述服务依赖拓扑图对应的图神经网络模型,通过图节点消息传递挖掘故障传导路径,定位故障根源节点与满足预设要求的核心影响链路。

9、可选的,在本发明第一方面的第一种实现方式中,所述日志数据包括:快递订单读写日志、分拣设备联动服务日志、物流轨迹推送日志以及服务器异常报错日志;

10、所述指标时序数据包括:服务器cpu、内存、磁盘io、网络带宽、接口响应时延、订单处理吞吐量以及并发量;

11、所述链路追踪数据包括:用户下单、分拣扫描、干线运输、末端派送以及轨迹查询的全业务链路的服务调用轨迹;

12、所述拓扑关系数据包括:分拣服务器集群、云端调度服务器、末端网点终端服务的部署关系、服务依赖关系以及设备联动关系。

13、可选的,在本发明第一方面的第二种实现方式中,所述对采集到的包括日志数据、指标时序数据、链路追踪数据和拓扑关系数据分别进行预处理,包括:

14、针对日志数据进行预处理,包括:对采集到的日志数据进行包括清洗去重、无效日志剔除、按业务维度分类规整;

15、针对指标时序数据进行预处理,包括:对采集到的指标时序数据进行包括缺失值修补、异常波动降噪以及时间对齐处理;

16、针对链路追踪数据进行预处理,包括:对采集到的链路追踪数据进行包括规整调用链路节点、统一异常标记格式;

17、针对拓扑关系数据进行预处理,包括:校准节点信息、更新依赖关系、同步新增网点、分拣设备扩容、服务升级后的架构变更信息。

18、可选的,在本发明第一方面的第三种实现方式中,所述针对预处理后的日志数据、指标时序数据、链路追踪数据分别按照集群内的节点粒度进行特征编码,包括:

19、通过word2vec日志语义编码算法将预处理后的日志数据转化为日志语义特征向量,用于表征对应节点在当前时间窗口内的日志语义模式;

20、通过tcn时序卷积网络对预处理后的指标时序数据进行时序特征提取,得到包含指标波动趋势、突变程度与周期规律的指标时序特征向量;

21、将预处理后的链路追踪数据进行结构化编码,得到链路调用特征向量;所述链路调用特征向量用于表征对应节点在当前时间窗口内的服务调用状态。

22、可选的,在本发明第一方面的第四种实现方式中,所述将全集群的节点综合状态特征分布与预设场景化正常基线对比,触发执行故障检测;当检测到故障时,基于故障关联节点的综合状态特征向量,采用轻量级卷积神经网络进行故障根因分类,包括:

23、固定时间窗口对实时生成的各节点综合状态特征向量进行滑动统计,形成当前窗口的全集群节点特征分布;

24、根据当前时间、业务流量、集群部署状态,自动匹配对应场景的正常基线;

25、逐节点计算当前综合状态特征向量与匹配到的对应场景正常基线的正常区间的偏离程度,得到全集群的节点偏离度分布;当单节点偏离度超过预设异常阈值,则标记为异常候选节点;当异常候选节点数量占比超过阈值,或异常候选节点在拓扑上存在连续关联时,最终判定当前窗口发生故障,输出故障发生时间以及异常候选节点集合;

26、将筛选出的异常候选节点集合中每个节点的综合状态特征向量,按所述服务依赖拓扑图的拓扑依赖顺序排列为二维特征矩阵,或拼接为一维多通道特征序列,并作为轻量级卷积神经网络的输入,最终输出分类结果与置信度;其中,故障类型包括:资源性能故障、服务调用故障、链路传输故障、集群拓扑故障、业务适配故障。

27、可选的,在本发明第一方面的第五种实现方式中,所述将各节点的综合状态特征向量作为节点属性,输入所述服务依赖拓扑图对应的图神经网络模型,通过图节点消息传递挖掘故障传导路径,定位故障根源节点与影响链路,包括:

28、根据故障检测结果确定故障时间窗口,将对应窗口内各节点的综合状态特征向量作为节点属性加载至服务依赖拓扑图,初始化各节点的异常状态;

29、通过图神经网络的多层消息传递迭代,使异常特征沿拓扑依赖链路传播,计算各节点的根因置信度,区分原生故障节点与次生影响节点;

30、根据各节点的根因置信度结合拓扑层级关系,确定故障根源节点,并回溯异常传播路径,得到满足预设要求的核心影响链路与故障影响范围。

31、可选的,在本发明第一方面的第六种实现方式中,所述方法还包括:根据故障类型生成修复建议;

32、当故障类型为资源性能故障时,匹配预设的故障处置知识库,生成并输出包括流量限流、节点负载迁移、资源弹性扩容在内的即时优化策略,并基于历史高峰流量数据输出常态化资源配比优化方案;

33、当故障类型为服务调用故障或链路传输故障时,从故障处置知识库中检索最优处置策略,输出包括服务重启、故障节点隔离、接口容错降级、链路重连在内的操作建议,保障核心业务快速恢复;

34、当故障类型为集群拓扑故障时,结合服务依赖拓扑图的分析结果,输出包括集群节点优化、服务联动策略调整、组网架构升级在内的长效整改建议;

35、当故障类型为业务适配故障时,结合物流业务优先级规则,输出包括快件积压应急疏导、分拣调度兜底、末端派送补偿在内的业务保障建议。

36、本发明第二方面提供了一种服务器故障根因定位装置,包括:

37、数据采集模块,用于采集服务器集群的运维数据,包括日志数据、指标时序数据、链路追踪数据和拓扑关系数据;

38、数据预处理模块,用于对采集到的运维数据进行预处理,得到预处理后的日志数据、指标时序数据、链路追踪数据和拓扑关系数据;

39、特征提取模块,用于针对预处理后的日志数据、指标时序数据、链路追踪数据分别按照集群内的节点粒度进行特征编码,得到各节点对应的日志语义特征向量、指标时序特征向量、链路调用特征向量,同时,基于预处理后的拓扑关系数据构建服务依赖拓扑图;

40、综合状态特征向量获得模块,用于基于各节点对应的日志语义特征向量、指标时序特征向量、链路调用特征向量进行特征融合,得到各节点的综合状态特征向量;

41、故障检测模块,用于将全集群的节点综合状态特征分布与预设场景化正常基线对比,触发执行故障检测;当检测到故障时,基于故障关联节点的综合状态特征向量,采用轻量级卷积神经网络进行故障根因分类;

42、故障根因分析模块,用于将各节点的综合状态特征向量作为节点属性,输入所述服务依赖拓扑图对应的图神经网络模型,通过图节点消息传递挖掘故障传导路径,定位故障根源节点与满足预设要求的核心影响链路。

43、可选的,在本发明第二方面的第一种实现方式中,所述日志数据包括:快递订单读写日志、分拣设备联动服务日志、物流轨迹推送日志以及服务器异常报错日志;

44、所述指标时序数据包括:服务器cpu、内存、磁盘io、网络带宽、接口响应时延、订单处理吞吐量以及并发量;

45、所述链路追踪数据包括:用户下单、分拣扫描、干线运输、末端派送以及轨迹查询的全业务链路的服务调用轨迹;

46、所述拓扑关系数据包括:分拣服务器集群、云端调度服务器、末端网点终端服务的部署关系、服务依赖关系以及设备联动关系。

47、可选的,在本发明第二方面的第二种实现方式中,所述数据预处理模块包括:

48、针对日志数据进行预处理,包括:对采集到的日志数据进行包括清洗去重、无效日志剔除、按业务维度分类规整;

49、针对指标时序数据进行预处理,包括:对采集到的指标时序数据进行包括缺失值修补、异常波动降噪以及时间对齐处理;

50、针对链路追踪数据进行预处理,包括:对采集到的链路追踪数据进行包括规整调用链路节点、统一异常标记格式;

51、针对拓扑关系数据进行预处理,包括:校准节点信息、更新依赖关系、同步新增网点、分拣设备扩容、服务升级后的架构变更信息。

52、可选的,在本发明第二方面的第三种实现方式中,所述特征提取模块包括:

53、通过word2vec日志语义编码算法将预处理后的日志数据转化为日志语义特征向量,用于表征对应节点在当前时间窗口内的日志语义模式;

54、通过tcn时序卷积网络对预处理后的指标时序数据进行时序特征提取,得到包含指标波动趋势、突变程度与周期规律的指标时序特征向量;

55、将预处理后的链路追踪数据进行结构化编码,得到链路调用特征向量;所述链路调用特征向量用于表征对应节点在当前时间窗口内的服务调用状态。

56、可选的,在本发明第二方面的第四种实现方式中,所述故障检测模块包括:

57、固定时间窗口对实时生成的各节点综合状态特征向量进行滑动统计,形成当前窗口的全集群节点特征分布;

58、根据当前时间、业务流量、集群部署状态,自动匹配对应场景的正常基线;

59、逐节点计算当前综合状态特征向量与匹配到的对应场景正常基线的正常区间的偏离程度,得到全集群的节点偏离度分布;当单节点偏离度超过预设异常阈值,则标记为异常候选节点;当异常候选节点数量占比超过阈值,或异常候选节点在拓扑上存在连续关联时,最终判定当前窗口发生故障,输出故障发生时间以及异常候选节点集合;

60、将筛选出的异常候选节点集合中每个节点的综合状态特征向量,按所述服务依赖拓扑图的拓扑依赖顺序排列为二维特征矩阵,或拼接为一维多通道特征序列,并作为轻量级卷积神经网络的输入,最终输出分类结果与置信度;其中,故障类型包括:资源性能故障、服务调用故障、链路传输故障、集群拓扑故障、业务适配故障。

61、可选的,在本发明第二方面的第五种实现方式中,所述故障根因分析模块包括:

62、根据故障检测结果确定故障时间窗口,将对应窗口内各节点的综合状态特征向量作为节点属性加载至服务依赖拓扑图,初始化各节点的异常状态;

63、通过图神经网络的多层消息传递迭代,使异常特征沿拓扑依赖链路传播,计算各节点的根因置信度,区分原生故障节点与次生影响节点;

64、根据各节点的根因置信度结合拓扑层级关系,确定故障根源节点,并回溯异常传播路径,得到满足预设要求的核心影响链路与故障影响范围。

65、可选的,在本发明第二方面的第六种实现方式中,所述装置还包括:修复建议生成模块,用于根据故障类型生成修复建议;

66、当故障类型为资源性能故障时,匹配预设的故障处置知识库,生成并输出包括流量限流、节点负载迁移、资源弹性扩容在内的即时优化策略,并基于历史高峰流量数据输出常态化资源配比优化方案;

67、当故障类型为服务调用故障或链路传输故障时,从故障处置知识库中检索最优处置策略,输出包括服务重启、故障节点隔离、接口容错降级、链路重连在内的操作建议,保障核心业务快速恢复;

68、当故障类型为集群拓扑故障时,结合服务依赖拓扑图的分析结果,输出包括集群节点优化、服务联动策略调整、组网架构升级在内的长效整改建议;

69、当故障类型为业务适配故障时,结合物流业务优先级规则,输出包括快件积压应急疏导、分拣调度兜底、末端派送补偿在内的业务保障建议。

70、本发明第三方面提供了一种电子设备,所述电子设备包括存储器和至少一个处理器,所述存储器中存储有指令;

71、所述至少一个处理器调用所述存储器中的所述指令,以使得所述电子设备执行如上所述的服务器故障根因定位方法的各个步骤。

72、本发明第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如上所述服务器故障根因定位方法的各个步骤。

73、与现有技术相比,本发明具有如下的有益效果:本发明根因定位环节引入图神经网络,依托物流集群拓扑关系,挖掘服务、设备、节点间的关联依赖,穿透多层调用链路,精准定位故障根源节点与核心影响链路,解决物流多系统联动故障传导复杂、溯源困难的痛点,通过特征关联归因算法,结合物流业务知识库,自动生成可解读的自然语言根因解释,清晰说明故障成因、发生位置及对快件分拣、订单流转、轨迹查询等业务的具体影响。