一种分布式系统故障快速定位与自愈系统的制作方法

本发明涉及分布式系统运维，具体涉及一种分布式系统故障快速定位与自愈系统。

背景技术：

1、在微服务架构、云原生kubernetes环境下的大规模分布式系统中，服务节点数量可达成百上千，服务之间存在复杂的调用依赖关系，故障往往会沿调用链路迅速向上下游传播，形成大面积的连锁异常。

2、现有技术中，如公开号为cn114385397a的发明专利申请公开了一种基于故障传播图的微服务故障根因定位方法，其构建微服务故障传播图并基于异常评分与访问概率搜索根因；如公开号为cn118377640a的发明专利申请公开了一种基于故障传播图的根因定位方法，其利用二阶随机游走算法进行根因定位；如公开号为cn120179509a的发明专利申请公开了一种基于因果推断与知识图谱的微服务故障定位方法，其通过构建故障依赖知识图谱并进行随机游走定位根因；如公开号为us20240054043a1的发明专利申请公开了一种用于在线根因分析和系统故障诊断的触发点检测方法，其通过监控代理采集实体指标数据与系统kpi数据，构建初始系统状态空间，并通过计算当前批次数据与初始状态之间的距离来检测系统状态变化，从而识别故障触发点、为后续根因分析提供输入；又如授权公告号为us10656929b2的发明专利公开了一种自主修复基于微服务的应用的方法，其检测性能退化后对微服务进行版本降级或回滚，并通过健康检查验证修复效果。此外，现有技术还通常采用基于静态阈值规则的监控告警、基于日志关键字匹配的告警、基于分布式追踪的人工排查以及简单的自动恢复手段等。

3、然而，上述现有技术至少存在以下不足：其一，多侧重于单一或部分数据源的异常检测与根因定位，缺乏对监控指标、日志及调用链多源运行数据的统一时序对齐与多粒度异常检测，易受业务流量波动、版本发布、弹性伸缩等正常变更的噪声干扰，导致误报、漏报；其二，故障传播图的边权多基于调用关系或统计相关性确定，未充分考虑节点异常起始时刻的先后关系及故障传播时延先验，难以准确刻画故障在服务依赖链路上的传播路径与因果强度，无法有效区分根因节点与被波及节点；其三，根因定位后缺乏对自愈动作影响面即爆炸半径与动作固有风险的量化评估，自愈动作往往凭经验或简单规则触发，易引发级联故障或无效自愈；其四，缺乏执行、验证、回退及先验更新的闭环自学习机制，难以随运行过程持续提升故障定位准确率与自愈处置效率。从而显著降低了故障根因定位的准确率与速度，延长了平均故障恢复时间，限制了分布式系统的可用性与稳定性。

技术实现思路

1、针对上述存在的技术不足，本发明的目的在于提供一种分布式系统故障快速定位与自愈系统。

2、为解决上述技术问题，本发明采用如下技术方案：本发明提供一种分布式系统故障快速定位与自愈系统，包括：数据采集与特征编码模块，用于对分布式系统各服务节点的监控指标、日志及调用链多源运行数据进行采集与时序对齐，并对对齐后的数据进行特征编码，生成各节点的多源特征序列。

3、多粒度异常检测模块，用于对多源特征序列进行多粒度异常检测，计算得到各节点的异常评分及异常起始时刻。

4、故障传播图构建模块，用于基于调用链提取服务调用关系，构建服务依赖拓扑图；基于各节点的异常评分及异常起始时刻的先后关系，计算相邻节点间的故障传播因果强度，生成带权故障传播图。

5、根因定位模块，用于基于带权故障传播图与各节点的异常评分，采用融合拓扑先验的根因排序算法计算各节点的根因概率，按根因概率定位根因节点集合。

6、自愈决策模块，用于针对根因节点集合中的每个根因节点，从自愈动作库中匹配候选自愈动作，并基于带权故障传播图模拟各候选自愈动作执行后的影响面，计算各候选自愈动作的自愈风险代价，选取自愈风险代价最小的候选自愈动作作为待执行动作。

7、闭环执行与验证模块，用于执行待执行动作，并在执行后重新采集多源运行数据、重新计算各节点的异常评分，判断根因节点是否恢复正常；若未恢复正常，则回退待执行动作并在剩余候选自愈动作中重新选取，直至故障消除或候选自愈动作耗尽。

8、先验更新模块，用于根据本次定位与自愈的执行结果，更新带权故障传播图的结构或权重及自愈动作库中的先验信息，用于后续故障的定位与自愈决策。

9、本发明的有益效果在于：（1）本发明通过对多源运行数据的统一采集、时序对齐与多粒度异常检测，克服了单一数据源与静态阈值对业务波动敏感的缺陷，从而显著降低误报率与漏报率，提升故障发现的准确性与及时性。

10、（2）本发明通过构建带权故障传播图刻画故障在服务依赖链路上的传播路径与因果强度，使得系统能够自动区分根因节点与被波及节点，抑制告警风暴对定位的干扰，从而缩短根因定位时间、降低人工排查成本。

11、（3）本发明通过融合拓扑先验的带重启随机游走根因排序算法计算各节点的根因概率，使定位结果不再依赖人工经验与逐层排查，从而将根因定位由被动人工排查转变为自动精准定位，提升定位准确率。

12、（4）本发明通过基于故障传播图的自愈影响面评估与闭环验证机制，对自愈动作的爆炸半径进行事前预测、事后校验，避免盲目自愈引发的级联故障与无效操作，从而降低自愈风险、提升自愈成功率。

13、（5）本发明通过故障传播图与自愈动作库先验信息的持续更新，使系统具备自学习能力，故障定位与自愈决策随运行时间积累而不断加速，使得系统的整体可用性与稳定性得到进一步提升。

1.一种分布式系统故障快速定位与自愈系统，其特征在于，包括：

2.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，数据采集与特征编码模块中：

3.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，多粒度异常检测模块中：

4.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，故障传播图构建模块中，所述故障传播因果强度按如下方式计算：

5.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，故障传播图构建模块中：

6.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，根因定位模块中，所述融合拓扑先验的根因排序算法为带重启的随机游走算法：

7.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，自愈决策模块中，所述影响面为：以根因节点为起点、沿带权故障传播图有向边的反方向可达的上游节点集合；

8.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，自愈决策模块中，所述自愈风险代价由影响面代价、动作固有风险与预期收益共同确定：

9.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，闭环执行与验证模块中，所述判断根因节点是否恢复正常包括：

10.根据权利要求1所述的一种分布式系统故障快速定位与自愈系统，其特征在于，所述先验更新模块中，其具体内容包括：