分布式系统故障确认方法、装置、设备以及产品与流程

本技术涉及故障诊断，尤其涉及一种分布式系统故障确认方法、装置、设备以及产品。

背景技术：

1、当前，大规模分布式软件系统的运维监控普遍采用阈值规则告警、关键字匹配与人工排障相结合的技术方案，系统预先设定各类指标的阈值或异常关键字规则，当日志中出现匹配项时触发告警，运维人员据此定位故障，为提升异常检测精度，业界尝试引入bert等预训练语言模型进行分类，但受限于模型参数量和推理效率，工程落地面临挑战。

2、但是现有技术中仍存在明显不足，首先是日志级别滥用导致告警泛滥，大量预期内或可忽略的异常被标记为error级别，真实致命异常被噪声淹没，引发告警疲劳，其次是基于关键字或阈值的分级方式僵化，无法语义化区分异常严重程度，误报漏报频发，且难以覆盖不断演进的业务异常模式，不仅于此，专家规则受限于人工经验，无法穷尽所有异常类型，面对新型或组合异常时存在覆盖盲区，此外，深度学习模型推理延迟高，在通用cpu环境下难以满足海量日志的实时流式处理需求。

3、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种分布式系统故障确认方法、装置、设备以及产品，旨在解决现有日志分级告警泛滥、规则僵化且覆盖不全、模型推理难以实时处理的技术问题。

2、为实现上述目的，本技术提出一种分布式系统故障确认方法，所述分布式系统故障确认方法包括：

3、通过拦截组件对分布式系统的原始日志进行数据拦截，得到拦截日志，并根据无效错误特征库对所述拦截日志进行降级，得到结构化日志；

4、通过专家规则引擎对所述结构化日志进行分级，得到分级告警结果；

5、通过预先构建的知识蒸馏分类模型对所述分级告警结果进行补充分类，得到精细化分级结果，并根据所述分级告警结果以及精细化分级结果确认最终故障结果。

6、在一实施例中，所述通过拦截组件对分布式系统的原始日志进行数据拦截，得到拦截日志的步骤包括：

7、通过拦截组件对所述分布式系统的业务节点输出的原始日志进行拦截，得到原始日志数据；

8、筛选出所述原始日志数据中日志级别不低于错误级别的日志数据，得到候选日志数据；

9、提取所述候选日志数据的时间戳、服务名、接口名以及日志级别，并获取所述时间戳对应的上下文信息；

10、根据所述上下文信息、时间戳、服务名、接口名以及日志级别生成拦截日志。

11、在一实施例中，所述通过专家规则引擎对所述结构化日志进行分级，得到分级告警结果的步骤包括：

12、根据所述结构化日志中的异常类型、关键字特征以及堆栈模式，通过所述专家规则引擎对所述结构化日志进行等级划分，得到分级日志；

13、根据所述结构化日志中的服务名以及接口名，对所述分级日志进行窗口聚合统计，得到窗口统计结果；

14、通过动态阈值对所述窗口统计结果进行告警检测，得到分级告警结果。

15、在一实施例中，所述通过预先构建的知识蒸馏分类模型对所述分级告警结果进行补充分类，得到精细化分级结果的步骤之前，所述方法还包括：

16、通过预训练代码模型对轻量级代码模型进行蒸馏训练，并在所述轻量级代码模型的若干transformer编码层后分别设置独立的分类出口，得到预训练蒸馏模型；

17、通过日志训练样本对所述预训练蒸馏模型进行训练，得到初始蒸馏模型；

18、对所述初始蒸馏模型进行权重量化处理，得到知识蒸馏分类模型。

19、在一实施例中，所述对所述初始蒸馏模型进行权重量化处理，得到知识蒸馏分类模型的步骤包括

20、对所述初始蒸馏模型中的线性层权重进行量化，得到量化后的线性层权重；

21、根据所述线性层权重的数值范围确定量化缩放因子；

22、通过所述量化缩放因子对所述量化后的线性层权重进行校准，得到知识蒸馏分类模型。

23、在一实施例中，所述通过预先构建的知识蒸馏分类模型对所述分级告警结果进行补充分类，得到精细化分级结果的步骤包括：

24、通过所述知识蒸馏分类模型对所述分级告警结果进行逐层推理，得到所述分类出口输出的初始分级结果以及结果置信度；

25、提取所述初始分级结果中结果置信度超过置信度阈值的目标分级结果；

26、提取所述初始分级结果中结果置信度低于所述置信度阈值的待标注样本集；

27、基于所述目标分级结果生成精细化分级结果。

28、在一实施例中，所述根据所述分级告警结果以及精细化分级结果确认最终故障结果的步骤包括：

29、将所述分级告警结果以及精细化分级结果按照预设的聚合维度进行合并对齐，得到融合分级结果；

30、通过所述待标注样本集对所述知识蒸馏分类模型进行训练，得到更新后的知识蒸馏分类模型；

31、通过所述更新后的知识蒸馏分类模型对所述分级告警结果进行重新分类，得到更新后的精细化分级结果；

32、根据所述融合分级结果以及所述更新后的精细化分级结果生成最终故障结果。

33、此外，为实现上述目的，本技术还提出一种分布式系统故障确认装置，所述分布式系统故障确认装置包括：

34、拦截模块，用于通过拦截组件对分布式系统的原始日志进行数据拦截，得到拦截日志，并根据无效错误特征库对所述拦截日志进行降级，得到结构化日志；

35、分级模块，用于通过专家规则引擎对所述结构化日志进行分级，得到分级告警结果；

36、确认模块，用于通过预先构建的知识蒸馏分类模型对所述分级告警结果进行补充分类，得到精细化分级结果，并根据所述分级告警结果以及精细化分级结果确认最终故障结果。

37、此外，为实现上述目的，本技术还提出一种分布式系统故障确认设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的分布式系统故障确认方法的步骤。

38、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的分布式系统故障确认方法的步骤。

39、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的分布式系统故障确认方法的步骤。

40、本技术提出的一个或多个技术方案，至少具有以下技术效果：

41、本技术实施例提出的一种分布式系统故障确认方法、装置、设备以及产品，通过拦截组件对分布式系统的原始日志进行数据拦截，得到拦截日志，并根据无效错误特征库对所述拦截日志进行降级，得到结构化日志；通过专家规则引擎对所述结构化日志进行分级，得到分级告警结果；通过预先构建的知识蒸馏分类模型对所述分级告警结果进行补充分类，得到精细化分级结果，并根据所述分级告警结果以及精细化分级结果确认最终故障结果。由此，先按无效错误特征库对拦截日志降级，从源头滤除预期内错误噪声以抑制告警泛滥，再由专家规则引擎对结构化日志分级，以规则兜底区分严重程度、缓解规则僵化，针对规则难以穷尽的覆盖盲区，以轻量知识蒸馏模型承接教师能力，在保证cpu实时推理的同时对规则结果补充分类、得到精细化分级结果，最终融合规则与模型结果确认故障，解决了现有日志分级告警泛滥、规则僵化且覆盖不全、模型推理难以实时处理的问题，提高了分布式系统故障确认的效率。