节点异常检测方法、装置、电子设备、介质及产品与流程

本技术涉及计算机，具体涉及一种节点异常检测方法、装置、电子设备、可读存储介质及计算机程序产品。

背景技术：

1、随着企业数据平台中离线调度任务规模持续扩大，数据链路日趋复杂，数据质量自动检测已成为保障下游业务安全的关键环节。现有的业务节点异常检测方法通常对每个节点独立提取历史时序序列，通过时序异常检测算法判断当前周期数据值是否偏离正常范围，若偏离则判定为异常并触发告警。然而，这种单节点独立检测机制仅依赖节点自身的历史规律进行异常判定，缺乏对上下游节点间关联关系的联合分析，无法区分当前节点的异常是由上游故障传导所致还是由自身业务波动引起，极易将上游传导的数据变化误判为节点自身异常，导致误报率居高不下，降低了异常检测准确度。

技术实现思路

1、鉴于上述问题，本技术提供一种节点异常检测方法、装置、电子设备、可读存储介质及计算机程序产品，能够解决单节点检测因缺乏上下游关联分析而导致误报率居高不下的问题。

2、第一方面，本技术提供了一种节点异常检测方法，包括：

3、在检测到疑似异常节点时，以所述疑似异常节点为起点，基于血缘有向图进行广度优先搜索，得到多个上游节点；

4、获取所述多个上游节点在当前调度周期内一一对应的多个检测快照结果；

5、根据所述多个检测快照结果计算所述疑似异常节点的综合置信度；

6、根据所述综合置信度获取所述疑似异常节点的异常置信等级。

7、在上述技术方案中，该方法能够将传统单点孤立的时序检测升级为基于数据血缘的多节点联合推断，通过广度优先搜索沿血缘有向图高效采集上游节点的检测快照结果，并据此计算综合置信度，从而为疑似异常节点引入全链路上游的“外部证据”进行交叉验证，进而有效区分业务正常波动与真实数据故障，显著降低单点时序检测带来的高误报率；同时，基于综合置信度划分异常置信等级，还能够使报警决策更具可解释性和分级可操作性，从而既避免了低置信异常对运维人员的无效干扰，又为高置信故障的快速响应提供了量化依据，进而从整体上提升了数据质量自动发现场景下的检测准确率与运维效率。

8、在一些实施方式中，所述在检测到疑似异常节点时，以所述疑似异常节点为起点，基于血缘有向图进行广度优先搜索，得到多个上游节点，包括：

9、在检测到疑似异常节点时，判断所述疑似异常节点在血缘有向图中是否存在可达上游节点；

10、如果存在，则以所述疑似异常节点为起点，基于血缘有向图进行广度优先搜索，得到多个上游节点；

11、其中，所述广度优先搜索设置有最大回溯深度限制和已访问节点集合防环机制。

12、在上述技术方案中，该方法能够在保障血缘回溯过程可控且高效的前提下，为综合置信度计算提供稳定可靠的上游检测证据，从而兼顾检测精度的提升与系统性能的稳定性。

13、在一些实施方式中，所述方法还包括：

14、如果所述疑似异常节点在血缘有向图中不存在可达上游节点，则获取所述疑似异常节点的自身异常置信分，并对所述自身异常置信分进行归一化处理，得到所述疑似异常节点的综合置信度。

15、在上述技术方案中，该方法能够在血缘信息缺失或无可达上游节点的场景下自动降级为单节点检测模式，确保检测能力不因血缘数据不完整而失效，从而保证整体方案在不同数据环境下的工程鲁棒性和可靠性。

16、在一些实施方式中，所述根据所述多个检测快照结果计算所述疑似异常节点的综合置信度，包括：

17、根据所述多个检测快照结果分别获取与所述多个上游节点一一对应的多个波动幅度因子、多个检测指标类型系数和多个异常置信分；

18、获取所述多个上游节点分别与所述疑似异常节点之间的多个血缘距离衰减因子；

19、根据所述多个波动幅度因子、所述多个检测指标类型系数和所述多个血缘距离衰减因子，计算与所述多个上游节点一一对应的多个初始权重；

20、对所述多个初始权重分别进行归一化处理，得到与所述多个上游节点一一对应的多个最终权重；

21、获取所述疑似异常节点在所述当前调度周期内的自身异常置信分和自身权重；

22、根据所述自身权重、所述自身异常置信分、多个最终权重、所述多个异常置信分，计算所述疑似异常节点的初始置信度；

23、对所述初始置信度进行修正处理，得到综合置信度。

24、在上述技术方案中，该方法能够通过融合多维因子的加权计算与自适应修正机制，使综合置信度能够动态平衡上下游检测证据的贡献，从而在复杂血缘拓扑下显著提升异常判断的准确性和可信度。

25、在一些实施方式中，所述根据所述多个检测快照结果分别获取与所述多个上游节点一一对应的多个波动幅度因子、多个检测指标类型系数和多个异常置信分，包括：

26、根据所述多个检测快照结果分别获取与所述多个上游节点一一对应的多个指标波动幅度、多个检测指标类型和多个异常置信分；

27、根据所述多个指标波动幅度，采用分段函数计算与所述多个上游节点一一对应的多个波动幅度因子；

28、根据所述多个检测指标类型和类型系数标定表，获取与所述多个上游节点一一对应的多个检测指标类型系数；

29、其中，所述类型系数标定表是通过对历史异常样本进行检测效果回测优化得到的。

30、在上述技术方案中，该方法能够使波动幅度因子和类型系数的取值均有据可依且贴近真实场景下的异常诊断规律，从而能够保障权重计算的合理性，并为综合置信度的准确性提供可靠基础。

31、在一些实施方式中，所述获取所述多个上游节点分别与所述疑似异常节点之间的多个血缘距离衰减因子，包括：

32、获取所述多个上游节点分别与所述疑似异常节点之间的多个血缘层数；

33、根据所述多个血缘层数，采用指数衰减函数计算与所述多个上游节点一一对应的多个血缘距离衰减因子。

34、在上述技术方案中，该方法能够使得血缘距离越近的上游节点对当前异常判断的贡献越大，从而使其更加符合故障传播随链路衰减的实际规律，进而提升上游节点权重分配的合理性和综合置信度计算的可信度。

35、在一些实施方式中，所述获取所述疑似异常节点在所述当前调度周期内的自身异常置信分和自身权重，包括：

36、获取所述多个上游节点的节点总数量以及所述疑似异常节点在所述当前调度周期内的自身检测结果；

37、判断所述节点总数量是否达到预设充足阈值；

38、如果是，将预设权重下限值确定为所述疑似异常节点的自身权重；

39、如果否，从权重配置表中选取与所述节点总数量对应的权重，作为所述疑似异常节点的自身权重；

40、根据所述自身检测结果获取所述疑似异常节点的自身异常置信分；

41、其中，所述权重配置表中的权重随节点总数量增加而减小，且所述自身权重与所述多个最终权重之和互补。

42、在上述技术方案中，该方法能够根据上游节点的多寡动态调整自身权重与上游权重的配比，使综合置信度的计算在上下游信息充足程度不同的场景下始终保持合理的权重分配，从而在避免上游信息丰富时自身判断过度主导的片面性的同时，规避上游信息稀缺时联合推断权重虚高带来的误判风险，进而提升综合置信度计算的场景自适应能力和整体判断的稳健性。

43、在一些实施方式中，所述对所述初始置信度进行修正处理，得到综合置信度，包括：

44、将所述多个上游节点中具有极端波动特征且无法继续向上追溯的节点，标记为根因候选节点；其中，所述极端波动特征包括检测指标波动幅度达到预设极端阈值、整表为空值、整列全为空值中的至少一种；

45、获取所述根因候选节点的血缘传播链；

46、根据所述血缘传播链对所述初始置信度进行修正处理，得到综合置信度。

47、在上述技术方案中，该方法能够利用根因候选节点的传播链对初始置信度进行定向修正，使受真实源头影响的下游节点置信度得到增强、缺乏源头支撑的孤立波动得到抑制，从而让综合置信度更准确地反映数据问题的真实传播状态。

48、在一些实施方式中，所述根据所述血缘传播链对所述初始置信度进行修正处理，得到综合置信度，包括：

49、根据所述血缘传播链判断所述疑似异常节点是否为受影响的下游节点；

50、如果所述疑似异常节点为受影响的下游节点，则根据正向修正系数对所述疑似异常节点的初始置信度进行正向修正，得到综合置信度；

51、如果所述疑似异常节点不为受影响的下游节点，则根据所述血缘传播链判断所述疑似异常节点是否为无上游支撑的轻微波动节点；

52、若所述疑似异常节点为所述轻微波动节点，则根据负向修正系数对所述疑似异常节点的初始置信度进行负向修正，得到综合置信度；

53、其中，所述受影响的下游节点是位于所述根因候选节点的下游、且被检测出疑似异常的节点；

54、所述正向修正系数与所述疑似异常节点距所述根因候选节点的血缘距离负相关。

55、在上述技术方案中，该方法能够根据疑似异常节点与根因候选节点的位置关系自动匹配相应的修正策略，使综合置信度更精准地反映节点的真实故障状态。

56、在一些实施方式中，在所述根据所述综合置信度获取所述疑似异常节点的异常置信等级之后，所述方法还包括：

57、将所述多个上游节点中具有极端波动特征且无法继续向上追溯的节点，标记为根因候选节点；

58、判断所述根因候选节点的血缘传播链上是否存在待报警下游节点；

59、如果存在待报警下游节点，获取所述待报警下游节点的节点清单、所述待报警下游节点的第一报警信息以及所述根因候选节点的第二报警信息；

60、以所述根因候选节点为聚合键，对所述第一报警信息和所述第二报警信息进行聚合处理，得到聚合报警信息；

61、根据所述聚合报警信息和所述待报警下游节点的节点清单输出异常报警信息；

62、其中，所述待报警下游节点是异常置信等级满足预设报警等级的节点；

63、所述异常报警信息包括所述根因候选节点的标识、每个待报警下游节点的故障类型、所述待报警下游节点的节点清单、所述待报警下游节点的综合置信度。

64、在上述技术方案中，该方法能够将同一根因引发的多处下游报警聚合成一条主报警，使值班人员无需面对大量重复且零散的告警信息，从而直接定位故障源头并掌握完整的影响范围，进而显著提升故障响应的效率与运维体验。

65、第二方面，本技术提供了一种节点异常检测装置，包括：

66、搜索单元，用于在检测到疑似异常节点时，以所述疑似异常节点为起点，基于血缘有向图进行广度优先搜索，得到多个上游节点；

67、第一获取单元，用于获取所述多个上游节点在当前调度周期内一一对应的多个检测快照结果；

68、计算单元，用于根据所述多个检测快照结果计算所述疑似异常节点的综合置信度；

69、第二获取单元，用于根据所述综合置信度获取所述疑似异常节点的异常置信等级。

70、在上述技术方案中，该装置能够将传统单点孤立的时序检测升级为基于数据血缘的多节点联合推断，通过广度优先搜索沿血缘有向图高效采集上游节点的检测快照结果，并据此计算综合置信度，从而为疑似异常节点引入全链路上游的“外部证据”进行交叉验证，进而有效区分业务正常波动与真实数据故障，显著降低单点时序检测带来的高误报率；同时，基于综合置信度划分异常置信等级，还能够使报警决策更具可解释性和分级可操作性，从而既避免了低置信异常对运维人员的无效干扰，又为高置信故障的快速响应提供了量化依据，进而从整体上提升了数据质量自动发现场景下的检测准确率与运维效率。

71、第三方面，本技术提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器用于存储有计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行第一方面中任一项所述的节点异常检测方法。

72、第四方面，本技术提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器运行时，执行第一方面中任一项所述的节点异常检测方法。

73、第五方面，本技术提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器运行时，执行第一方面中任一项所述的节点异常检测方法。

74、本技术的有益效果为：通过多节点联合推断和综合置信度计算，在上游正常时自动降低当前节点的告警置信度，从而有效区分业务正常波动与真实数据故障，显著降低误报率并提升告警可信度；同时，在血缘回溯过程中自动识别故障根因候选节点并在报警中直接标注根因及传播链路，使值班人员无需逐层人工排查，从而大幅缩短故障定位时间；此外，通过差异化的检测指标类型权重系数充分利用行数类极端异常的高置信特征，并兼容字段类、业务类等多种检测指标，使得检测覆盖更广、综合判断更精准；在血缘信息缺失或上游未接入检测时，自动降级为单节点检测模式，还能够确保检测能力不失效，具备良好的工程鲁棒性；最终，将同一根因驱动的多个下游报警聚合为一条，还能够大幅降低告警噪声，从而减少无效处理负担，同时清晰展示故障影响范围，并在整体上提升运维体验。