基于机器自动化学习的运维异常自动检测系统的制作方法

本发明属于计算机数据处理的，涉及了基于机器自动化学习的运维异常自动检测系统。

背景技术：

1、现代信息技术基础设施与大规模分布式应用系统中，保障业务连续性的智能运维已成为重要的技术支撑。此类系统会持续产生服务器性能指标及网络流量日志等多维度的运维数据。但在实际运行中，数据流的底层统计分布常因版本迭代或硬件老化等因素发生非预期的分布漂移，容易引起异常检测模型性能下降并产生大量误报与漏报，进而影响运维决策和故障处置效率。

2、为应对上述场景中的异常检测需求，目前普遍采用的技术手段主要包括基于固定阈值告警和基于静态机器学习模型的方法。基于固定阈值的方法通过人工为关键指标预设静态的告警界限并在越界时触发告警。基于静态机器学习的方法则利用历史数据训练孤立森林或自编码器等模型以识别异常点，此类模型在训练并部署上线后，其内部参数与结构通常保持固定，并以此固定状态对实时数据流进行持续的推理判断。

3、这些传统方案在应对复杂多变的线上真实环境时存在一定的技术局限。由于上述固定阈值方法缺乏动态调整机制，在处理具有复杂周期性或动态基线的指标时，难以在灵敏度与特异性之间取得良好平衡。同时，上述部署后参数与结构固定的静态机器学习模型对数据分布漂移的适应能力较弱，当线上数据统计特征发生改变时，其检测性能易出现不可预期的衰减。此外，现有策略多依赖人工发现失效后进行离线数据标注和重训练，响应周期较长，且缺少对失效根源的诊断分析，难以有效指导模型结构的优化。

技术实现思路

1、为了解决上述的问题，本发明提供了基于机器自动化学习的运维异常自动检测系统。

2、基于机器自动化学习的运维异常自动检测系统，包括：

3、代价函数构建模块，用于获取原始运维数据流及业务影响监控配置，匹配误报与漏报事件的代价权重以生成动态代价函数；

4、初始化与评估模块，用于初始化异常检测流水线种群并输入基准测试集，结合动态代价函数计算各候选流水分支的总代价标量值；

5、种群筛选诊断模块，用于基于总代价标量值对种群进行筛选，提取当前最优流水线与淘汰流水线集合，并根据该淘汰集合的算子节点特征生成性能退化特征向量；

6、漂移根因定位模块，用于根据性能退化特征向量提取高风险算子特征，沿其指向的时域分布方向扫描原始运维数据流，提取异常缺失属性并生成漂移根因标签；

7、重构指令生成模块，用于基于异常缺失属性匹配候补算子类别，结合性能退化特征向量调整算子类别的选择概率，生成定向重构指令；

8、闭环检测执行模块，用于将定向重构指令注入种群繁衍新一代流水线集合，整合当前最优流水线、新一代流水线集合及由漂移根因标签转换的安全警报信息，输出诊断报告包。

9、本发明进一步的方案，代价函数构建模块用于执行以下操作：

10、提取原始运维数据流中监控对象的识别标识符，查询业务影响监控配置，获取监控对象对应的特定业务影响等级；

11、依据特定业务影响等级，为监控对象的误报事件与漏报事件分别赋予误报代价权重与漏报代价权重；

12、获取由上游检验分类流程产生的假阳性样本数量与假阴性样本数量；

13、计算假阳性样本数量与误报代价权重的乘积，以及假阴性样本数量与漏报代价权重的乘积，将所有监控对象的乘积结果进行求和运算，生成动态代价函数。

14、本发明进一步的方案，初始化与评估模块用于执行以下操作：

15、编排特征处理算子与异常检测模型，生成包含多个候选流水分支的异常检测流水线种群；

16、将包含已知故障标签的近期历史基准测试集切片并同步输入异常检测流水线种群执行并行推理，输出预测标签集；

17、对比预测标签集与近期历史基准测试集的真实标签，统计各项监控指标的校验混淆矩阵元素；

18、将校验混淆矩阵元素输入动态代价函数进行加权运算，输出各候选流水分支对应的总代价标量值。

19、本发明进一步的方案，种群筛选诊断模块在基于总代价标量值对种群进行筛选时，用于执行以下操作：

20、依据总代价标量值从低到高的升序排列规则，对种群内的全体候选流水分支执行排序；

21、截取排位序列首位的候选流水分支作为当前最优流水线；

22、挑选排位序列末端预设比例且数量不低于预设低目标阈值的候选流水分支，组合构建淘汰流水线集合。

23、本发明进一步的方案，种群筛选诊断模块在生成性能退化特征向量时，用于执行以下操作：

24、解析淘汰流水线集合内包含的被淘汰算子节点；

25、统计被淘汰算子节点在淘汰流水线集合中的第一出现频率，以及在异常检测流水线种群中的第二出现频率；

26、计算第一出现频率与第二出现频率的比值，得到被淘汰算子节点与检测阻滞状态的失效关联参数；

27、将所有算子节点的失效关联参数进行组合，生成性能退化特征向量。

28、本发明进一步的方案，漂移根因定位模块在提取高风险算子特征时，用于执行以下操作：

29、解析性能退化特征向量，对性能退化特征向量的各维度分量值进行降序排序；

30、提取分量值最高的预设数量的维度对应的算子，作为高风险算子特征；

31、将高风险算子特征配置为专属诊断滤波器，拦截并构建按预设时间窗口存储原始运维数据流的处理缓存器。

32、本发明进一步的方案，漂移根因定位模块在生成漂移根因标签时，用于执行以下操作：

33、沿高风险算子特征指向的时域分布方向，计算原始运维数据流在当前时间窗口内的平稳度参数；

34、计算原始运维数据流在相邻时间窗口间的归一化均值差，作为跳变参数；

35、分别将平稳度参数与预设的第一诊断阈值、跳变参数与预设的第二诊断阈值进行对比，若任一参数越过其对应的诊断阈值，则判定原始运维数据流处于突变状态；

36、依据突变状态确定原始运维数据流发生统计特征流失的原因，提取相应的异常缺失属性，并生成包含异常缺失属性的漂移根因标签。

37、本发明进一步的方案，重构指令生成模块在匹配候补算子类别时，用于执行以下操作：

38、调取预置的规则映射匹配矩阵；

39、读取漂移根因标签中暴露的异常缺失属性；

40、以异常缺失属性作为查询关键字，在规则映射匹配矩阵中进行检索，获取具备属性弥补特性的候补算子类别。

41、本发明进一步的方案，重构指令生成模块在生成定向重构指令时，用于执行以下操作：

42、基于预设的正向调整常数提升候补算子类别的期望选择概率阈值；

43、依据性能退化特征向量定位失效算子类别，基于预设的负向调整常数降低失效算子类别的基础变异发生概率；

44、通过归一化指数函数对调整后的所有算子类别的概率进行归一化处理，生成算子概率调整参数；

45、串接漂移根因标签与算子概率调整参数，组合形成定向重构指令。

46、本发明进一步的方案，闭环检测执行模块用于执行以下操作：

47、剥离定向重构指令前端的算子概率调整参数，置换异常检测流水线种群内置的变异控制矩阵；

48、依据更新后的变异控制矩阵，触发交叉操作与定向变异操作，繁衍生成新一代流水线集合；

49、剥离定向重构指令附带的漂移根因标签，对接预置的业务资产网络拓扑字典进行网络拓扑映射，导出安全警报信息；

50、合并打包当前最优流水线、新一代流水线集合以及安全警报信息，渲染传递至前端监控看板系统，输出诊断报告包。

51、综上所述，本发明包括以下有益技术效果：

52、1.通过获取业务影响监控配置并匹配误报与漏报事件的代价权重生成动态代价函数，进而利用该函数计算种群内部各候选流水分支的总代价标量值。该技术方案改变了仅依赖常规分类准确率评估模型的传统方式，将模型的技术性能表现与其实际产生的业务影响建立客观关联。在此基础上，将量化后的代价标量值作为后续模型种群演化筛选的依据，有助于在评估中兼顾业务维度的风险控制，进而改善告警系统的信噪比，使系统输出的告警信息与业务的实际运行状态保持较高的关联度。

53、2.通过基于总代价标量值对种群实施分层筛选以构建淘汰流水线集合，并基于该集合内的被淘汰算子节点特征生成性能退化特征向量。该机制将筛选过程中的高代价模型转化为诊断信息源，通过统计被淘汰模型内的算子组合特征，建立了从模型表现衰减到具体结构缺陷的反向推导途径。此过程实现了对由于数据分布漂移引起的模型不适应性问题的自动化归因分析，为确定检测能力下降的具体环节以及后续的模型针对性优化提供了明确的数据指引。

54、3.通过利用性能退化特征向量提取高风险算子特征并在原始运维数据流中生成漂移根因标签，进而生成定向重构指令以调整后续种群繁衍中的算子选择概率。该方案在原始数据流上验证相关统计特征的状态，能够更准确地反映数据分布漂移的真实根因；同时，基于诊断结论动态干预遗传操作，通过适当提升候补算子的应用权重并抑制失效算子的变异概率，将常规的发散式模型演化转变为有导向的定向重构过程。这一机制构建了从失效诊断到模型适应性更新的自动化闭环，提升了异常检测系统在面临多变数据环境时的自适应调整效率与恢复能力。