一种基于因果无监督异常检测的集群服务器智能运维方法

本发明属于智能运维及集群服务器系统状态健康管理的，具体涉及一种基于因果无监督异常检测的集群服务器智能运维方法。

背景技术：

1、传统集群服务器系统状态异常检测方法依赖专家经验为系统变量设置固定或动态阈值，当观测数据超出阈值范围时触发告警。然而，该方法无法适应系统复杂的非线性动态工况变化，且需专家频繁设置与调整阈值，维护成本较高。随着物联网与传感技术的飞速迭代，海量的高维非线性时序数据从“难以采集”转向“规模化获取”，推动了深度学习在集群服务器系统状态监测领域的发展。目前，现有基于深度学习的异常检测方法主要分为有监督异常检测与无监督异常检测两类。有监督异常检测方法通过利用大量标签数据训练模型，能够有效识别系统的异常状态。但该方法严重受限于标注数据的数量与质量，而在实际服务器运维场景中，异常事件具有稀少性且形态各异，获取足量、均衡的异常样本极为困难且成本高昂，这将导致模型泛化能力不足。无监督异常检测方法仅利用“正常”数据进行建模，通过计算新数据与正常模式的偏离度实现异常识别。该方法虽降低了对标签的依赖，但其仅局限于异常识别层面，无法对异常发生的根本原因及异常传播链路做出解释。

2、针对上述问题，公开号为cn120277571a的中国发明专利提出了一种多维时间序列异常检测系统的构建方法。该方法包括以下步骤：步骤1，获取包含设备状态检测信息的多维时间序列数据；步骤2，对多维时间序列数据进行编码与预处理；步骤3，基于余弦相似度和topk策略实现多维时间序列数据变量特征关联图的构建与优化，然后利用改进的图注意力网络学习数据特征并结合全连接层实现时序预测并计算异常得分；在时间维度上，通过两个独立模型分支建立局部与全局联系，基于分支相似性训练并通过差异辨别异常。

3、另一项公开号为cn120633707a的中国发明专利提出了一种基于高阶拓扑结构和个性化pagerank的图神经网络异常检测方法。该方法包括以下步骤：步骤1，输入图数据、节点特征矩阵和邻接矩阵，提取所有单纯形并构建高阶单纯复形；步骤2，对每个节点，基于提出的hipwrpushsor算法计算高阶ppr矩阵；步骤3，将通过每阶拓扑结构计算出的个性化pagerank矩阵作为高阶拉普拉斯矩阵，设计多项式滤波器，并融合各阶卷积结果，生成节点嵌入表示；步骤4，根据生成的节点嵌入，使用分类器或异常评分函数判断节点是否异常。

4、尽管上述发明通过构建变量间相关关系图或依赖关系图，实现了变量间潜在关系挖掘与异常传播分析，但其仍存在一些局限性。首先，变量间的相关性可能源于混杂因素或共同影响因素，易导致变量关系构建出现偏差，例如，若某一变量对另外两个变量存在显著影响，相关性分析易误判该两个变量间存在高度相关性。其次，相关关系图仅能表征变量间的关联存在性，无法实现变量间因果关系的挖掘，在对异常开展根因溯源时，易指向错误的变量节点。

技术实现思路

1、本发明的目的在于针对现有技术中的上述不足，提供一种基于因果无监督异常检测的集群服务器智能运维方法，以解决现有技术存在的变量间的相关性可能源于混杂因素或共同影响因素，易导致变量关系构建出现偏差；以及相关关系图仅能表征变量间的关联存在性，无法实现变量间因果关系的挖掘，在对异常开展根因溯源时，易指向错误的变量节点的问题。

2、为达到上述目的，本发明采取的技术方案是：

3、一种基于因果无监督异常检测的集群服务器智能运维方法，其包括以下步骤：

4、s1、采集集群服务器系统的实时状态监测数据，并对其进行数据清洗得到高维多元时间序列数据集，再根据变量功能定位对高维多元时间序列数据集进行分块处理；

5、s2、基于s1中分块后的数据分别构建子块内因果矩阵与子块间因果矩阵，并整合得到集群服务器系统的分块因果矩阵；

6、s3、采用长短期记忆网络和卷积神经网络双分支结构提取s1中高维多元时间序列数据的全局特征与局部特征并融合得到全局-局部融合特征，再以所述分块因果矩阵为约束，通过多头图注意力网络得到变量间的因果关联特征，将全局-局部融合特征与因果关联特征经降维与残差连接得到变量的多维度融合特征，并基于重构损失与单分类损失构建总损失函数完成模型训练；

7、s4、采用经验性策略自适应调整高斯核函数带宽，基于得到的高斯核函数带宽采用核密度估计计算多维度融合特征的概率密度分布，选取概率密度分布指定的分位数作为变量的异常判定阈值；

8、s5、基于多维度融合特征与异常判定阈值进行异常识别，得到异常变量集合，再根据分块因果矩阵构建异常传播链路，将异常传播链路中无传入边的异常变量确定为异常根本原因。

9、进一步的，所述s1具体包括：

10、采集集群服务器系统的实时状态监测数据，实时状态监测数据包括传感器读数变量和系统性能指标变量，对采集的传感器读数变量和系统性能指标变量执行清洗操作，剔除其中变量值为零或为nan形态的无效变量，得到统一的高维多元时间序列数据集，对高维多元时间序列数据集中的各个变量，按照其功能定位进行分块处理。

11、进一步的，所述s2中，子块内因果矩阵构建过程为：

12、对每个子块，构建初始空图并基于贝叶斯信息准则计算评分，遍历初始空图所有潜在边并通过逐次边添加与边删除操作优化图结构，并保持图结构无环且保留v字结构；采用meek准则确定无向边方向，对未确定方向的边，基于非线性函数拟合与噪声独立性检验完成因果方向推断。

13、进一步的，所述s2中，子块间因果矩阵构建过程为：

14、先对子块内数据进行样本划分，再通过增量主成分分析执行迭代降维以得到每个子块的降维向量；对于降维后的子块内数据，基于信息传递熵计算子块间信息传递强度，并根据传递熵大小确定子块间的因果依赖关系，进而形成子块间因果矩阵。

15、进一步的，所述s3中，全局-局部融合特征得到的过程包括：

16、全局特征提取；采用单向长短期记忆网络提取变量中各时间步隐藏状态序列，并对隐藏状态序列进行时间步平均，得到全局特征；

17、局部特征提取；采用双层一维卷积神经网络对变量进行处理，在每层卷积后依次设置归一化层、relu激活函数与dropout层，并对输出特征执行通道数平均得到局部特征；

18、特征融合；将全局特征与局部特征进行拼接，并输入到全连接层进行特征降维，得到全局-局部融合特征。

19、进一步的，所述s3中，多维度融合特征得到的过程包括：

20、将全局-局部融合特征中的变量作为图结构节点、变量特征作为节点特征以构造图数据，将所述图数据输入图注意力网络，并将s2中的分块因果矩阵作为图注意力网络的邻接矩阵；

21、采用多头注意力机制替代图注意力网络中的单头注意力机制，在每个注意力头中对节点特征依次执行线性变换与注意力分数计算，并通过分块因果矩阵约束变量间的注意力分配，再采用softmax函数对注意力权重进行归一化处理；基于归一化后的注意力权重对各注意力头的节点特征进行加权输出，将所有注意力头的输出拼接得到因果关联特征；

22、采用全连接层分别对全局-局部融合特征与因果关联特征进行处理，并降维至同一维度，再通过残差连接，得到多维度融合特征。

23、进一步的，所述s3中，重构损失的构建过程为：

24、对多维度融合特征执行三次全连接层操作，并使用relu函数进行激活，得到重构数据，计算重构数据与原始数据的均方误差损失，并对该均方误差损失进行对数运算，得到重构损失。

25、进一步的，所述s4具体包括：

26、采用核密度估计计算多维度融合特征的概率密度分布，引入高斯核函数计算各变量样本点多维度融合特征在特征空间中的局部密度贡献，将所有变量样本点的密度贡献进行叠加并归一化处理，得到变量整体的概率密度估计结果；

27、基于变量样本的标准差、四分位距与变量样本数量自适应确定核函数带宽，选取概率密度分布的0.9999分位数作为对应变量的异常判定阈值，完成所有变量的异常阈值设定。

28、进一步的，所述s5具体包括：

29、对待检测数据提取多维度融合特征并计算对应概率密度值，将该概率密度值与异常判定阈值比对，高于阈值则判定为正常数据，低于阈值则判定为异常数据并纳入异常变量集合；

30、基于分块因果矩阵对异常变量构建有向异常传播链路，跨子块异常传播依据子块间因果关系确定传播路径，将异常传播链路中无传入有向边的异常变量确定为异常根本原因。

31、本发明提供的基于因果无监督异常检测的集群服务器智能运维方法，具有以下有益效果：

32、本发明在样本分布不均衡的情景下，实现高效可靠的集群服务器系统异常状态检测、异常传播链路构建及异常根因分析，为系统整体运行状态的监测与健康管理提供有效支撑，从而在故障发生时缩小排查范围，帮助运维人员更快地排查故障原因。