一种面向数据中心运维的设备异常智能识别方法与流程
本发明涉及设备异常智能识别,尤其涉及一种面向数据中心运维的设备异常智能识别方法。
背景技术:
1、随着数据中心规模持续扩张,算力集群内设备数量激增、拓扑连接日趋复杂,设备运行状态呈现高度动态耦合特征。单一设备或单一参数的异常往往沿依赖关系在集群内扩散传播,导致局部故障迅速演变为区域性服务降级甚至整体算力瘫痪。传统以人工巡检和单阈值告警为主的运维方式已难以应对海量指标并发波动及跨节点隐性关联异常,亟需构建能够融合多维运行参数、拓扑依赖关系及算力资源动态特性的智能化异常识别方案。
2、目前业界主流方案普遍采用基于时序数据库的监控系统,将各设备中央处理单元利用率、内存占用率、网络吞吐量等指标按固定周期采集后存入时间序列数据库,并在其上部署若干独立运行的异常检测算法。这些算法多基于统计过程控制或孤立森林等机器学习模型,对每个设备或每个参数单独计算偏离程度,当偏离程度超过预先设定的静态或动态阈值时触发告警。部分较为先进的方案引入简单因果推断或关联规则挖掘,试图在告警爆发后通过人工标注的故障传播规则库定位疑似根因设备,并将诊断结果推送至运维人员处进行人工复核确认。
3、现有技术存在两个方面缺点,其一,现有方案对各设备多维参数的处理相互割裂,缺乏对跨节点态势联动变化的整体性度量,导致在集群整体算力分布发生协同偏移时无法有效识别异常,容易漏报涉及多节点联合作用的故障前兆。其二,故障根因定位依赖于预设的静态传播规则库,当集群拓扑发生动态调整或故障传播路径因负载变化而改变时,规则库无法自适应更新,致使诊断结果严重滞后于实际故障传播进程,大幅延长了异常恢复时间。
技术实现思路
1、为了克服现有技术存在的缺点与不足,本发明提供一种面向数据中心运维的设备异常智能识别方法。
2、本发明所采用的技术方案是,一种面向数据中心运维的设备异常智能识别方法,包括以下步骤:s1,采集数据中心运维设备的多维运行参数与算力资源占用率,依据参数时序波动幅度划定初筛异常窗口;s2,基于跨节点态势联动感知模型,将各节点参数序列映射为态势特征张量,并利用节点间参数协动性计算全局态势偏离度;s3,执行拓扑依赖故障传播算法,依据设备拓扑连接关系构建故障传播有向边,沿有向边逐级追溯根因节点并量化各级故障注入量;s4,调用算力资源畸变多尺度检测函数,在多个时间尺度下对算力资源占用序列执行畸变程度度量,输出各尺度畸变标志位;s5,将全局态势偏离度、各级故障注入量及畸变标志位输入算力集群故障智能诊断平台,通过平台内置的故障树匹配规则确定候选故障类型;s6,以候选故障类型为索引,反向校验初筛异常窗口内各参数的统计离群程度,判定异常事件是否成立。
3、进一步地,所述跨节点态势联动感知模型表示为:,其中为当前评估时刻,为历史时间窗口长度,为t时刻所有节点的参数状态矩阵,为状态矩阵的空间梯度,为frobenius范数,为历史累积态势活跃度;,其中为节点总数,为节点索引,为节点的响应衰减系数,为节点的历史累积态势活跃度分量,为节点;态势活跃度对时间的偏导数,为全局态势联动均衡度。
4、进一步地,所述拓扑依赖故障传播算法表示为:,其中为当前受评价节点的编号,为向节点提供直接依赖输入的上游节点集合,为上游节点编号,为从节点k到节点j的传播衰减系数,为节点k在延迟后的残留故障强度,为节点j在t时刻接收到的累积故障注入量;,其中为节点j在t时刻的实时残留故障强度,为节点j在t时刻的自发故障基值,为积分时间变量,为节点j的故障累积增益系数,为节点j的故障消散速率系数。
5、进一步地,所述算力资源畸变多尺度检测函数表示为:,其中为尺度层级索引,为当前尺度下的差分段数,为差分段序号,为第m尺度的间隔步长,为算力资源占用序列在时刻处的取值,为第m尺度下以为中心的局部标准差,为正则化常数,为第m尺度下的畸变检测量。
6、进一步地,所述s1中采集的多维运行参数包括中央处理单元利用率、内存读写吞吐率、磁盘输入输出等待时长、网络接口丢包重传率、温度传感器读数及风扇转速反馈值,参数按固定采样间隔获取,采样间隔取值范围为1秒至5秒;s1中划定初筛异常窗口时,逐参数计算当前采样值相对于前序滑动窗口内均值的偏差倍数,滑动窗口长度为60个采样点,当任一参数的偏差倍数超过预设动态阈值时标记当前采样时刻所属的滑动窗口为初筛异常窗口,其中预设动态阈值依据过去24小时内该参数的偏差倍数分布的上四分位数与中位数的差值乘以可调系数确定,可调系数取值介于3至5之间。
7、进一步地,所述s2包括:s21,对每个节点,将步骤s1采集的多维运行参数排列为局部特征行向量,并将算力资源占用率作为附加维度并入行向量尾部;s22,将所有节点的局部特征行向量按节点编号纵向堆叠为原始特征矩阵,对该原始特征矩阵执行空间梯度运算,获得空间梯度矩阵;s23,将空间梯度矩阵中各元素的平方和作为该时刻的空间梯度模方,在历史时间窗口内对空间梯度模方执行时间积分,得到历史累积态势活跃度;s24,将各节点的历史累积态势活跃度分量对时间求偏导后经指数加权与连乘运算,获得全局态势联动均衡度。
8、进一步地,所述s3包括:s31,依据数据中心设备间物理连接和逻辑依赖关系建立拓扑有向图,拓扑有向图中有向边由上游依赖节点指向下游受依赖节点;s32,对每条有向边赋予传播衰减系数及传播延迟参数,传播衰减系数依据两端节点间的物理距离和带宽占用率动态调整;s33,针对当前受评价节点,累加所有上游依赖节点经延迟后的残留故障强度与对应传播衰减系数的乘积,作为当前节点的累积故障注入量;s34,将当前节点的自发故障基值与累积故障注入量经故障累积增益系数放大后,再减去故障消散速率系数与实时残留故障强度的乘积,对该差值在时间域上积分,得到更新后的实时残留故障强度。
9、进一步地,所述s4包括:s41,设定多个时间尺度层级,每个尺度层级对应不同的间隔步长,间隔步长随尺度层级增大而递增;s42,对当前尺度层级,依据间隔步长将算力资源占用序列划分为多个差分区间,每个差分区间包括两个相隔该间隔步长的采样点;s43,计算每个差分区间两端采样点的绝对差值,并将该绝对差值除以当前尺度层级下以当前时刻为中心的局部标准差与正则化常数之和,得到每个差分区间的归一化差分值;s44,将当前尺度层级下所有差分区间的归一化差分值执行连乘运算,得到该尺度层级下的畸变检测量。
10、进一步地,所述s5包括:s51,将全局态势偏离度、各级故障注入量及畸变标志位组合为多维证据向量,并将该多维证据向量输入算力集群故障智能诊断平台的前端接口;s52,平台将多维证据向量与内置故障树中各个叶节点对应的证据区间进行匹配,计算多维证据向量落入各叶节点证据区间的隶属度;s53,对隶属度超过预设接纳阈值的叶节点,沿故障树向上溯源至中间节点,并依据中间节点的逻辑门类型汇总各叶节点的隶属度;s54,将汇总后隶属度最高的中间节点对应的故障类型输出为候选故障类型。
11、一种面向数据中心运维的设备异常智能识别方法,该方法通过一种面向数据中心运维的设备异常智能识别系统实现,包括:异构参数同步采集单元,用于以统一时钟基准同步采集各设备的多维运行参数与算力资源占用率并暂存于循环缓存区;时空态势特征张量构造单元,输入端连接所述异构参数同步采集单元的输出端,用于将各节点的参数序列映射为态势特征张量并计算全局态势偏离度;拓扑依赖递推追溯单元,输入端分别连接所述异构参数同步采集单元的输出端与所述时空态势特征张量构造单元的输出端,用于沿设备拓扑依赖关系递推计算各节点的累积故障注入量并追溯根因节点;多尺度畸变并行检测单元,输入端连接所述异构参数同步采集单元的输出端,用于在多个时间尺度下并行计算算力资源占用序列的畸变检测量并输出各尺度畸变标志位;故障树匹配裁决单元,输入端同时连接所述时空态势特征张量构造单元、所述拓扑依赖递推追溯单元及所述多尺度畸变并行检测单元的输出端,用于根据证据匹配规则裁决候选故障类型;反向校验确认单元,输入端连接所述故障树匹配裁决单元的输出端,用于依据候选故障类型反向校验初筛异常窗口内的统计离群程度并输出最终异常识别结果。
12、有益效果:本发明提出一种面向数据中心运维的设备异常智能识别方法,通过跨节点态势联动感知模型对集群内所有设备的参数状态矩阵执行空间梯度运算与时域积分,生成表征全局协同态势偏移的偏离度指标,使多节点联合作用下的隐性异常前兆能够被整体捕捉,解决了现有技术因参数处理相互割裂而漏报集群协同偏移异常的缺陷,提升了异常前兆的早期检出能力。同时,本发明通过拓扑依赖故障传播算法,依据设备间物理连接与逻辑依赖关系动态维护有向图,并对每条传播边赋予随负载及距离自适应调整的衰减系数与延迟参数,通过累加上游残留故障强度并执行时间域积分来实时更新各级故障注入量,使得故障传播路径能够随集群拓扑和负载变化动态演进,不再依赖静态规则库,提高了根因追溯的时效性与准确性。本发明引入算力资源畸变多尺度检测函数,在不同时间尺度下对资源占用序列执行分段差分与局部标准差归一化连乘运算,输出各尺度畸变标志位,进一步丰富了异常判据的多样性,结合算力集群故障智能诊断平台的多证据融合匹配与反向校验机制,降低了误报率并缩短了异常恢复周期。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com