一种应用于智能机房后期维护过程监测系统及方法与流程
本发明涉及机房智能化运维监测,具体是一种应用于智能机房后期维护过程监测系统及方法。
背景技术:
1、随着数据中心规模化发展与智能机房运维要求的持续提高,机房后期维护监测在现代化机房运营中的应用愈加广泛,作为机房运维的核心环节,维护过程监测的实时性、精准性及预警能力直接影响机房运行稳定性、能耗效率与设备使用寿命。
2、然而,传统机房后期维护监测方式在应对海量时序数据处理、多维度参数分析及异常风险识别时,往往面临以下问题:首先,监测效率低,数据量级庞大,人工巡检耗时耗力,机房实时产生设备功率、cpu占用率、温湿度、pue值等大量时序数据,传统维护依赖人工核对与离线统计,面对海量数据易出现监测不及时,业务高峰期人工处理速度慢、易疏漏,导致维护监测质量下降,严重时可能引发设备故障与能耗异常;其次,监测过程缺乏智能化手段,难以发现复杂异常问题,传统监测多对单参数做阈值核对,主要依赖人工经验判断,无法快速识别潜在联动异常,随着机房设备与环境参数复杂化,多维度参数交叉关联增多,传统方法无法从数据关联中挖掘隐藏风险,应对异常传导等问题效能有限。
技术实现思路
1、本发明的目的在于提供一种应用于智能机房后期维护过程监测系统及方法,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:一种应用于智能机房后期维护过程监测方法,该方法包括以下步骤:
3、采集智能机房时间序列数据,提取每个采样时刻的特征向量,并在固定宽度的滑动窗口内计算窗口统计特征;
4、基于窗口统计特征标记可疑窗口,将连续的可疑窗口合并为异常候选片段,并提取其动态偏离特征;
5、将异常候选片段的动态偏离特征与窗口统计特征拼接为聚类特征向量,对相似异常候选片段聚类为同一异常类型并生成标签,提取每个异常类型的公共特征模式;
6、基于聚类得到的异常类型构建历史异常事件序列,统计一类异常发生后指定窗口内另一类异常出现的次数,筛选出次数大于预设次数阈值的组合作为频繁模式,并获取每个频繁模式对应的发生频率及平均时间间隔;当实时检测到某类异常且尚未结束时,计算风险系数,若所述风险系数大于或等于设定的风险阈值时,则触发维护异常预警。
7、采集智能机房时间序列数据,提取每个采样时刻的特征向量,并在固定宽度的滑动窗口内计算窗口统计特征,具体步骤包括:
8、采集智能机房后期维护全流程时间序列数据,对所述时间序列数据进行时间戳对齐,提取每个采样时刻的特征向量,包括设备功率、cpu占用率、风扇转速、pue值、温度、设备标识、设备类型和功率变化率,所述温度数据包括设备内部温度、机柜进风口温度和/或机柜出风口温度;
9、采用固定宽度的滑动窗口,在每个窗口内计算窗口统计特征,所述窗口统计特征包括窗口内数据的均值、标准差、窗口内超过预设预警阈值的时间占比、同一机柜进风口与出风口的温度梯度,以及当前窗口与前一个窗口的均值变化量,所述预设预警阈值可设定为设备正常运行参数范围上限的80%,或根据历史数据的分位数确定,可选为第90百分位数作为预设预警阈值的默认值,固定宽度的滑动窗口可选为5分钟。
10、基于窗口统计特征标记可疑窗口,将连续的可疑窗口合并为异常候选片段,并提取其动态偏离特征,具体步骤包括:
11、基于所述窗口统计特征采用离群点检测算法标记出可疑窗口,将时间上连续的可疑窗口合并为一个可疑窗口序列,每一个所述可疑窗口序列对应形成一个异常候选片段,对所述异常候选片段提取动态偏离特征,所述动态偏离特征包括片段内参数最大值与历史基线均值的比值、持续时间、是否自动恢复、片段内同时偏离的参数个数;
12、采用离群点检测算法标记出可疑窗口,具体步骤包括:
13、设共有n个滑动窗口,每个窗口提取m个统计特征,将所有窗口的统计特征向量按时间顺序排列,形成特征矩阵x=[x1,x2,…,xi,...,xn]t;其中,xi表示第i个窗口的特征向量;
14、对于每个窗口的特征向量xi,确定其k-近邻集合,计算xi与所有其他窗口特征向量xj的欧氏距离,取距离最小的k个窗口作为xi的k-近邻,计算xi的局部可达密度lrd,其中,k取值为10,j≠i;
15、特征向量xi的局部可达密度lrd的定义如下所示:
16、;
17、其中,dk(xi,xj)=max(k1(xj),k2(xi,xj)),k1(xj)表示从xj出发,到其第k个最近邻窗口特征向量之间的欧氏距离,k2(xi,xj)表示xi与xj之间的欧氏距离,nk(xi)表示距离xi最近的k个xj所构成的集合;
18、计算局部异常因子lof(xi),定义如下所示:
19、;
20、将所有窗口的lof值按降序排列,取第95百分位数作为离群阈值θ;若某窗口的lof(xi)>θ,则标记所述窗口为可疑窗口;
21、遍历所有窗口,将时间上连续的可疑窗口合并为一个异常候选片段,并记录所述片段的起始窗口编号、结束窗口编号及总窗口数。
22、将异常候选片段的动态偏离特征与窗口统计特征拼接为聚类特征向量,对相似异常候选片段聚类为同一异常类型并生成标签,提取每个异常类型的公共特征模式,具体步骤包括:
23、将每一个异常候选片段对应的动态偏离特征与窗口统计特征拼接为所述片段的聚类特征向量;
24、统计所有历史异常候选片段在每个聚类特征维度上的最小值和最大值,对每个片段的聚类特征向量进行最小-最大归一化,得到归一化后的特征向量;
25、定义任意两个归一化后的特征向量vi和vj之间的欧氏距离d(vi,vj)为:
26、;
27、其中,m表示动态偏离特征个数与窗口统计特征个数之和,vik表示vi在第k个维度上的取值,vjk表示vj在第k个维度上的取值;
28、计算所有历史异常候选片段归一化后向量两两之间的欧氏距离,得到距离集合,选取所述集合的第p百分位数作为预设的距离阈值σ,p可选为20;
29、构建一个无向图,节点为所有归一化向量,若d(vi,vj)≤σ,则在对应节点之间添加边,计算图的连通分量,每个连通分量内的所有片段归为同一异常类型,并为每个异常类型生成唯一的异常标签;
30、对每一异常类型的异常候选片段,基于其所有异常候选片段提取公共特征模式,包括触发条件、持续时长中位数和建议维护动作;
31、触发条件通过统计所述异常类型下所有异常候选片段中出现频率最高的动态偏离特征,将其作为触发特征;取所述异常类型下所有片段中所述触发特征数值的最小值,作为触发阈值;当实时监测过程中,计算当前数据窗口内对应参数的最大值与历史基线均值的比值,若所述比值超过所述触发阈值,则判定触发所述异常类型;
32、持续时长中位数通过统计所述异常类型下所有片段的持续时间,取中位数;
33、根据所述异常类型下所有异常候选片段中同时偏离的参数个数,选择其中出现频率最高的数值,并结合各片段对应的设备标识及设备类型,确定受影响的维护要素集合,基于所述集合预设建议维护动作;所述受影响的维护要素集合包括设备功率、cpu占用率、风扇转速、温度、pue瞬时值;预设建议维护动作包括检查空调系统、清理滤网、重启设备、调整负载分配。
34、基于聚类得到的异常类型构建历史异常事件序列,统计一类异常发生后指定窗口内另一类异常出现的次数,筛选出次数大于预设次数阈值的组合作为频繁模式,并获取每个频繁模式对应的发生频率及平均时间间隔;当实时检测到某类异常且尚未结束时,计算风险系数,若所述风险系数大于或等于设定的风险阈值时,则触发维护异常预警,具体步骤包括:
35、对聚类得到的异常类型,按各异常事件的发生开始时间先后顺序排列,构建历史异常事件序列;采用基于滑动时间窗口的计数方法,对历史异常事件序列进行遍历,统计每一异常类型a发生后指定时间窗口内出现异常类型b的次数,筛选出次数大于预设次数阈值的组合,作为频繁模式,每一频繁模式记为异常类型a指向异常类型b,表示在指定时间窗口内,异常类型a发生后紧接着出现异常类型b;所述指定时间窗口可选为5分钟,预设次数阈值可选为3;
36、记录历史数据中异常类型a发生的总次数y1,以及异常类型a发生后窗口内b发生的次数y2;
37、计算频繁系数y,y=y2/y1;
38、针对每一频繁模式,统计所有异常类型a发生后窗口内异常类型b出现的时间间隔,计算其平均值δt和标准差;
39、当实时检测到异常类型a时且a尚未结束,获取其当前持续时间da和从开始到当前时刻的已持续时间ta、频繁系数y,以及该异常类型的历史持续时长中位数da,计算第一系数g1和风险系数r;
40、第一系数g1定义如下所示:g1=da/da;
41、其中,da表示当前异常类型a的持续时间,da表示所述异常类型的历史持续时长中位数;
42、风险系数r定义如下所示:r=y×ta/δt×g1;
43、其中,ta表示从异常类型a开始时刻到当前时刻的已持续时间,δt表示历史中异常类型a指向异常类型b的平均时间间隔;
44、基于历史风险系数的统计分布,取预设的百分位数作为风险阈值,可选为第90百分位数作为风险阈值;
45、实时计算当前异常对应的风险系数,若所述风险系数大于或等于所设定的风险阈值时,则触发维护异常预警。
46、一种应用于智能机房后期维护过程监测系统,该系统包括:
47、数据采集模块、异常检测模块、聚类分析模块和风险预警模块;所述数据采集模块的输出端连接所述异常检测模块的输入端;所述异常检测模块的输出端连接所述聚类分析模块的输入端;所述聚类分析模块的输出端连接所述风险预警模块的输入端。
48、所述数据采集模块包括时序采集单元、特征提取单元、统计计算单元;
49、所述时序采集单元用于采集机房时序数据;所述特征提取单元用于提取采样点特征向量;所述统计计算单元用于计算窗口统计特征。
50、所述异常检测模块包括可疑标记单元、片段合并单元、偏离提取单元;
51、所述可疑标记单元用于标记离群可疑窗口;所述片段合并单元用于合并连续可疑窗口;所述偏离提取单元用于提取片段动态特征。
52、所述聚类分析模块包括特征拼接单元、聚类分类单元、模式提取单元;
53、所述特征拼接单元用于拼接聚类特征向量;所述聚类分类单元用于划分异常类型;所述模式提取单元用于提取异常公共模式。
54、所述风险预警模块包括模式挖掘单元、系数计算单元、预警触发单元;
55、所述模式挖掘单元用于筛选异常频繁模式;所述系数计算单元用于计算异常风险系数;所述预警触发单元用于达标触发维护预警。
56、与现有技术相比,本发明的有益效果是:
57、1、通过动态分析机房时序数据的变化趋势,结合设备功率、温度、pue、cpu占用率等多个运维维度,通过提取统计特征与动态偏离特征,识别潜在的维护异常;
58、2、本发明引入了智能化的风险预警模块,结合异常频繁模式与历史持续时长,动态计算风险系数并触发预警,与现有技术中静态的阈值预警不同,本发明能够根据异常实时状态与关联规律,触发维护提示。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com