基于频域分块与通道融合的资源异常检测方法及系统
本技术涉及计算机,更具体地,涉及基于频域分块与通道融合的资源异常检测方法及系统。
背景技术:
1、随着云计算、大数据与物联网技术的飞速发展,现代信息系统规模呈指数级增长,服务器集群、工业控制系统及金融交易平台产生的多变量时间序列资源指标数据量愈发庞大。在此背景下,及时、精准地检测出服务器故障征兆,对于保障业务连续性、降低运维成本具有重要意义。时间序列异常检测技术因具备强大的特征提取与非线性拟合能力,已成为智能运维领域的核心研究与应用方向,并在学术界和工业界得到了广泛关注。
2、然而,现有的多变量时间序列异常检测方法在实际应用中仍面临诸多挑战。具体而言,其一,现有频域检测方法多采用全局统一的粗粒度建模,忽略了频域长尾分布特性,极易导致高频细粒度异常特征丢失;其二,通道处理策略呈现极化现象,通道独立策略忽略指标间关联性导致模型容量不足,通道依赖策略则引入无关通道噪声导致鲁棒性下降;其三,现有方案难以兼顾点异常与子序列异常的同步检测,漏报与误报问题频发;其四,大多数学术模型缺乏从数据采集、模型训练到实时推理的完整工程化闭环,且极少针对国产ai加速硬件进行深度适配,无法满足信创环境下的实际部署与高效运维需求。
技术实现思路
1、针对现有技术的至少一个缺陷或改进需求,本技术提供了基于频域分块与通道融合的资源异常检测方法及系统,能够解决上述背景技术中存在的问题至少其中之一。
2、为实现上述目的,按照本技术的第一个方面,提供了基于频域分块与通道融合的资源异常检测方法,该方法包括:
3、采集多通道资源指标时序数据,对所述时序数据进行预处理,得到标准化窗口数据;
4、对所述标准化窗口数据进行快速傅里叶变换,得到包含实部特征与虚部特征的频域数据;
5、计算所述频域数据的能量熵,基于所述能量熵将频域划分为低频稳态区域、中频过渡区域和高频波动区域,针对不同区域采用差异化分块尺寸与滑动步长进行分块,将各区域的实部特征块与虚部特征块拼接,得到多尺度融合频域特征块;
6、提取所述多尺度融合频域特征块的幅值相关性特征与时序变化斜率特征,对二者进行加权融合后通过重参数化操作生成二进制关联掩码矩阵;
7、基于所述二进制关联掩码矩阵对所述多尺度融合频域特征块执行掩码约束的注意力计算,得到通道融合特征,对所述通道融合特征进行频域重建后得到频域重建数据,对所述频域重建数据通过逆快速傅里叶变换得到重建时域数据;
8、计算所述重建时域数据与所述标准化窗口数据的时域偏差、所述频域重建数据与原始频域数据的频域偏差、以及原始通道与重建通道的关联偏差,对三种偏差进行加权求和得到三维异常系数,基于所述三维异常系数判断资源状态是否异常。
9、进一步地,上述基于频域分块与通道融合的资源异常检测方法,所述预处理步骤具体包括:
10、对所述多通道资源指标时序数据依次执行缺失值填充,对物理范围异常值截断及去重操作;
11、对每个滑动窗口内的数据执行实例归一化。
12、进一步地,上述基于频域分块与通道融合的资源异常检测方法,所述差异化分块步骤中,所述低频稳态区域采用最大分块尺寸与最大滑动步长;
13、所述中频过渡区域采用中等分块尺寸与中等滑动步长;
14、所述高频波动区域采用最小分块尺寸与最小滑动步长。
15、进一步地,上述基于频域分块与通道融合的资源异常检测方法,所述二进制关联掩码矩阵中,对其中强关联通道对应的权重值进行强化,对其中弱关联通道对应的权重值进行置零。
16、进一步地,上述基于频域分块与通道融合的资源异常检测方法,所述掩码约束的注意力计算步骤中,对所述二进制关联掩码矩阵中权重非零的通道对执行注意力加权计算,对远距离弱关联通道的注意力权重施加衰减系数。
17、进一步地,上述基于频域分块与通道融合的资源异常检测方法,还包括模型训练步骤:
18、构建包含重建损失、聚类损失、稀疏正则化损失、频带平衡损失及空间关联损失的总损失函数;
19、采用外层更新掩码生成参数、中层更新通道融合参数、内层更新重建参数的三层循环方式对模型进行联合优化。
20、进一步地,上述基于频域分块与通道融合的资源异常检测方法,还包括增量更新步骤:
21、收集运维人员对告警结果的标注数据,结合新增的正常时序数据,对训练完成的模型进行增量训练;
22、将更新后的模型转换为适配神经网络处理器的离线模型格式进行部署。
23、按照本技术的第二个方面,还提供了基于频域分块与通道融合的资源异常检测系统,包括:
24、数据采集与预处理模块,用于采集多通道资源指标时序数据,对所述时序数据进行预处理,得到标准化窗口数据;
25、向前处理模块,用于对所述标准化窗口数据进行快速傅里叶变换,得到包含实部特征与虚部特征的频域数据;
26、通道融合模块,用于计算所述频域数据的能量熵,基于所述能量熵将频域划分为低频稳态区域、中频过渡区域和高频波动区域,针对不同区域采用差异化分块尺寸与滑动步长进行分块,将各区域的实部特征块与虚部特征块拼接,得到多尺度融合频域特征块;
27、矩阵生成模块,用于提取所述多尺度融合频域特征块的幅值相关性特征与时序变化斜率特征,对二者进行加权融合后通过重参数化操作生成二进制关联掩码矩阵;
28、时频重建模块,用于基于所述二进制关联掩码矩阵对所述多尺度融合频域特征块执行掩码约束的注意力计算,得到通道融合特征,对所述通道融合特征进行频域重建后得到频域重建数据,对所述频域重建数据通过逆快速傅里叶变换得到重建时域数据;
29、异常检测模块,用于计算所述重建时域数据与所述标准化窗口数据的时域偏差、所述频域重建数据与原始频域数据的频域偏差、以及原始通道与重建通道的关联偏差,对三种偏差进行加权求和得到三维异常系数,基于所述三维异常系数判断资源状态是否异常。
30、按照本技术的第三个方面,还提供了一种基于频域分块与通道融合的资源异常检测设备,其包括至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述计算机程序被所述处理单元执行时,使得所述处理单元执行上述任一项所述方法的步骤。
31、按照本技术的第四个方面,还提供了一种存储介质,其存储有可由基于频域分块与通道融合的资源异常检测设备执行的计算机程序,当所述计算机程序在基于频域分块与通道融合的资源异常检测设备上运行时,使得所述基于频域分块与通道融合的资源异常检测设备执行上述任一项所述方法的步骤。
32、总体而言,通过本技术所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
33、本技术实施例提供的基于频域分块与通道融合的资源异常检测方法,通过采用实例归一化消除多指标量纲差异,利用基于能量熵的自适应多尺度频域分块策略精准捕获高低频特征,并结合幅值与斜率双维度动态生成通道掩码以屏蔽无关噪声,在执行掩码约束的注意力融合后,通过时域、频域及通道关联三维度的偏差加权计算异常评分,能够同时精准识别点异常与各类子序列异常,在平衡模型容量与鲁棒性的基础上,大幅提升异常检测的准确率并降低误报率,同时依托完整的工程化闭环与硬件适配能力,满足实际生产环境中的信创部署与持续运维需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com