基于Webhook注入的算力资源用量异常检测方法及系统与流程

摘要: 本申请涉及信息,具体涉及一种基于webhook注入的算力资源用量异常检测方法及系统。背景技术:1、随着人工智能、大数据分析和高性能计算等领域的快速发展,算力加速...
基于Webhook注入的算力资源用量异常检测方法及系统与流程

本申请涉及信息,具体涉及一种基于webhook注入的算力资源用量异常检测方法及系统。

背景技术:

1、随着人工智能、大数据分析和高性能计算等领域的快速发展,算力加速器(如gpu、npu等)已成为云原生容器平台中承载计算密集型工作负载的核心资源。kubernetes作为主流的容器编排平台,被广泛用于调度和管理gpu等异构算力资源。然而,算力资源的高价值与稀缺性使得其用量异常检测成为保障系统稳定性、资源利用效率和运维安全的关键环节。

2、在kubernetes等容器编排平台中,工作负载对象的创建和更新过程中往往缺乏统一的监控描述符注入手段。虽有基于mutating admission webhook实现探针或配置注入的方案,也有通过资源注解webhook为容器添加资源需求注解的做法,但这些方案主要服务于可观测性探针部署或资源策略插件的需求,并未形成面向算力资源异常检测全流程的、包含工作负载引用、容器引用、设备类型及资源请求向量等信息的监控描述符体系,也缺乏将监控描述符与实际资源分配结果进行绑定的机制。

3、另一方面,针对算力加速器特有的资源类型(如设备内存使用量、设备带宽使用量、设备核心利用率、设备内核连续执行时间等),以及容器与物理设备之间的映射一致性、同一物理设备上容器间的共享竞争等场景,现有技术缺乏系统性的多维度异常检测方案。

4、因此,需要继续研究算力资源用量异常检测的技术。

技术实现思路

1、本说明书多个实施例描述了一种基于webhook注入的算力资源用量异常检测方法及系统。

2、第一方面,本说明书实施例提供了一种基于webhook注入的算力资源用量异常检测方法,包括以下步骤:

3、接收工作负载对象创建或更新请求,生成监控描述符,并注入所述工作负载对象;

4、在工作负载对象的容器调度及设备分配完成后,读取实际资源分配信息,将所述监控描述符与容器的实际资源分配信息绑定,形成分配绑定记录;

5、按采样周期采集算力加速器的实时资源用量指标值及其有效性标识,归一化后转换为统一资源用量样本;

6、将纳入检测的容器的运行阶段划分为启动期、稳定期或结束期,并识别容器的当前运行阶段,在启动期积累统一用量样本并建立基线,在稳定期动态更新基线,结束期冻结基线更新;

7、在所述容器运行过程中,按采样周期根据预设的多维度计算模板、所述基线及采集到的统一资源用量样本,计算每个维度的异常度,并按预设权重策略将所述异常度融合获得综合异常度;

8、根据异常度计算采样周期内的统一用量样本数量和实时资源用量指标值有效性比例,计算置信度;

9、根据所述综合异常度及所述置信度,判断异常等级,根据所述异常等级执行预设的分级反馈指令。

10、第二方面,本说明书实施例提供了一种基于webhook注入的算力资源用量异常检测系统,包括:

11、接收模块,接收工作负载对象创建或更新请求,生成监控描述符,并注入所述工作负载对象;

12、绑定模块,在工作负载对象的容器调度及设备分配完成后,读取实际资源分配信息,将所述监控描述符与容器的实际资源分配信息绑定,形成分配绑定记录;

13、采样模块,按采样周期采集算力加速器的实时资源用量指标值及其有效性标识,归一化后转换为统一资源用量样本;

14、划分模块,将纳入检测的容器的运行阶段划分为启动期、稳定期或结束期,并识别容器的当前运行阶段,在启动期积累统一用量样本并建立基线,在稳定期动态更新基线,结束期冻结基线更新;

15、计算模块,在所述容器运行过程中,按采样周期根据预设的多维度计算模板、所述基线及采集到的统一资源用量样本,计算每个维度的异常度,并按预设权重策略将所述异常度融合获得综合异常度;

16、调整模块,根据异常度计算采样周期内的统一用量样本数量和实时资源用量指标值有效性比例,计算置信度;

17、判断模块,根据所述综合异常度及所述置信度,判断异常等级,根据所述异常等级执行预设的分级反馈指令。

18、本说明书一些实施例提供的技术方案带来的有益效果至少包括:

19、将监控描述符与实际资源分配信息绑定形成分配绑定记录,使得监控描述符能够伴随工作负载对象的完整生命周期,有效避免了监控信息与容器实际运行环境脱节的问题。

20、通过阶段化的基线管理策略,有效避免了启动期因冷启动导致的资源用量剧烈波动对基线准确性的干扰,也避免了结束期资源释放导致的异常误报。

21、采用长时间窗在线基线,在保证基线能够跟随容器正常行为模式漂移的同时,避免异常行为本身污染基线,提高了检测的鲁棒性。

22、提出了多维度异常检测,为每个维度设计了明确的异常条件及相应的异常度量化方法,并将置信度与综合异常度结合,有效弥补了现有技术中检测结论缺乏可信度评估的不足,提高了异常检测结果在实际运维决策中的可靠性。

23、设置了与异常等级对应的一级反馈、二级反馈和三级反馈指令,分级反馈体系使得运维人员能够根据异常严重程度采取梯次化的应对策略。

24、本说明书多个实施例的其他特点和优点将会在下面的具体实施方式、附图中进一步揭示。

1.基于webhook注入的算力资源用量异常检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

3.根据权利要求1所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

4.根据权利要求1所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

5.根据权利要求4所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

6.根据权利要求4所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

7.根据权利要求1所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

8.根据权利要求6所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

9.根据权利要求1所述的基于webhook注入的算力资源用量异常检测方法,其特征在于,

10.基于webhook注入的算力资源用量异常检测系统,其特征在于,包括: