一种面向异构算力集群的容器自动扩缩容方法及系统与流程

本发明属于云计算与容器编排，具体为一种面向异构算力集群的容器自动扩缩容方法及系统。

背景技术：

1、在当前的云原生容器编排技术中，kubernetes等编排平台已广泛应用于容器化应用的自动化部署和管理。自动扩缩容机制是保障业务负载稳定运行的核心功能之一。随着国产化算力基础设施的推进，基于arm架构通用处理器与ai加速卡构成的异构算力集群逐步成为航天科研、高性能计算及大规模仿真等关键任务场景的计算底座，对容器资源的动态调度和精细化管控提出了更高要求。

2、现有自动扩缩容技术主要基于阈值的被动响应策略，通过采集容器的cpu或内存利用率指标，当超过预设阈值时触发扩容、低于阈值时触发缩容。该机制在国产异构算力集群环境下存在三方面缺陷：一是调度滞后性，采用“后知后觉”的被动响应模式，当检测到负载过高并触发扩容时，业务往往已出现响应延迟或性能抖动，无法满足对实时性和稳定性的严苛要求。二是算力评估失准，在由不同型号国产arm处理器组成的异构集群中，简单的利用率指标无法准确反映实际算力消耗，不同核心的微架构差异导致计算能力不一，现有技术缺乏对异构硬件特性的感知，可能出现高性能核心处理低负载任务而低性能核心过载的“算力错配”现象。三是资源隔离性差，现有资源隔离机制多基于cgroups v1实现，其在资源分配的精度和硬隔离能力方面存在局限，在多任务并行的复杂场景下，突发高负载任务会抢占共享资源，影响关键业务容器的性能稳定性。

3、部分现有技术尝试引入简单的时序预测算法对业务流量进行预判，用于提前触发扩缩容操作。同时，部分方案采用cgroups v1对容器的cpu和内存资源进行限制，以实现一定程度的资源隔离。此外，kubernetes原生hpa组件支持基于自定义指标进行扩缩容决策，允许用户扩展指标来源和判定逻辑。

4、现有引入时序预测的方案中，预测精度有限，且未能与底层异构算力的调度策略形成闭环联动，预测结果仅作为扩缩容触发条件，未与异构硬件的实际算力消耗评估相结合。基于cgroups v1的资源隔离机制在精度和硬隔离能力方面不足，无法有效抑制突发任务对关键业务的干扰。总体而言，现有技术缺乏一套将时序流量预测、异构算力标准化评估与内核级资源精细管控相结合的智能化扩缩容体系，难以在国产异构算力集群上实现从被动响应到主动预测、从粗放隔离到精细管控的完整闭环。

技术实现思路

1、本发明提供了一种面向异构算力集群的容器自动扩缩容方法及系统，解决了现有被动响应策略调度滞后，缺乏异构算力统一度量，资源隔离粗放的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种面向国产异构算力集群的容器自动扩缩容方法，包括以下步骤：

4、采集异构算力集群中容器的运行指标，所述运行指标包括cpu利用率、内存利用率、i/o指标、业务qps、响应延迟以及异构节点的算力密度指标；

5、将采集的历史运行指标输入lstm时序预测模型，预测未来时间段的负载变化趋势，得到负载预测曲线；

6、根据所述运行指标中的算力密度指标和所述负载预测曲线生成扩缩容决策；

7、判断是否触发扩缩容以及确定需要调整的容器副本数量，具体为：当预测负载在未来预设时间内超过当前容量的第一预设阈值时触发扩容，扩容数量根据预测负载与当前容量的差值确定，当预测负载持续预设时间低于当前容量的第二预设阈值时触发缩容，缩容数量根据业务依赖图谱与资源闲置率确定；

8、执行扩缩容操作，创建或销毁容器，并通过cgroups v2对容器资源进行细粒度管控。

9、优选地，所述算力密度指标的获取方式为：对异构算力集群中各节点的通用处理器和加速卡分别进行算力特征量化，将通用处理器和加速卡的实际算力输出值分别除以其对应的峰值参考算力，再分别乘以对应的权重系数后求和，得到标准化算力密度指标。

10、优选地，所述算力密度指标的计算公式为：

11、

12、其中，为当前时刻采集的通用计算单元实际算力输出值，为通用计算单元在标准基准测试下的峰值参考算力，为当前时刻采集的加速计算单元实际算力输出值，为加速计算单元在标准 ai 基准测试下的峰值参考算力，和分别为通用计算权重系数和 ai 推理权重系数。

13、优选地，所述权重系数根据任务类型动态调整：当任务为数据处理型任务时，设为高值、设为低值；当任务为ai推理型任务时，设为低值、设为高值；所述权重系数还通过任务优先级因子和功耗约束实时计算。

14、优选地，所述lstm时序预测模型中，输入历史24小时流量序列，输出未来15分钟至2小时的负载预测曲线；所述lstm时序预测模型采用多层lstm网络，引入注意力机制和dropout正则化，并通过增量学习机制适配新流量模式。

15、优选地，所述lstm时序预测模型的训练数据集通过采集平台预设时间段以上的历史流量数据构建，所述历史流量数据包含日常负载、任务切换和峰值场景，提取的特征包括时间戳、应用类型、qps、响应延迟和资源占用。

16、优选地，所述通过cgroups v2对容器资源进行细粒度管控包括：采用cgroups v2统一层级结构为不同优先级的应用构建独立资源子树；对通用处理器启用cgroups v2线程模式对容器内多线程任务进行独立资源控制；通过cgroups v2的io.max接口实现容器级i/o带宽控制；所述cgroups v2的资源配额根据算力密度指标动态映射生成。

17、优选地，所述执行扩缩容操作中，扩容时采用滚动更新策略，新容器就绪并完成业务接入后再销毁旧容器；缩容时先将任务迁移至其他异构节点再销毁容器。

18、优选地，所述算力密度指标中，当算力密度值大于第一过载阈值时判定为算力过载，当算力密度值小于第一闲置阈值时判定为算力闲置，据此触发容器副本调整或节点迁移。

19、一种面向国产异构算力集群的容器自动扩缩容系统，包括：

20、数据采集模块，用于采集异构算力集群中容器的运行指标；

21、流量预测模块，用于将采集的历史运行指标输入lstm时序预测模型，预测未来时间段的负载变化趋势，得到负载预测曲线；

22、决策生成模块，用于根据所述负载预测曲线和所述算力密度指标生成扩缩容决策；

23、判断计算模块，判断是否触发扩缩容以及确定需要调整的容器副本数量；

24、资源执行模块，用于执行扩缩容操作，创建或销毁容器，并通过cgroups v2对容器资源进行细粒度管控。

25、与现有技术相比，本发明具有以下有益效果：本发明提供了一种面向异构算力集群的容器自动扩缩容方法，先采集异构算力集群中容器的运行指标，通过lstm时序预测模型对未来负载趋势进行预测，根据算力密度指标和负载预测曲线共同生成扩缩容决策，算力密度指标将不同型号通用处理器和加速卡的实际算力输出值归一化为标准化密度，为扩缩容决策提供跨异构节点的统一评估依据，当预测负载超过容量阈值时触发扩容、持续低于阈值时触发缩容，使资源调整与业务需求精准匹配。最终通过cgroups v2实现容器资源的硬隔离与弹性控制，采用统一层级结构为不同优先级应用构建独立资源子树，解决了资源隔离粗放的问题。