基于粒度切分与容器感知的异构GPU集群调度方法及系统与流程

本公开的实施例涉及云计算资源管理，具体涉及基于粒度切分与容器感知的异构gpu集群调度方法及系统。

背景技术：

1、异构图形处理器（gpu）集群调度主要应用于大模型训练、ai在线推理、科学及工业仿真等场景，能够兼容集群内型号、算力、显存各不相同的gpu硬件，完成任务与硬件的适配管理，降低资源浪费。

2、目前，在异构gpu集群调度中，通常采用静态资源预留的调度方法，该方法在容器启动阶段就预先设定资源上限，对gpu进行整卡独占式分配，或是分配固定的gpu配额；其资源规格在容器的整个运行周期内保持固定，不会根据任务实际运行过程中的显存波动，动态调整物理资源映射关系。

3、随着大模型训练与高并发推理任务的部署，多租户任务对图形处理器显存的需求呈现强烈的动态波动，上述方法在异构gpu集群调度中，存在以下问题：

4、第一，按固定配额分配显存时，若容器发起突发显存申请，调度器无法及时响应，易导致物理显存耗尽并触发硬件溢出；

5、第二，在调度分配时缺乏对容器内核态分配意图的前馈感知，容易造成显存突发溢出，直接触发硬件崩溃，牵连同节点任务级联中断。

6、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了基于粒度切分与容器感知的异构gpu集群调度方法及系统，来解决以上背景技术部分提到的技术问题。

3、第一方面，本公开的一些实施例提供了基于粒度切分与容器感知的异构gpu集群调度方法，该方法包括：

4、获取集群中各计算节点的异构图形处理器中物理显存的设备信息；将每块物理显存切分为多个物理显存块，将物理显存块汇聚为资源池，并逐一标记物理显存块；设备信息包括：显存容量、显存带宽和总线拓扑属性；

5、响应于接收到目标容器发送的显存分配请求，解析目标容器携带的图形处理器的需求参数，计算得到显存需求瞬态差值，显存需求瞬态差值为目标容器瞬时显存偏离稳态的程度；

6、若显存需求瞬态差值低于预设平稳阈值时，触发第一阶配额仲裁，通过目标容器设置的基准粒度从资源池分配物理显存块；若显存需求瞬态差值不低于预设平稳阈值，且持续时间达到预设采样窗口时，触发第二阶自适应扩容仲裁，分配物理显存块；平稳阈值为判定目标容器显存需求平稳状态的限值；

7、控制计算节点为每个异构图形处理器预留一个安全缓冲显存，当资源池总分配配额达到预设安全警戒配额，且目标容器的显存需求瞬态差值超过预设平稳阈值时，将安全缓冲显存映射至目标容器；安全警戒配额为资源池的总资源占用告警门限；安全缓冲显存为在资源池中预先保留的用于应对任务瞬时显存突发的显存资源；

8、当目标容器在当前图形处理器上的物理显存耗尽且计算节点中不存在可分配的物理显存块时，将目标容器中预先标记的只读张量数据溢出至同节点的图形处理器的物理显存中，映射写时复制虚拟页表；目标容器对已溢出的只读张量数据发起写操作时，暂停目标容器的指令发送，将只读张量数据异步换回至图形处理器的物理显存块后，恢复指令发送，完成异构图形处理器集群调度。

9、第二方面，本公开的另一些实施例提供了基于粒度切分与容器感知的异构gpu集群调度系统，该系统包括：

10、异构gpu获取模块，获取集群中各计算节点的异构图形处理器中物理显存的设备信息；将每块物理显存切分为多个物理显存块，将物理显存块汇聚为资源池，并逐一标记物理显存块；设备信息包括：显存容量、显存带宽和总线拓扑属性；

11、容器化感知模块，响应于接收到目标容器发送的显存分配请求，解析目标容器携带的图形处理器的需求参数，计算得到显存需求瞬态差值，显存需求瞬态差值为目标容器瞬时显存偏离稳态的程度；

12、调度决策模块，若显存需求瞬态差值低于预设平稳阈值时，触发第一阶配额仲裁，通过目标容器设置的基准粒度从资源池分配物理显存块；若显存需求瞬态差值不低于预设平稳阈值，且持续时间达到预设采样窗口时，触发第二阶自适应扩容仲裁，进行分配物理显存块；平稳阈值为判定目标容器显存需求平稳状态的限值；

13、动态调整模块，控制计算节点为每个异构图形处理器预留一个安全缓冲显存，当资源池总分配配额达到预设安全警戒配额，且目标容器的显存需求瞬态差值超过预设平稳阈值时，将安全缓冲显存映射至目标容器；安全警戒配额为资源池的总资源占用告警门限；安全缓冲显存为在资源池中预先保留的用于应对任务瞬时显存突发的显存资源；

14、调度代理模块，当目标容器在当前图形处理器上的物理显存耗尽且计算节点中不存在可分配的物理显存块时，将目标容器中预先标记的只读张量数据溢出至同节点的图形处理器的物理显存中，映射写时复制虚拟页表；目标容器对已溢出的只读张量数据发起写操作时，暂停目标容器的指令发送，将只读张量数据异步换回至图形处理器的物理显存块后，恢复指令发送，完成异构gpu集群调度。

15、本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于粒度切分与容器感知的异构gpu集群调度方法及系统提升了对异构gpu集群资源分配的准确性与集群管理效率。具体来说，造成现有调度方法存在上述问题的原因是，现有调度方法缺乏感知目标容器需求以及精准调度的管理能力，致使调度容器无法及时响应，并且显存易突发溢出。基于此，本公开的一些实施例的基于粒度切分与容器感知的异构gpu集群调度方法及系统不仅能够智能感知容器需求，而且能够对集群资源精准分配，防止显存突发溢出，实现了对异构gpu集群资源的高效调度管理。

16、本公开的一些实施例，将物理显存切分为固定粒度的物理显存块，并汇聚为全局异构显存虚拟化的资源池，同时在容器运行时设置拦截以实时感知显存分配，该方法以显存需求瞬态差值作为驱动信号，实现自适应资源响应：当目标容器需求平稳时，按基准粒度进行分配；当需求突发增长时，则依据异构显存拓扑距离矩阵，从本机或拓扑邻近的异构图形处理器中动态追加物理显存块。本公开通过内核态实时感知与双阶配额仲裁的协同机制，显著提升了异构显存资源分配的响应效率，实现了基于容器感知的合理资源分配，并经两阶段容器分配策略，有效提高了异构显存资源的利用率和集群整体运行效能。

1.基于粒度切分与容器感知的异构gpu集群调度方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将每块所述物理显存切分为多个物理显存块，将所述物理显存块汇聚为资源池，包括：

3.根据权利要求1所述的方法，其特征在于，所述响应于接收到目标容器发送的显存分配请求，解析所述目标容器携带的图形处理器的需求参数，计算得到显存需求瞬态差值，包括：

4.根据权利要求3所述的方法，其特征在于，所述分别计算显存页表申请速率、显存锁定率和显存需求瞬态差值，包括：

5.根据权利要求1所述的方法，其特征在于，所述触发第二阶自适应扩容仲裁，进行分配物理显存块，包括：

6.根据权利要求5所述的方法，其特征在于，所述触发第二阶自适应扩容仲裁，进行分配物理显存块，还包括：

7.根据权利要求1所述的方法，其特征在于，所述控制所述计算节点为每个异构图形处理器预留一个安全缓冲显存；当所述资源池总分配配额达到预设安全警戒配额，且所述目标容器的显存需求瞬态差值超过预设平稳阈值时，将所述安全缓冲显存映射至所述目标容器，包括：

8.基于粒度切分与容器感知的异构gpu集群调度系统，应用于权利要求1至权利要求7之一所述的基于粒度切分与容器感知的异构gpu集群调度方法，其特征在于，包括：