基于多租户与资源池化的AI算力调度优化方法及系统与流程

本发明涉及电数字数据处理，尤其涉及基于多租户与资源池化的ai算力调度优化方法及系统。

背景技术：

1、随着多租户ai算力集群规模化部署，共享异构gpu资源池中分布式训练任务的通信拓扑约束与资源公平调度成为提升集群效率的关键难题。

2、现有的ai算力资源调度系统主要通过静态标签匹配或负载均衡的方式实现gpu资源分配，在多租户共享场景下无法同时兼顾资源成组可达性、拓扑感知调度与跨租户公平回收。

3、例如公告号为：cn109144710b的中国发明专利公开的资源调度方法、装置及计算机可读存储介质，包括：接收第一任务；利用第一任务的描述信息中的标签信息，确定需要请求gpu节点的资源；根据hadoop集群中各节点的节点标签及第一任务的gpu资源需求，从hadoop集群中选择出至少一个gpu节点；并将第一任务分配到相应的gpu节点中执行；节点标签表征对应节点为gpu节点或cpu节点。

4、例如公告号为：cn114356543b的中国发明专利公开的一种基于kubernetes的多租户机器学习任务资源调度方法，包括：对不同用户可使用的算力资源进行配额管理，同时监测kubernetes平台中各node节点资源状态信息，考虑节点所在宿主机的资源利用率的问题，避免出现调度结果不准确的问题，同时通过监测实时调度和预调度request需求信息，根据调度任务需求信息对各node节点进行优先级排序，获取最优节点的主机标签，根据标签对各类机器学习模型训练与预测任务的资源需求进行合理分配。

5、现有基于节点标签、资源配额、节点利用率和任务request需求的ai算力调度方法，虽能实现gpu节点筛选、多租户配额管理和节点负载均衡，但在多租户共享异构ai算力资源池的批处理任务场景中，难以准确反映分布式ai/hpc任务对资源规格、通信拓扑、同时启动和资源共享回收的技术要求，导致资源总量满足而任务无法稳定启动、租户资源数量公平但实际执行机会不公平、资源共享后回收范围不准确。

技术实现思路

1、为了解决现有技术存在的资源总量满足但任务难以稳定启动、资源共享后回收范围不精确的技术问题，本发明实施例提供了基于多租户与资源池化的ai算力调度优化方法及系统。技术方案如下：

2、一方面，提供了基于多租户与资源池化的ai算力调度优化方法，该方法包括：

3、记录各租户的资源状态、任务队列状态及资源池拓扑信息并维护各租户的已借出资源集合。

4、接收到待调度任务，根据任务提交信息生成任务需求规格，并根据资源池拓扑信息、资源状态记录及拓扑信息建立资源拓扑状态，形成可用资源集合和潜在可达资源集合。

5、根据任务需求规格在可用资源集合中搜索候选资源集合，当候选资源集合满足准入条件时，分别输出可同时启动资源集合或降级可同时启动资源集合中的一种或多种。

6、当可用资源集合无法形成可启动资源集合时，基于潜在可达资源集合判定资源不足状态、拓扑不可达状态或拓扑阻塞状态，并在判定为拓扑阻塞状态时确定关键资源位置集合。

7、当待调度任务处于拓扑阻塞状态，根据关键资源位置集合确定最小释放组合或者近似最小释放组合，筛选其中属于已借出资源集合或具有回收权限的候选回收单元，形成估计回收集合，并计算阻塞贡献值和修正占用量，调整租户任务队列的后续准入顺序。

8、根据待调度任务的拓扑阻塞等待时间、修正占用量以及恢复待调度任务所需的回收代价确定调度得分。

9、对调度得分达到预设调度触发阈值的待调度任务，以对应的估计回收集合作为候选回收范围计算借用资源归还敏感度，当调度得分达到预设调度触发阈值时，进入借用资源回收，否则，保持等待。

10、以对应的估计回收集合为候选范围，按归还敏感度由高到低，逐个回收未超过回收代价阈值且满足运行保护条件的候选回收单元。

11、每完成一次候选回收单元的回收操作后，当形成可同时启动资源集合或降级可同时启动资源集合时，停止后续回收操作。

12、回收完成后，更新资源拓扑状态并重新执行可启动资源集合判定。

13、当任务启动、运行结束、资源释放或租户统计窗口更新时，更新对应租户的原始资源占用量、阻塞贡献值、修正占用量、已借出资源集合和任务队列状态。

14、另一方面，提供了基于多租户与资源池化的ai算力调度优化系统，该系统包括：

15、资源初始化模块，用于记录各租户的资源状态、任务队列状态及资源池拓扑信息并维护各租户的已借出资源集合。

16、需求解析与拓扑构建模块，用于接收到待调度任务，根据任务提交信息生成任务需求规格，并根据资源池拓扑信息、资源状态记录及拓扑信息建立资源拓扑状态，形成可用资源集合和潜在可达资源集合。

17、可达性判定模块，用于根据任务需求规格在可用资源集合中搜索候选资源集合，当候选资源集合满足准入条件时，分别输出可同时启动资源集合或降级可同时启动资源集合中的一种或多种。

18、当可用资源集合无法形成可启动资源集合时，基于潜在可达资源集合判定资源不足状态、拓扑不可达状态或拓扑阻塞状态，并在判定为拓扑阻塞状态时确定关键资源位置集合。

19、阻塞归因与公平修正模块，用于当待调度任务处于拓扑阻塞状态，根据关键资源位置集合确定最小释放组合或者近似最小释放组合，筛选其中属于已借出资源集合或具有回收权限的候选回收单元，形成估计回收集合，并计算阻塞贡献值和修正占用量，调整租户任务队列的后续准入顺序。

20、评分与回收决策模块，用于根据待调度任务的拓扑阻塞等待时间、修正占用量以及恢复待调度任务所需的回收代价确定调度得分。

21、对调度得分达到预设调度触发阈值的待调度任务，以对应的估计回收集合作为候选回收范围计算借用资源归还敏感度，当调度得分达到预设调度触发阈值时，进入借用资源回收，否则，保持等待。

22、最小有效回收模块，用于以对应的估计回收集合为候选范围，按归还敏感度由高到低，逐个回收未超过回收代价阈值且满足运行保护条件的候选回收单元。每完成一次候选回收单元的回收操作后，当形成可同时启动资源集合或降级可同时启动资源集合时，停止后续回收操作。

23、回收完成后，更新资源拓扑状态并重新执行可启动资源集合判定。

24、状态同步模块，用于当任务启动、运行结束、资源释放或租户统计窗口更新时，更新对应租户的原始资源占用量、阻塞贡献值、修正占用量、已借出资源集合和任务队列状态。

25、本发明实施例提供的技术方案带来的有益效果至少包括：

26、1、本发明提供的基于多租户与资源池化的ai算力调度优化方法，通过多租户资源状态初始化、任务需求解析与拓扑构建、多约束可达性判定、拓扑阻塞贡献归因与公平修正、最小有效回收及闭环状态同步的闭环调度流程，从而在任务全生命周期中动态协调资源分配与租户公平性，进而实现了异构ai算力资源池中任务启动效率与资源利用率的均衡提升，有效解决了现有技术中源总量满足但任务难以稳定启动、资源共享回收范围不精确的问题。

27、2、本发明通过硬约束与软约束多级校验，结合通信代价评估和潜在可达资源集合的潜在组合分析，从而准确区分可启动、资源不足、拓扑不可达与拓扑阻塞四种任务状态，进而实现了对分布式ai任务成组可达性的精细判定，有效减少了因忽视通信拓扑约束而导致的无效调度和集合通信延迟。

28、3、通过识别最小释放组合，将拓扑阻塞贡献归集至对应租户并修正资源占用量，结合动态评分与归还敏感度执行最小有效回收，从而多租户环境下精准定位并回收阻塞资源，进而实现了租户间实际执行机会的公平调度与资源回收范围的精准控制，有效降低了无效抢占和过量回收，减少了训练任务的中断与恢复代价。