异构算力调度系统的计算节点资源感知与任务执行方法与流程

本技术涉及异构硬件资源管理，尤其涉及一种异构算力调度系统的计算节点资源感知与任务执行方法。

背景技术：

1、随着人工智能技术的发展，大模型训练与在线推理等计算任务对异构算力集群的依赖逐渐增加。在算力服务场景中，为了提高底层集群的资源利用率，长时间运行的大模型训练任务与短时间响应的在线推理任务可能被部署在同一计算节点上，由此对计算节点的资源感知、任务切换和资源整理能力提出了要求。

2、目前，部分算力调度方案主要依赖上级调度中心周期性收集的数据评估节点状态，并根据评估结果向底层硬件分配新的计算任务。在不同优先级的混合任务发生资源冲突时，底层系统可能采用终止当前运行进程、暂停部分任务或者使新到任务进入排队等待状态等方式完成任务更迭。

3、然而，当上级调度中心获取的节点状态与计算节点本地实时状态存在时间差时，突发任务并发可能增加资源重复分配或节点内存溢出的风险；当采用进程级终止或长时间排队方式处理任务冲突时，可能增加训练任务恢复成本或在线推理响应时间；此外，任务频繁中断与更迭后释放的存储空间可能呈离散分布，影响后续较大任务的重新载入。因此，现有技术中存在难以兼顾节点稳定性、任务切换损耗和资源碎片整理效率的技术问题。

技术实现思路

1、本技术目的是提供一种异构算力调度系统的计算节点资源感知与任务执行方法、装置及存储介质，以解决现有技术中难以兼顾节点稳定性、任务切换损耗和资源碎片整理效率的技术问题。

2、第一方面，本技术提供一种异构算力调度系统的计算节点资源感知与任务执行方法，包括：

3、获取计算节点中网络协议栈的传输吞吐量和拥塞状态，以及计算节点内异构计算设备的资源占用信息和设备间的互联带宽；

4、根据传输吞吐量、拥塞状态、资源占用信息和互联带宽构建计算节点的资源状态信息；

5、基于资源状态信息在候选任务集合中确定目标推理任务和目标推理任务所需的目标计算资源，在计算节点当前时刻的剩余计算资源满足目标计算资源的需求时，对目标计算资源进行原子预占；

6、在异构计算设备处理大模型训练任务的计算核函数时，监测计算核函数的执行边界，在到达执行边界时挂起大模型训练任务，并将目标推理任务调度至对应的计算节点的异构计算设备中运行；

7、在目标推理任务运行完毕并释放占用资源后，扫描计算节点内的空闲资源并进行合并后更新资源状态信息，以用于恢复大模型训练任务的执行。

8、可选地，根据传输吞吐量、拥塞状态、资源占用信息和互联带宽构建计算节点的资源状态信息，包括：

9、将传输吞吐量和拥塞状态的乘积作为通信负载；

10、将计算节点的总资源容量和资源占用信息的差值作为剩余计算资源；

11、基于通信负载、剩余计算资源以及互联带宽，构建计算节点的资源状态信息。

12、可选地，基于资源状态信息在候选任务集合中确定目标推理任务和目标推理任务所需的目标计算资源，包括：

13、基于候选任务集合的任务列表，确定多个候选任务以及每个候选任务对应的任务需求；

14、将任务需求的所需计算资源小于或者等于资源状态信息中剩余计算资源的每个候选任务作为一个匹配任务；

15、基于预设的调度优先级从多个匹配任务中确定目标推理任务，并基于目标推理任务的配置标识确定目标推理任务所需的目标计算资源。

16、可选地，在计算节点当前时刻的剩余计算资源满足目标计算资源的需求时，对目标计算资源进行原子预占，包括：

17、计算计算节点当前时刻的剩余计算资源和目标计算资源的资源差值；

18、若资源差值大于或等于零，则确定剩余计算资源满足目标计算资源的需求并生成锁定状态标签，将锁定状态标签写入目标计算资源对应的状态寄存器或者管理地址空间中，将目标计算资源标记为预占状态；

19、利用预占状态拦截其他并发任务的调用请求以完成对目标计算资源的原子预占。

20、可选地，在异构计算设备处理大模型训练任务的计算核函数时，监测计算核函数的执行边界，在到达执行边界时挂起大模型训练任务，并将目标推理任务调度至对应的计算节点的异构计算设备中运行，包括：

21、基于大模型训练任务的执行队列确定当前处理的计算核函数，基于预设的指令映射规则将计算核函数的机器指令进行解析，得到指令执行序列；

22、从指令执行序列中识别出包括运算周期结束标识的执行边界，在异构计算设备处理多行底层执行代码到达执行边界时生成中断挂起信号；

23、基于中断挂起信号，保存大模型训练任务的上下文状态至本地存储空间以挂起大模型训练任务，在挂起大模型训练任务后，将目标推理任务调度至对应的计算节点的异构计算设备中运行。

24、可选地，在目标推理任务运行完毕并释放占用资源后，扫描计算节点内的空闲资源并进行合并后更新资源状态信息，包括：

25、在目标推理任务运行完毕并释放占用资源后，检索计算节点内的多个空闲资源，并基于预设的内存映射表，计算释放的占用资源的逻辑地址区间以及每个空闲资源的逻辑地址区间；

26、将释放的占用资源的逻辑地址区间与每个空闲资源的逻辑地址区间进行边界数值比对，确定目标空闲资源，并在目标空闲资源的逻辑地址区间与释放的占用资源的逻辑地址区间相邻时，将释放的占用资源和目标空闲资源组合为连续的算力区块；

27、基于算力区块，对资源状态信息进行更新，得到更新后的资源状态信息。

28、可选地，在基于算力区块，对资源状态信息进行更新，得到更新后的资源状态信息之后，方法还包括：

29、基于更新后的资源状态信息确定计算节点内的多个离散空闲资源，将每个离散空闲资源的容量进行累加得到离散总容量，并确定计算节点的节点总容量；

30、将离散总容量和节点总容量的比值作为碎片化指数，在碎片化指数大于预设的碎片阈值时，生成内存迁移指令；

31、利用内存迁移指令，将计算节点内的多个占用资源搬移至连续的物理地址区间，以将所有离散空闲资源组合为物理地址连续的空闲算力区块；

32、将空闲算力区块记录至更新后的资源状态信息中，得到二次更新后的资源状态信息，并利用二次更新后的资源状态信息恢复大模型训练任务的执行。

33、第二方面，本技术提供了一种异构算力调度系统的计算节点资源感知与任务执行系统，包括：

34、获取模块，用于获取计算节点中网络协议栈的传输吞吐量和拥塞状态，以及计算节点内异构计算设备的资源占用信息和设备间的互联带宽；

35、构建模块，用于根据传输吞吐量、拥塞状态、资源占用信息和互联带宽构建计算节点的资源状态信息；

36、确定模块，用于基于资源状态信息在候选任务集合中确定目标推理任务和目标推理任务所需的目标计算资源，在计算节点当前时刻的剩余计算资源满足目标计算资源的需求时，对目标计算资源进行原子预占；

37、监测模块，用于在异构计算设备处理大模型训练任务的计算核函数时，监测计算核函数的执行边界，在到达执行边界时挂起大模型训练任务，并将目标推理任务调度至对应的计算节点的异构计算设备中运行；

38、合并模块，用于在目标推理任务运行完毕并释放占用资源后，扫描计算节点内的空闲资源并进行合并后更新资源状态信息，以用于恢复大模型训练任务的执行。

39、第三方面，本技术提供了一种电子设备，包括：

40、存储器，用于存储计算机程序；

41、处理器，用于执行计算机程序时实现如上述第一方面的一种异构算力调度系统的计算节点资源感知与任务执行方法的步骤。

42、第四方面，本技术提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时能够实现如上述第一方面的一种异构算力调度系统的计算节点资源感知与任务执行方法的步骤。

43、本技术所提供的一种异构算力调度系统的计算节点资源感知与任务执行方法，通过获取计算节点中网络协议栈的传输吞吐量和拥塞状态，以及计算节点内异构计算设备的资源占用信息和设备间的互联带宽，破了现有技术过度依赖上级调度中心滞后数据的局限性，消除了单一维度评估状态的盲区，规避了突发任务高并发时因资源无序抢夺而引发的节点内存溢出崩溃风险，确立了保障计算节点绝对稳定的技术壁垒。摒弃了现有技术中粗暴强制杀死在运行进程或强制新任务漫长排队的落后策略，实现了混合任务间的极低损耗切换。确保大模型训练任务能够获得连续、完整的资源支撑以无损恢复执行。

44、进一步的，本技术通过利用预设的指令映射规则解析其机器指令以得到指令执行序列；随后从指令执行序列中精准识别出包含运算周期结束标识的执行边界，在异构计算设备处理多行底层执行代码到达该执行边界时生成中断挂起信号；最后基于中断挂起信号，将大模型训练任务的上下文状态安全保存至本地存储空间以实现挂起，并在挂起大模型训练任务后，将目标推理任务调度至对应的计算节点的异构计算设备中运行。实现了训练资产绝对保全与推理请求敏捷响应的完美兼顾。