一种算力集群节点负载预测与迁移方法与流程

本发明涉及计算机资源调度，具体为一种算力集群节点负载预测与迁移方法。

背景技术：

1、现有算力集群通常通过采集节点 cpu 利用率、gpu 利用率、内存占用、任务队列长度等运行指标，对节点后续负载进行预测，并在预测结果达到过载条件时，将任务、容器或者虚拟机迁移至负载较低的节点执行。该类方案能够在普通计算任务中实现基础负载均衡，但在 gpu、npu 与 cpu 混合部署的异构算力集群中，任务运行状态并不只由节点负载值决定，还受设备执行队列、设备内存剩余量、跨设备数据传输状态、运行时环境加载状态、输入数据驻留位置和中间状态数据闭合情况影响。

2、在实际运行中，部分任务在一个执行阶段结束前会持续占用显存、缓存数据、通信通道和未闭合的输出对象。若调度过程仅依据节点负载预测值触发迁移，而未同步判断任务剩余执行段、状态数据量、数据实际驻留设备、目标节点执行入口和目标设备内存接纳状态，则短时负载波动可能触发无效迁移；大状态任务迁移时还会产生额外状态搬移、数据回传和目标节点初始化开销，导致迁移后的任务继续等待，目标节点形成新的排队阻塞，集群负载在多个节点之间反复波动，影响算力集群中计算任务的连续执行。

技术实现思路

1、针对现有技术的不足，本发明提供了一种算力集群节点负载预测与迁移方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种算力集群节点负载预测与迁移方法，执行如下步骤：

3、s1、读取待执行任务的任务提交文件、源节点运行队列状态、设备内存状态、数据传输状态及任务数据对象登记文件，依据任务编号、数据对象编号和设备执行信号，登记任务排队位置、执行段、数据对象写入代次、驻留节点、驻留设备、写入闭合状态及未完成读取关系；

4、s2、依据连续闭合的负载采集窗口、已绑定未启动任务、运行中任务完成信号及设备内存释放信号，形成源节点负载预测段和候选目标节点负载预测段，并依据检查点闭合标志、输出写入闭合状态及设备句柄状态登记可迁移状态边界；

5、s3、在待执行任务于源节点的实际等待持续时间达到迁移观察起始边界时，读取候选目标节点的设备类型、运行镜像入口、运行时配置版本、设备驱动接口、算子库入口、设备内存接纳状态及数据传输状态，选择目标节点及目标设备；

6、s4、依据状态数据对象写入闭合状态、输入数据对象写入闭合状态、连续复用驻留设备标志、目标执行入口闭合状态及目标设备内存接纳状态，生成迁移准入记录，并锁定状态数据对象代次、输入数据对象代次和源节点排队位置；

7、s5、依据迁移准入记录向目标节点下发入口预占指令，将锁定代次的状态数据对象和输入数据对象传输至目标节点，完成批次回执核验和目标执行入口复核后下发任务接入指令，并更新任务运行状态记录。

8、进一步的，s1中：

9、任务提交文件中的任务编号、数据对象编号和运行时配置版本写入同一任务运行状态记录；

10、数据对象写入闭合状态依据写入闭合时间、对象长度和校验摘要形成；

11、驻留节点依据对象存储写入回执形成，驻留设备依据设备运行时接口返回的数据驻留句柄形成；

12、未完成读取关系依据下游子任务的读取开始信号和读取完成信号形成。

13、进一步的，s1中：

14、执行段依据任务连续执行段配置和设备执行信号登记；

15、设备句柄处于有效状态时，执行段登记为设备执行中；

16、设备句柄处于无效状态且任务位于源节点等待队列时，执行段登记为队列等待；

17、设备执行完成信号返回且输出数据对象写入闭合时，执行段登记为边界等待。

18、进一步的，s2中：

19、负载采集窗口由五个采样点组成，相邻采样点间隔为二百毫秒，窗口长度为一秒；

20、五个采样点均写入 cpu 队列状态、设备队列状态、设备内存状态、数据传输状态和任务完成信号时，该负载采集窗口登记为连续闭合的负载采集窗口。

21、进一步的，s2中：

22、源节点负载预测段和候选目标节点负载预测段均依据最近六个连续闭合的负载采集窗口形成；

23、运行队列延续状态依据最近三个连续闭合的负载采集窗口形成；

24、设备内存接纳状态依据设备内存空闲量、设备内存保留量、任务请求设备内存、状态数据对象大小和需迁入输入数据对象大小形成。

25、进一步的，s3中：

26、迁移观察起始边界写入迁移准入表；

27、请求单个设备的待执行任务对应三个负载采集窗口；

28、请求两个设备的待执行任务对应五个负载采集窗口；

29、请求四个设备的待执行任务对应八个负载采集窗口；

30、实际等待持续时间以任务进入源节点等待队列的时间为起点，以当前负载采集窗口结束时间为终点。

31、进一步的，s3中：

32、候选目标节点中候选目标设备的设备类型与任务提交文件中的请求设备类型一致、运行镜像入口已加载、运行时配置版本一致、设备驱动接口有效、算子库入口有效、设备内存接纳状态为可接纳、数据传输状态为可传输时，进入目标节点选择；

33、目标节点及目标设备选择按照运行镜像入口加载时间、连续可执行起始窗口、状态数据传输批次数、输入数据传输批次数、设备内存余量和等待队列长度的顺序进行。

34、进一步的，s4中：

35、连续复用驻留设备标志依据任务图顺序、未完成读取关系和数据对象实际驻留设备形成；

36、同一数据对象被两个以上后续子任务连续读取，首次读取开始信号已经登记，最后一个后续子任务读取完成信号尚未登记，且数据对象实际驻留设备与源设备一致时，连续复用驻留设备标志登记为有效；

37、后续子任务读取完成信号全部返回后，连续复用驻留设备标志登记为无效。

38、进一步的，s5中：

39、状态数据对象和输入数据对象按照二百五十六兆字节传输批次写入目标节点；

40、每个传输批次完成后生成批次回执，批次回执写入批次编号、批次长度、批次摘要、写入目录和写入闭合时间；

41、全部批次回执齐备且整体摘要一致后，执行目标执行入口复核；

42、目标设备句柄获得时间和目标执行开始时间写入任务运行状态记录。

43、与现有技术相比，本发明提供了一种算力集群节点负载预测与迁移方法，具备以下有益效果：

44、1、通过读取待执行任务的任务提交文件、源节点运行队列状态、设备内存状态、数据传输状态和任务数据对象登记文件，登记任务排队位置、执行段、数据对象写入代次、驻留位置、写入闭合状态和未完成读取关系，并进一步形成源节点负载预测段、候选目标节点负载预测段和可迁移状态边界，使任务迁移不再仅依据节点负载预测值触发，而是在任务处于可迁移边界、状态数据对象和输入数据对象均已闭合、目标执行入口闭合、目标设备内存可接纳的条件下生成迁移准入记录。由此能够解决异构算力集群中短时负载波动引发无效迁移、大状态任务迁移后产生数据回传和目标节点初始化阻塞的问题，提高任务迁移动作与真实设备执行状态之间的一致性。

45、2、通过在迁移准入后锁定状态数据对象代次、输入数据对象代次和源节点排队位置，并在目标节点执行入口预占、批次回执核验、目标执行入口复核后下发任务接入指令，使任务迁移过程具有明确的数据代次边界、目标设备入口边界和接入执行边界。迁移完成后更新任务运行状态记录，能够减少任务在源节点和目标节点之间反复迁移的情况，降低目标节点因状态数据搬移、输入数据加载和设备内存变化形成新的排队阻塞的概率，使算力集群中任务调度、数据驻留和设备入口接入过程保持连续可追溯。