一种面向电网智能运维紧急任务的GPU集群调度方法

本发明涉及电网人工智能计算与gpu集群资源调度，特别涉及一种面向电网智能运维紧急任务的gpu集群调度方法。

背景技术：

1、随着人工智能技术在电力系统中的不断发展，深度学习模型已广泛应用于输变电设备缺陷识别、红外热缺陷检测、无人机巡检图像分析、负荷预测及设备状态评估等电网智能运维业务。为支撑上述人工智能任务，电网企业通常建设集中式gpu计算平台，由多个gpu服务器组成共享计算集群，并通过统一调度器进行gpu资源分配。

2、在实际运行过程中，gpu计算平台通常同时承载不同紧急程度的任务。历史巡检图像模型训练、设备状态评估模型训练及周期性负荷预测模型更新等任务执行时间较长，对启动时延要求较低，可作为普通低优先级任务运行；而当发生设备异常温升、输电线路跳闸、极端天气设备受损或巡检发现严重缺陷时，需要及时执行故障图像识别、红外缺陷分析及异常状态判断等高优先级任务，以满足电网故障分析和应急处置的快速响应需求。

3、然而，gpu资源通常以较粗粒度进行分配，深度学习任务可能持续占用多个gpu较长时间。当高优先级任务到达时，gpu资源可能已被普通任务占用，若等待现有任务自然结束，将造成较大的任务排队时延。通过抢占普通任务可以快速释放gpu资源，但任务暂停前通常需要保存模型参数、优化器状态及训练进度形成检查点，恢复时还需重新加载检查点，由此产生额外的时间、存储访问和能耗开销。若抢占对象选择不合理，还可能造成gpu资源过度释放或普通任务被反复抢占，显著增加其完成时间。

4、同时，在多用户、多模型共享的gpu平台中，调度器通常只能获取任务到达时间、gpu需求量、优先级及已执行时间等外部信息，难以准确获得任务总执行时间和剩余执行时间，因此依赖任务执行时间预测或模型内部信息的调度方法难以直接应用于黑盒gpu计算环境。此外，被抢占后等待恢复的任务还需要与新提交的普通任务竞争gpu资源，若调度不当，容易导致其中一类任务长期等待。

5、因此，亟需一种适用于电网智能运维gpu计算平台的任务调度方法，在无需预先获得任务总执行时间和剩余执行时间的条件下，根据任务资源需求、运行状态及环境信息合理确定普通任务的调度与抢占顺序，在保障紧急人工智能任务快速获得gpu资源的同时，降低抢占和恢复对原有计算业务的影响。

技术实现思路

1、为了克服现有gpu集群调度方法难以在黑盒任务条件下快速保障电网紧急人工智能任务资源需求的问题，本发明提供一种面向电网智能运维紧急任务的gpu集群调度方法。

2、本发明的目的通过以下技术方案实现：

3、一种面向电网智能运维紧急任务的gpu集群调度方法，包括如下步骤：

4、获取电网智能计算平台中的人工智能任务及gpu集群资源状态，根据任务优先级和任务运行状态建立待运行队列、正在运行队列以及可恢复队列；

5、当待运行队列中存在高优先级任务，具体调度过程为：

6、当当前空闲gpu能够满足所述高优先级任务的资源需求时直接分配gpu资源；

7、当空闲gpu资源不足时，从正在运行的低优先级任务中选择抢占对象，保存所述抢占对象的任务检查点并释放gpu资源，具体是根据高优先级任务gpu需求量与正在运行的低优先级任务gpu占用量之间的差异计算资源匹配因子，并结合正在运行的低优先级任务的连续运行状态以及gpu部署状态计算运行影响评分，根据资源匹配因子和运行影响评分确定任务抢占顺序；

8、当检测待运行队列中不存在高优先级任务时，具体调度过程为：

9、根据待运行队列与可恢复队列的低优先级任务状态进行队列平衡选择，并结合环境信息、任务等待时间和历史执行状态计算待运行队列与可恢复队列中的低优先级任务调度评分；

10、根据调度评分执行gpu资源分配，并对被抢占后重新获得gpu资源的低优先级任务加载任务检查点继续执行，实现电网智能任务的协同调度。

11、进一步，当待运行队列中存在多个高优先级任务时，根据任务提交时间按照先到先处理的方式依次进行资源分配。

12、进一步，对于正在运行的低优先级任务 ，设其当前占用的gpu数量为 ，高优先级任务所需gpu数量为 ，则资源匹配因子定义为：

13、其中， 为预先设置的资源匹配调节参数。

14、进一步，根据正在运行的低优先级任务当前gpu放置方案 ，构建低优先级任务 的gpu通信链路集合 ，计算通信影响因子：

15、

16、其中， 表示gpu 与gpu 之间的通信代价，根据gpu拓扑和实际通信性能确定，同节点最低、跨节点次之、跨机架最高；

17、获取候选低优先级任务最近一次连续运行时间 ；

18、为了进一步考虑gpu集群所处的能源环境，获取正在运行队列中的低优先级任务对应时段的归一化电力状态  和归一化电价状态 ，构建环境引导评分：

19、

20、根据gpu通信状态、连续运行时间及环境引导评分计算正在运行队列中的低优先级任务的运行影响评分：

21、

22、运行影响评分越小表示暂停该任务预计产生的影响越小。

23、进一步，获得全部正在运行队列中的全部低优先级任务评分后，首先按照资源匹配因子  从小到大排序；

24、当多个低优先级任务的资源匹配因子相同时，再按照运行影响评分  从小到大排序；

25、按照排序结果依次选择抢占低优先级别任务，累计其能够释放的gpu数量，直到满足紧急任务的资源需求。

26、进一步，所述根据待运行队列与可恢复队列的任务状态进行队列平衡选择，具体为：

27、获取待运行队列中的任务数量  和可恢复队列中的任务数量 ；当所述待运行队列和可恢复队列均非空时，根据两个队列中任务数量所占比例确定各队列作为优先调度队列的选择概率，其中，待运行队列被优先选择的概率为，可恢复队列被优先选择的概率为；

28、根据所述选择概率随机确定本轮优先调度的队列，使任务数量较多的队列具有较高的优先选择概率，而非固定选择任务数量较多的队列；

29、当仅有一个队列非空时，直接将该非空队列确定为优先调度队列；

30、对优先调度队列中的任务执行资源分配后，若gpu集群仍存在空闲gpu资源，则继续尝试从另一队列中选择任务进行资源分配，由此形成基于队列长度比例的平衡门控机制。

31、进一步，

32、当平衡门控机制选择待运行队列时，对于待运行队列中的低优先级任务 ，获取任务累计等待时间  和反映其gpu资源需求规模的资源尺度因子 ，计算待运行任务评分：

33、

34、在当前gpu资源能够满足任务需求的候选任务中，优先选择评分较高的任务执行，使等待时间较长的任务逐渐获得更高调度机会，同时避免大规模gpu任务长期占据调度优势。

35、进一步，当平衡门控机制选择可恢复队列时，进一步获取任务累计已经执行的时间  和最近一次连续执行时间 ，计算恢复任务评分：

36、根据恢复任务评分选择任务，为其重新分配gpu，并从共享存储中读取此前保存的检查点，从被中断的训练位置继续执行，而无需从头开始训练。

37、进一步，当出现新任务提交、运行任务完成、任务检查点保存完成或者被抢占任务恢复系统事件时，更新任务状态和当前空闲gpu数量，并重新触发一次任务调度过程。

38、进一步，所述国网智能计算平台包括人工智能计算中心及调度器；

39、所述人工智能计算中心由多个gpu服务器构成，每台服务器配置若干gpu，并通过集群管理系统统一接收业务部门提交的人工智能计算任务；

40、当用户提交任务时，调度器获取任务标识、任务优先级、到达时间以及所需gpu数量，对于正在运行的任务，同时记录任务已经执行的时间以及当前占用gpu数量。

41、与现有技术相比，本发明具有以下优点和有益效果：

42、本发明首先构建事件驱动的gpu任务管理框架，根据任务运行状态分别建立待运行队列、正在运行任务集合以及可恢复队列，并将设备故障分析、紧急缺陷识别等具有较高时效要求的任务作为高优先级任务进行优先准入；当gpu资源不足时，通过计算高优先级任务资源需求与正在运行普通任务gpu占用量之间的资源匹配程度，并结合普通任务的连续执行时间以及gpu部署通信状态确定抢占顺序，优先选择资源规模匹配且运行影响较小的普通任务进行暂停；当不存在待调度高优先级任务时，根据待运行队列和可恢复队列的相对状态进行队列平衡选择，并结合电力环境信息、任务等待时间以及历史运行状态计算任务调度评分，从而实现新提交普通任务与被抢占任务之间的协调调度，在提高电网紧急人工智能任务响应能力的同时降低不必要的任务抢占和恢复开销。