作业调度方法、装置、设备、存储介质和程序产品与流程

本技术涉及计算机，特别是涉及一种作业调度方法、装置、设备、存储介质和程序产品。

背景技术：

1、随着计算机领域的不断发展，为了保证不同地区的计算资源能够协同运作，可以采用超算互联网通过高速网络将不同地区的超级计算机系统连接在一起。在超算互联网和大规模集群的背景下，为了保证计算资源的利用率，出现了作业回填的调度策略。即，通过为大作业提前预留出计算资源，并将预留后的剩余计算资源碎片分配给短时的低优先级作业，从而充分利用碎片化的计算资源。

2、然而，在现有的作业回填方式中，用户往往会为作业设置过大的作业时长限制，在基于作业时长限制进行作业回填时，会降低计算资源的利用率。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高计算资源利用率的作业调度方法、装置、设备、存储介质和程序产品。

2、第一方面，本技术提供了一种作业调度方法，包括：

3、响应于目标作业的上传请求，根据目标作业的作业配置信息，预测目标作业的初始作业时长；

4、根据初始作业时长和作业配置信息中作业限制时长，确定目标作业的目标作业时长；其中，目标作业时长小于或等于作业限制时长；

5、根据目标作业时长，从已部署有作业的作业线程的各剩余作业位置中，确定目标作业的作业回填位置；

6、将目标作业调度至作业回填位置，以运行目标作业。

7、在本技术实施例中，一方面，通过根据预测出的初始作业时长和作业限制时长，确定目标作业时长，能够保证确定出的目标作业时长更符合实际，即，提高了作业时长的准确性；另一方面，通过基于更符合实际的目标作业时长进行作业回填，能够有效提高计算资源的利用率。

8、在其中一个实施例中，根据初始作业时长和作业配置信息中作业限制时长，确定目标作业的目标作业时长，包括：

9、在初始作业时长小于或等于作业限制时长的情况下，将初始作业时长作为目标作业的目标作业时长；

10、在初始作业时长大于作业限制时长的情况下，对作业限制时长进行加权处理，以得到目标作业时长。

11、在本技术实施例中，通过基于初始作业时长与作业限制时长之间的大小关系，对初始作业时长或作业限制时长进行处理，得到目标作业时长，能够保证目标作业时长的合理性和准确性。

12、在其中一个实施例中，根据目标作业时长，从已部署有作业的作业线程的各剩余作业位置中，确定目标作业的作业回填位置，包括：

13、获取已部署有作业的作业线程的各剩余作业位置对应的剩余作业时长；

14、将剩余作业时长大于目标作业时长的剩余作业位置作为候选回填位置；

15、分别确定各候选回填位置对应的剩余作业时长，与目标作业时长之间的时长差值，并将时长差值最小的候选回填位置作为作业回填位置。

16、在本技术实施例中，通过以最小计算资源损耗为原则，选择时长差值最小的候选回填位置作为作业回填位置，在保证作业回填位置满足目标作业运行需求的情况下，降低计算资源的损耗，即，提高了作业回填位置确定的合理性。

17、在其中一个实施例中，在运行目标作业的过程中，方法还包括：

18、在检测到目标作业的实际作业时长大于目标作业时长，且小于作业限制时长的情况下，根据目标作业的实际作业数据，确定目标作业的更新作业时长；

19、根据更新作业时长、作业限制时长和目标作业的开始作业时刻，对排列在目标作业后的其他作业的开始作业时刻进行更新。

20、在本技术实施例中，在检测到目标作业的实际作业时长大于目标作业时长，且小于作业限制时长的情况下，通过重新预测出目标作业的更新作业时长，并根据更新作业时长、作业限制时长和目标作业的开始作业时刻，对其他作业的开始作业时刻进行更新，能够保证其他作业的开始运行时刻的准确性，避免了目标作业与其他作业之间的运行冲突。

21、在其中一个实施例中，根据更新作业时长、作业限制时长和目标作业的开始作业时刻，对排列在目标作业后的其他作业的开始作业时刻进行更新，包括：

22、根据更新作业时长、作业限制时长和目标作业的开始作业时刻，确定目标作业的结束作业时刻；

23、根据结束作业时刻，对排列在目标作业后的其他作业的开始作业时刻进行更新。

24、在本技术实施例中，通过根据目标作业的结束作业时刻，对排列在目标作业后的其他作业的开始作业时刻进行更新，能够保证其他作业的开始作业时刻的准确性。

25、在其中一个实施例中，根据更新作业时长、作业限制时长和目标作业的开始作业时刻，确定目标作业的结束作业时刻，包括：

26、在更新作业时长大于或等于作业限制时长的情况下，根据作业限制时长和目标作业的开始作业时刻之和，确定目标作业的结束作业时刻；

27、在更新作业时长小于作业限制时长的情况下，根据更新作业时长和目标作业的开始作业时刻之和，确定目标作业的结束作业时刻。

28、在本技术实施例中，通过基于更新作业时长与作业限制时长之间的大小关系，选择基于更新作业时长/作业限制时长，确定目标作业的结束作业时刻，能够保证结束作业时刻的合理性和准确性。

29、在其中一个实施例中，在运行目标作业的过程中，方法还包括：

30、在检测到目标作业的实际作业时长大于作业限制时长的情况下，停止目标作业的运行，并向上传请求的发送方输出针对目标作业的作业异常提示信息。

31、在本技术实施例中，提供了一种对目标作业进行异常处理的可选方式，避免了目标作业的实际作业时长导致的其他作业无法正常运行，从而保证了作业运行的可靠性。

32、在其中一个实施例中，根据目标作业的作业配置信息，预测目标作业的初始作业时长，包括：

33、根据目标作业的作业配置信息，确定与目标作业关联的历史作业，并根据历史作业的实际作业时长，确定目标作业的初始作业时长；或，

34、将目标作业的作业配置信息输入至时长预测模型中，得到目标作业的初始作业时长。

35、在本技术实施例中，提供了两种确定初始作业时长的方式，能够提高初始作业时长确定的灵活性。

36、第二方面，本技术还提供了一种作业调度装置，包括：

37、时长预测模块，用于响应于目标作业的上传请求，根据目标作业的作业配置信息，预测目标作业的初始作业时长；

38、时长确定模块，用于根据初始作业时长和作业配置信息中作业限制时长，确定目标作业的目标作业时长；其中，目标作业时长小于或等于作业限制时长；

39、位置确定模块，用于根据目标作业时长，从已部署有作业的作业线程的各剩余作业位置中，确定目标作业的作业回填位置；

40、作业回填模块，用于将目标作业调度至作业回填位置，以运行目标作业。

41、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

42、响应于目标作业的上传请求，根据目标作业的作业配置信息，预测目标作业的初始作业时长；

43、根据初始作业时长和作业配置信息中作业限制时长，确定目标作业的目标作业时长；其中，目标作业时长小于或等于作业限制时长；

44、根据目标作业时长，从已部署有作业的作业线程的各剩余作业位置中，确定目标作业的作业回填位置；

45、将目标作业调度至作业回填位置，以运行目标作业。

46、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

47、响应于目标作业的上传请求，根据目标作业的作业配置信息，预测目标作业的初始作业时长；

48、根据初始作业时长和作业配置信息中作业限制时长，确定目标作业的目标作业时长；其中，目标作业时长小于或等于作业限制时长；

49、根据目标作业时长，从已部署有作业的作业线程的各剩余作业位置中，确定目标作业的作业回填位置；

50、将目标作业调度至作业回填位置，以运行目标作业。

51、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

52、响应于目标作业的上传请求，根据目标作业的作业配置信息，预测目标作业的初始作业时长；

53、根据初始作业时长和作业配置信息中作业限制时长，确定目标作业的目标作业时长；其中，目标作业时长小于或等于作业限制时长；

54、根据目标作业时长，从已部署有作业的作业线程的各剩余作业位置中，确定目标作业的作业回填位置；

55、将目标作业调度至作业回填位置，以运行目标作业。

56、上述作业调度方法、装置、设备、存储介质和程序产品，通过响应于目标作业的上传请求，根据目标作业的作业配置信息，预测目标作业的初始作业时长，并根据初始作业时长和作业配置信息中作业限制时长，确定目标作业的目标作业时长；之后根据目标作业时长，从已部署有作业的作业线程的各剩余作业位置中，确定目标作业的作业回填位置，并将目标作业调度至作业回填位置，以运行目标作业。相比于相关技术中，直接基于作业的作业限制时长确定目标作业的作业回填位置而言，采用上述方法，一方面，通过根据预测出的初始作业时长和作业限制时长，确定目标作业时长，能够保证确定出的目标作业时长更符合实际，即，提高了作业时长的准确性；另一方面，通过基于更符合实际的目标作业时长进行作业回填，能够有效提高计算资源的利用率。