一种任务调度方法、装置、设备、介质、产品与流程

本申请涉及计算机，尤其涉及一种任务调度方法、装置、设备、介质、产品。

背景技术：

1、潮汐集群是一种资源波动比较频繁的集群。比如，在时间段1(如晚上)内，该潮汐集群包括大量计算节点(如100个计算节点)，以使该潮汐集群呈现出大量资源，从而使得该潮汐集群能够执行大量任务；但是，在时间段2(如白天)内，该潮汐集群包括少量计算节点(如10个计算节点)，以使该潮汐集群呈现出少量资源，从而使得该潮汐集群只能执行少量任务。

2、然而，因潮汐集群呈现出比较频繁的资源上下波动，以使该潮汐集群下的任务调度是比较困难的，从而使得如何针对该潮汐集群进行任务调度成为一项亟待解决的技术问题。

技术实现思路

1、为了解决上述技术问题，本申请提供了一种任务调度方法、装置、设备、介质、产品。

2、为了实现上述目的，本申请提供的技术方案如下：

3、本申请提供一种任务调度方法，所述方法应用于目标集群中的目标节点，所述目标集群中各计算节点共享同一文件系统，所述方法包括：响应于检测到所述目标节点加入所述目标集群，遍历所述文件系统中的文件；响应于检测到所述文件系统中存在第一文件但不存在第二文件，在所述文件系统中创建第三文件以及执行所述第一文件描述的任务，所述第二文件指示所述第一文件描述的任务处于完成状态，所述第三文件指示所述第一文件描述的任务处于处理状态；响应于检测到所述第一文件描述的任务执行完成，更新所述第三文件，更新后的第三文件指示所述第一文件描述的任务处于完成状态。

4、在一种可能的实施方式下，所述第二文件的文件名指示所述第一文件描述的任务处于完成状态，所述第三文件的文件名指示所述第一文件描述的任务处于处理状态；所述更新所述第三文件，包括：对所述第三文件进行重命名。

5、在一种可能的实施方式下，所述第一文件的文件名包括文件主名和第一扩展名，所述第一扩展名标识描述任务的文件；所述第二文件的文件名包括所述文件主名和第二扩展名，所述第二扩展名标识所述完成状态；所述第三文件的文件名包括所述文件主名和第三扩展名，所述第三扩展名标识所述处理状态。

6、在一种可能的实施方式下，所述对所述第三文件进行重命名，包括：响应于所述第三文件的扩展名标识所述处理状态，将所述第三文件的扩展名替换为标识所述完成状态的扩展名。

7、在一种可能的实施方式下，所述响应于检测到所述文件系统中存在第一文件但不存在第二文件，在所述文件系统中创建第三文件，包括：响应于检测到所述文件系统中存在所述第一文件但不存在所述第二文件，检测所述文件系统中是否存在所述第三文件；响应于检测到所述文件系统中不存在所述第三文件，在所述文件系统中创建所述第三文件。

8、在一种可能的实施方式下，所述方法还包括：响应于检测到所述文件系统中存在所述第三文件，继续执行所述遍历所述文件系统中的文件的步骤。

9、在一种可能的实施方式下，所述方法还包括：响应于检测到所述文件系统中第四文件的存在时长超过预设时长阈值，从所述文件系统中删除所述第四文件，所述第四文件指示所述文件系统中第五文件描述的任务处于处理状态。

10、在一种可能的实施方式下，所述方法还包括：响应于检测到所述文件系统中第四文件的存在时长超过预设时长阈值，从所述文件系统中删除在所述第五文件描述的任务的执行期间所产生的文件。

11、在一种可能的实施方式下，所述第四文件的存在时长是依据遍历至所述第四文件的时间与所述第四文件的创建时间之间的差值所确定的。

12、在一种可能的实施方式下，所述方法还包括：响应于检测到所述第一文件描述的任务执行完成、以及检测到所述目标节点未离开所述目标集群，继续执行所述遍历所述文件系统中的文件的步骤。

13、在一种可能的实施方式下，所述目标节点为所述目标集群中任一计算节点；和/或，所述文件系统包括至少一个文件，所述至少一个文件中不同文件描述的任务不同，所述至少一个文件描述的任务包括通过对至少一个任务进行拆分所得的任务单元。

14、本申请提供了一种任务调度装置，包括：遍历单元，用于响应于检测到目标节点加入目标集群，所述目标集群中各计算节点共享同一文件系统，遍历所述文件系统中的文件；处理单元，用于响应于检测到所述文件系统中存在第一文件但不存在第二文件，在所述文件系统中创建第三文件以及执行所述第一文件描述的任务，所述第二文件指示所述第一文件描述的任务处于完成状态，所述第三文件指示所述第一文件描述的任务处于处理状态；更新单元，用于响应于检测到所述第一文件描述的任务执行完成，更新所述第三文件，更新后的第三文件指示所述第一文件描述的任务处于完成状态。

15、本申请提供了一种电子设备，所述设备包括：处理器和存储器；所述存储器，用于存储指令或计算机程序；所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行本申请提供的任务调度方法。

16、本申请提供了一种计算机可读介质，所述计算机可读介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行本申请提供的任务调度方法。

17、本申请提供了一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行本申请提供的任务调度方法的程序代码。

18、与相关技术相比，本申请至少具有以下优点：

19、在本申请提供的技术方案中，对于目标集群(如潮汐集群)来说，该目标集群中各计算节点共享同一文件系统，以使该目标集群中的目标节点(如任一计算节点)的工作原理包括：在检测到该目标节点加入目标集群之后，遍历该文件系统中的文件，以便在检测到该文件系统中存在第一文件(如描述任务的文件)，但不存在能够指示出该第一文件描述的任务处于完成状态的第二文件时，在该文件系统中创建第三文件以及执行该第一文件描述的任务，以使该第三文件能够指示出该第一文件描述的任务处于处理状态，直至在检测到该第一文件描述的任务执行完成时，更新该第三文件，以使更新后的第三文件能够指示出该第一文件描述的任务处于完成状态，如此能够实现通过针对该文件系统进行一些操作的方式实现任务调度，无需依赖外部协调服务，从而能够实现去中心化的任务调度，进而能够有效地克服当采用中心化的任务调度时所出现的问题，如此有利于提高任务调度效果。

1.一种任务调度方法，其特征在于，所述方法应用于目标集群中的目标节点，所述目标集群中各计算节点共享同一文件系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述第二文件的文件名指示所述第一文件描述的任务处于完成状态，所述第三文件的文件名指示所述第一文件描述的任务处于处理状态；

3.根据权利要求2所述的方法，其特征在于，所述第一文件的文件名包括文件主名和第一扩展名，所述第一扩展名标识描述任务的文件；

4.根据权利要求2所述的方法，其特征在于，所述对所述第三文件进行重命名，包括：

5.根据权利要求1所述的方法，其特征在于，所述响应于检测到所述文件系统中存在第一文件但不存在第二文件，在所述文件系统中创建第三文件，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

9.根据权利要求7所述的方法，其特征在于，所述第四文件的存在时长是依据遍历至所述第四文件的时间与所述第四文件的创建时间之间的差值所确定的。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

11.根据权利要求1-10任一项所述的方法，其特征在于，所述目标节点为所述目标集群中任一计算节点；

12.一种任务调度装置，其特征在于，包括：

13.一种电子设备，其特征在于，所述设备包括：处理器和存储器；

14.一种计算机可读介质，其特征在于，所述计算机可读介质中存储有指令或计算机程序，当所述指令或计算机程序在设备上运行时，使得所述设备执行权利要求1-11任一项所述的方法。

15.一种计算机程序产品，其特征在于，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行权利要求1-11任一项所述的方法的程序代码。