一种基于计算节点资源情况的动态任务调度方法与流程

1.本发明涉及计算机技术领域，具体是一种基于计算节点资源情况的动态任务调度方法。


背景技术：

2.目前在分布式系统中常用的任务调度方法有两种，一是轮询调度算法，二是min-min方法。
3.轮询调度方法直接将待执行的任务按照任务顺序和计算节点的顺序依次下发到各节点，计算节点收到任务后开始执行，该方法简单易实现、运行成本低，对于小规模任务量或者计算节点资源配置丰富的分布式系统工作效率高；min-min方法在轮询调度方法的基础之上，在任务执行之前增了一个对任务完成所需时间计算，并按照任务所需完成时间进行排序后，将任务分配给满足任务完成时间的执行计算节点执行，好处在计算节点空闲资源相对稳定和富裕的分布式系统，也能确保系统的运行效率和稳定性。
4.相对于简单的分布式系统和计算节点资源配置富裕、稳定，无论是轮询调度方法还是min-min方法都能很好的确保分布式系统任务完成时间短，效率高，系统稳定，但是在实际应用中，分布式系统任务更复杂，且执行任务计算节点的空闲资源是受限并实时动态变化。这就造成了使用以上两种常规任务调度方法的分布式系统，因待执行任务数量大和计算节点空闲资源不均衡，让部分节点负载过重造成任务堵塞让分布式系统运行效率和系统稳定性被降低，而另外一部分计算节点因分配不上而浪费；因此，针对上述问题提出一种基于计算节点资源情况的动态任务调度方法。


技术实现要素：

5.本发明针对在实际应用中的任务复杂度高，且计算节点资源受限和不均衡的分布式系统设计一种基于计算节点资源自动匹配的负载均衡的分布式任务调度方法，其目的提高分布式系统的运行效率和资源利用率，确保分布式系统在计算单元的任何资源状态下稳定运行，因此本发明提出的一种基于计算节点资源情况的动态任务调度方法。
6.一种基于计算节点资源情况的动态任务调度方法，该调度方法包括以下步骤：
7.s1：任务重组，根据任务所遵守的业务、时间和相互依赖综合运算优先级排序的基础上，对包含cpu、ram以及带宽的计算资源需求进行任务重新分组，形成分布式系统的资源需求池，并计算得出所需资源的综合需求m；
8.s2：动态的节点匹配，设计节点调度器，用于实时采集计算节点上当前cpu、ram以及带宽，并计算该节点的剩余资源p；
9.s3：任务分发，初始化相关参数，当任务队列为非空时，根据综合需求m将任务分配给节点调度器匹配的最佳节点执行，并在执行过程中，根据剩余资源p，动态调整，确保所配资源满足分布式系统最低资源需求。
10.优选的，所述s1中，综合需求m的计算公式如下：
11.m＝ck1 rk2 nk312.其中，m为任务分组综合需求，c为cpu的计算资源需求，r为内存资源需求，n为网络带宽需求，k1，k2，k3为权重，每个待执行的分组形成一个资源需求范围，最低需求为m
l
，最高需求为mm。
13.优选的，所述s2中，剩余资源p的计算公式如下：
14.p＝(1-c)α (1-r)β (1-n)γ,0＜c≤1,0＜r≤1,0＜n≤1；
15.其中：c、r和n为cpu、ram和带宽的占有率，α、β和γ为权值；当m
l
≤p
×
n≤mm，其中的n为一次性分配的任务数量取值范围为“n≥1”，将该计算节点与待分配额任务组进行匹配，当任务分配器分配任务时，可以向节点调度器调度的最佳节点分配任务。
16.优选的，所述s3中，初始化相关参数，即初始化k1，k2，k3以及α、β和γ，且在根据剩余资源p数据后，动态调整n值。
17.本发明的有益之处在于：
18.本方案按照任务资源需求量进行重组后匹配到各个节点执行，通过运行实验得到节点剩余资源是在稳定的范围内波动，这就可以让使用本方法的分布式系统待执行的任务分组和承接计算的节点之间形成了相对稳定的关系，之所以设计一个动态的节点调度器，目的是当节点因系统外因素导致剩余资源的变化，可按照实现快速动态的调整任务执行匹配调整，同时满足符合系统业务的要求，在传统分布式系统的基础上，实现了一个任务分配均衡，资源利用率和任务完成效率高的方法。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
20.图1为本发明一种实施例的动态任务调度流程图；
21.图2为本发明一种实施例中三种方法执行相同任务图；
22.图3为本发明一种实施例中三种方法的任务执行时间对比图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
24.请参阅图1-3所示，一种基于计算节点资源情况的动态任务调度方法，该调度方法包括以下步骤：
25.s1：任务重组，根据任务所遵守的业务、时间和相互依赖综合运算优先级排序的基础上，对包含cpu、ram以及带宽的计算资源需求进行任务重新分组，形成分布式系统的资源需求池，并计算得出所需资源的综合需求m；
26.s2：动态的节点匹配，设计节点调度器，用于实时采集计算节点上当前cpu、ram以
及带宽，并计算该节点的剩余资源p；
27.s3：任务分发，初始化相关参数，当任务队列为非空时，根据综合需求m将任务分配给节点调度器匹配的最佳节点执行，并在执行过程中，根据剩余资源p，动态调整，确保所配资源满足分布式系统最低资源需求。
28.作为本发明的一种实施方式，所述s1中，综合需求m的计算公式如下：
29.m＝ck1 rk2 nk330.其中，m为任务分组综合需求，c为cpu的计算资源需求，r为内存资源需求，n为网络带宽需求，k1，k2，k3为权重，每个待执行的分组形成一个资源需求范围，最低需求为m
l
，最高需求为mm。
31.作为本发明的一种实施方式，所述s2中，剩余资源p的计算公式如下：
32.p＝(1-c)α (1-r)β (1-n)γ,0＜c≤1,0＜r≤1,0＜n≤1；
33.其中：c、r和n为cpu、ram和带宽的占有率，α、β和γ为权值；当m
l
≤p
×
n≤mm，其中的n为一次性分配的任务数量取值范围为“n≥1”，将该计算节点与待分配额任务组进行匹配，当任务分配器分配任务时，可以向节点调度器调度的最佳节点分配任务。
34.作为本发明的一种实施方式，所述s3中，初始化相关参数，即初始化k1，k2，k3以及α、β和γ，且在根据剩余资源p数据后，动态调整n值。
35.根据上述，设计一个包含一个主节点和5个资源配置不一样的分节点分布式系统，如配置表1,设置待完成任务为1万条。
[0036][0037]
基于以上的资源配置，通过实验测算本方案设计方法与当前常用的轮询调度方法和min-min方法进行实验对比，发现在完成同类型任务的平均时间都有响应的缩减，加快了分布式系统的执行速度，提高了任务完成效率，如图2所示；
[0038]
从节点使用的峰值资源方面来看，本方案设计方法与当前常用的轮询调度方法和min-min方法在cpu，ram占有率来看，本方案设计的方法节点更平均，系统确保更加稳定，从任务执行的响应时间来看，本方案设计的方法也优于值资源方面来看，本方案设计方法与当前常用的轮询调度方法和min-min方法，如图3所示；
[0039]
工作原理：本方案按照任务资源需求量进行重组后匹配到各个节点执行，通过运行实验得到节点剩余资源是在稳定的范围内波动，这就可以让使用本方法的分布式系统待执行的任务分组和承接计算的节点之间形成了相对稳定的关系，之所以设计一个动态的节点调度器，目的是当节点因系统外因素导致剩余资源的变化，可按照实现快速动态的调整
任务执行匹配调整，同时满足符合系统业务的要求，在传统分布式系统的基础上，实现了一个任务分配均衡，资源利用率和任务完成效率高的方法。
[0040]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0041]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。