大数据集群处理方法和系统、电子设备和存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种大数据集群处理方法和系统、电子设备和存储介质。


背景技术：

2.大数据集群是指实现对大数据从数据获取、数据存储和数据分析的集群。目前，不同的大数据集群通过各自独立的管理系统进行管理。大数据集群运维人员在管理大数据集群时，经常需要在集群下的主机中配置定时任务，执行诸如进程状态收集、数据统计等任务，每次设置、修改和删除定时任务时，都需要在每一台主机上编写任务脚本、配置crontab。
3.现有技术在大数据集群规模较大时，管理计划任务的时间成本急剧上升，并且不利于查看任务执行状态和收集任务结果。


技术实现要素：

4.本发明提供一种大数据集群处理方法和系统、电子设备和存储介质，用以解决现有技术中存在的技术缺陷。
5.本发明提供一种大数据集群处理方法，包括：
6.对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
7.在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
8.基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
9.根据本发明提供的一种大数据集群处理方法，所述方法还包括以下任一或其组合：
10.对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；
11.对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；
12.删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。
13.根据本发明提供的一种大数据集群处理方法，所述定时将所述第一定时任务脚本推送到大数据集群下的主机中或定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：
14.对所述第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端；
15.所述定时将所述第二定时任务脚本推送到大数据集群下的主机中之后包括：
16.对所述第二任务执行计划的状态进行监控，并将所述第二任务执行计划的状态上报给所述大数据集群对应的服务器端。
17.根据本发明提供的一种大数据集群处理方法，所述基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中之后，所述方法还包括：
18.收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。
19.本发明还提供了一种大数据集群处理系统，包括：
20.脚本定义模块，用于对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
21.脚本分发模块，用于在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
22.定时推送模块，用于基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
23.根据本发明提供的一种大数据集群处理系统，所述大数据集群处理系统包括以下任一或其组合：
24.修改模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；
25.更新模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；
26.删除模块，用于删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。
27.根据本发明提供的一种大数据集群处理系统，所述大数据集群处理系统包括：
28.状态监控模块，用于对所述第一任务执行计划或第二任务执行计划的状态进行监控，并将所述第一任务执行计划或第二任务执行计划的状态上报给所述大数据集群对应的服务器端。
29.根据本发明提供的一种大数据集群处理系统，所述大数据集群处理系统包括：
30.运行结果收集模块，用于收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。
31.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述大数据集群处理方法的步骤。
32.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述大数据集群处理方法的步骤。
33.本发明通过定义定时任务脚本，然后在指定大数据集群下创建任务执行计划，并将该脚本添加到任务执行计划中，根据执行计划定时将该脚本推送到集群下的主机中运行，并将任务执行状态和结果上报到系统服务器端；通过基于所述第一任务执行计划，定时
将所述第一定时任务脚本推送到大数据集群下的主机中，实现了后续第一定时任务脚本只需要修改一次即可定时对指定大数据集群下的所有主机生效，极大地提高了大数据集群运维工作的效率，节省了运维成本。
附图说明
34.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明实施例提供的大数据集群处理方法的流程示意图之一；
36.图2是本发明实施例提供的大数据集群处理方法的流程示意图之二；
37.图3是本发明实施例提供的大数据集群处理方法的流程示意图之三；
38.图4是本发明实施例提供的大数据集群处理方法的流程示意图之四；
39.图5是本发明提供的大数据集群处理系统的示意图；
40.图6是本发明提供的电子设备的结构示意图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本发明实施例公开了一种大数据集群处理方法，其执行主体为计算机系统，上传脚本到计算机系统上，然后在计算机系统上基于这个脚本创建定时任务，并选择作用于哪些主机，点击确定就完成，参见图1，所述大数据集群处理包括：
43.s1：对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
44.具体的，首先明确需要对大数据集群或者主机定时执行的任务操作，并使用编程语言shell或者python将任务操作编写为第一定时任务脚本，再调用任务中心的第一定时任务脚本上传接口，将第一定时任务脚本上传到任务中心。脚本(script)，是使用一种特定的描述性语言，依据一定的格式编写的可执行文件，第一定时任务脚本是基于大数据集群中的主机进行脚本定义生成的。
45.s2：在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
46.具体的，调用任务中心的定时任务创建接口，设置定时任务执行的第一定时任务脚本、定时任务作用的目标大数据集群或者目标主机、定时任务定时触发的时间周期等参数，完成定时任务的创建。第一任务执行计划是在大数据集群下自动创建的。
47.s3：基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
48.具体的，任务中心会将定时任务放入任务池，周期性地触发定时任务，自动定时将第一定时任务脚本推送目标大数据集群或者目标主机，并执行第一定时任务脚本，完成定
时任务操作。定时任务可以采用现有的定时装置实现。
49.本发明提供的大数据集群处理方法，通过定义定时任务脚本，然后在指定大数据集群下创建任务执行计划，并将该脚本添加到任务执行计划中，根据执行计划定时将该脚本推送到集群下的主机中运行，并将任务执行状态和结果上报到系统服务器端，系统服务器端用于监控任务执行状态和结果，通过基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中，实现了后续大数据集群运维人员第一定时任务脚本只需要修改一次即可定时对指定大数据集群下的所有主机生效，。
50.根据本发明提供的一种大数据集群处理方法，包括以下任一或其组合：
51.对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；后续大数据集群运维人员修改定时任务执行计划、定时任务脚本只需要修改一次即可对指定大数据集群下的所有主机生效。
52.对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；
53.删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。本发明提供了一套完整的定时任务管理流程，对大数据集群中的主机进行脚本统一定义、脚本统一下发、任务定时执行、任务状态监控、任务结果收集等操作，提高了大数据集群运维工作的效率。
54.优选的，在该方法执行过程中，所述定时将所述第一定时任务脚本推送到大数据集群下的主机中或定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中之后包括：
55.对所述第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端；
56.所述定时将所述第二定时任务脚本推送到大数据集群下的主机中之后包括：
57.对所述第二任务执行计划的状态进行监控，并将所述第二任务执行计划的状态上报给所述大数据集群对应的服务器端。
58.进一步的，所述基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中之后，该方法还包括：
59.收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。利于查看任务执行状态和收集任务结果。也就是，将执行的结果返回给本系统；本系统将接收到的任务执行结果存放于日志库中，同时更新任务库中该任务的执行状态和下次执行时间。
60.为了进一步地理解本实施例的方法，在一个具体实例中，如图2所示，本实施例的大数据集群处理方法包括：
61.步骤2011、对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
62.首先明确需要对大数据集群或者主机定时执行的任务操作，并使用编程语言shell或者python将任务操作编写为第一定时任务脚本，再调用任务中心的第一定时任务脚本上传接口，将第一定时任务脚本上传到任务中心。
63.步骤2012、在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
64.将用户上传的脚本存放于脚本库中，将用户创建的计划任务存放于任务库中，将任务执行的结果存放于日志库中，并实时扫描任务库中的任务列表。当任务列表中的某个任务到达了预定的执行时间，本系统将解析该任务，获取该任务执行所需要的脚本和目标主机，然后从脚本库中提取脚本，并将脚本通过sftp协议发送到目标主机上，同时在目标机器上执行脚本。
65.步骤2013、基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
66.任务中心会将定时任务放入任务池，周期性地触发定时任务，自动将第一定时任务脚本推送目标大数据集群或者目标主机，并执行第一定时任务脚本，完成定时任务操作。
67.步骤2014、收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。
68.执行第一定时任务脚本，完成定时任务操作之后，优选的，还包括收集由所述大数据集群下的主机反馈的任务运行结果，主机反馈的任务运行结果包含运行成功，或运行不成功，如果运行不成功，在下一步继续重新运行。将所述任务运行结果上报给所述大数据集群对应的服务器端，因此，大数据集群对应的服务器端可以获知运行结果。
69.步骤2015、对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；
70.也就是，第一定时任务脚本、第一任务执行计划分别进行修改形成修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中，后续大数据集群运维人员修改定时任务执行计划、定时任务脚本只需要修改一次即可对指定大数据集群下的所有主机生效。
71.步骤2016、对所述第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端。
72.对于修改后的第一任务执行计划的状态进行监控，并将所述第一任务执行计划的状态上报给所述大数据集群对应的服务器端，实现实时监控、管理。
73.也就是，将用户上传的脚本存放于脚本库中，将用户创建的计划任务存放于任务库中，将任务执行的结果存放于日志库中，并实时扫描任务库中的任务列表。当任务列表中的某个任务到达了预定的执行时间。本发明实施例将解析该第一任务执行计划，获取该第一任务执行计划所需要的第一定时任务脚本和目标主机，然后从脚本库中提取第一定时任务脚本，并将第一定时任务脚本通过sftp协议发送到目标主机上，同时在目标机器上执行第一定时任务脚本。
74.为了进一步地理解本实施例的方法，在一个具体实例中，如图3所示，本实施例的大数据集群处理方法包括：
75.步骤3011、对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
76.首先明确需要对大数据集群或者主机定时执行的任务操作，并使用编程语言shell或者python将任务操作编写为第一定时任务脚本，再调用任务中心的第一定时任务
脚本上传接口，将第一定时任务脚本上传到任务中心。
77.步骤3012、在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
78.将用户上传的脚本存放于脚本库中，将用户创建的计划任务存放于任务库中，将任务执行的结果存放于日志库中，并实时扫描任务库中的任务列表。当任务列表中的某个任务到达了预定的执行时间，本系统将解析该任务，获取该任务执行所需要的脚本和目标主机，然后从脚本库中提取脚本，并将脚本通过sftp协议发送到目标主机上，同时在目标机器上执行脚本。
79.步骤3013、基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
80.任务中心会将定时任务放入任务池，周期性地触发定时任务，自动将第一定时任务脚本推送目标大数据集群或者目标主机，并执行第一定时任务脚本，完成定时任务操作。
81.步骤3014、收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。
82.执行第一定时任务脚本，完成定时任务操作之后，优选的，还包括收集由所述大数据集群下的主机反馈的任务运行结果，主机反馈的任务运行结果包含运行成功，或运行不成功，如果运行不成功，在下一步继续重新运行。将所述任务运行结果上报给所述大数据集群对应的服务器端，因此，大数据集群对应的服务器端可以获知运行结果。
83.步骤3015、对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；
84.当需要更新时，仅需要将对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本，并定时将所述第二定时任务脚本推送到大数据集群下的主机中即可实现，效率高。
85.本发明实施例将解析该第二任务执行计划，获取该第二任务执行计划执行所需要的第二定时任务脚本和目标主机，然后从脚本库中提取第二定时任务脚本，并将第二定时任务脚本通过sftp协议发送到目标主机上，同时在目标机器上执行第二定时任务脚本。
86.步骤3016、对所述第二任务执行计划的状态进行监控，并将所述第二任务执行计划的状态上报给所述大数据集群对应的服务器端。
87.为了进一步地理解本实施例的方法，在一个具体实例中，如图4所示，本实施例的大数据集群处理方法包括：
88.步骤4011、对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
89.首先明确需要对大数据集群或者主机定时执行的任务操作，并使用编程语言shell或者python将任务操作编写为第一定时任务脚本，再调用任务中心的第一定时任务脚本上传接口，将第一定时任务脚本上传到任务中心。
90.步骤4012、在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
91.将用户上传的脚本存放于脚本库中，将用户创建的计划任务存放于任务库中，将任务执行的结果存放于日志库中，并实时扫描任务库中的任务列表。当任务列表中的某个
任务到达了预定的执行时间，本系统将解析该任务，获取该任务执行所需要的脚本和目标主机，然后从脚本库中提取脚本，并将脚本通过sftp协议发送到目标主机上，同时在目标机器上执行脚本。
92.步骤4013、基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
93.任务中心会将定时任务放入任务池，周期性地触发定时任务，自动将第一定时任务脚本推送目标大数据集群或者目标主机，并执行第一定时任务脚本，完成定时任务操作。
94.步骤4014、收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。
95.执行第一定时任务脚本，完成定时任务操作之后，优选的，还包括收集由所述大数据集群下的主机反馈的任务运行结果，主机反馈的任务运行结果包含运行成功，或运行不成功，如果运行不成功，在下一步继续重新运行。将所述任务运行结果上报给所述大数据集群对应的服务器端，因此，大数据集群对应的服务器端可以获知运行结果。
96.步骤4015、删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。
97.若是要删除部分内容，可以直接删除所要删除的部分内容所对应的第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中即可，操作方便。
98.下面对本发明提供的大数据集群处理系统进行描述，下文描述的大数据集群处理系统与上文描述的大数据集群处理方法可相互对应参照。
99.本发明实施例公开了一种大数据集群处理系统，参见图5，包括：
100.脚本定义模块10，用于对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
101.具体的，首先明确需要对大数据集群或者主机定时执行的任务操作，并使用编程语言shell或者python将任务操作编写为第一定时任务脚本，再调用任务中心的第一定时任务脚本上传接口，将第一定时任务脚本上传到任务中心。
102.脚本分发模块20，用于在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
103.具体的，调用任务中心的定时任务创建接口，设置定时任务执行的第一定时任务脚本、定时任务作用的目标大数据集群或者目标主机、定时任务定时触发的时间周期等参数，完成定时任务的创建。
104.也就是，将用户上传的脚本存放于脚本库中，将用户创建的计划任务存放于任务库中，将任务执行的结果存放于日志库中，并实时扫描任务库中的任务列表。当任务列表中的某个任务到达了预定的执行时间，本系统将解析该任务，获取该任务执行所需要的脚本和目标主机，然后从脚本库中提取脚本，并将脚本通过sftp协议发送到目标主机上，同时在目标机器上执行脚本，
105.定时推送模块30，用于基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
106.具体的，任务中心会将定时任务放入任务池，周期性地触发定时任务，自动将第一定时任务脚本推送目标大数据集群或者目标主机，并执行第一定时任务脚本，完成定时任
务操作。
107.本发明提供的大数据集群处理系统，通过定义定时任务脚本，然后在指定大数据集群下创建任务执行计划，并将该脚本添加到任务执行计划中，根据执行计划定时将该脚本推送到集群下的主机中运行，并将任务执行状态和结果上报到系统服务器端，通过基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中，实现了后续大数据集群运维人员第一定时任务脚本只需要修改一次即可定时对指定大数据集群下的所有主机生效。
108.根据本发明提供的一种大数据集群处理系统，包括以下任一或其组合：
109.修改模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行修改，基于修改后的第一任务执行计划，定时将所述修改后的第一定时任务脚本推送到大数据集群下的主机中；后续大数据集群运维人员修改定时任务执行计划、定时任务脚本只需要修改一次即可对指定大数据集群下的所有主机生效。
110.更新模块，用于对所述第一定时任务脚本、第一任务执行计划分别进行更新，生成第二定时任务脚本、第二任务执行计划；基于所述第二任务执行计划，定时将所述第二定时任务脚本推送到大数据集群下的主机中；
111.删除模块，用于删除所述第一定时任务脚本及第一任务执行计划，并将删除的内容推送到大数据集群下的主机中。本发明提供了一套完整的定时任务管理流程，对大数据集群中的主机进行脚本统一定义、脚本统一下发、任务定时执行、任务状态监控、任务结果收集等操作，提高了大数据集群运维工作的效率。
112.根据本发明提供的一种大数据集群处理系统，包括：
113.状态监控模块，用于对所述第一任务执行计划或第二任务执行计划的状态进行监控，并将所述第一任务执行计划或第二任务执行计划的状态上报给所述大数据集群对应的服务器端。
114.根据本发明提供的一种大数据集群处理系统，包括：
115.运行结果收集模块，用于收集由所述大数据集群下的主机反馈的任务运行结果，并将所述任务运行结果上报给所述大数据集群对应的服务器端。利于查看任务执行状态和收集任务结果。也就是，将执行的结果返回给本系统；本系统将接收到的任务执行结果存放于日志库中，同时更新任务库中该任务的执行状态和下次执行时间。
116.图6示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行一种大数据集群处理方法，该方法包括：
117.s1：对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
118.s2：在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
119.s3：基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
120.此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为
独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
121.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行一种大数据集群处理方法，该方法包括：
122.s1：对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
123.s2：在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
124.s3：基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
125.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行一种大数据集群处理方法，该方法包括：
126.s1：对大数据集群中的主机进行脚本定义，生成第一定时任务脚本；
127.s2：在大数据集群下创建第一任务执行计划，并将所述第一定时任务脚本添加到对应的第一任务执行计划中；
128.s3：基于所述第一任务执行计划，定时将所述第一定时任务脚本推送到大数据集群下的主机中。
129.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
130.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
131.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。