推数任务调度的方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种推数任务调度的方法和装置。


背景技术：

2.推数任务用于将离线数据推送至集群中。为了高效利用集群功能，一个集群可能会承载多个项目的索引推数。数十亿量级的数据推送至集群时，集群吞吐量将会是瓶颈。现有技术中通常通过提高集群写入速度和串行或并行处理推数任务的方式来提高es集群吞吐量的利用率。但是这种方式无法在集群吐量有限的情况下提高整个集群吞吐量的利用率。


技术实现要素：

3.有鉴于此，本发明实施例提供一种推数任务调度的方法和装置，通过测试运行所有推数任务来自动协调一个集群上所有推数任务的执行顺序，能够达到高效利用整个集群的吞吐量的目的。
4.为实现上述目的，根据本发明实施例的一个方面，提供了一种推数任务调度的方法，包括：
5.测试运行所有推数任务，定时获取测试过程中接收推送数据的目标集群的集群剩余吞吐量；
6.根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序；
7.按照所述执行顺序将所述推送数据推送到所述目标集群中。
8.可选地，所述任务参数包括：任务占用吞吐量和任务优先级；
9.根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序，包括：
10.每次获取所述集群剩余吞吐量之后，按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序，得到排序结果；
11.根据每次获取的所述集群剩余吞吐量对应的排序结果，确定所有推数任务的执行顺序。
12.可选地，所述任务参数还包括：推数时长和开始时间；
13.按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序之后，还包括：
14.判断排序后的任务序列中是否存在具有相同任务优先级的等待推数任务；若否，则以所述任务序列作为所述排序结果；若是，则按照推数时长从短到长的顺序再次对所述任务序列中具有相同任务优先级的等待推数任务进行排序；
15.判断再次排序后的任务序列中是否存在具有相同推数时长的等待推数任务；若是，则按照开始时间从前到后的顺序对所述再次排序后的任务序列中具有相同推数时长的
等待推数任务进行排序，得到所述排序结果；否则，以第二任务序列作为所述排序结果。
16.可选地，确定所有推数任务的执行顺序之后，还包括：判断所述所有推数任务的执行顺序是否满足第一调整条件；若是，则按照如下步骤对所述所有推数任务的执行顺序进行调整：
17.将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
18.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
19.其中，第一调整条件包括：所述执行顺序对应的推数时间轴上存在空闲时段，且所述空闲时段内存在等待推数任务；所述空闲时段是指所述目标集群的集群剩余吞吐量等于零的时段；所述在前推数任务是指在所述空闲时段之前最后执行的推数任务。
20.可选地，将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，包括：
21.根据所述目标集群的集群最高吞吐量以及所述推数时间轴上每个等待推数任务的任务占用吞吐量，确定待调整优先级的等待任务；
22.将所述待调整优先级的等待任务的任务优先级调整至与所述在前推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
23.可选地，将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同之后，还包括：
24.判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
25.可选地，确定所有推数任务的执行顺序之后，还包括：判断所述所有推数任务的执行顺序是否满足第二调整条件；若是，则按照如下步骤对所述所有推数任务的执行顺序进行调整：
26.将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
27.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
28.其中，第二调整条件包括：所述执行顺序对应的推数时间轴上存在未打满时段，且所述未打满时段内存在任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务；所述未打满时段是指所述目标集群的集群剩余吞吐量大于零、且小于集群最高吞吐量的时段。
29.可选地，将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，包括：
30.根据所述集群剩余吞吐量以及所述推数时间轴上每个等待推数任务的的任务占用吞吐量，确定待调整优先级的等待任务；
31.将所述待调整优先级的等待任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
32.可选地，将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同之后，还包括：
33.判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
34.根据本发明实施例的第二方面，提供一种推数任务调度的装置，包括：
35.获取模块，测试运行所有推数任务，定时获取测试过程中接收推送数据的目标集群的集群剩余吞吐量；
36.确定模块，根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序；
37.推送模块，按照所述执行顺序将所述推送数据推送到所述目标集群中。
38.可选地，所述任务参数包括：任务占用吞吐量和任务优先级；
39.所述确定模块根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序，包括：
40.每次获取所述集群剩余吞吐量之后，按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序，得到排序结果；
41.根据每次获取的所述集群剩余吞吐量对应的排序结果，确定所有推数任务的执行顺序。
42.可选地，所述任务参数还包括：推数时长和开始时间；
43.所述确定模块还用于：按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序之后，
44.判断排序后的任务序列中是否存在具有相同任务优先级的等待推数任务；若否，则以所述任务序列作为所述排序结果；若是，则按照推数时长从短到长的顺序再次对所述任务序列中具有相同任务优先级的等待推数任务进行排序；
45.判断再次排序后的任务序列中是否存在具有相同推数时长的等待推数任务；若是，则按照开始时间从前到后的顺序对所述再次排序后的任务序列中具有相同推数时长的等待推数任务进行排序，得到所述排序结果；否则，以第二任务序列作为所述排序结果。
46.可选地，所述确定模块还用于：确定所有推数任务的执行顺序之后，判断所述所有推数任务的执行顺序是否满足第一调整条件；若是，则按照如下步骤对所述所有推数任务的执行顺序进行调整：
47.将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
48.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
49.其中，第一调整条件包括：所述执行顺序对应的推数时间轴上存在空闲时段，且所述空闲时段内存在等待推数任务；所述空闲时段是指所述目标集群的集群剩余吞吐量等于零的时段；所述在前推数任务是指在所述空闲时段之前最后执行的推数任务。
50.可选地，所述确定模块将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，包括：
51.根据所述目标集群的集群最高吞吐量以及所述推数时间轴上每个等待推数任务的任务占用吞吐量，确定待调整优先级的等待任务；
52.将所述待调整优先级的等待任务的任务优先级调整至与所述在前推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
53.可选地，所述确定模块还用于：将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同之后，
54.判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
55.可选地，所述确定模块还用于：确定所有推数任务的执行顺序之后，判断所述所有推数任务的执行顺序是否满足第二调整条件；若是，则按照如下步骤对所述所有推数任务的执行顺序进行调整：
56.将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
57.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
58.其中，第二调整条件包括：所述执行顺序对应的推数时间轴上存在未打满时段，且所述未打满时段内存在任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务；所述未打满时段是指所述目标集群的集群剩余吞吐量大于零、且小于集群最高吞吐量的时段。
59.可选地，所述确定模块将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，包括：
60.根据所述集群剩余吞吐量以及所述推数时间轴上每个等待推数任务的的任务占用吞吐量，确定待调整优先级的等待任务；
61.将所述待调整优先级的等待任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
62.可选地，所述确定模块还用于：将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同之后，
63.判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
64.根据本发明实施例的第三方面，提供一种推数任务调度的电子设备，包括：
65.一个或多个处理器；
66.存储装置，用于存储一个或多个程序，
67.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
68.根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
69.上述发明中的一个实施例具有如下优点或有益效果：通过测试运行所有推数任务来自动协调一个集群上所有推数任务的执行顺序，能够达到高效利用整个集群的吞吐量的目的。通过检测整个推数时间轴上各个推数任务的执行情况动态调整推数任务的任务优先级及任务占用吞吐量等任务参数，能够进一步提高整个集群吞吐量的利用率。
70.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
71.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
72.图1是本发明实施例的推数任务调度的方法的主要流程的示意图；
73.图2是本发明可选实施例中推数任务调度的方法的流程示意图；
74.图3是本发明可选实施例中基于空闲时段调整推数任务的任务参数的流程示意图；
75.图4是本发明可选实施例中基于未打满时段调整推数任务的任务参数的流程示意图；
76.图5是本发明实施例的推数任务调度的装置的主要模块的示意图；
77.图6是本发明实施例可以应用于其中的示例性系统架构图；
78.图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
79.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
80.根据本发明实施例的一个方面，提供了一种推数任务调度的方法。
81.图1是本发明实施例的推数任务调度的方法的主要流程的示意图，如图1所示，推数任务调度的方法，包括：步骤s101、步骤s102和步骤s103。
82.在步骤s101和步骤s102中，通过测试运行所有推数任务，确定所有推数任务的执行顺序。具体地，在步骤s101中，测试运行所有推数任务，定时获取测试过程中接收推送数据的目标集群的集群剩余吞吐量。在步骤s102中，根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序。在步骤s103中，按照所述执行顺序将所述推送数据推送到所述目标集群中。
83.示例性地，假设测试运行所有推数任务时，每隔1分钟获取测试过程中接收推送数据的目标集群的集群剩余吞吐量，共计获取2次。第一次获取目标集群的集群剩余吞吐量之后，根据每个推数任务的任务参数以及第一次获取的集群剩余吞吐量，确定所有推数任务的执行顺序为t1、t2、t3、t4、t5。在推数任务t 2运行完毕时第二次获取目标集群的集群剩
余吞吐量，根据每个推数任务的任务参数以及第二次获取的集群剩余吞吐量，确定所有未执行的推数任务的执行顺序为t3、t5、t4。则根据测试运行后得到的所有推数任务的执行顺序为t1、t2、t3、t5、t4。
84.任务参数的内容和数量可以根据实际情况进行选择性设定。例如，任务参数包括任务占用吞吐量，则在根据每个推数任务的任务参数以及定时获取的集群剩余吞吐量确定所有推数任务的执行顺序时，按照任务占有率从高到低或者从低到高的顺序对所有推数任务进行排序。
85.可选地，任务参数包括：任务占用吞吐量和任务优先级。根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序，包括：每次获取所述集群剩余吞吐量之后，按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序，得到排序结果；根据每次获取的所述集群剩余吞吐量对应的排序结果，确定所有推数任务的执行顺序。
86.根据任务优先级从高到低的顺序确定所有推数任务的执行顺序，能够保证较为重要或核心的推送数据被优先推送至目标集群。
87.可选地，任务参数还包括：推数时长和开始时间。按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序之后，还包括：判断排序后的任务序列中是否存在具有相同任务优先级的等待推数任务；若否，则以所述任务序列作为所述排序结果；若是，则按照推数时长从短到长的顺序再次对所述任务序列中具有相同任务优先级的等待推数任务进行排序；判断再次排序后的任务序列中是否存在具有相同推数时长的等待推数任务；若是，则按照开始时间从前到后的顺序对所述再次排序后的任务序列中具有相同推数时长的等待推数任务进行排序，得到所述排序结果；否则，以第二任务序列作为所述排序结果。
88.图2是本发明可选实施例中推数任务调度的方法的流程示意图。在图2示出了可选实施例中，首先测试目标集群的集群最高吞吐量以及每个推数任务的任务占用吞吐量和推送时长等任务参数，对各个推数任务的任务参数进行添加以便后续确定推数任务的执行顺序。本实施例中可以动态检测及优化各个推数任务的任务参数，并添加修改后的任务参数，以便根据修改后的参数调整推数任务的执行顺序。对于每个推数任务，首先检测目标集群当前的集群剩余吞吐量是否小于本推数任务的任务占用吞吐量。若是，则表明当前环境不适宜执行本推数任务，等待并循环检测是否有上游任务执行完毕；若否，则检测是否有高优先级的推数任务尚未执行。若是，则表明当前有更重要或核心的推数任务需要执行，此时不执行本推数任务，等待并循环检测是否有上游任务执行完毕；若否，则检测与本推数任务具有相同任务优先级的推数任务中是否有更短推数时长的推数任务。若是，则不执行本推数任务，等待并循环检测是否有上游任务执行完毕；若否，则执行本推数任务。
89.本实施例中，具有相同任务优先级的多个推数任务中优先处理推数时长较短的推数任务，能够保证提高处理推数任务的并发量，提高整体集群吞吐量的利用率。
90.本发明实施例通过测试运行所有推数任务来自动协调一个集群上所有推数任务的执行顺序，能够达到高效利用整个集群的吞吐量的目的。
91.在一些可选的实施例中，确定所有推数任务的执行顺序之后，还包括：判断所述所有推数任务的执行顺序是否满足第一调整条件；若是，则按照如下步骤对所述所有推数任
务的执行顺序进行调整：
92.将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
93.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
94.其中，第一调整条件包括：所述执行顺序对应的推数时间轴上存在空闲时段，且所述空闲时段内存在等待推数任务；所述空闲时段是指所述目标集群的集群剩余吞吐量等于零的时段；所述在前推数任务是指在所述空闲时段之前最后执行的推数任务。
95.示例性地，假设推数时间轴上存在一个空闲时段，该空闲时段之前最后执行的推数任务的任务优先级为a，该空闲时段内存在多个等待推数任务，则将该空闲时段之后开始时间最早或任务优先级最高或推数时长最短的等待推数任务的任务优先级调整为a，以便在该空闲时段执行该等待推数任务。本实施例能够充分利用空闲时段内目标集群的吞吐量，提高目标集群在这个推数周期内的整体集群吞吐量利用率。
96.可选地，将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，包括：根据所述目标集群的集群最高吞吐量以及所述推数时间轴上每个等待推数任务的任务占用吞吐量，确定待调整优先级的等待任务；将所述待调整优先级的等待任务的任务优先级调整至与所述在前推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
97.当空闲时段是等待推数任务的数量较多时，可以按照开始时间从早到晚或任务优先级从高到低或推数时长从短到长的顺序从中筛选待调整优先级的等待任务。示例性地，假设集群最高吞吐量为10，空闲时段内按照优先级从高到低的顺序有4个等待推数任务，对应的任务占用吞吐量分别为3、3、3、4。则将前三个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同。
98.可选地，将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同之后，还包括：判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
99.在调整已调整的等待推数任务的任务占用吞吐量时，可以将调整时刻目标集群的集群剩余吞吐量平均分配至已调整的等待推数任务，也可以仅分配到部分已调整的等待推数任务。各个已调整的等待推数任务被分配的吞吐量可以相同或不同。图3是本发明可选实施例中基于空闲时段调整推数任务的任务参数的流程示意图。如图3所示，首先检测推数时间轴上是否有空闲时段。若否，则流程结束；若是，则检测空闲时段内是否有等待推数任务。若否，则流程结束；若是，则提高等待推数任务的优先级和任务占用吞吐量。然后重新测试运行所有推数任务，以确定调整之后所有推数任务的推数任务执行总时长。判断该调整之后所有推数任务的推数任务执行总时长是否变长，即调整之后所有推数任务的推数任务执行总时长是否大于调整之前所有推数任务的推数任务执行总时长。若是，则回滚等待推数任务的任务优先级和任务状态吞吐量，不调整推数任务的任务参数。
100.示例性地，假设集群最高吞吐量为10，空闲时段内按照优先级从高到低的顺序有4
个等待推数任务，对应的任务占用吞吐量分别为3、3、3、4。则将前三个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同之后，目标集群的集群剩余吞吐量大于零。此时，可以将剩余的1个吞吐量增加至上述已调整任务优先级的任意一个推数任务中。本实施例通过提高已调整的等待推数任务的任务占用吞吐量以使目标集群的集群剩余吞吐量为零，能够最大化地利用目标集群的集群吞吐量，提高整体集群吞吐量的利用率。
101.在另一些可选的实施例中，确定所有推数任务的执行顺序之后，还包括：判断所述所有推数任务的执行顺序是否满足第二调整条件；若是，则按照如下步骤对所述所有推数任务的执行顺序进行调整：
102.将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
103.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
104.其中，第二调整条件包括：所述执行顺序对应的推数时间轴上存在未打满时段，且所述未打满时段内存在任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务；所述未打满时段是指所述目标集群的集群剩余吞吐量大于零、且小于集群最高吞吐量的时段。
105.示例性地，假设推数时间轴上存在一个未打满时段，该未打满时段内正在执行的推数任务的任务优先级为a，该未打满时段内存在多个等待推数任务，则将该未打满时段之后开始时间最早或任务优先级最高或推数时长最短的等待推数任务的任务优先级调整为a，以便在该未打满时段执行该等待推数任务。本实施例能够充分利用未打满时段内目标集群的剩余吞吐量，提高目标集群在这个推数周期内的整体集群吞吐量利用率。
106.可选地，将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，包括：根据所述集群剩余吞吐量以及所述推数时间轴上每个等待推数任务的的任务占用吞吐量，确定待调整优先级的等待任务；将所述待调整优先级的等待任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
107.当未打满时段是等待推数任务的数量较多时，可以按照开始时间从早到晚或任务优先级从高到低或推数时长从短到长的顺序从中筛选待调整优先级的等待任务。示例性地，假设集群最高吞吐量为10，有15分钟时段内集群剩余吞吐量为3，则该15分钟时段即为未打满时段。若该未打满时段内存在一个任务占用吞吐量为3的等待推数任务，则可以将该等待推数任务的任务优先级调整至与当前正在执行的推数任务的任务优先级相同。
108.可选地，将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同之后，还包括：判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
109.在调整已调整的等待推数任务的任务占用吞吐量时，可以将调整时刻目标集群的集群剩余吞吐量平均分配至已调整的等待推数任务，也可以仅分配到部分已调整的等待推
数任务。各个已调整的等待推数任务被分配的吞吐量可以相同或不同。图4是本发明可选实施例中基于未打满时段调整推数任务的任务参数的流程示意图。如图4所示，首先检测推数时间轴上是否有未打满时段。若否，则流程结束；若是，则检测空闲时段内是否有等待推数任务。若否，则流程结束；若是，则提高等待推数任务的优先级和任务占用吞吐量。然后重新测试运行所有推数任务，以确定调整之后所有推数任务的推数任务执行总时长。判断该调整之后所有推数任务的推数任务执行总时长是否变长，即调整之后所有推数任务的推数任务执行总时长是否大于调整之前所有推数任务的推数任务执行总时长。若是，则回滚等待推数任务的任务优先级和任务状态吞吐量，不调整推数任务的任务参数。
110.示例性地，假设集群最高吞吐量为10，有15分钟时段内集群剩余吞吐量为5，则该15分钟时段即为未打满时段。若该未打满时段内分别存在一个任务占用吞吐量为1和2的等待推数任务，则将这两个等待推数任务的任务优先级调整至与当前正在执行的推数任务的任务优先级相同之后，目标集群的集群剩余吞吐量为2，大于零。此时，可以将剩余的2个吞吐量增加至上述已调整任务优先级的两个推数任务中，即已调整任务优先级的两个推数任务的任务占用吞吐量分别为2和3。本实施例通过提高已调整的等待推数任务的任务占用吞吐量以使目标集群的集群剩余吞吐量为零，能够最大化地利用目标集群的集群吞吐量，提高整体集群吞吐量的利用率。
111.若通过批量提交和使用多线程将推数数据写入集群中，在吞吐量已经打满的情况下再提高写入速度，推送的数据会由于来不及被集群处理而被丢弃，导致数据丢失。若通过优化硬件的方式提供集群吞吐量，将导致集群机器成本提高，并且将硬件提高到最优时继续提高推数数据量，依然会遇到写入瓶颈。若通过增加refresh时间间隔、减少副本数量等方式提高集群写入速度，会牺牲搜索实时性和数据可靠性。若通过推送任务串行处理方式提高集群写入速度，有些前置任务失败、延迟时将导致整个集群推数时间延迟。若通过推数任务并行处理方式提供集群写入速度，由于各个推数任务的推数数据量不同，使用较低的并发度导致推送时间过长，不能高效利用整个集群的吞吐量。使用较高的并发度时，因为索引的上游任务结束时间不同，若在同一时间执行过多的推送任务，将导致并发量过大，推送至集群的数据丢失。若加入丢失数据重试机制，不仅不能提高集群集群吞吐量，反而过大的丢失数据重试将增加整个集群负载。
112.在实际生产过程中，并非是追求极致的写入速度，而是在有限的硬件设备条件下，在保证一定的业务场景下，尽量提高集群吞吐量利用率。本发明实施例通过测试运行所有推数任务来自动协调一个集群上所有推数任务的执行顺序，能够达到高效利用整个集群的吞吐量的目的。通过检测整个推数时间轴上各个推数任务的执行情况动态调整推数任务的任务优先级及任务占用吞吐量等任务参数，能够进一步提高整个集群吞吐量的利用率。
113.需要说明的是，本发明实施例中提及的集群，可以是除了es(elasticsearch，一个基于lucene的搜索服务器)集群，也可以其他集群，例如mysql(一个关系型数据库管理系统)集群、hbase(一个分布式的、面向列的开源数据库)集群等。
114.根据本发明实施例的第二方面，提供一种实现上述方法的装置。
115.图5是本发明实施例的推数任务调度的装置的主要模块的示意图，如图5所示，推数任务调度的装置500包括：
116.获取模块501，测试运行所有推数任务，定时获取测试过程中接收推送数据的目标
集群的集群剩余吞吐量；
117.确定模块502，根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序；
118.推送模块503，按照所述执行顺序将所述推送数据推送到所述目标集群中。
119.可选地，所述任务参数包括：任务占用吞吐量和任务优先级；
120.所述确定模块根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序，包括：
121.每次获取所述集群剩余吞吐量之后，按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序，得到排序结果；
122.根据每次获取的所述集群剩余吞吐量对应的排序结果，确定所有推数任务的执行顺序。
123.可选地，所述任务参数还包括：推数时长和开始时间；
124.所述确定模块还用于：按照任务优先级从高到低的顺序对任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务进行排序之后，
125.判断排序后的任务序列中是否存在具有相同任务优先级的等待推数任务；若否，则以所述任务序列作为所述排序结果；若是，则按照推数时长从短到长的顺序再次对所述任务序列中具有相同任务优先级的等待推数任务进行排序；
126.判断再次排序后的任务序列中是否存在具有相同推数时长的等待推数任务；若是，则按照开始时间从前到后的顺序对所述再次排序后的任务序列中具有相同推数时长的等待推数任务进行排序，得到所述排序结果；否则，以第二任务序列作为所述排序结果。
127.可选地，所述确定模块还用于：确定所有推数任务的执行顺序之后，判断所述所有推数任务的执行顺序是否满足第一调整条件；若是，则按照如下步骤对所述所有推数任务的执行顺序进行调整：
128.将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
129.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
130.其中，第一调整条件包括：所述执行顺序对应的推数时间轴上存在空闲时段，且所述空闲时段内存在等待推数任务；所述空闲时段是指所述目标集群的集群剩余吞吐量等于零的时段；所述在前推数任务是指在所述空闲时段之前最后执行的推数任务。
131.可选地，所述确定模块将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同，包括：
132.根据所述目标集群的集群最高吞吐量以及所述推数时间轴上每个等待推数任务的任务占用吞吐量，确定待调整优先级的等待任务；
133.将所述待调整优先级的等待任务的任务优先级调整至与所述在前推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
134.可选地，所述确定模块还用于：将至少一个等待推数任务的任务优先级调整至与在前推数任务的任务优先级相同之后，
135.判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
136.可选地，所述确定模块还用于：确定所有推数任务的执行顺序之后，判断所述所有推数任务的执行顺序是否满足第二调整条件；若是，则按照如下步骤对所述所有推数任务的执行顺序进行调整：
137.将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，然后重新测试运行所有推数任务，确定所有推数任务的新执行顺序；
138.判断所述新执行顺序对应的推数任务执行总时长是否大于所述执行顺序对应的推数任务执行总时长；若是，则回滚已调整的等待推数任务的任务优先级，不对所述所有推数任务的执行顺序进行调整；否则，以所述新执行顺序作为所有推数任务的执行顺序；
139.其中，第二调整条件包括：所述执行顺序对应的推数时间轴上存在未打满时段，且所述未打满时段内存在任务占用吞吐量小于等于所述集群剩余吞吐量的等待推数任务；所述未打满时段是指所述目标集群的集群剩余吞吐量大于零、且小于集群最高吞吐量的时段。
140.可选地，所述确定模块将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，包括：
141.根据所述集群剩余吞吐量以及所述推数时间轴上每个等待推数任务的的任务占用吞吐量，确定待调整优先级的等待任务；
142.将所述待调整优先级的等待任务的任务优先级调整至与正在执行的推数任务的任务优先级相同，更新调整后所述目标集群的集群剩余吞吐量。
143.可选地，所述确定模块还用于：将任务占用吞吐量小于等于所述集群剩余吞吐量的至少一个等待推数任务的任务优先级调整至与正在执行的推数任务的任务优先级相同之后，
144.判断调整之后所述目标集群的集群剩余吞吐量是否大于零；若是，则提高已调整的等待推数任务的任务占用吞吐量以使所述目标集群的集群剩余吞吐量为零。
145.根据本发明实施例的第三方面，提供一种推数任务调度的电子设备，包括：
146.一个或多个处理器；
147.存储装置，用于存储一个或多个程序，
148.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。
149.根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。
150.图6示出了可以应用本发明实施例的推数任务调度的方法或推数任务调度的装置的示例性系统架构600。
151.如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
152.用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发
送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
153.终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
154.服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息
--
仅为示例)反馈给终端设备。
155.需要说明的是，本发明实施例所提供的推数任务调度的方法一般由服务器605执行，相应地，推数任务调度的装置一般设置于服务器605中。
156.应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
157.下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
158.如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有系统700操作所需的各种程序和数据。cpu 701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
159.以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
160.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本发明的系统中限定的上述功能。
161.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程
序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
162.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
163.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括：获取模块，测试运行所有推数任务，定时获取测试过程中接收推送数据的目标集群的集群剩余吞吐量；确定模块，根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序；推送模块，按照所述执行顺序将所述推送数据推送到所述目标集群中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“按照所述执行顺序将所述推送数据推送到所述目标集群中的模块”。
164.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：测试运行所有推数任务，定时获取测试过程中接收推送数据的目标集群的集群剩余吞吐量；根据每个推数任务的任务参数以及定时获取的所述集群剩余吞吐量，确定所有推数任务的执行顺序；按照所述执行顺序将所述推送数据推送到所述目标集群中。
165.根据本发明实施例的技术方案，通过测试运行所有推数任务来自动协调一个集群上所有推数任务的执行顺序，能够达到高效利用整个集群的吞吐量的目的。通过检测整个推数时间轴上各个推数任务的执行情况动态调整推数任务的任务优先级及任务占用吞吐量等任务参数，能够进一步提高整个集群吞吐量的利用率。
166.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。