一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

资源调度方法以及装置与流程

2022-06-05 08:21:38 来源:中国专利 TAG:


1.本说明书实施例涉及计算机技术领域,特别涉及一种资源调度方法。


背景技术:

2.单一机房内进行集群资源的调度,是分配适合的集群资源用以执行待执行任务,而在该机房内没有空闲的集群资源时,将待执行任务置于排队等待状态,直至有空闲且适合的集群资源。另外,由于每个机房内配置的集群资源较为固定,而不同机房不同时间段的待执行任务量是动态变化的,这种情况下,固定的集群资源无法灵活地应对动态变化的任务量。若某个时间段内机房的任务量较多时,固定的资源配置无法满足任务处理需求,导致该机房的任务处理耗时较长,任务处理效率下降。
3.目前,大数据系统中可以利用分布在多机房的集群资源执行待执行任务,但各个机房之间由于通信功能或权限的限制,而无法获知其他机房内的资源和任务状态,难以实现在多机房之间进行集群资源的灵活调配,因此,亟需一种有效的方法以解决此类问题。


技术实现要素:

4.有鉴于此,本说明书实施例提供了一种资源调度方法。本说明书一个或者多个实施例同时涉及一种资源调度装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面,提供了一种资源调度方法,包括:
6.响应于资源调度处理请求,对至少两个任务集群中,每个任务集群在目标时间区间内的待处理任务量进行预测,生成第一预测结果;
7.确定所述每个任务集群对应的任务处理资源,基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,生成第二预测结果;
8.根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略;
9.基于所述资源调度策略对所述任务处理资源进行资源调度处理。
10.可选地,所述基于所述资源调度策略对所述任务处理资源进行资源调度处理,包括:
11.基于所述资源调度策略创建所述至少两个任务集群间的调度实例,并通过执行所述调度实例,对所述任务处理资源进行资源调度处理。
12.可选地,所述资源调度方法,还包括:
13.确定所述每个任务集群的历史处理任务,并确定所述历史处理任务的参考处理流程;
14.确定所述每个任务集群对应的任务处理资源,并确定所述任务处理资源处理所述历史处理任务对应的历史处理流程;
15.基于所述参考处理流程及所述历史处理流程,确定所述任务处理资源的资源画
像。
16.可选地,所述根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略,包括:
17.根据所述至少两个任务集群的位置信息,对所述至少两个任务集群进行划分,生成对应的资源池;
18.根据目标资源池内每个任务集群对应的第二预测结果,确定所述目标资源池内各任务集群间的资源调度策略,其中,所述目标资源池为所述资源池之一。
19.可选地,所述根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略,包括:
20.根据所述第二预测结果确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群;
21.确定所述空闲任务处理资源的目标资源画像,并根据所述目标资源画像确定所述空闲任务处理资源与所述资源调度需求中的待处理任务间的匹配度;
22.根据所述匹配度以及所述资源调度需求,确定所述第一任务集群与所述第二任务集群间的资源调度策略。
23.可选地,所述基于所述资源调度策略对所述任务处理资源进行资源调度处理,包括:
24.基于所述资源调度策略创建所述第一任务集群与所述第二任务集群间的调度实例;
25.通过执行所述调度实例,向所述第二任务集群提交资源调度申请;
26.在确定所述第二任务集群响应于所述资源调度申请,向所述第一任务集群开放资源调度权限的情况下,将所述第二任务集群的空闲任务处理资源调度至所述第一任务集群。
27.可选地,所述基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,包括:
28.按照任务类别,将所述第一预测结果对应的待处理任务划分为至少两类,并将目标任务类别的待处理任务输入第一预测模型,生成所述目标任务类别对应的任务处理时长的第三预测结果,其中,所述目标任务类别为所述至少两类之一;
29.将所述第三预测结果及所述任务处理资源的资源画像输入第二预测模型,以使所述第二预测模型基于所述资源画像及所述第三预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测。
30.可选地,所述资源调度方法,还包括:
31.获取目标时间区间内所述目标任务类别的待处理任务对应的目标任务处理时长,并基于所述目标任务处理时长对所述第一预测模型进行更新。
32.可选地,所述根据所述第二预测结果确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群,包括:
33.根据所述每个任务集群中任务处理资源的历史消耗信息,确定所述目标时间区间所述每个任务集群中任务处理资源的目标消耗结果;
34.根据所述第二预测结果及所述目标消耗结果,确定存在资源调度需求的第一任务
集群,以及存在空闲任务处理资源的第二任务集群。
35.根据本说明书实施例的第二方面,提供了一种资源调度装置,包括:
36.第一预测模块,被配置为响应于资源调度处理请求,对至少两个任务集群中,每个任务集群在目标时间区间内的待处理任务量进行预测,生成第一预测结果;
37.第二预测模块,被配置为确定所述每个任务集群对应的任务处理资源,基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,生成第二预测结果;
38.确定模块,被配置为根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略;
39.调度模块,被配置为基于所述资源调度策略对所述任务处理资源进行资源调度处理。
40.根据本说明书实施例的第三方面,提供了一种计算设备,包括:
41.存储器和处理器;
42.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令以实现任意一项所述资源调度方法的步骤。
43.根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现任意一项所述资源调度方法的步骤。
44.根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述资源调度方法的步骤。
45.本说明书一个实施例通过响应于资源调度处理请求,对至少两个任务集群中,每个任务集群在目标时间区间内的待处理任务量进行预测,生成第一预测结果,确定所述每个任务集群对应的任务处理资源,基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,生成第二预测结果,根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略,基于所述资源调度策略对所述任务处理资源进行资源调度处理。
46.本说明书实施例通过对每个任务集群在目标时间区间的待处理任务量进行预测,并对每个任务集群在目标时间区间的资源消耗结果进行预测,以根据二者的预测结果确定不同任务集群之间的资源调度策略,从而实现不同任务集群间的资源调度,既有利于提高各任务集群中任务处理资源的资源利用率,又有利于避免因单个任务集群内配置的固定的任务处理资源无法灵活地应对动态变化的任务量,导致某个时间段内任务集群的任务量较多时,固定的资源配置无法满足任务处理需求,使得该任务集群的任务处理耗时较长,任务处理效率下降的问题,从而有利于提升各任务集群安全运行的能力,优化资源配置。
附图说明
47.图1是本说明书一个实施例提供的一种资源调度方法的流程图;
48.图2a是本说明书一个实施例提供的一种资源调度过程的示意图;
49.图2b是本说明书一个实施例提供的另一种资源调度过程的示意图;
50.图3是本说明书一个实施例提供的一种资源调度方法的处理过程流程图;
51.图4是本说明书一个实施例提供的一种资源调度装置的结构示意图;
52.图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
53.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
54.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
55.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
56.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
57.工单:运维任务凭证。一个工单对应数据中心中的一次运维任务,由数据中心运维人员接手并处理。
58.工单预测系统:预测各个机房未来一段时间内运维工作量的系统。
59.资源画像:表征任务处理资源(如机房的机器人)处理不同待处理任务所需消耗的时长,或者可表征该任务处理资源处理不同待处理任务的任务处理效率等。
60.资源画像数字化系统:基于任务处理资源的操作数据,通过资源量化评估模型精准实现资源运维画像的系统。
61.资源调度:经过(人为或系统)决策,选中数据中心的某一部分任务处理资源,从一个机房调往其他机房的过程。
62.资源调度引擎:基于工单预测系统、资源画像数字化系统的输入,输出跨机房资源调度决策的系统。
63.在存在多个主站机房需要进行数据运维的情况下,机房中用于进行运维操作的任务处理资源每日需要完成数万个运维任务。由于不同机房的规模不同,每日需要完成的工作量不同,其配备的基准任务处理资源数量也各不相同。
64.另外,数据中心的运维任务是每日动态变化的,对于同一个机房来说,每日的运维工单量可能会剧烈波动,某段时间工单量多,另一段时间工单量少。与之形成鲜明对比的是,每个机房配置的任务处理资源数量是恒定不变的。因此,机房间每日动态变化的工作量与恒定不变的资源配置之间的矛盾,成为亟需解决的问题。
65.基于此,为解决数据中心不同机房间运维任务动态变化、不同任务处理资源忙闲不均的问题,本说明书实施例提供了一种资源调度方法,通过对每个任务集群在目标时间区间的待处理任务量进行预测,并对每个任务集群在目标时间区间的资源消耗结果进行预测,以根据二者的预测结果确定不同任务集群之间的资源调度策略,从而实现不同任务集
群间的资源调度,既有利于提高各任务集群中任务处理资源的资源利用率,又有利于避免因单个任务集群(机房)内配置的固定的集群资源无法灵活地应对动态变化的任务量,导致某个时间段内任务集群的任务量较多时,固定的资源配置无法满足任务处理需求,使得该任务集群的任务处理耗时较长,任务处理效率下降的问题,从而有利于提升各任务集群安全运行的能力,优化资源配置。
66.在本说明书中,提供了一种资源调度方法,本说明书同时涉及一种资源调度装置,一种计算设备,一种计算机可读存储介质,以及一种计算机程序,在下面的实施例中逐一进行详细说明。
67.图1示出了根据本说明书一个实施例提供的一种资源调度方法的流程图,具体包括以下步骤。
68.步骤102,响应于资源调度处理请求,对至少两个任务集群中,每个任务集群在目标时间区间内的待处理任务量进行预测,生成第一预测结果。
69.本说明书实施例提供的资源调度方法,应用于资源调度平台。
70.具体的,任务集群,即存在待处理任务的对象,且每个任务集群中均可存在用于处理待处理任务的任务处理资源。实际应用中,该任务集群即可以是机房,任务处理资源,即可以是属于不同机房的任务处理对象,例如机器人。
71.本说明书实施例中,为保证各任务集群中任务处理资源能够被合理利用,以提高资源利用率,可预先对至少两个任务集群中,每个任务集群在目标时间区间内的待处理任务的任务量进行预测,得到第一预测结果。其中,待处理任务量可以是待处理任务的数量,或者可以是处理待处理任务所需消耗的时长等。
72.在预测获得目标时间区间内各任务集群的待处理任务量后,还可进一步对各任务集群中,处理待处理任务所需消耗的任务处理资源进行预测,以根据二者的预测结果,确定不同任务集群间的资源调度策略。
73.具体实施时,可通过对待处理任务的不同来源渠道所对应的任务量进行预测,以实现对各任务集群的待处理任务量进行全量预测。其中,各任务集群的待处理任务的来源渠道包括但不限于用户手动创建、上游项目处理流程自动创建、资源调度引擎自动创建等。
74.实际应用中,用户手动创建途径可由调度管理员提出申请,一般基于线下信息感知目标时间区间内各任务集群的运维任务;上游项目处理流程自动创建途径基于报废、搬迁等大批量作业的线上化处理流程来感知各任务集群的运维任务;资源调度引擎途径则基于工单预测系统、资源画像数字化系统的输入,输出各任务集群的运维任务。
75.步骤104,确定所述每个任务集群对应的任务处理资源,基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,生成第二预测结果。
76.具体的,由于每个任务集群均可存在用于处理待处理任务的任务处理资源,因此,在获得各任务集群在目标时间区间内的待处理任务量后,可预测各任务集群中,用于处理待处理任务量所需消耗的任务处理资源,即对每个任务集群中任务处理资源的资源消耗结果进行预测。
77.其中,由于不同任务集群中存在的任务处理资源的资源属性存在差异,或者同一任务集群中不同任务处理资源的资源属性存在差异,因此,在预测各任务集群的资源消耗
结果时,可结合各任务集群中不同任务处理资源的资源画像进行预测,而任务处理资源的资源画像即可表征该任务处理资源处理不同待处理任务所需消耗的时长,或者可表征该任务处理资源处理不同待处理任务的任务处理效率等。
78.其中,不同任务处理资源的资源画像可通过以下方式确定:
79.确定所述每个任务集群的历史处理任务,并确定所述历史处理任务的参考处理流程;
80.确定所述每个任务集群对应的任务处理资源,并确定所述任务处理资源处理所述历史处理任务对应的历史处理流程;
81.基于所述参考处理流程及所述历史处理流程,确定所述任务处理资源的资源画像。
82.具体的,每个任务集群在存在待处理任务,并将待处理任务分配至不同任务处理资源以进行任务处理时,可将待处理任务以工单的方式进行分配。因此,在进行任务分配之前,可先确定各任务集群中不同任务处理资源的资源画像,并可结合资源画像,为各任务处理资源分配对应的任务,从而保证任务处理效率。
83.其中,由于资源画像可表征任务处理资源处理不同待处理任务所需消耗的时长,或者可表征该任务处理资源处理不同待处理任务的任务处理效率等,因此,在确定各任务处理资源的资源画像时,即可先确定每个任务集群的历史处理任务,并确定历史处理任务的参考处理流程,然后确定任务处理资源处理该历史处理任务对应的历史处理流程,以根据两个处理流程确定任务处理资源的资源画像,具体可根据两个处理流程间的差异,确定任务处理资源的任务处理耗时或任务处理效率。
84.具体实施时,基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,具体可通过以下方式实现:
85.按照任务类别,将所述第一预测结果对应的待处理任务划分为至少两类,并将目标任务类别的待处理任务输入第一预测模型,生成所述目标任务类别对应的任务处理时长的第三预测结果,其中,所述目标任务类别为所述至少两类之一;
86.将所述第三预测结果及所述任务处理资源的资源画像输入第二预测模型,以使所述第二预测模型基于所述资源画像及所述第三预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测。
87.具体的,由于第一预测结果用于表征每个任务集群在目标时间区间内待处理任务的任务量的预测结果,而不同任务集群,其任务来源渠道可能不同,不同任务来源渠道的待处理任务的任务类型可能不同,不同任务类型的待处理任务,其处理流程同样可能存在差异。
88.因此,在获得第一预测结果后,可对第一预测结果对应的待处理任务进行类别划分,或者第一预测结果中可直接包含各任务类型的待处理任务分别对应的任务量,例如,第一预测结果中,a任务类型的待处理任务的任务量为100,b任务类型的待处理任务的任务量为200,c任务类型的待处理任务的任务量为300。
89.进一步的,由于将待处理任务分配至不同任务处理资源以进行任务处理时,可将待处理任务以工单的方式进行分配。而第一预测模型用于预测不同工单的任务处理时长,因此,在构建第一预测模型时,即可基于各任务类型以及各任务类型的待处理任务的预计
耗时,构建该第一预测模型,其中,各任务类型的待处理任务的预计耗时可根据各任务类型待处理任务的执行流程确定,且该第一预测模型规范了不同任务类型待处理任务实际执行所需耗时的一个合理区间,训练完成后,即可用于对不同任务类型待处理任务的预计耗时进行预测。
90.因此,在构建第一预测模型后,可将第一预测结果中各任务类别的待处理任务输入第一预测模型,以生成各任务类别对应的任务处理时长的第三预测结果。
91.更进一步的,由于资源画像可用于表征各任务处理资源处理待处理任务所需的处理时长,或者可用于表征各任务处理资源处理待处理任务的处理效率,因此,在获得每个任务集群中各任务处理资源的资源画像,并获得每个任务集群中各待处理任务的任务处理时长的第三预测结果后,可基于资源画像以及第三预测结果对每个任务集群中任务处理资源的消耗结果进行预测,即根据任务集群的任务处理资源的资源画像,确定任务集群中的待处理任务被处理的过程中,需要消耗多少任务处理资源。
92.实际应用中,第二预测模型可用于对每个任务集群中任务处理资源的资源消耗结果进行预测,具体可各任务集群对应的第三预测结果及各任务集群的任务处理资源的资源画像输入第二预测模型,以使第二预测模型基于输入的内容,对每个任务集群中任务处理资源的资源消耗结果进行预测。
93.具体的,可预先通过各任务集群的历史资源消耗数据构建第二预测模型,即将各任务集群的历史任务的任务信息(任务执行所需消耗的时长)以及各任务集群的任务处理资源的历史消耗信息作为训练样本,对待训练的第二预测模型进行训练,以获得所述第二预测模型,然后在应用过程中,即可将各任务集群对应的第三预测结果及各任务集群的任务处理资源的资源画像输入第二预测模型,以利用第二预测模型对目标时间区间内各任务集群中任务处理资源的资源消耗结果进行预测。
94.进一步的,还可基于目标时间区间内各任务集群的实际任务处理时长,对第一预测模型进行优化,具体即获取目标时间区间内所述目标任务类别的待处理任务对应的目标任务处理时长,并基于所述目标任务处理时长对所述第一预测模型进行更新。
95.具体的,目标时间区间结束后,可获取目标时间区间内各任务集群中待处理任务的实际任务处理时长,该实际任务处理时长可根据待处理任务的标准执行流程确定,然后可计算各任务集群中待处理任务的任务处理时长的第三预测结果以及实际任务处理时长之间的损失值,并根据损失值调整第一预测模型的模型参数。
96.通过确定任务集群中各任务类别待处理任务对应的任务处理时长,并基于任务处理时长及任务集群中任务处理资源的资源画像,确定每个任务集群中任务处理资源的资源消耗结果,有利于提高资源消耗结果的确定结果的准确性,从而有利于保证任务集群间资源调度的合理性及高效性,进而有利于提高各任务集群中任务处理资源的资源利用率,优化资源配置。
97.步骤106,根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略。
98.具体的,由于第二预测结果可用于表征不同任务集群中,处理待处理任务所对应的任务处理资源的资源消耗结果,因此,在确定各任务集群的第二预测结果后,即可基于该第二预测结果确定各任务集群间的资源调度策略。而资源调度策略,即可以表征不同任务集群间的资源调度方式,例如,将任务集群2中的任务处理资源z1调度至任务集群1进行任
务处理,将任务集群2中的任务处理资源z2调度至任务集群3进行任务处理。
99.实际应用中,资源调度平台中的资源调度引擎作为整个资源调度系统的推荐决策模块,其基于各任务集群的待处理任务量的预测数据、资源画像数字化系统中各任务集群的任务处理资源的资源画像,计算出每个任务集群在目标时间区间内的预计资源消耗结果。在资源消耗结果预测的基础上,结合任务集群的现有资源配置,最终输出各任务集群之间任务处理资源的调度或被调度关系。
100.具体实施时,根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略,具体可通过以下方式实现:
101.根据所述至少两个任务集群的位置信息,对所述至少两个任务集群进行划分,生成对应的资源池;
102.根据目标资源池内每个任务集群对应的第二预测结果,确定所述目标资源池内各任务集群间的资源调度策略,其中,所述目标资源池为所述资源池之一。
103.具体的,在存在多个任务集群的情况下,若两个任务集群间的距离较远,则在这两个任务集群之间进行任务处理资源的调度,则可能会存在资源调度所需耗时较长,进而导致任务集群的任务处理不及时以及资源利用率低的问题。
104.因此,本说明书实施例根据各任务集群的位置信息,将至少两个任务集群划分为一个或至少两个资源池,其中,在资源池中包含至少两个任务集群的情况下,该资源池中任意两个任务集群间的距离小于等于预设距离阈值,且该资源池内的至少两个任务集群间可进行资源调度。划分资源池后,可仅做资源池内任意两个任务集群间的资源调度,即根据目标资源池内每个任务集群对应的第二预测结果,确定目标资源池内各任务集群间的资源调度策略,其中,目标资源池可以是一个或至少两个资源池中的任意一个包含两个及以上任务集群的资源池,以保证任务处理资源调度过程的高效性,进而保证任务处理的及时性,以及提高任务处理资源的利用率。
105.例如,在任务集群为机房的情况下,可将同一地理区域内多个机房划分为一个区域站点调度池。处于同一个区域站点调度池中的各个机房之间可以进行资源调度。常见地,同一个城市内的多个机房可以组成一个区域站点调度池。
106.每个机房可供调度的任务处理资源会进入调度池。调度池内任务处理资源的添加或移除可由管理人员操作,也可通过资源画像数字化系统根据任务处理资源的资源画像完成自动决策。常见地,若机房中各任务处理资源的平均运维工作量低,则该任务集群中则会有较多任务处理资源被添加至资源池,代表这些任务处理资源可以被其他机房调度使用。
107.另外,根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略,还可通过以下方式实现:
108.根据所述第二预测结果确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群;
109.确定所述空闲任务处理资源的目标资源画像,并根据所述目标资源画像确定所述空闲任务处理资源与所述资源调度需求中的待处理任务间的匹配度;
110.根据所述匹配度以及所述资源调度需求,确定所述第一任务集群与所述第二任务集群间的资源调度策略。
111.进一步的,根据所述第二预测结果确定存在资源调度需求的第一任务集群,以及
存在空闲任务处理资源的第二任务集群,包括:
112.根据所述每个任务集群中任务处理资源的历史消耗信息,确定所述目标时间区间所述每个任务集群中任务处理资源的目标消耗结果;
113.根据所述第二预测结果及所述目标消耗结果,确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群。
114.具体的,在确定不同任务集群间的资源调度策略时,可先确定存在资源调度需求的第一任务集群,再确定存在空闲资源的第二任务集群,并确定第二任务集群中的空闲资源与第一任务集群中的待处理任务间的匹配度,从而根据匹配度选择各任务集群间较优的资源调度策略。
115.实际应用中,在确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群时,可根据每个任务集群中任务处理资源的历史消耗信息,确定目标时间区间每个任务集群中任务处理资源的目标消耗结果,并根据第二预测结果及目标消耗结果,确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群。
116.其中,历史消耗信息,即历史时间区间内,各任务集群中的任务处理资源中,存在哪些任务处理资源被实际用于处理该任务集群中的待处理任务;目标消耗结果,即目标时间区间内,各任务集群中的任务处理资源中,存在哪些任务处理资源能够被用于处理该任务集群中的待处理任务。
117.由于任务集群中配置的任务处理资源,在实际使用过程中,可能会因为部件故障导致宕机,从而无法被用于处理待处理任务。因此,在实际应用中,可根据各任务集群中任务处理资源的历史使用情况(历史消耗信息),确定目标时间区间内各任务集群中可用的任务处理资源(目标消耗结果),即提前预测目标时间区间内各任务集群中可能出现故障的任务处理资源,以根据预测结果更加准确的预测各任务集群间的资源调度策略。
118.另外,由于第二预测结果可表征各任务集群中任务处理资源的资源消耗结果,而第二预测结果未考虑任务处理资源的故障情况,因此,为保证资源调度策略的准确性,在获得前述第二预测结果后,可再根据各任务集群对应的第二预测结果及目标消耗结果,确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群。
119.这种情况下,若确定第二任务集群中的空闲资源为任务资源z1、任务处理资源z2、任务处理资源z3,但任务处理资源z3因故障宕机的情况下,则仅可将任务资源z1和任务处理资源z2调度至其他任务集群进行任务处理。
120.具体的,在确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群后,即可根据第二任务集群中空闲任务处理资源的目标资源画像,确定空闲任务处理资源与第一任务集群的资源调度需求中的待处理任务间的匹配度,并根据匹配度以及资源调度需求,确定第一任务集群与第二任务集群间的资源调度策略。
121.其中,由于空闲任务处理资源的目标资源画像,可用于表征空闲任务处理资源处理待处理任务所需消耗的时长,或表征空闲任务处理资源处理待处理任务的效率,因此,在确定匹配度时,即可确定第一任务集群中待处理任务的任务处理时长,即处理该待处理任务所需的时长,再将空闲任务处理资源的目标资源画像与待处理任务的任务处理时长进行比对,具体可将空闲任务处理资源处理待处理任务所需消耗的时长l1,与待处理任务的任
务处理时长l2进行比对,二者若满足l1大于等于l2,则l1与l2越接近,则该空闲任务处理资源与该待处理任务的匹配度越大。
122.确定匹配度后,即可根据匹配度以及资源调度需求,确定第一任务集群与第二任务集群间的资源调度策略,例如,若任务集群1存在资源调度需求(任务集群1中的待处理任务分配至任务集群1中的各任务处理资源,且在各任务处理资源所接收到的待处理任务的任务量均达到上限的情况下,任务集群1中仍存在未分配的待处理任务r1),而任务集群2中存在空闲任务处理资源z1和空闲任务处理资源z2,并且在确定空闲任务处理资源z1与该待处理任务r1的匹配度大于空闲任务处理资源z2与该待处理任务r1的匹配度的情况下,即可确定任务集群1与任务集群2之间的资源调度策略为:将空闲任务处理资源z1从任务集群2调度至任务集群1。
123.本说明书实施例通过确定匹配度的方式,确定任意两个任务集群间的资源调度策略,有利于保证资源调度策略的确定结果的准确性,从而有利于保证任务集群间资源调度的合理性及高效性,进而有利于提高各任务集群中任务处理资源的资源利用率,优化资源配置。
124.步骤108,基于所述资源调度策略对所述任务处理资源进行资源调度处理。
125.具体的,在确定不同任务集群间的资源调度策略后,即可基于该资源调度策略对任务集群中的任务处理资源进行资源调度处理。
126.具体实施时,基于所述资源调度策略对所述任务处理资源进行资源调度处理,具体可通过以下方式实现:
127.基于所述资源调度策略创建所述至少两个任务集群间的调度实例,并通过执行所述调度实例,对所述任务处理资源进行资源调度处理。
128.另外,在确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群,并确定第一任务集群和第二任务集群间的资源调度策略后,基于所述资源调度策略对所述任务处理资源进行资源调度处理,具体可通过以下方式实现:
129.基于所述资源调度策略创建所述第一任务集群与所述第二任务集群间的调度实例;
130.通过执行所述调度实例,向所述第二任务集群提交资源调度申请;
131.在确定所述第二任务集群响应于所述资源调度申请,向所述第一任务集群开放资源调度权限的情况下,将所述第二任务集群的空闲任务处理资源调度至所述第一任务集群。
132.具体的,在资源调度平台的调度执行模块中,一个调度实例代表着一次资源调度流程的执行。一次调度流程包含以下几个核心步骤:提交调度申请、调度申请审批、办理调度权限、执行调度作业、回收调度权限等。因此,在确定任意两个任务集群间的资源调度策略后,可基于资源调度策略创建两个任务集群间(第一任务集群和第二任务集群)的调度实例,通过执行该调度实例,向可提供空闲资源的第二任务集群提交资源调度申请,在确定该第二任务集群开放资源调度权限的情况下,将该第二任务集群的空闲任务处理资源调度至存在调度需求的第一任务集群。
133.本说明书实施例通过线上化、自动化的调度执行模块一方面免除了现场运维人员的繁杂操作,另一方面实现了历史记录的查询追溯。
134.本说明书实施例提供的一种资源调度过程的示意图如图2a所示。资源调度平台分别基于用户手动创建、上游项目处理流程自动创建、资源调度引擎自动创建这三个任务来源渠道对各任务集群的待处理任务量进行预测,并根据预测结果以及各任务集群中任务处理资源的资源画像,对不同任务集群的调度需求进行预测,再将预测得到的资源调度需求放入调度需求池。对于调度需求池内的每个调度需求,可分别为每个调度需求创建调度实例,然后通过执行调度实例,实现在各任务集群间进行资源调度。
135.本说明书实施例提供的另一种资源调度过程的示意图如2b所示。可先通过任务量预测模型对任务集群在目标时间区间内的待处理任务量进行预测,生成第一预测结果,然后将第一预测结果输入任务处理时长预测模型(对应图2b的第一预测模型),通过任务处理时长预测模型对该任务集群的待处理任务进行耗时预测,生成第二预测结果,再通过资源画像预测模型(对应图2b的第二预测模型)对该任务集群中任务处理资源的资源画像进行预测,得到第三预测结果;接着将第二预测结果和第三预测结果输入资源消耗结果预测模型,得到该任务集群对应的资源消耗结果,即第四预测结果。
136.另外,本说明书实施例还可通过目标消耗结果预测模型,对该任务集群中任务处理资源的目标消耗结果进行预测,得到第五预测结果,然后根据第四预测结果和第五预测结果对任务集群间的资源调度策略进行预测,并基于资源调度策略的预测结果,在资源池中进行任务集群间的资源调度。
137.实际应用中,对于任务量预测模型、任务处理时长预测模型、资源画像预测模型、资源消耗结果预测模型、目标消耗结果预测模型,均可通过实际数据正向反馈,对各模型的模型参数进行调整,以对各模型进行更新,从而保证各模型输出结果的准确性。对于资源调度过程,同样可通过实际数据正向反馈,对资源调度过程进行适当调整,以保证资源调度的合理性、高效性。
138.本说明书一个实施例通过响应于资源调度处理请求,对至少两个任务集群中,每个任务集群在目标时间区间内的待处理任务量进行预测,生成第一预测结果,确定所述每个任务集群对应的任务处理资源,基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,生成第二预测结果,根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略,基于所述资源调度策略对所述任务处理资源进行资源调度处理。
139.本说明书实施例通过对每个任务集群在目标时间区间的待处理任务量进行预测,并对每个任务集群在目标时间区间的资源消耗结果进行预测,以根据二者的预测结果确定不同任务集群之间的资源调度策略,从而实现不同任务集群间的资源调度,既有利于提高各任务集群中任务处理资源的资源利用率,又有利于避免因单个任务集群内配置的固定的任务处理资源无法灵活地应对动态变化的任务量,导致某个时间段内任务集群的任务量较多时,固定的资源配置无法满足任务处理需求,使得该任务集群的任务处理耗时较长,任务处理效率下降的问题,从而有利于提升各任务集群安全运行的能力,优化资源配置。
140.下述结合附图3,以本说明书提供的资源调度方法在机房间的资源调度的应用为例,对所述资源调度方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种资源调度方法的处理过程流程图,具体包括以下步骤。
141.步骤302,响应于资源调度处理请求,对至少两个机房中,每个机房在目标时间区
间内的待处理任务量进行预测,生成第一预测结果。
142.步骤304,确定每个机房的历史处理任务,并确定历史处理任务的参考处理流程。
143.步骤306,确定每个机房对应的任务处理资源,并确定任务处理资源处理历史处理任务对应的历史处理流程。
144.步骤308,基于参考处理流程及历史处理流程,确定任务处理资源的资源画像。
145.步骤310,基于任务处理资源的资源画像及第一预测结果,对每个机房中任务处理资源的资源消耗结果进行预测,生成第二预测结果。
146.步骤312,根据至少两个机房的位置信息,对至少两个机房进行划分,生成对应的资源池。
147.步骤314,根据目标资源池内每个机房对应的第二预测结果,确定目标资源池内存在资源调度需求的第一机房,以及存在空闲任务处理资源的第二机房,其中,所述目标资源池为所述资源池之一。
148.步骤316,确定空闲任务处理资源的目标资源画像,并根据目标资源画像确定空闲任务处理资源与资源调度需求中的待处理任务间的匹配度。
149.步骤318,根据匹配度以及资源调度需求,确定第一机房与第二机房间的资源调度策略。
150.步骤320,基于资源调度策略创建第一机房与第二机房间的调度实例。
151.步骤322,通过执行调度实例,向第二机房提交资源调度申请。
152.步骤324,在确定第二机房响应于资源调度申请,向第一机房开放资源调度权限的情况下,将第二机房的空闲任务处理资源调度至第一机房。
153.本说明书实施例通过对每个机房在目标时间区间的待处理任务量进行预测,并对每个机房在目标时间区间的资源消耗结果进行预测,以根据二者的预测结果确定不同机房之间的资源调度策略,从而实现不同机房间的资源调度,既有利于提高各机房中任务处理资源的资源利用率,又有利于避免因单个机房内配置的固定的任务处理资源无法灵活地应对动态变化的任务量,导致某个时间段内机房的任务量较多时,固定的资源配置无法满足任务处理需求,使得该机房的任务处理耗时较长,任务处理效率下降的问题,从而有利于提升各机房安全运行的能力,优化资源配置。
154.与上述方法实施例相对应,本说明书还提供了资源调度装置实施例,图4示出了本说明书一个实施例提供的一种资源调度装置的结构示意图。如图4所示,该装置包括:
155.第一预测模块402,被配置为响应于资源调度处理请求,对至少两个任务集群中,每个任务集群在目标时间区间内的待处理任务量进行预测,生成第一预测结果;
156.第二预测模块404,被配置为确定所述每个任务集群对应的任务处理资源,基于所述任务处理资源的资源画像及所述第一预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测,生成第二预测结果;
157.确定模块406,被配置为根据所述第二预测结果确定所述至少两个任务集群间的资源调度策略;
158.调度模块408,被配置为基于所述资源调度策略对所述任务处理资源进行资源调度处理。
159.可选地,所述调度模块408,进一步被配置为:
160.基于所述资源调度策略创建所述至少两个任务集群间的调度实例,并通过执行所述调度实例,对所述任务处理资源进行资源调度处理。
161.可选地,所述资源调度装置,还包括处理模块,被配置为:
162.确定所述每个任务集群的历史处理任务,并确定所述历史处理任务的参考处理流程;
163.确定所述每个任务集群对应的任务处理资源,并确定所述任务处理资源处理所述历史处理任务对应的历史处理流程;
164.基于所述参考处理流程及所述历史处理流程,确定所述任务处理资源的资源画像。
165.可选地,所述确定模块406,进一步被配置为:
166.根据所述至少两个任务集群的位置信息,对所述至少两个任务集群进行划分,生成对应的资源池;
167.根据目标资源池内每个任务集群对应的第二预测结果,确定所述目标资源池内各任务集群间的资源调度策略,其中,所述目标资源池为所述资源池之一。
168.可选地,所述确定模块406,进一步被配置为:
169.根据所述第二预测结果确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群;
170.确定所述空闲任务处理资源的目标资源画像,并根据所述目标资源画像确定所述空闲任务处理资源与所述资源调度需求中的待处理任务间的匹配度;
171.根据所述匹配度以及所述资源调度需求,确定所述第一任务集群与所述第二任务集群间的资源调度策略。
172.可选地,所述确定模块406,还被配置为:
173.基于所述资源调度策略创建所述第一任务集群与所述第二任务集群间的调度实例;
174.通过执行所述调度实例,向所述第二任务集群提交资源调度申请;
175.在确定所述第二任务集群响应于所述资源调度申请,向所述第一任务集群开放资源调度权限的情况下,将所述第二任务集群的空闲任务处理资源调度至所述第一任务集群。
176.可选地,所述第一预测模块402,进一步被配置为:
177.按照任务类别,将所述第一预测结果对应的待处理任务划分为至少两类,并将目标任务类别的待处理任务输入第一预测模型,生成所述目标任务类别对应的任务处理时长的第三预测结果,其中,所述目标任务类别为所述至少两类之一;
178.将所述第三预测结果及所述任务处理资源的资源画像输入第二预测模型,以使所述第二预测模型基于所述资源画像及所述第三预测结果,对所述每个任务集群中任务处理资源的资源消耗结果进行预测。
179.可选地,所述资源调度装置,还包括更新模块,被配置为:
180.获取目标时间区间内所述目标任务类别的待处理任务对应的目标任务处理时长,并基于所述目标任务处理时长对所述第一预测模型进行更新。
181.可选地,所述确定模块406,进一步被配置为:
182.根据所述每个任务集群中任务处理资源的历史消耗信息,确定所述目标时间区间所述每个任务集群中任务处理资源的目标消耗结果;
183.根据所述第二预测结果及所述目标消耗结果,确定存在资源调度需求的第一任务集群,以及存在空闲任务处理资源的第二任务集群。
184.上述为本实施例的一种资源调度装置的示意性方案。需要说明的是,该资源调度装置的技术方案与上述的资源调度方法的技术方案属于同一构思,资源调度装置的技术方案未详细描述的细节内容,均可以参见上述资源调度方法的技术方案的描述。
185.图5示出了根据本说明书一个实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接,数据库550用于保存数据。
186.计算设备500还包括接入设备540,接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
187.在本说明书的一个实施例中,计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图5所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
188.计算设备500可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
189.其中,处理器520用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述资源调度方法的步骤。
190.上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的资源调度方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述资源调度方法的技术方案的描述。
191.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述资源调度方法的步骤。
192.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的资源调度方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述资源调度方法的技术方案的描述。
193.本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述资源调度方法的步骤。
194.上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的资源调度方法的技术方案属于同一构思,计算机程序的技术方案未详
细描述的细节内容,均可以参见上述资源调度方法的技术方案的描述。
195.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
196.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,randomaccess memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
197.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
198.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
199.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献