面向云边协同工作流的机场任务调度方法、装置和设备与流程

本技术涉及数据分析，具体而言，涉及一种面向云边协同工作流的机场任务调度方法、装置和设备。

背景技术：

1、现有云边协同任务调度方法已无法满足工作流形式下的复杂调度需求，尤其无法适配机场地面服务保障的强实时性、资源波动剧烈、区域分布分散等行业特性，无法有效解决机场地面服务中存在的时延过高、任务执行错乱、资源利用率低等核心业务问题。也就是说，在现有技术中，存在着机场任务调度的可靠度相对不高的问题。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种面向云边协同工作流的机场任务调度方法、装置和设备，以改善现有技术中存在的机场任务调度的可靠度相对不高的问题。

2、为实现上述目的，本技术采用如下技术方案：

3、一种面向云边协同工作流的机场任务调度方法，包括：

4、基于预先确定的资源需求评估函数，按照待调度机场任务的任务类型、数据规模和历史执行画像，确定出所述待调度机场任务的资源需求评估参数，其中，所述资源需求评估参数用于反映所述待调度机场任务需要占用的cpu资源和内存资源中的至少一项；

5、确定目标任务处理节点在当前的资源分布参数，其中，所述资源分布参数用于反映所述目标任务处理节点在当前的可分配的目标资源、已占用的目标资源和预测竞争的目标资源中的至少一项，所述目标资源包括cpu资源和内存资源中的至少一项，且所述目标任务处理节点属于边缘任务处理节点或云端任务处理节点；

6、至少基于所述资源需求评估参数和所述资源分布参数，确定是否将所述目标任务处理节点作为所述待调度机场任务的处理节点，并在确定将所述目标任务处理节点作为所述待调度机场任务的处理节点时，将所述待调度机场任务分配给所述目标任务处理节点。

7、在本技术较佳的选择中，在上述面向云边协同工作流的机场任务调度方法中，所述基于预先确定的资源需求评估函数，按照待调度机场任务的任务类型、数据规模和历史执行画像，确定出所述待调度机场任务的资源需求评估参数的步骤，包括：

8、确定出待调度机场任务的任务类型的类型表征参数；

9、确定出所述待调度机场任务的数据规模的规模表征参数；

10、确定出所述待调度机场任务的历史执行画像的画像表征参数；

11、确定出所述待调度机场任务针对资源波动形成的安全裕量参数；

12、基于预先确定的资源需求评估函数，按照所述类型表征参数、所述规模表征参数、所述画像表征参数和所述安全裕量参数，确定出所述待调度机场任务的资源需求评估参数。

13、在本技术较佳的选择中，在上述面向云边协同工作流的机场任务调度方法中，所述确定出待调度机场任务的任务类型的类型表征参数的步骤，包括：

14、确定出待调度机场任务的任务类型对应的执行算子集合；

15、基于所述执行算子集合中的每一个执行算子在所述待调度机场任务中的执行占比，构建出执行占比向量，其中，所述执行占比基于所述待调度机场任务的任务描述、工作流编排模板、算子调用次数、代码静态分析结果或历史执行日志分析得到；

16、基于预先针对所述执行算子集合中的每一个执行算子配置的资源倾向系数，构建出执行资源映射矩阵；

17、基于所述执行占比向量和所述执行资源映射矩阵，确定出所述待调度机场任务的任务类型的类型表征参数。

18、在本技术较佳的选择中，在上述面向云边协同工作流的机场任务调度方法中，所述确定出所述待调度机场任务的数据规模的规模表征参数的步骤，包括：

19、获取表征所述待调度机场任务的数据规模的输入数据总字节数、输入记录条数、平均记录长度、输入数据维度或字段数量、数据压缩/展开系数；

20、对所述输入数据总字节数、所述输入记录条数分别进行对数映射，并对每一个对数映射的结果、所述输入数据维度或字段数量和所述数据压缩/展开系数进行加权求和计算，得到cpu资源对应的规模表征参数；和/或

21、融合所述输入记录条数和所述平均记录长度，得到第一融合结果，并融合所述输入数据总字节数和所述数据压缩/展开系数，得到第二融合结果，以及，对所述输入数据总字节数、所述输入数据维度或字段数量、所述第一融合结果和所述第二融合结果进行加权求和计算，得到内存资源对应的规模表征参数。

22、在本技术较佳的选择中，在上述面向云边协同工作流的机场任务调度方法中，所述确定出所述待调度机场任务的历史执行画像的画像表征参数的步骤，包括：

23、针对历史样本集合中的每一个历史样本，获取该历史样本的历史类型表征参数、历史规模表征参数、历史资源占用峰值和历史执行环境特征，其中，所述历史资源占用峰值包括历史cpu资源占用峰值和/或历史内存资源占用峰值；

24、基于每一个所述历史样本的历史类型表征参数、历史规模表征参数和历史执行环境特征，与所述待调度机场任务的类型表征参数、规模表征参数和执行环境特征之间具有的相似度，在所述历史样本集合中，确定出所述待调度机场任务的近邻集合；

25、基于所述近邻集合中的每一个历史样本对应的相似度，对所述近邻集合中的每一个历史样本的历史资源占用峰值进行融合，得到所述待调度机场任务的历史执行画像的画像表征参数，其中，所述画像表征参数包括cpu资源对应的画像表征参数和/或内存资源对应的画像表征参数。

26、在本技术较佳的选择中，在上述面向云边协同工作流的机场任务调度方法中，所述基于每一个所述历史样本的历史类型表征参数、历史规模表征参数和历史执行环境特征，与所述待调度机场任务的类型表征参数、规模表征参数和执行环境特征之间具有的相似度，在所述历史样本集合中，确定出所述待调度机场任务的近邻集合的步骤，包括：

27、基于所述历史样本的历史类型表征参数和所述待调度机场任务的类型表征参数之间的余弦相似度，得到第一相似度，并基于所述历史样本的历史规模表征参数和所述待调度机场任务的规模表征参数之间的归一化欧氏距离，得到第二相似度，基于所述历史样本的历史执行环境特征和所述待调度机场任务的执行环境特征之间的相似度，得到第三相似度；

28、对所述第一相似度、所述第二相似度和所述第三相似度进行加权求和计算，得到所述历史样本和所述待调度机场任务之间的目标相似度；

29、在所述历史样本集合中，确定出目标相似度最大的指定数量个历史样本，以构建出所述待调度机场任务的近邻集合。

30、在本技术较佳的选择中，在上述面向云边协同工作流的机场任务调度方法中，所述确定出所述待调度机场任务针对资源波动形成的安全裕量参数的步骤，包括：

31、针对历史样本集合中的每一个历史样本，获取该历史样本的历史类型表征参数、历史规模表征参数、历史资源占用峰值和历史执行环境特征，其中，所述历史资源占用峰值包括历史cpu资源占用峰值和/或历史内存资源占用峰值；

32、基于每一个所述历史样本的历史类型表征参数、历史规模表征参数和历史执行环境特征，与所述待调度机场任务的类型表征参数、规模表征参数和执行环境特征之间具有的相似度，在所述历史样本集合中，确定出所述待调度机场任务的近邻集合；

33、基于所述近邻集合中的每一个历史样本的历史资源占用峰值的标准差和预先确定的安全系数，确定出所述待调度机场任务针对资源波动形成的安全裕量参数，其中，所述安全裕量参数包括cpu资源对应的安全裕量参数和/或内存资源对应的安全裕量参数。

34、在本技术较佳的选择中，在上述面向云边协同工作流的机场任务调度方法中，所述基于预先确定的资源需求评估函数，按照所述类型表征参数、所述规模表征参数、所述画像表征参数和所述安全裕量参数，确定出所述待调度机场任务的资源需求评估参数的步骤，包括：

35、将所述类型表征参数和所述规模表征参数，按照预先确定的资源需求评估函数进行融合，形成类型规模融合参数；

36、将所述类型表征参数、所述规模表征参数、所述画像表征参数、所述安全裕量参数和所述类型规模融合参数，按照所述资源需求评估函数携带的权重系数进行加权求和计算，得到所述待调度机场任务的资源需求评估参数。

37、本技术还提供了一种面向云边协同工作流的机场任务调度装置，包括：

38、资源需求评估模块，用于基于预先确定的资源需求评估函数，按照待调度机场任务的任务类型、数据规模和历史执行画像，确定出所述待调度机场任务的资源需求评估参数，其中，所述资源需求评估参数用于反映所述待调度机场任务需要占用的cpu资源和内存资源中的至少一项；

39、资源分布确定模块，用于确定目标任务处理节点在当前的资源分布参数，其中，所述资源分布参数用于反映所述目标任务处理节点在当前的可分配的目标资源、已占用的目标资源和预测竞争的目标资源中的至少一项，所述目标资源包括cpu资源和内存资源中的至少一项，且所述目标任务处理节点属于边缘任务处理节点或云端任务处理节点；

40、机场任务调度模块，用于至少基于所述资源需求评估参数和所述资源分布参数，确定是否将所述目标任务处理节点作为所述待调度机场任务的处理节点，并在确定将所述目标任务处理节点作为所述待调度机场任务的处理节点时，将所述待调度机场任务分配给所述目标任务处理节点。

41、在上述基础上，本技术还提供了一种电子设备，包括：

42、存储器，用于存储计算机程序；

43、与所述存储器连接的处理器，用于执行该存储器存储的计算机程序，以实现上述的面向云边协同工作流的机场任务调度方法。

44、本技术提供的面向云边协同工作流的机场任务调度方法、装置和设备，首先，基于预先确定的资源需求评估函数，按照待调度机场任务的任务类型、数据规模和历史执行画像，确定出所述待调度机场任务的资源需求评估参数；其次，确定目标任务处理节点在当前的资源分布参数；然后，至少基于资源需求评估参数和资源分布参数，确定是否将目标任务处理节点作为待调度机场任务的处理节点，并在确定将目标任务处理节点作为待调度机场任务的处理节点时，将待调度机场任务分配给目标任务处理节点。基于上述内容，由于资源需求评估参数，是基于任务类型、数据规模和历史执行画像综合确定出的，从而保障资源需求评估参数的可靠度和精度，使得能够在一定程度上提高适配机场地面服务保障的强实时性、资源波动剧烈、区域分布分散等行业特性的概率，因此，可以改善现有技术中存在的机场任务调度的可靠度相对不高的问题。