一种数据处理方法及其装置与流程

本技术涉及大数据领域，尤其涉及一种数据处理方法及其装置。

背景技术：

1、随着大数据技术的飞速发展，分布式计算框架已成为解决海量数据处理问题的关键工具，具体的，计算引擎通过将计算任务(例如，查询任务)分解为多个小任务，并在集群中并行执行，从而极大提高了数据处理效率。然而，执行任务时的计算性能并不仅仅取决于数据规模和集群硬件的性能，更多地依赖于配置信息(例如，配置参数)的调优。诸如并行度、内存分配、批处理大小、数据分区策略、缓存策略等配置参数的选择，直接影响着任务的执行时间、资源的使用效率等处理效果。

2、已有技术中，为了加快待执行任务的配置信息的确定时间，从多个预设的配置信息中选择一个或多个配置信息。然而，已有技术中配置信息的选择精度较差，往往不能选择到最优的配置信息。

技术实现思路

1、本技术提供了一种数据处理方法，可以提高配置信息的确定的准确度。

2、第一方面，本技术提供了一种数据处理方法，在确定目标任务的配置信息时，通过将目标任务的初始化的配置信息(第一配置信息)和多个预设的第二配置信息之间进行相似度比对，从多个预设的第二配置信息中，选择部分第二配置信息。然而，由于第一配置信息和第二配置信息中均包含不同量纲的两个维度的信息(第一维度的配置信息和第二维度的配置信息)很难直接进行比较，本技术实施例的思路在于，先将第一配置信息和第二配置信息中相同量纲的信息之间进行相似度排序，分别得到每个第二配置信息在第一维度上的第一排序位置，以及在第二维度上的第二排序位置，然后将第一排序位置和第二排序位置进行融合，并基于融合后的排序位置来进行第二配置信息的选择，由于第一排序位置和第二排序位置是相同量纲的信息，因此，基于融合后的排序位置可以确定出和第一配置信息较相似的第二配置信息，从而可以提高配置信息的确定的准确度。

3、在一种可能的实现中，所述第一维度上的配置信息具体为执行任务时采用的配置参数，所述第二维度的配置信息具体为采用所述配置参数执行任务时的执行效果。

4、在一种可能的实现中，所述执行效果为执行时间。

5、在一种可能的实现中，所述配置参数包括如下的至少一种：执行任务时调用的算子的特征；执行任务的执行设备的参数。

6、在一种可能的实现中，每个所述第二配置信息为从一个预设任务的多个优化版本的配置信息中选择的具有最优的执行效果的配置信息。也就是说，每个预设任务的配置信息可以包含多个优化版本，例如，每个优化版本的优化信息可以是通过贝叶斯优化或者强化学习等方法对初始配置进行优化得到的，可以首先从每个预设任务的多个优化版本的配置信息中选择具有最优的执行效果的配置信息，例如，选择执行时间最短的配置信息作为本技术实施例中的第二配置信息，通过将配置搜索空间收缩到各个已知任务的最优配置，从而可以提高配置信息的选择精度的稳定性。

7、在一种可能的实现中，所述方法还包括：将所述部分第二配置信息进行推荐，或者根据所述部分第二配置信息中的一个第二配置信息执行所述目标任务。

8、在一种可能的实现中，所述部分第二配置信息中不同的第二配置信息为不同预设任务的配置信息；所述方法还包括：根据所述部分第二配置信息中每个所述第二配置信息的融合后的排序位置，确定对应的预设任务的权重；其中，所述排序位置越靠后，所述权重越小；通过每个预设任务对应配置性能预测模型，预测所述部分第二配置信息中每两个所述第二配置信息之间的性能表现的比较结果，以确定所述部分第二配置信息中每个所述第二配置信息的性能表现；将每个所述预设任务的权重与对应的所述性能表现进行融合，确定所述部分第二配置信息中每个所述第二配置信息的偏好得分，并根据所述偏好得分，从多个所述部分第二配置信息中推荐目标配置信息。

9、在一种可能的实现中，所述性能表现与对应的第二配置信息相比所述部分第二配置信息中其他第二配置信息性能表现更优的第二配置信息的数量或者比例有关。

10、在一种可能的实现中，每个预设任务对应配置性能预测模型为根据所述预设任务的多个优化版本的配置信息，通过模型训练得到的，所述配置性能预测模型的输入包括两个配置信息，所述配置性能预测模型的输出包括所述两个配置信息的性能表现的比较结果。

11、在一种可能的实现中，所述目标任务以及所述预设任务为查询任务。

12、第二方面，本技术提供了一种数据处理装置，所述装置包括：

13、获取模块，用于获取第一配置信息以及多个第二配置信息，所述第一配置信息包括目标任务在第一维度和第二维度上的配置信息，每个所述第二配置信息包括预设任务在所述第一维度和所述第二维度上的配置信息，所述第一维度和所述第二维度上的配置信息为不同量纲的信息；

14、排序模块，用于根据每个所述第二配置信息和所述第一配置信息在所述第一维度上的相似度，对所述多个第二配置信息进行排序，得到每个所述第二配置信息在所述第一维度上的第一排序位置；根据每个所述第二配置信息和所述第一配置信息在所述第二维度上的相似度，对所述多个第二配置信息进行排序，得到每个所述第二配置信息在所述第二维度上的第二排序位置；将每个所述第二配置信息的所述第一排序位置和所述第二排序位置进行融合，得到每个所述第二配置信息的融合后的排序位置；

15、配置信息确定模块，用于根据每个所述第二配置信息的融合后的排序位置，从所述多个第二配置信息中选择部分第二配置信息。

16、在一种可能的实现中，所述第一维度上的配置信息具体为执行任务时采用的配置参数，所述第二维度的配置信息具体为采用所述配置参数执行任务时的执行效果。

17、在一种可能的实现中，所述执行效果为执行时间。

18、在一种可能的实现中，所述配置参数包括如下的至少一种：

19、执行任务时调用的算子的特征；

20、执行任务的执行设备的参数。

21、在一种可能的实现中，每个所述第二配置信息为从一个预设任务的多个优化版本的配置信息中选择的具有最优的执行效果的配置信息。

22、在一种可能的实现中，所述装置还包括：

23、推荐模块，用于将所述部分第二配置信息进行推荐，或者根据所述部分第二配置信息中的一个第二配置信息执行所述目标任务。

24、在一种可能的实现中，所述部分第二配置信息中不同的第二配置信息为不同预设任务的配置信息；所述排序模块，还用于：

25、根据所述部分第二配置信息中每个所述第二配置信息的融合后的排序位置，确定对应的预设任务的权重；其中，所述排序位置越靠后，所述权重越小；通过每个预设任务对应配置性能预测模型，预测所述部分第二配置信息中每两个所述第二配置信息之间的性能表现的比较结果，以确定所述部分第二配置信息中每个所述第二配置信息的性能表现；

26、将每个所述预设任务的权重与对应的所述性能表现进行融合，确定所述部分第二配置信息中每个所述第二配置信息的偏好得分；

27、所述推荐模块，用于根据所述偏好得分，从多个所述部分第二配置信息中推荐目标配置信息。

28、在一种可能的实现中，所述性能表现与对应的第二配置信息相比所述部分第二配置信息中其他第二配置信息性能表现更优的第二配置信息的数量或者比例有关。

29、在一种可能的实现中，每个预设任务对应配置性能预测模型为根据所述预设任务的多个优化版本的配置信息，通过模型训练得到的，所述配置性能预测模型的输入包括两个配置信息，所述配置性能预测模型的输出包括所述两个配置信息的性能表现的比较结果。

30、在一种可能的实现中，所述目标任务以及所述预设任务为查询任务。

31、第三方面，本技术提供一种计算设备。计算设备包括至少一个处理器和至少一个存储器。至少一个处理器、至少一个存储器进行相互的通信。至少一个处理器用于执行至少一个存储器中存储的指令，以使得计算设备执行如第一方面或第一方面的任一种实现方式的方法。

32、第四方面，本技术提供一种计算设备集群。计算设备集群包括至少一台计算设备，至少一台计算设备包括至少一个处理器和至少一个存储器。至少一个处理器、至少一个存储器进行相互的通信。至少一个处理器用于执行至少一个存储器中存储的指令，以使得计算设备或计算设备集群执行如第一方面或第一方面的任一种实现方式的方法，或者如第二方面或第二方面的任一种实现方式的方法。

33、第五方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，指令指示计算设备或计算设备集群执行上述第一方面或第一方面的任一种实现方式的方法，或者如第二方面或第二方面的任一种实现方式的方法。

34、第六方面，本技术提供了一种包含指令的计算机程序产品，当其在计算设备或计算设备集群上运行时，使得计算设备或计算设备集群执行上述第一方面或第一方面的任一种实现方式的方法，或者如第二方面或第二方面的任一种实现方式的方法。

35、本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。