1.本公开涉及计算机数据处理领域。更具体地，本公开涉及在数据处理领域中用于计算框架及组件的智能选择的数据处理组件的配置方法及系统。
背景技术：
：：2.随着计算机网络技术的发展和信息化的推进，大数据处理已广泛普及。融合多种计算框架的数据处理平台也随之兴起。这样的数据处理平台能够提供多种数据处理的运算框架及其组件，常见的有例如hive-mapreduce、spark-mapreduce、flink、elasticsearch等。这些框架有各自的特点和擅长的处理场景。其中，hive-mapreduce是基于分布式文件系统和mapreduce算法的计算引擎，由于基于磁盘文件，性能较低，但代价也较低。spark-mapreduce基于内存，是采用高效的内存运算、rdd数据结构和mapreduce算法的计算框架，性能较高，适合迭代运算等数据量大、运算量大的场景；但由于消耗大量内存，代价较高。flink与spark类似，但使用不同架构，是基于内存/磁盘的流式计算框架，在实时流式处理上更有优势，适用于实时运算，性能较好。elasticsearch是基于索引结构的分布式存储与检索、运算框架，检索性能高，适用于全文检索、地理位置分析等场景。3.然而，面对以上各类运算组件，普通用户在选型上往往存在困难。当面对不同的数据处理任务时，同一用户由于无法精通所有组件，通常局限于选择自身熟悉的一种去应对不同数据处理任务。因此，不同组件的优势无法互补，平台的功能及整合能力也得不到充分发挥。4.当在数据处理任务中选择和配置计算框架及组件时，根据一种现有技术，通过将任务发给各个引擎，对数据表进行扫描，预判执行时间，选择时间最短的引擎。但对数据表进行扫描会消耗大量时间，极大地降低任务的执行速度。根据另一种现有技术，通过将任务拆解为子任务，通过筛选的方式来选取运算框架，并预测时间和消耗的资源。但其中没有对资源配置进行限定的机制，实际上采用了贪婪模式，这会降低系统资源的整体利用效率。因此，在利用融合多种计算框架的数据处理平台进行数据处理业务的实际应用中，如何降低用户使用成本、充分发挥平台资源整合能力，以实现用户友好、平台高效运行的双赢，成为业内亟待解决的课题。技术实现要素：5.在现有技术中尚无成熟的能够使用户以低成本实现数据处理平台的数据处理组件的有效配置、同时优化平台资源利用的数据处理组件的配置方案。有鉴于此，本公开的目的在于提供一种数据处理组件的配置方法及系统，通过解析用户提交的数据处理任务的特征值、以及包括时间限制和预算限制的指标值，结合运算系统平台资源情况等因素，智能选择并配置最优的运算组件或组件组合，由此降低了用户的使用成本，充分高效地发挥了平台的资源整合能力，实现了用户和平台的双赢。6.在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来限定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。7.根据本公开的一个方面，提供了一种数据处理组件的配置方法。该方法可以包括：需求解析步骤，利用分析模型对用户提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；组件选择步骤，根据所述需求解析步骤的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；配置转换步骤，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统执行；以及模型提供步骤，提供在所述需求解析步骤中使用的所述分析模型、在所述组件选择步骤中使用的所述决策模型以及在所述配置转换步骤中使用的所述容量规划模型。8.根据本公开的另一方面，提供了一种计算机可读存储介质。该计算机可读存储介质存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行上述数据处理组件的配置方法。9.根据本公开的再一方面，提供了一种数据处理组件的配置设备。该数据处理组件的配置设备可以包括：存储器；以及处理电路，被配置为执行上述数据处理组件的配置方法。10.根据本公开的又一方面，提供了一种数据处理组件的配置系统。该系统可以包括：需求解析单元，利用分析模型对用户提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；组件选择单元，根据所述需求解析单元的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；配置转换单元，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统执行；以及模型提供单元，提供在所述需求解析单元中使用的所述分析模型、在所述组件选择单元中使用的所述决策模型以及在所述配置转换单元中使用的所述容量规划模型。11.发明效果12.根据本发明，通过解析用户提交的数据处理任务的特征值、以及包括时间限制和预算限制的指标值，结合运算系统平台资源情况等因素，智能选择并配置最优的运算组件或组件组合，由此降低了用户的使用成本，充分高效地发挥了平台的资源整合能力，实现了用户和平台的双赢。附图说明13.图1是根据本公开实施例的数据处理组件的配置系统的总体概念性示意图；14.图2是示出本公开实施例的数据处理组件的配置方法的总体处理的示例性流程图。具体实施方式15.以下将参照附图详细地描述本公开内容的优选实施例。应注意到，除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。同时，为了便于描述，附图中所示出的各个部分的尺寸并非按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，并不作为对本公开及其应用或使用的任何限制。16.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，而在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。本公开内容的技术能够应用于各种产品。17.以下，对根据本公开实施例的数据处理组件的配置系统100的整体构架进行说明。图1是根据本公开实施例的数据处理组件的配置系统的总体概念性示意图。其中，用户200使用标准的描述语言(例如标准sql)描述数据处理内容，以及时限要求、成本预算等需求。根据本公开实施例的数据处理组件的配置系统100自动解析用户所描述的数据处理任务的类型、数据量、数据分布等特点，并结合运算系统300的平台资源情况、任务时限要求、计费预算等限制因素，智能选出最合适的运算组件及相关配置。作为非限定性的实例，数据处理组件的配置系统100例如在时效要求高且数据量大的情况下，通常选择高配置spark框架；在非紧急任务的情况下，通常使用廉价低耗hive框架；在需要快速检索聚合的情况下，通常使用elasticsearch框架等；也可以是不同组件的组合。之后，由运算系统300拉起所选组件并且访问数据执行运算，在执行运算的过程中，并在必要时进行扩容，完成时缩容以释放资源。此外，在数据处理组件的配置系统100，通过对历史数据及测试数据的迭代训练，能够不断优化和完善各个功能单元的底层模型。18.以下结合实例对根据本公开实施例的数据处理组件的配置系统100的具体构造进行详细说明。根据本公开实施例的数据处理组件的配置系统100包括：需求解析单元110，利用分析模型对用户200提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；组件选择单元120，根据所述需求解析单元110的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统300中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；配置转换单元130，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统300执行；以及模型提供单元140，提供在所述需求解析单元110中使用的所述分析模型、在所述组件选择单元120中使用的所述决策模型以及在所述配置转换单元130中使用的所述容量规划模型。19.根据本公开实施例的数据处理组件的配置系统，针对数据处理任务(例如查询语句)本身进行特征分析，结合所涉及的数据量、数据分布情况等信息，利用决策模型得到选项和评分，这不同于现有技术的无差别扫描和预判或者简单的筛选。由于支持实现异构计算框架的选型和组合，能够预测在不同的资源配置下的任务执行时间。尤其是根据时间限制和预算限制，自动调整框架及其配置，这样综合考虑了时间因素和预算因素，通过对资源的限定满足了时间和资源消耗两方面的要求，从而实现对系统和用户的双赢。用户无需掌握或精通多种计算框架也能有效地进行数据处理任务，在整体流程上降低了用户的技术成本和费用成本等使用成本。20.优选地，所述需求解析单元110对用户200提交的数据处理任务进行解析，得到描述数据处理任务特征的相关信息，包括所涉及的数据源、数据范围、计算类型(包括但不限于如关联、聚合、分组、去重、筛选、排序等以及它们的组合)；需求解析单元110从运算系统300提供的数据概览中得到所涉及的数据量、数据分布情况等，进一步量化为数据处理任务的特征值；此外需求解析单元110还从用户200提交的数据处理任务中获取包括时间限制、预算限制等的指标值。在分析和决策中，结合所涉及的数据量、数据分布情况等信息，能够更准确地进行组件选择。21.优选地，所述组件选择单元120根据包括如下模式的可选模式进行组件选择：(1)自动选择模式：根据预先设定的规则进行自动选择，所述规则包括时间最短方案、费用最少方案、综合评分最高方案等；(2)手动选择模式：通过返回包括相关联的可选组件、执行时间和实际费用的候选项的列表，供用户200进行手动选择。在自动选择模式下，能够针对例如不同的用户群选择不同的默认规则，例如针对费用敏感的用户群，可以事先选择费用最少方案的规则；针对时间敏感的用户群，可以事先选择时间最短方案的规则；针对普通用户群，可以选择综合评分最高方案的规则。在手动选择模式下，能够增加用户自主选择的自由度，适于例如对于平台各类可选框架和组件精通的用户群。提供多种可选模式，能够增加系统的使用灵活度，提高用户体验。22.优选地，所述组件选择单元120还可以针对所述需求解析单元110的解析结果进行错误检查，当出现不合理需求、即无法满足的时间和/或预算条件，或者错误的数据处理任务描述时，可以返回给用户200进行修改。由此，用户200能够适当地调整数据处理任务，以使数据系统300能够正常运行。23.优选地，所述配置转换单元130根据运算系统300的可用资源监控信息、以及包括时间限制和预算限制的指标值，对所选组件进行资源配置。例如在选择spark框架的组件时，需要详细配置需部署的节点数、每节点的cpu/内存等。此外，优选地，所述配置转换单元130在将数据处理任务描述转换成适合所选组件的描述时，自动适配不同组件的语法差异。在此，所述配置转换单元130基于容量规划模型以及对平台资源的监控感知，对组件配置进行动态调整，能够提升平台的统筹能力。在此，所述配置转换单元130的容量规划模型考虑时间和资源两个维度，预测在不同的资源配置下的任务执行时间。可以设为优先在系统和任务忙时采用最低资源占用策略，基于任务的时间要求，在满足任务时限要求前提下限定资源，减少资源占用，最大化系统资源可用率，提升系统总体的并发及实时处理能力，使得系统可同时容纳更多的运算，能够提高系统总体容量。与之相对，现有技术中大部分运算框架通常一律采用贪婪模式，倾向于将所有可用系统资源投入当前运算任务，这样大大降低了面对任务量爆发时的系统总体容量。另一方面，可以设为在系统任务闲时以及资源闲时，所述配置转换单元130也可以支持采用贪婪模式，以便使任务快速完成，释放出资源供例如测试等他用。在闲时，也可以设为休眠主机以便节能。24.优选地，所述模型提供单元140在有历史数据的情况下，使用所述历史数据作为训练数据进行训练和评估，生成所述分析模型、所述决策模型以及所述容量规划模型，其中所述历史数据包括与以往数据处理任务的特征值、指标值、实际执行时长、实际费用、资源使用有关的信息；在缺少历史数据的情况下，通过人工设计测试案例集进行测试，得到用于训练模型的训练数据。优选地，所述测试案例集中的案例作为测试数据，涉及不同类型的数据处理任务、不同的指标值要求、以及不同的可用资源等多种情形；进行不同组件、不同配置规格的性能测试，有利于提高模型准确性。此外，还可以进一步对测试案例集中的案例进行组合以用于测试，模拟系统在多任务并发、资源紧张等不同场景下的运行情况。测试优选在运算系统300的空闲时段进行，由此可以提高系统的整体效率。在此，利用历史数据进行模型的持续迭代更新，根据历史任务执行情况建立的分析模型更贴近实际；利用系统空闲时段补充测试缺失的使用场景，能够更加丰富模型的训练数据，进一步提高模型的准确性。25.优选地，根据本公开实施例的数据处理组件的配置系统100还可以包括新组件测评单元，当在所述运算系统中追加新组件时，利用以往数据处理任务以及补充设计的测试案例集进行测试和训练。在当前的各种数据处理平台中，经常会追加或更新计算组件，此时利用历史的分析需求进行评测，能够快速获知新组件在实际应用中的性能和特点。对于新计算组件使用测试案例集进行性能测试，并补充设计符合该组件特点的测试案例进行测试，能够使得各类模型更加准确。根据本公开实施例的数据处理组件的配置系统100通过快速测试评估新框架、快速生成支持新框架的模型，能够支持新增的新型框架的快速无缝接入，实现系统升级对用户无感知，能够提升用户体验。26.以下为了便于理解，再次参照图1，对根据本公开实施例的数据处理组件的配置系统100中的各个单元模块的非限制性构造示例进行详细说明。27.1、需求解析单元11028.1.1建立分析模型：使用分类算法或决策树算法构建模型，例如采用基于贝叶斯的分类器，基于k近邻算法，基于svm(支持向量机)，梯度提升分类器等。29.1.2编写程序，用于识别和提取数据处理任务描述(包括sql、时间、预算等)中的关键信息；通过接口从运算系统获取与当前任务关联的信息，如所涉及的数据量、数据分布情况、当前可用组件、可用资源等；上述信息作为分析模型的输入。30.1.3分析模型训练与验证：31.对分析模型的训练准备输入数据和输出数据，并分别随机拆分为训练集和验证集。32.a)使用历史数据训练分析模型，即通过上述1.2步骤解析历史任务的描述，以及当时的运算系统300的信息作为模型的输入；模型的输出是专家参与制定的知识库(即对应每个任务的合理的分析结果)。33.b)使用测试数据训练分析模型，即解析测试任务的描述，以及测试所设定的运算系统300的信息作为模型输入，模型输出是测试预期的分析结果。34.2、组件选择单元12035.2.1建立决策模型：基于神经网络算法和决策树算法构建决策模型，例如采用反向传播算法、循环神经网络、随机森林算法等。36.2.2决策模型训练与验证：使用历史任务和测试任务数据进行模型训练。37.模型输入：需求解析单元110所输出的特征和指标；38.模型输出：组件及其评分的选项。39.2.3编写程序，实现与用户200的交互功能和界面(对应于例如手动选择模式、报错等)，实现自动执行的功能与接口(对应于例如自动选择模式等)。40.3、配置转换单元13041.3.1建立容量规划模型：可采用基于回归网络、神经网络算法、决策树模型的预测方法。42.3.2容量规划模型训练与验证：使用历史任务和测试任务数据进行模型训练。数据包括所有任务的描述、所有可选组件及对组件的高中低等不同规格的配置。在此，历史数据中一般只包含对一个任务选择一种框架及一种配置的实际运行数据，而在补充测试中，对同一个任务可选择不同框架、以及不同配置规格进行测试以搜集更多数据，使得模型更完善。43.模型输入：任务特征值、所选组件特征值、资源配置规格；44.模型输出：组件配置规格与任务耗时的关系。45.3.3编写程序：46.a)进行任务描述与目标组件的适配，其中不同组件的描述语言存在差异；47.b)根据资源优先或时间优先等预先选定的策略生成组件配置文件；48.c)调用运算系统接口提交运算任务。49.其中，模型提供单元140的工作结合于需求解析单元110、组件选择单元120、配置转换单元130各自的模型建立当中。模型的训练和验证需持续迭代，随着历史任务的积累和测试任务的补充，定期进行模型训练与验证，能够使模型不断优化。50.接下来，对根据本公开实施例的数据处理组件的配置方法进行说明。图2是示出本公开实施例的数据处理组件的配置方法的总体处理的示例性流程图。优选地，本公开实施例的数据处理组件的配置方法由例如本公开的数据处理组件的配置系统100中的需求解析单元110、组件选择单元120、配置转换单元130和模型提供单元140等执行。该方法可以包括以下步骤：51.需求解析步骤s210：在例如需求解析单元110中执行，利用分析模型对用户提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；52.组件选择步骤s220：在例如组件选择单元120中执行，根据所述需求解析步骤s210的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；53.配置转换步骤s230，在例如配置转换单元130中执行，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统执行；以及54.模型提供步骤s240，在例如模型提供单元140中执行，提供在所述需求解析步骤s210中使用的所述分析模型、在所述组件选择步骤s220中使用的所述决策模型以及在所述配置转换步骤s230中使用的所述容量规划模型。55.由此，通过针对数据处理任务(例如查询语句)本身进行特征分析，利用决策模型得到选项和评分，不同于现有技术的无差别扫描和预判或者简单的筛选。由于支持实现异构计算框架的选型和组合，能够预测在不同的资源配置下的任务执行时间。尤其是根据时间限制和预算限制，自动调整框架及其配置，这样综合考虑了时间因素和预算因素，通过对资源的限定满足了时间和资源消耗两方面的要求，从而实现对系统和用户的双赢。用户无需掌握或精通多种计算框架也能有效地进行数据处理任务，在整体流程上降低了用户的技术成本和费用成本等使用成本。56.优选地，所述数据处理任务描述为使用标准的描述语言所描述的数据处理任务，在所述需求解析步骤s210中，所述数据处理任务的特征值包括通过对用户200提交的数据处理任务进行解析而得到的包括所涉及的数据源、数据范围、计算类型的有关数据处理任务特征的信息，以及从运算系统300提供的数据概览中得到的包括所述数据处理任务所涉及的数据量、数据分布的信息，所述计算类型包括例如关联、聚合、分组、去重、筛选、排序等以及它们的组合。57.优选地，在所述组件选择步骤s220中，根据包括如下模式的可选模式进行组件选择：(1)自动选择模式：根据预先设定的规则进行自动选择，所述规则包括时间最短方案、费用最少方案、综合评分最高方案；(2)手动选择模式：通过返回包括相关联的可选组件、执行时间和实际费用的候选项的列表，供用户进行手动选择。58.优选地，在所述组件选择步骤s220中还针对所述需求解析步骤s210的解析结果进行错误检查，当出现无法满足的时间和/或预算条件、或错误的数据处理任务描述时，返回给用户200修改。59.优选地，在所述配置转换步骤s230中，根据运算系统300的可用资源监控信息、以及包括时间限制和预算限制的指标值，对所选组件进行资源配置，并且对于数据处理任务描述自动适配不同组件的语法差异。60.优选地，在所述模型提供步骤s240中，在有历史数据的情况下，使用所述历史数据作为训练数据进行训练和评估，生成所述分析模型、所述决策模型以及所述容量规划模型，其中所述历史数据包括与以往数据处理任务的特征值、指标值、实际执行时长、实际费用、资源使用有关的信息，在缺少历史数据的情况下，通过人工设计测试案例集进行测试，得到用于训练模型的训练数据。61.优选地，所述测试案例集中的案例涉及不同类型的数据处理任务、不同的指标值要求、以及不同的可用资源，在所述模型提供步骤s240中，进一步对测试案例集中的案例进行组合以用于测试。62.优选地，在运算系统300的空闲时段进行对测试案例集中的案例的测试。63.优选地，根据本公开实施例的数据处理组件的配置方法还可以包括新组件测评步骤，当在所述运算系统300中追加新组件时，利用以往数据处理任务以及补充设计的测试案例集进行测试和训练。64.接下来，作为具体实施例，对非限制性的实施例进行详细说明。在此，假设需要进行的数据处理任务为对客户使用热点的区域及流量进行分析，时限要求为在10分钟内完成。65.1)用户200对需求解析单元110输入的标准sql分析语例如是：66.selectuser,area,sum(traffic)fromtable_awheremonth＝05and…groupbyarea67.2)在需求解析单元110利用分析模型对数据处理任务进行解析，得到：68.计算类型：分组聚合(如：sum,groupby)，69.数据范围：分区(如：partitions)，70.数据特点：索引(如：已建立索引)；71.数据源：根据运算系统300提供的数据概览，table_a为分布式存储，涉及6个节点，数据量：约1tb；72.其中使用的分析模型例如是基于贝叶斯的分类器，输入是计算任务的关键字。73.3)在组件选择单元120利用决策模型进行决策，由于数据量大、时限短，优先考虑spark架构；并且由于涉及地理信息，可利用elasticsearch的坐标分析优势，因而选择的组件组合为：sparkmr elasticsearch。74.其中使用的决策模型例如是基于神经网络和决策树的决策树，输入是各项特征值和指标值。75.4)在配置转换单元130利用容量规划模型进行配置，由于需要在10分钟内完成，因而需配置例如至少3个计算节点，每节点8核心32g内存；在任务转换阶段，调用运算系统接口向运算系统300提交运算任务：拉起elasticsearch组件，进行坐标相关的过滤与聚合运算，并且拉起spark组件，进行流量统计相关运算。76.其中使用的容量规划模型例如是基于回归网络的预测模型，输入是特征值和指标值。77.由此，实现了异构计算框架的选型和组合，可在规定的时限内完成数据处理任务，对资源的限定满足时间和资源消耗两方面的要求，整体流程上降低了用户的使用成本，同时也提高了系统整体的容量和利用率。78.综上，根据本公开实施例的数据处理组件的配置系统和配置方法，能够提升各类数据处理平台的整合能力和运营水平，使得平台各类组件被合理地选择和部署运行，为用户提供更友好的功能。并且对用户无要求，能够降低用户的使用成本，而平台能够提升性能和容量，可承载更多用户。因此，根据本公开实施例的数据处理组件的配置系统和配置方法尤其适合例如云网融合环境，如作为云平台的示例的、通过网络来提供服务器平台或开发环境的paas(platform-as-a-service：平台即服务)平台。未来随着新型计算框架的增加，也能够将其无缝接入，能够增加数据处理平台的可扩展性。79.在一些实施例中，提供一种计算机可读存储介质，该计算机可读存储介质可以存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行根据本公开实施例的数据处理组件的配置方法。80.在一些实施例中，提供一种数据处理组件的配置设备，该数据处理组件的配置设备可以包括：存储器，以及处理电路，被配置为执行根据本公开实施例的数据处理组件的配置方法，即该处理电路可以被配置为用于执行上述需求解析步骤s210、组件选择步骤s220、配置转换步骤s230和模型提供步骤s240等。81.数据处理组件的配置设备的处理电路可以指在计算系统中执行功能的数字电路系统、模拟电路系统或混合信号(模拟和数字的组合)电路系统的各种实现。处理电路可以包括例如诸如集成电路(ic)、专用集成电路(asic)这样的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(fpga)的可编程硬件设备、和/或包括多个处理器的系统。82.数据处理组件的配置设备的存储器可以存储由处理电路产生的信息以及用于数据处理组件的配置设备的操作的程序和数据。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、只读存储器(rom)以及闪存存储器。83.应当理解，上述各个步骤、单元等仅是根据其所实现的具体功能所划分的逻辑模块，而不是用于限制具体的实现方式。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如处理器(cpu或dsp等)、集成电路等)来实现。84.应当理解，本公开实施例的数据处理组件的配置方法、配置系统和配置设备不仅能够应用于当前的计算机数据处理领域，其发明主旨同样可以应用于与计算机数据处理相关的其它领域，并且可以应用于未来新兴的各类计算机相关技术。85.应当理解，本说明书中“实施例”或类似表达方式的引用是指结合该实施例所述的特定特征、结构、或特性系包括在本公开的至少一具体实施例中。因此，在本说明书中，“在本公开的实施例中”及类似表达方式的用语的出现未必指相同的实施例。86.本领域技术人员应当知道，本公开被实施为一系统、装置、方法或作为计算机程序产品的计算机可读媒体(例如非瞬态存储介质)。因此，本公开可以实施为各种形式，例如完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微程序代码等)，或者也可实施为软件与硬件的实施形式，在以下会被称为“电路”、“模块”或“系统”。此外，本公开也可以任何有形的媒体形式实施为计算机程序产品，其具有计算机可使用程序代码存储于其上。87.本公开的相关叙述参照根据本公开具体实施例的系统、装置、方法及计算机程序产品的流程图和/或框图来进行说明。可以理解每一个流程图和/或框图中的每一个块，以及流程图和/或框图中的块的任何组合，可以使用计算机程序指令来实施。这些计算机程序指令可供通用型计算机或特殊计算机的处理器或其它可编程数据处理装置所组成的机器来执行，而指令经由计算机或其它可编程数据处理装置处理以便实施流程图和/或框图中所说明的功能或操作。88.在附图中显示根据本公开各种实施例的系统、装置、方法及计算机程序产品可实施的架构、功能及操作的流程图及框图。因此，流程图或框图中的每个块可表示一模块、区段、或部分的程序代码，其包括一个或多个可执行指令，以实施指定的逻辑功能。另外应当注意，在某些其它的实施例中，块所述的功能可以不按图中所示的顺序进行。举例来说，两个图示相连接的块事实上也可以同时执行，或根据所涉及的功能在某些情况下也可以按图标相反的顺序执行。此外还需注意，每个框图和/或流程图的块，以及框图和/或流程图中块的组合，可藉由基于专用硬件的系统来实施，或者藉由专用硬件与计算机指令的组合，来执行特定的功能或操作。89.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本
技术领域：
：的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场技术的技术改进，或者使本
技术领域：
：的其它普通技术人员能理解本文披露的各实施例。当前第1页12当前第1页12
背景技术：
：：2.随着计算机网络技术的发展和信息化的推进，大数据处理已广泛普及。融合多种计算框架的数据处理平台也随之兴起。这样的数据处理平台能够提供多种数据处理的运算框架及其组件，常见的有例如hive-mapreduce、spark-mapreduce、flink、elasticsearch等。这些框架有各自的特点和擅长的处理场景。其中，hive-mapreduce是基于分布式文件系统和mapreduce算法的计算引擎，由于基于磁盘文件，性能较低，但代价也较低。spark-mapreduce基于内存，是采用高效的内存运算、rdd数据结构和mapreduce算法的计算框架，性能较高，适合迭代运算等数据量大、运算量大的场景；但由于消耗大量内存，代价较高。flink与spark类似，但使用不同架构，是基于内存/磁盘的流式计算框架，在实时流式处理上更有优势，适用于实时运算，性能较好。elasticsearch是基于索引结构的分布式存储与检索、运算框架，检索性能高，适用于全文检索、地理位置分析等场景。3.然而，面对以上各类运算组件，普通用户在选型上往往存在困难。当面对不同的数据处理任务时，同一用户由于无法精通所有组件，通常局限于选择自身熟悉的一种去应对不同数据处理任务。因此，不同组件的优势无法互补，平台的功能及整合能力也得不到充分发挥。4.当在数据处理任务中选择和配置计算框架及组件时，根据一种现有技术，通过将任务发给各个引擎，对数据表进行扫描，预判执行时间，选择时间最短的引擎。但对数据表进行扫描会消耗大量时间，极大地降低任务的执行速度。根据另一种现有技术，通过将任务拆解为子任务，通过筛选的方式来选取运算框架，并预测时间和消耗的资源。但其中没有对资源配置进行限定的机制，实际上采用了贪婪模式，这会降低系统资源的整体利用效率。因此，在利用融合多种计算框架的数据处理平台进行数据处理业务的实际应用中，如何降低用户使用成本、充分发挥平台资源整合能力，以实现用户友好、平台高效运行的双赢，成为业内亟待解决的课题。技术实现要素：5.在现有技术中尚无成熟的能够使用户以低成本实现数据处理平台的数据处理组件的有效配置、同时优化平台资源利用的数据处理组件的配置方案。有鉴于此，本公开的目的在于提供一种数据处理组件的配置方法及系统，通过解析用户提交的数据处理任务的特征值、以及包括时间限制和预算限制的指标值，结合运算系统平台资源情况等因素，智能选择并配置最优的运算组件或组件组合，由此降低了用户的使用成本，充分高效地发挥了平台的资源整合能力，实现了用户和平台的双赢。6.在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来限定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。7.根据本公开的一个方面，提供了一种数据处理组件的配置方法。该方法可以包括：需求解析步骤，利用分析模型对用户提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；组件选择步骤，根据所述需求解析步骤的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；配置转换步骤，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统执行；以及模型提供步骤，提供在所述需求解析步骤中使用的所述分析模型、在所述组件选择步骤中使用的所述决策模型以及在所述配置转换步骤中使用的所述容量规划模型。8.根据本公开的另一方面，提供了一种计算机可读存储介质。该计算机可读存储介质存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行上述数据处理组件的配置方法。9.根据本公开的再一方面，提供了一种数据处理组件的配置设备。该数据处理组件的配置设备可以包括：存储器；以及处理电路，被配置为执行上述数据处理组件的配置方法。10.根据本公开的又一方面，提供了一种数据处理组件的配置系统。该系统可以包括：需求解析单元，利用分析模型对用户提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；组件选择单元，根据所述需求解析单元的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；配置转换单元，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统执行；以及模型提供单元，提供在所述需求解析单元中使用的所述分析模型、在所述组件选择单元中使用的所述决策模型以及在所述配置转换单元中使用的所述容量规划模型。11.发明效果12.根据本发明，通过解析用户提交的数据处理任务的特征值、以及包括时间限制和预算限制的指标值，结合运算系统平台资源情况等因素，智能选择并配置最优的运算组件或组件组合，由此降低了用户的使用成本，充分高效地发挥了平台的资源整合能力，实现了用户和平台的双赢。附图说明13.图1是根据本公开实施例的数据处理组件的配置系统的总体概念性示意图；14.图2是示出本公开实施例的数据处理组件的配置方法的总体处理的示例性流程图。具体实施方式15.以下将参照附图详细地描述本公开内容的优选实施例。应注意到，除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。同时，为了便于描述，附图中所示出的各个部分的尺寸并非按照实际的比例关系绘制的。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，并不作为对本公开及其应用或使用的任何限制。16.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，而在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。本公开内容的技术能够应用于各种产品。17.以下，对根据本公开实施例的数据处理组件的配置系统100的整体构架进行说明。图1是根据本公开实施例的数据处理组件的配置系统的总体概念性示意图。其中，用户200使用标准的描述语言(例如标准sql)描述数据处理内容，以及时限要求、成本预算等需求。根据本公开实施例的数据处理组件的配置系统100自动解析用户所描述的数据处理任务的类型、数据量、数据分布等特点，并结合运算系统300的平台资源情况、任务时限要求、计费预算等限制因素，智能选出最合适的运算组件及相关配置。作为非限定性的实例，数据处理组件的配置系统100例如在时效要求高且数据量大的情况下，通常选择高配置spark框架；在非紧急任务的情况下，通常使用廉价低耗hive框架；在需要快速检索聚合的情况下，通常使用elasticsearch框架等；也可以是不同组件的组合。之后，由运算系统300拉起所选组件并且访问数据执行运算，在执行运算的过程中，并在必要时进行扩容，完成时缩容以释放资源。此外，在数据处理组件的配置系统100，通过对历史数据及测试数据的迭代训练，能够不断优化和完善各个功能单元的底层模型。18.以下结合实例对根据本公开实施例的数据处理组件的配置系统100的具体构造进行详细说明。根据本公开实施例的数据处理组件的配置系统100包括：需求解析单元110，利用分析模型对用户200提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；组件选择单元120，根据所述需求解析单元110的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统300中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；配置转换单元130，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统300执行；以及模型提供单元140，提供在所述需求解析单元110中使用的所述分析模型、在所述组件选择单元120中使用的所述决策模型以及在所述配置转换单元130中使用的所述容量规划模型。19.根据本公开实施例的数据处理组件的配置系统，针对数据处理任务(例如查询语句)本身进行特征分析，结合所涉及的数据量、数据分布情况等信息，利用决策模型得到选项和评分，这不同于现有技术的无差别扫描和预判或者简单的筛选。由于支持实现异构计算框架的选型和组合，能够预测在不同的资源配置下的任务执行时间。尤其是根据时间限制和预算限制，自动调整框架及其配置，这样综合考虑了时间因素和预算因素，通过对资源的限定满足了时间和资源消耗两方面的要求，从而实现对系统和用户的双赢。用户无需掌握或精通多种计算框架也能有效地进行数据处理任务，在整体流程上降低了用户的技术成本和费用成本等使用成本。20.优选地，所述需求解析单元110对用户200提交的数据处理任务进行解析，得到描述数据处理任务特征的相关信息，包括所涉及的数据源、数据范围、计算类型(包括但不限于如关联、聚合、分组、去重、筛选、排序等以及它们的组合)；需求解析单元110从运算系统300提供的数据概览中得到所涉及的数据量、数据分布情况等，进一步量化为数据处理任务的特征值；此外需求解析单元110还从用户200提交的数据处理任务中获取包括时间限制、预算限制等的指标值。在分析和决策中，结合所涉及的数据量、数据分布情况等信息，能够更准确地进行组件选择。21.优选地，所述组件选择单元120根据包括如下模式的可选模式进行组件选择：(1)自动选择模式：根据预先设定的规则进行自动选择，所述规则包括时间最短方案、费用最少方案、综合评分最高方案等；(2)手动选择模式：通过返回包括相关联的可选组件、执行时间和实际费用的候选项的列表，供用户200进行手动选择。在自动选择模式下，能够针对例如不同的用户群选择不同的默认规则，例如针对费用敏感的用户群，可以事先选择费用最少方案的规则；针对时间敏感的用户群，可以事先选择时间最短方案的规则；针对普通用户群，可以选择综合评分最高方案的规则。在手动选择模式下，能够增加用户自主选择的自由度，适于例如对于平台各类可选框架和组件精通的用户群。提供多种可选模式，能够增加系统的使用灵活度，提高用户体验。22.优选地，所述组件选择单元120还可以针对所述需求解析单元110的解析结果进行错误检查，当出现不合理需求、即无法满足的时间和/或预算条件，或者错误的数据处理任务描述时，可以返回给用户200进行修改。由此，用户200能够适当地调整数据处理任务，以使数据系统300能够正常运行。23.优选地，所述配置转换单元130根据运算系统300的可用资源监控信息、以及包括时间限制和预算限制的指标值，对所选组件进行资源配置。例如在选择spark框架的组件时，需要详细配置需部署的节点数、每节点的cpu/内存等。此外，优选地，所述配置转换单元130在将数据处理任务描述转换成适合所选组件的描述时，自动适配不同组件的语法差异。在此，所述配置转换单元130基于容量规划模型以及对平台资源的监控感知，对组件配置进行动态调整，能够提升平台的统筹能力。在此，所述配置转换单元130的容量规划模型考虑时间和资源两个维度，预测在不同的资源配置下的任务执行时间。可以设为优先在系统和任务忙时采用最低资源占用策略，基于任务的时间要求，在满足任务时限要求前提下限定资源，减少资源占用，最大化系统资源可用率，提升系统总体的并发及实时处理能力，使得系统可同时容纳更多的运算，能够提高系统总体容量。与之相对，现有技术中大部分运算框架通常一律采用贪婪模式，倾向于将所有可用系统资源投入当前运算任务，这样大大降低了面对任务量爆发时的系统总体容量。另一方面，可以设为在系统任务闲时以及资源闲时，所述配置转换单元130也可以支持采用贪婪模式，以便使任务快速完成，释放出资源供例如测试等他用。在闲时，也可以设为休眠主机以便节能。24.优选地，所述模型提供单元140在有历史数据的情况下，使用所述历史数据作为训练数据进行训练和评估，生成所述分析模型、所述决策模型以及所述容量规划模型，其中所述历史数据包括与以往数据处理任务的特征值、指标值、实际执行时长、实际费用、资源使用有关的信息；在缺少历史数据的情况下，通过人工设计测试案例集进行测试，得到用于训练模型的训练数据。优选地，所述测试案例集中的案例作为测试数据，涉及不同类型的数据处理任务、不同的指标值要求、以及不同的可用资源等多种情形；进行不同组件、不同配置规格的性能测试，有利于提高模型准确性。此外，还可以进一步对测试案例集中的案例进行组合以用于测试，模拟系统在多任务并发、资源紧张等不同场景下的运行情况。测试优选在运算系统300的空闲时段进行，由此可以提高系统的整体效率。在此，利用历史数据进行模型的持续迭代更新，根据历史任务执行情况建立的分析模型更贴近实际；利用系统空闲时段补充测试缺失的使用场景，能够更加丰富模型的训练数据，进一步提高模型的准确性。25.优选地，根据本公开实施例的数据处理组件的配置系统100还可以包括新组件测评单元，当在所述运算系统中追加新组件时，利用以往数据处理任务以及补充设计的测试案例集进行测试和训练。在当前的各种数据处理平台中，经常会追加或更新计算组件，此时利用历史的分析需求进行评测，能够快速获知新组件在实际应用中的性能和特点。对于新计算组件使用测试案例集进行性能测试，并补充设计符合该组件特点的测试案例进行测试，能够使得各类模型更加准确。根据本公开实施例的数据处理组件的配置系统100通过快速测试评估新框架、快速生成支持新框架的模型，能够支持新增的新型框架的快速无缝接入，实现系统升级对用户无感知，能够提升用户体验。26.以下为了便于理解，再次参照图1，对根据本公开实施例的数据处理组件的配置系统100中的各个单元模块的非限制性构造示例进行详细说明。27.1、需求解析单元11028.1.1建立分析模型：使用分类算法或决策树算法构建模型，例如采用基于贝叶斯的分类器，基于k近邻算法，基于svm(支持向量机)，梯度提升分类器等。29.1.2编写程序，用于识别和提取数据处理任务描述(包括sql、时间、预算等)中的关键信息；通过接口从运算系统获取与当前任务关联的信息，如所涉及的数据量、数据分布情况、当前可用组件、可用资源等；上述信息作为分析模型的输入。30.1.3分析模型训练与验证：31.对分析模型的训练准备输入数据和输出数据，并分别随机拆分为训练集和验证集。32.a)使用历史数据训练分析模型，即通过上述1.2步骤解析历史任务的描述，以及当时的运算系统300的信息作为模型的输入；模型的输出是专家参与制定的知识库(即对应每个任务的合理的分析结果)。33.b)使用测试数据训练分析模型，即解析测试任务的描述，以及测试所设定的运算系统300的信息作为模型输入，模型输出是测试预期的分析结果。34.2、组件选择单元12035.2.1建立决策模型：基于神经网络算法和决策树算法构建决策模型，例如采用反向传播算法、循环神经网络、随机森林算法等。36.2.2决策模型训练与验证：使用历史任务和测试任务数据进行模型训练。37.模型输入：需求解析单元110所输出的特征和指标；38.模型输出：组件及其评分的选项。39.2.3编写程序，实现与用户200的交互功能和界面(对应于例如手动选择模式、报错等)，实现自动执行的功能与接口(对应于例如自动选择模式等)。40.3、配置转换单元13041.3.1建立容量规划模型：可采用基于回归网络、神经网络算法、决策树模型的预测方法。42.3.2容量规划模型训练与验证：使用历史任务和测试任务数据进行模型训练。数据包括所有任务的描述、所有可选组件及对组件的高中低等不同规格的配置。在此，历史数据中一般只包含对一个任务选择一种框架及一种配置的实际运行数据，而在补充测试中，对同一个任务可选择不同框架、以及不同配置规格进行测试以搜集更多数据，使得模型更完善。43.模型输入：任务特征值、所选组件特征值、资源配置规格；44.模型输出：组件配置规格与任务耗时的关系。45.3.3编写程序：46.a)进行任务描述与目标组件的适配，其中不同组件的描述语言存在差异；47.b)根据资源优先或时间优先等预先选定的策略生成组件配置文件；48.c)调用运算系统接口提交运算任务。49.其中，模型提供单元140的工作结合于需求解析单元110、组件选择单元120、配置转换单元130各自的模型建立当中。模型的训练和验证需持续迭代，随着历史任务的积累和测试任务的补充，定期进行模型训练与验证，能够使模型不断优化。50.接下来，对根据本公开实施例的数据处理组件的配置方法进行说明。图2是示出本公开实施例的数据处理组件的配置方法的总体处理的示例性流程图。优选地，本公开实施例的数据处理组件的配置方法由例如本公开的数据处理组件的配置系统100中的需求解析单元110、组件选择单元120、配置转换单元130和模型提供单元140等执行。该方法可以包括以下步骤：51.需求解析步骤s210：在例如需求解析单元110中执行，利用分析模型对用户提交的数据处理任务描述进行解析，得到数据处理任务的特征值、以及包括时间限制和预算限制的指标值；52.组件选择步骤s220：在例如组件选择单元120中执行，根据所述需求解析步骤s210的解析结果，利用决策模型进行决策，得到用于数据处理任务的运算系统中提供的多种运算框架下的用于数据处理的组件或组件组合的候选项及评分排名；53.配置转换步骤s230，在例如配置转换单元130中执行，利用容量规划模型对所选的执行数据处理任务的组件进行资源配置，并将数据处理任务描述转换成适合所选组件的描述，提交运算系统执行；以及54.模型提供步骤s240，在例如模型提供单元140中执行，提供在所述需求解析步骤s210中使用的所述分析模型、在所述组件选择步骤s220中使用的所述决策模型以及在所述配置转换步骤s230中使用的所述容量规划模型。55.由此，通过针对数据处理任务(例如查询语句)本身进行特征分析，利用决策模型得到选项和评分，不同于现有技术的无差别扫描和预判或者简单的筛选。由于支持实现异构计算框架的选型和组合，能够预测在不同的资源配置下的任务执行时间。尤其是根据时间限制和预算限制，自动调整框架及其配置，这样综合考虑了时间因素和预算因素，通过对资源的限定满足了时间和资源消耗两方面的要求，从而实现对系统和用户的双赢。用户无需掌握或精通多种计算框架也能有效地进行数据处理任务，在整体流程上降低了用户的技术成本和费用成本等使用成本。56.优选地，所述数据处理任务描述为使用标准的描述语言所描述的数据处理任务，在所述需求解析步骤s210中，所述数据处理任务的特征值包括通过对用户200提交的数据处理任务进行解析而得到的包括所涉及的数据源、数据范围、计算类型的有关数据处理任务特征的信息，以及从运算系统300提供的数据概览中得到的包括所述数据处理任务所涉及的数据量、数据分布的信息，所述计算类型包括例如关联、聚合、分组、去重、筛选、排序等以及它们的组合。57.优选地，在所述组件选择步骤s220中，根据包括如下模式的可选模式进行组件选择：(1)自动选择模式：根据预先设定的规则进行自动选择，所述规则包括时间最短方案、费用最少方案、综合评分最高方案；(2)手动选择模式：通过返回包括相关联的可选组件、执行时间和实际费用的候选项的列表，供用户进行手动选择。58.优选地，在所述组件选择步骤s220中还针对所述需求解析步骤s210的解析结果进行错误检查，当出现无法满足的时间和/或预算条件、或错误的数据处理任务描述时，返回给用户200修改。59.优选地，在所述配置转换步骤s230中，根据运算系统300的可用资源监控信息、以及包括时间限制和预算限制的指标值，对所选组件进行资源配置，并且对于数据处理任务描述自动适配不同组件的语法差异。60.优选地，在所述模型提供步骤s240中，在有历史数据的情况下，使用所述历史数据作为训练数据进行训练和评估，生成所述分析模型、所述决策模型以及所述容量规划模型，其中所述历史数据包括与以往数据处理任务的特征值、指标值、实际执行时长、实际费用、资源使用有关的信息，在缺少历史数据的情况下，通过人工设计测试案例集进行测试，得到用于训练模型的训练数据。61.优选地，所述测试案例集中的案例涉及不同类型的数据处理任务、不同的指标值要求、以及不同的可用资源，在所述模型提供步骤s240中，进一步对测试案例集中的案例进行组合以用于测试。62.优选地，在运算系统300的空闲时段进行对测试案例集中的案例的测试。63.优选地，根据本公开实施例的数据处理组件的配置方法还可以包括新组件测评步骤，当在所述运算系统300中追加新组件时，利用以往数据处理任务以及补充设计的测试案例集进行测试和训练。64.接下来，作为具体实施例，对非限制性的实施例进行详细说明。在此，假设需要进行的数据处理任务为对客户使用热点的区域及流量进行分析，时限要求为在10分钟内完成。65.1)用户200对需求解析单元110输入的标准sql分析语例如是：66.selectuser,area,sum(traffic)fromtable_awheremonth＝05and…groupbyarea67.2)在需求解析单元110利用分析模型对数据处理任务进行解析，得到：68.计算类型：分组聚合(如：sum,groupby)，69.数据范围：分区(如：partitions)，70.数据特点：索引(如：已建立索引)；71.数据源：根据运算系统300提供的数据概览，table_a为分布式存储，涉及6个节点，数据量：约1tb；72.其中使用的分析模型例如是基于贝叶斯的分类器，输入是计算任务的关键字。73.3)在组件选择单元120利用决策模型进行决策，由于数据量大、时限短，优先考虑spark架构；并且由于涉及地理信息，可利用elasticsearch的坐标分析优势，因而选择的组件组合为：sparkmr elasticsearch。74.其中使用的决策模型例如是基于神经网络和决策树的决策树，输入是各项特征值和指标值。75.4)在配置转换单元130利用容量规划模型进行配置，由于需要在10分钟内完成，因而需配置例如至少3个计算节点，每节点8核心32g内存；在任务转换阶段，调用运算系统接口向运算系统300提交运算任务：拉起elasticsearch组件，进行坐标相关的过滤与聚合运算，并且拉起spark组件，进行流量统计相关运算。76.其中使用的容量规划模型例如是基于回归网络的预测模型，输入是特征值和指标值。77.由此，实现了异构计算框架的选型和组合，可在规定的时限内完成数据处理任务，对资源的限定满足时间和资源消耗两方面的要求，整体流程上降低了用户的使用成本，同时也提高了系统整体的容量和利用率。78.综上，根据本公开实施例的数据处理组件的配置系统和配置方法，能够提升各类数据处理平台的整合能力和运营水平，使得平台各类组件被合理地选择和部署运行，为用户提供更友好的功能。并且对用户无要求，能够降低用户的使用成本，而平台能够提升性能和容量，可承载更多用户。因此，根据本公开实施例的数据处理组件的配置系统和配置方法尤其适合例如云网融合环境，如作为云平台的示例的、通过网络来提供服务器平台或开发环境的paas(platform-as-a-service：平台即服务)平台。未来随着新型计算框架的增加，也能够将其无缝接入，能够增加数据处理平台的可扩展性。79.在一些实施例中，提供一种计算机可读存储介质，该计算机可读存储介质可以存储有可执行指令，当所述可执行指令由信息处理装置执行时，使所述信息处理装置执行根据本公开实施例的数据处理组件的配置方法。80.在一些实施例中，提供一种数据处理组件的配置设备，该数据处理组件的配置设备可以包括：存储器，以及处理电路，被配置为执行根据本公开实施例的数据处理组件的配置方法，即该处理电路可以被配置为用于执行上述需求解析步骤s210、组件选择步骤s220、配置转换步骤s230和模型提供步骤s240等。81.数据处理组件的配置设备的处理电路可以指在计算系统中执行功能的数字电路系统、模拟电路系统或混合信号(模拟和数字的组合)电路系统的各种实现。处理电路可以包括例如诸如集成电路(ic)、专用集成电路(asic)这样的电路、单独处理器核心的部分或电路、整个处理器核心、单独的处理器、诸如现场可编程门阵列(fpga)的可编程硬件设备、和/或包括多个处理器的系统。82.数据处理组件的配置设备的存储器可以存储由处理电路产生的信息以及用于数据处理组件的配置设备的操作的程序和数据。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、只读存储器(rom)以及闪存存储器。83.应当理解，上述各个步骤、单元等仅是根据其所实现的具体功能所划分的逻辑模块，而不是用于限制具体的实现方式。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如处理器(cpu或dsp等)、集成电路等)来实现。84.应当理解，本公开实施例的数据处理组件的配置方法、配置系统和配置设备不仅能够应用于当前的计算机数据处理领域，其发明主旨同样可以应用于与计算机数据处理相关的其它领域，并且可以应用于未来新兴的各类计算机相关技术。85.应当理解，本说明书中“实施例”或类似表达方式的引用是指结合该实施例所述的特定特征、结构、或特性系包括在本公开的至少一具体实施例中。因此，在本说明书中，“在本公开的实施例中”及类似表达方式的用语的出现未必指相同的实施例。86.本领域技术人员应当知道，本公开被实施为一系统、装置、方法或作为计算机程序产品的计算机可读媒体(例如非瞬态存储介质)。因此，本公开可以实施为各种形式，例如完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微程序代码等)，或者也可实施为软件与硬件的实施形式，在以下会被称为“电路”、“模块”或“系统”。此外，本公开也可以任何有形的媒体形式实施为计算机程序产品，其具有计算机可使用程序代码存储于其上。87.本公开的相关叙述参照根据本公开具体实施例的系统、装置、方法及计算机程序产品的流程图和/或框图来进行说明。可以理解每一个流程图和/或框图中的每一个块，以及流程图和/或框图中的块的任何组合，可以使用计算机程序指令来实施。这些计算机程序指令可供通用型计算机或特殊计算机的处理器或其它可编程数据处理装置所组成的机器来执行，而指令经由计算机或其它可编程数据处理装置处理以便实施流程图和/或框图中所说明的功能或操作。88.在附图中显示根据本公开各种实施例的系统、装置、方法及计算机程序产品可实施的架构、功能及操作的流程图及框图。因此，流程图或框图中的每个块可表示一模块、区段、或部分的程序代码，其包括一个或多个可执行指令，以实施指定的逻辑功能。另外应当注意，在某些其它的实施例中，块所述的功能可以不按图中所示的顺序进行。举例来说，两个图示相连接的块事实上也可以同时执行，或根据所涉及的功能在某些情况下也可以按图标相反的顺序执行。此外还需注意，每个框图和/或流程图的块，以及框图和/或流程图中块的组合，可藉由基于专用硬件的系统来实施，或者藉由专用硬件与计算机指令的组合，来执行特定的功能或操作。89.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本
技术领域：
：的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场技术的技术改进，或者使本
技术领域：
：的其它普通技术人员能理解本文披露的各实施例。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
