一种资源配置方法和装置与流程

技术特征：
1.一种资源配置方法，其特征在于，所述方法包括：在spark任务运行之后，通过执行脚本调用spark应用程序接口api获取所述spark任务对应的对象简谱json信息；分析所述json信息生成stages信息；基于所述stages信息通过预估spark任务处理的数据量对所述spark任务进行参数调优；使用调优后的参数进行资源配置。2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：将生成的stages信息使用stages链表进行存储；其中，所述链表的每个节点是一个stage对象。3.根据权利要求1所述的方法，其特征在于，所述基于所述stages信息通过预估spark任务处理的数据量对所述spark任务进行参数调优，包括：获取输入数据量最大的stage；并以所述stage的输入数据量以gb为单位向上取整，获得所述spark任务所需内存估值mgb；计算m与k的比值h，以及h与l的比值c；其中，kgb为预设一个分区处理的数据量，l为预设一个核core处理分区的个数；获取m和c的公约数；选择一个公约数d作为申请服务器的数目；其中，m/d的值属于设置的内存容量范围，c/d的值属于设置的core数量范围。4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：分析所述json信息获取所述stage的数量；若stage的数量大于预设数量值，则优化线程调度。5.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：若stages信息中有数据划分字段，则优化数据划分性能。6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：基于所述stages信息优化写hive表的线程数对所述spark任务进行程序调优。7.根据权利要求6所述的方法，其特征在于，所述基于所述stages信息优化写hive表的线程数对所述spark任务进行程序调优，包括：根据数据划分字段将代码划分为多个stage存储到一个stages列表b；通过正则匹配确定stages列表b中有写hive行为的stage，并获取所述stage在所述stages信息中对应的数据输出量o；计算hive的线程数t为o与y的比值，其中，所述y为1个线程写的预设值数据；通过正则匹配出所述写hive行为，更新线程数为t。8.根据权利要求6所述的方法，其特征在于，所述方法进一步包括：预先在spark任务的代码的写hive的分区数进行变量标记；所述基于所述stages信息优化写hive表的线程数对所述spark任务进行程序调优，包括：根据数据划分字段将代码划分为多个stage存储到一个stages列表b；若确定stages列表b中的stage里存在变量标记，则确定所述stage中有写hive行为；取
所述stage在所述stages信息中对应的数据输出量o；计算hive的线程数t为o与y的比值，其中，所述y为1个线程写的预设值数据；使用所述线程数t对标记变量进行正则替换。9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法进一步包括：将调优后的spark任务提交到运行设备上，通过运行结果验证调优效果。10.一种资源配置装置，其特征在于，所述装置包括：获取单元、分析生成单元、调优单元和配置单元；所述获取单元，用于在spark任务运行之后，通过执行代码调用spark应用程序接口api获取所述spark任务对应的对象简谱json信息；所述分析生成单元，用于分析所述获取单元获取的json信息获取stage的信息，生成stages信息；所述调优单元，用于基于所述分析生成单元生成的stages信息通过预估spark任务处理的数据量对所述spark任务进行参数调优；所述配置单元，用于使用所述调优单元调优后的参数进行资源配置。11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9任一项所述的方法。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-9任一项所述的方法。

技术总结
本申请提供了一种资源配置方法和装置。所述方法包括：在Spark任务运行之后，通过执行脚本调用Spark应用程序接口API获取所述Spark任务对应的JSON信息；分析所述JSON信息生成stages信息；基于所述stages信息通过预估spark任务处理的数据量对所述Spark任务进行参数调优；使用调优后的参数进行资源配置。该方法能够能够在节省成本的前提下自动进行参数调优，以提高资源配置效率。以提高资源配置效率。以提高资源配置效率。


技术研发人员：牛磊
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2020.09.21
技术公布日：2021/12/6