信息处理方法、装置、设备及存储介质与流程

技术特征：
1.一种信息处理方法，其特征在于，包括：获取目标spark任务对应的目标特征；根据所述目标特征和参数确定模型，确定所述目标spark任务的参数，所述参数确定模型用于预测spark任务的参数，所述参数确定模型是根据spark任务的历史运行信息训练得到的。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征和参数确定模型，确定所述目标spark任务的参数，包括：参数化所述目标特征，得到所述目标特征的编码值；将所述编码值输入所述参数确定模型，得到所述目标spark任务的参数。3.根据权利要求1所述的方法，其特征在于，所述根据所述特征值和参数确定模型，确定所述目标spark任务的参数之后，还包括：设置所述目标spark任务的参数；或者，将所述目标spark任务的当前参数调整为通过所述参数确定模型得到的参数。4.根据权利要求1所述的方法，其特征在于，所述参数确定模型是通过以下步骤训练得到的：获取spark任务的历史运行信息；从所述历史运行信息中提取所述spark任务的特征信息；基于所述spark任务的特征信息迭代训练初始参数确定模型，直至计算得到的评估指标值满足预设评估条件；确定评估指标值满足预设评估条件时对应的模型为所述参数确定模型；其中，所述初始参数确定模型与所述参数确定模型的结构相同。5.一种参数确定模型的训练方法，其特征在于，包括：获取spark任务的历史运行信息；从所述历史运行信息中提取所述spark任务的特征信息；基于所述spark任务的特征信息迭代训练初始参数确定模型，直至计算得到的评估指标值满足预设评估条件；确定评估指标值满足预设评估条件时对应的模型为所述参数确定模型；其中，所述初始参数确定模型与所述参数确定模型的结构相同，所述参数确定模型用于预测spark任务的参数。6.根据权利要求4或5所述的方法，其特征在于，所述特征信息包含特征对应的特征值，所述基于所述spark任务的特征信息迭代训练初始参数确定模型，包括：从所述特征信息包含的特征中确定目标特征；基于所述目标特征及所述目标特征对应的特征值，迭代训练初始参数确定模型。7.根据权利要求6所述的方法，其特征在于，所述从所述特征信息包含的特征中确定所述目标特征，包括：基于各所述特征对应的特征值，确定各所述特征之间的相关度；将相关度满足预设相似度条件的特征确定为所述目标特征。8.根据权利要求6所述的方法，其特征在于，还包括：在迭代训练得到所述参数确定模型之后，采用交叉验证的方式，确定所述参数确定模
型的参数。9.一种信息处理装置，其特征在于，包括：获取模块，用于获取目标spark任务对应目标特征的编码值；确定模块，用于根据所述编码值和参数确定模型，确定所述目标spark任务的参数值，所述参数确定模型用于预测spark任务的参数，所述参数确定模型是根据spark任务的历史运行信息训练得到的。10.一种参数确定模型的训练装置，其特征在于，包括：获取模块，用于获取spark任务的历史运行信息；提取模块，用于从所述历史运行信息中提取所述spark任务的特征信息；训练模块，用于基于所述spark任务的特征信息迭代训练初始参数确定模型，直至计算得到的评估指标值满足预设评估条件；确定模块，用于确定评估指标值满足预设评估条件时对应的模型为所述参数确定模型；其中，所述初始参数确定模型与所述参数确定模型的结构相同，所述参数确定模型用于预测spark任务的参数。11.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在电子设备上运行时，使得电子设备执行如权利要求1至8中任一项所述的方法。13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在电子设备上运行时，使得电子设备执行如权利要求1至8中任一项所述的方法。

技术总结
本申请实施例提供一种信息处理方法、装置、设备及存储介质，应用于计算机技术。此方法包括：获取目标Spark任务对应的目标特征；根据目标特征和参数确定模型，确定目标Spark任务的参数，参数确定模型用于预测Spark任务的参数，参数确定模型是根据Spark任务的历史运行信息训练得到的。通过本申请可以自动调整Spark任务参数，在降低人力成本的同时，可以提升获得Spark任务参数的效率。升获得Spark任务参数的效率。升获得Spark任务参数的效率。


技术研发人员：李冶钢 高伟 尹翔
受保护的技术使用者：北京京东世纪贸易有限公司
技术研发日：2021.02.18
技术公布日：2021/12/6