作业运行时长确定方法、装置、设备及存储介质与流程

技术特征：
1.一种作业运行时长确定方法，其特征在于，所述方法包括：获取目标作业在预设历史时间段内的历史数据；从所述历史数据中，确定出属于预设类型的特征信息；对所述特征信息进行数据统计，得到统计特征信息；基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系；基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长。2.根据权利要求1所述的方法，其特征在于，所述从所述历史数据中，确定出属于预设类型的特征信息，包括：从所述历史数据中，筛选出所述目标作业的自身属性特征、所述目标作业的提交时刻、运行所述目标作业的集群特征和所述目标作业的运行时间内其他作业的特征；将所述自身属性特征、所述提交时刻、所述集群特征和所述其他作业的特征，确定为属于预设类型的特征信息。3.根据权利要求2所述的方法，其特征在于，所述对所述特征信息进行数据统计，得到统计特征信息，包括：针对所述目标作业的运行时间中的特定时间段，获取所述特定时间段内多个其他作业对应的特征集合；对所述特征集合中的特征数据进行统计学分析，得到其他作业的数量统计值、其他作业已使用的机器核数统计值和其他作业已使用的内存统计值；其中，所述其他作业的数量统计值、所述其他作业已使用的机器核数统计值和所述其他作业已使用的内存统计值构成所述统计特征信息。4.根据权利要求3所述的方法，其特征在于，所述目标作业的提交时刻包括以下至少之一：提交日期值、提交小时值和提交分钟值；所述对所述特征信息进行数据统计，得到统计特征信息，还包括：分别基于所述提交日期值、提交小时值和提交分钟值，对所述自身属性特征、所述提交时刻、所述集群特征和所述其他作业的特征依次进行聚合处理，得到聚合后的自身属性特征、聚合后的提交时刻、聚合后的集群特征和聚合后的其他作业的特征；基于所述提交日期值，依次对所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征进行统计学分析，对应得到所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征分别在日期维度的第一变化规律；基于所述提交小时值，依次对所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征进行统计学分析，对应得到所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征，分别在小时维度的第二变化规律；基于所述提交分钟值，依次对所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征进行统计学分析，对应得到所述聚合后的自身属性特征、所述聚合后的提交时刻、所述聚合后的集群特征和所述聚合后的其他作业的特征分别在分钟维度的第三变化规律；
其中，所述第一变化规律、所述第二变化规律和所述第三变化规律中的至少之一构成所述统计特征信息。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述特征信息和所述统计特征信息中的每一特征数据的波动值和方差；将所述波动值小于波动阈值且所述方差小于方差阈值的特征数据确定为目标剔除数据；从所述特征信息和所述统计特征信息中剔除所述目标剔除数据。6.根据权利要求1所述的方法，其特征在于，所述基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系，包括：对所述特征信息和所述统计特征信息进行向量化处理，得到样本特征向量；将所述样本特征向量输入至复合树模型中；通过所述复合树模型基于所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到所述目标作业的预测运行时长；将所述预测运行时长和所述历史运行时长输入至预设损失模型中，得到损失结果；根据所述损失结果，对所述复合树模型中的模型参数进行修正，得到训练后的复合树模型，其中所述训练后的复合树模型能够表征所述特征信息与运行时长的对应关系。7.根据权利要求6所述的方法，其特征在于，所述特征信息和所述统计特征信息中包括至少两个子特征信息；所述复合树模型包括至少一个决策树；所述通过所述复合树模型基于所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到所述目标作业的预测运行时长，包括：依次基于所述至少两个子特征信息中的每一子特征信息，对所述复合树模型中的每一决策树中的节点进行节点分裂，得到两个叶子节点和每一叶子节点的权重值；根据所述目标作业所属的全部叶子节点的所述权重值，确定所述目标作业的预测运行时长。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：基于所述至少两个子特征信息，使用网格搜索方法确定所述复合树模型中的每一决策树的高度阈值、每一决策树的叶子数阈值和所述复合树模型的学习率阈值；当满足以下条件中的至少一个时，停止对所述决策树中的节点进行节点分裂：所述复合树模型中的任一决策树的高度大于或等于所述高度阈值、所述复合树模型中的任一决策树的叶子数大于或等于所述叶子数阈值、所述复合树模型的学习率大于或等于所述学习率阈值。9.根据权利要求6所述的方法，其特征在于，所述基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长，包括：获取所述待分析作业的目标特征信息；将所述目标特征信息输入至所述复合树模型中，通过所述复合树模型确定所述待分析作业在所述目标特征信息下的作业运行时长。10.根据权利要求6所述的方法，其特征在于，所述待分析作业与所述目标作业为同一作业；所述特征信息和所述统计特征信息构成所述目标作业的特征数据集；
所述基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长，包括：对所述特征数据集中的特征数据进行修改，得到修改后的特征数据；其中，修改后的特征数据构成测试数据集；将所述测试数据集中修改后的特征数据，确定为所述待分析作业的目标特征信息；将所述目标特征信息输入至所述复合树模型中，通过所述复合树模型确定所述待分析作业在所述目标特征信息下的作业运行时长。11.一种作业运行时长确定装置，其特征在于，所述装置包括：获取模块，用于获取目标作业在预设历史时间段内的历史数据；第一确定模块，用于从所述历史数据中，确定出属于预设类型的特征信息；数据统计模块，用于对所述特征信息进行数据统计，得到统计特征信息；分析模块，用于基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系；第二确定模块，用于基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长。12.一种作业运行时长确定设备，其特征在于，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至10任一项所述的作业运行时长确定方法。13.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行所述可执行指令时，实现权利要求1至10任一项所述的作业运行时长确定方法。

技术总结
本申请实施例提供一种作业运行时长确定方法、装置、设备及存储介质，至少应用于人工智能技术领域，其中，方法包括：获取目标作业在预设历史时间段内的历史数据；从所述历史数据中，确定出属于预设类型的特征信息；对所述特征信息进行数据统计，得到统计特征信息；基于所述历史数据中的历史运行时长，对所述特征信息和所述统计特征信息进行分布式梯度增强分析，得到特征信息与运行时长的对应关系；基于所述对应关系，确定待分析作业在目标特征信息下的作业运行时长。通过本申请，能够准确且高效的分析出不同特征信息对作业运行时长的影响，提高分析的效率和准确性。提高分析的效率和准确性。提高分析的效率和准确性。


技术研发人员：蒙权 林金泉 马天
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.03.10
技术公布日：2022/6/10