一种任务监控方法、装置、电子设备及可读存储介质与流程

技术特征：
1.一种任务监控方法，其特征在于，所述方法包括：获取待监控的spark任务；获取所述spark任务在待监控的运行调度时间执行时，第一执行时间的目标取值，其中，所述第一执行时间为所述spark任务包括的各个job的总执行时间。2.根据权利要求1所述的方法，其特征在于，获取所述第一执行时间的过程，包括：在x取1至y中每一个整数时，获取所述spark任务包括的第x个job的第一提交时间和第一完成时间；将所述第x个job的第一提交时间与第一完成时间的时间间隔，确定为所述第x个job的第一执行时间，其中，y为所述spark任务包括的job的数量；计算第1至y个job的执行时间的和，以作为所述第一执行时间。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述待监控的运行调度时间，输入至预先确定的与所述spark任务对应的执行时间预测模型，输出预测执行时间的值；根据所述预测执行时间的值和所述第一执行时间的目标取值，确定所述spark任务的执行过程是否存在问题。4.根据权利要求3所述的方法，其特征在于，与所述spark任务对应的执行时间预测模型的建立过程，包括：获取所述spark任务的所述第一执行时间的历史取值；获取所述spark任务的第二执行时间的历史取值，其中，所述第二执行时间为所述各个job包括的各个调度阶段stage的总执行时间；获取所述spark任务的第三执行时间的历史取值，其中，所述第三执行时间为所述各个调度阶段stage包括的各个task的总执行时间；采用聚类算法，去除所述第一执行时间的历史取值、所述第二执行时间的历史取值、所述第三执行时间的历史取值中的异常数据；将与同一运行调度时间对应的所述第一执行时间的历史取值、所述第二执行时间的历史取值和所述第三执行时间的历史取值，加权重值求和，获得与该运行调度时间对应的预测执行时间的历史取值；根据所述预测执行时间的历史取值和与所述预测执行时间的历史取值对应的运行调度时间，获得所述执行时间预测模型。5.根据权利要求4所述的方法，其特征在于，获取所述第二执行时间的过程，包括：在i取1至n中每一个整数时，获取所述各个job包括的第i个stage的第二提交时间与第二完成时间；将所述第i个stage的第二提交时间与第二完成时间的时间间隔，确定为所述第i个stage的执行时间，其中，n为所述各个job包括的stage的数量；计算第1至n个stage的执行时间的和，以作为所述第二执行时间。6.根据权利要求4所述的方法，其特征在于，获取所述第三执行时间的过程，包括：在j取1至m中每一个整数时，获取所述各个调度阶段stage包括的第j个task的第三提交时间与第三完成时间；将所述第j个task的第三提交时间与第三完成时间的时间间隔，确定为所述第j个task
的执行时间，其中，m为所述各个调度阶段stage包括的task的数量；计算第1至m个task的执行时间的和，以作为所述第三执行时间。7.根据权利要求3所述的方法，其特征在于，所述根据所述预测执行时间的值和所述第一执行时间的目标取值，确定所述spark任务的执行过程是否存在问题，包括：在所述第一执行时间的目标取值与所述预测执行时间的值的差值的绝对值，大于第一预设阈值的情况下，确定所述spark任务的执行过程存在问题；在所述第一执行时间的目标取值与所述预测执行时间的值的差值的绝对值，小于或者等于所述第一预设阈值的情况下，确定所述spark任务的执行过程未存在问题。8.根据权利要求1所述的方法，其特征在于，在所述spark任务执行之前，所述方法还包括：将所述待监控的运行调度时间，输入至预先确定的与所述spark任务对应的执行时间预测模型，输出预测执行时间的值；在所述spark任务执行过程中，所述方法还包括：从所述待监控的运行调度时间开始，每隔预设时间间隔，判断所述spark任务是否执行完成；在所述spark任务未执行完成时，根据目标时间间隔和所述预测执行时间的值，确定所述spark任务的执行过程是否存在问题，其中，所述目标时间间隔为当前时间和所述待监控的运行调度时间的目标时间间隔；在所述spark任务执行完成时，跳过根据目标时间间隔和所述预测执行时间的值，确定所述spark任务的执行过程是否存在问题的步骤。9.根据权利要求8所述的方法，其特征在于，所述根据目标时间间隔和所述预测执行时间的值，判断确定所述spark任务的执行过程是否存在问题，包括：计算目标时间间隔与所述预测执行时间的值的差值；在所述差值大于第二预设阈值的情况下，确定所述spark任务的执行过程存在问题；在所述差值小于或等于所述第二预设阈值的情况下，确定所述spark任务的执行过程未存在问题。10.一种任务监控装置，其特征在于，所述装置包括：第一获取模块，用于获取待监控的spark任务；第二获取模块，用于获取所述spark任务在待监控的运行调度时间执行时，第一执行时间的目标取值，其中，所述第一执行时间为所述spark任务包括的各个job的总执行时间。11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的任务监控方法中的步骤。12.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1至9任一项所述的任务监控方法。

技术总结
本发明实施例提供了一种任务监控方法、装置、电子设备及可读存储介质，所述方法包括：获取待监控的Spark任务；获取所述Spark任务在待监控的运行调度时间执行时，第一执行时间的目标取值，其中，所述第一执行时间为所述Spark任务包括的各个Job的总执行时间。因此，在本发明实施例中，提升了对Spark任务执行时间计算的准确度。准确度。准确度。


技术研发人员：杨春雨 卫军 王鹏
受保护的技术使用者：内蒙古蒙商消费金融股份有限公司
技术研发日：2022.02.18
技术公布日：2022/5/31