批处理任务调度方法、设备及存储介质与流程
本申请涉及任务批处理,尤其涉及批处理任务调度方法、设备及存储介质。
背景技术:
1、复杂的数据批处理系统中往往包含多类待处理的数据,不同类型的数据有不同的处理实现逻辑。对于每一类数据,为了提升处理效率,一般采用多线程处理。
2、相关的多线程处理方式中,通常定时扫描每类待处理数据,并产生一个相应的处理任务,接着将该任务放入一个统一的线程池中,通过线程池的最大线程、队列等机制来控制并发数。
3、然而所有类别的任务直接扔进同一个线程池队列,过大的队列有可能导致过多的资源占用,或者某类数据处理可能很快,而另一类数据处理很慢,出现慢任务占满线程、快任务排队的情况,导致资源利用率低。
4、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种批处理任务调度方法、设备及存储介质,旨在解决资源利用率低的技术问题。
2、为实现上述目的,本申请提出一种批处理任务调度方法,所述方法包括:
3、响应于批次任务分片调度指令,对处于执行中状态的当日待执行批次任务进行分片,得到多个任务分片明细;
4、在存在所述任务分片明细到达执行时点且所属的批次任务的当前执行中任务数小于所述批次任务对应的预设最大并发数时,更新所述批次任务的执行状态;
5、将所述任务分片明细提交至公共线程池。
6、在一实施例中,所述更新所述批次任务的执行状态的步骤包括:
7、将所述任务分片明细的执行状态变更为开启,并基于预设参数对所述批次任务的当前执行中任务数进行自增处理;
8、所述将所述任务分片明细提交至公共线程池的步骤之后,还包括:
9、检测到所述任务分片明细执行完成后,将所述任务分片明细的执行状态变更为执行成功;
10、基于所述预设参数对所述批次任务的当前执行中任务数进行自减处理。
11、在一实施例中,所述将所述任务分片明细提交至公共线程池的步骤之后,还包括:
12、检测到所述任务分片明细执行失败时,判断所述任务分片明细是否满足重试规则,其中,所述重试规则包括最大重试次数和允许重试的失败类型;
13、若是则将所述任务分片明细标记为待重试状态;
14、否则将所述任务分片明细的执行状态标记为失败状态,并基于所述预设参数对所述批次任务的当前执行中任务数进行自减处理。
15、在一实施例中,所述响应于批次任务分片调度指令,对处于执行中状态的当日待执行批次任务进行分片,得到多个任务分片明细的步骤包括:
16、响应于所述批次任务分片调度指令,对所述当日待执行批次任务进行执行时间窗口校验,确定通过校验的目标当日批次任务;
17、判断所述目标当日执行批次任务的前置依赖批次是否满足预设完成判定规则;
18、若是,将所述目标当日执行批次任务的状态更新为执行中;
19、执行预设业务分片逻辑,以将处于执行中状态的所述目标待执行批次任务拆分成多个任务分片明细。
20、在一实施例中,所述预设完成判定规则如下至少一个:
21、所述前置依赖批次对应的所有任务分片明细均执行成功;
22、所述前置依赖批次中存在至少一个任务分片明细执行成功;
23、所述前置依赖批次的所有任务分片明细均为结束状态。
24、在一实施例中,所述目标当日执行批次任务的任务存在审核标识时,所述方法还包括:
25、若接收到所述目标当前执行批次任务对应的审核通过指令,判定所述目标当日执行批次任务的前置依赖批次完成。
26、在一实施例中,所述响应于批次任务分片调度指令,对处于执行中状态的当日待执行批次任务进行分片,得到多个任务分片明细的步骤之前,还包括:
27、响应于批次任务生成指令,获取当前批次任务配置;
28、对所述批次任务配置进行前置状态检测,得到目标批次任务配置,所述前置状态检测至少包括启用状态校验、工作日规则校验以及执行日期校验中的一种;
29、基于所述目标批次任务配置生成所述当前待执行批次任务。
30、在一实施例中,所述响应于批次任务分片调度指令,对处于执行中状态的当日待执行批次任务进行分片,得到多个任务分片明细的步骤之后,还包括:
31、当所述任务分片明细所属批次任务的当前执行中任务数大于等于所述预设最大并发数时,跳过当前所述任务分片明细的提交进程;
32、将所述任务分片明细的状态变更为待执行状态,以等待下一调度周期重新判断。
33、此外,为实现上述目的,本申请还提出一种批处理任务调度设备,所述批处理任务调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的批处理任务调度方法的步骤。
34、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的批处理任务调度方法的步骤。
35、本申请提出的一个或多个技术方案,至少具有以下技术效果:
36、通过响应于批次任务分片调度指令,将处于执行中状态的当日待执行批次任务拆分为多个任务分片明细,在任务分片明细到达执行时点且其所属批次任务的当前执行中任务数小于该批次任务对应的预设最大并发数时更新所述批次任务的执行状态,再将该任务分片明细提交至公共线程池执行,以此在公共线程池的入口侧按业务批次维度建立了独立的并发配额管控机制,避免全量任务无差别涌入线程池造成的队列堆积与额外资源占用,同时按批次独立控制执行并发数,实现不同处理速度业务间的并发隔离,防止处理耗时较长的批次占用全部线程资源而导致处理速度较快的批次持续排队,提升整体线程资源的利用效率。
1.一种批处理任务调度方法,其特征在于,所述方法包括:
2.如权利要求1所述的批处理任务调度方法,其特征在于,所述更新所述批次任务的执行状态的步骤包括:
3.如权利要求2所述的批处理任务调度方法,其特征在于,所述将所述任务分片明细提交至公共线程池的步骤之后,还包括:
4.如权利要求1所述的批处理任务调度方法,其特征在于,所述响应于批次任务分片调度指令,对处于执行中状态的当日待执行批次任务进行分片,得到多个任务分片明细的步骤包括:
5.如权利要求4所述的批处理任务调度方法,其特征在于,所述预设完成判定规则如下至少一个:
6.如权利要求4所述的批处理任务调度方法,其特征在于,所述目标当日执行批次任务的任务存在审核标识时,所述方法还包括:
7.如权利要求1所述的批处理任务调度方法,其特征在于,所述响应于批次任务分片调度指令,对处于执行中状态的当日待执行批次任务进行分片,得到多个任务分片明细的步骤之前,还包括:
8.如权利要求1至7中任一项所述的批处理任务调度方法,其特征在于,所述响应于批次任务分片调度指令,对处于执行中状态的当日待执行批次任务进行分片,得到多个任务分片明细的步骤之后,还包括:
9.一种批处理任务调度设备,其特征在于,所述批处理任务调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至8中任一项所述的批处理任务调度方法的步骤。
10.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的批处理任务调度方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com