一种任务调度方法、装置、设备及介质与流程
本发明涉及计算机任务调度与资源管理,尤其涉及一种任务调度方法、装置、设备及介质。
背景技术:
1、在计算机系统需要批量或连续调用第三方独立可执行程序,以完成特定计算任务的场景下,被调用的任务通常具有资源需求差异大、任务间存在复杂前置依赖关系的特点,为了提升计算机系统的运行性能,需要在保证系统不发生过载阻塞的前提下,最大化利用系统资源且确保任务按照正确的依赖顺序执行。
2、在现有技术中,计算机系统的任务调度一般是采用基于队列的集中式调度模式,将待执行的任务按照提交顺序或优先级放入任务队列,由调度模块周期性轮询队列,并根据预先配置的最大并发执行数量,将任务分配至执行单元;对于具有依赖关系的任务,则通过简单的依赖标记、状态位判断任务是否能够执行,或通过事件触发机制实现任务的顺序触发。
3、然而,基于预先配置的最大并发执行数量进行任务的方式,在系统资源紧张时,调度易导致cpu(central processing unit,中央处理器)过载、内存溢出、系统响应延迟等情况,在系统资源空闲时,无法提升任务吞吐率,易造成资源浪费,且在任务依赖关系复杂时,可能会因为依赖关系处理不当而导致任务死锁或执行失败。并且,现有技术中虽然能够对系统进行资源监测,但监测数据往往仅用于状态展示或故障告警,仅在任务执行失败或资源耗尽时才对任务进行简单限流。现有的任务调度方法难以兼顾资源利用率与系统稳定性,无法满足复杂依赖场景与动态负载环境下的调度需求。
技术实现思路
1、本发明提供了一种任务调度方法、装置、设备及介质,能够综合考虑任务之间的依赖关系与系统负载状态,在保证系统稳定的前提下,对具有复杂依赖关系的任务进行全局调度,提高系统资源利用率与整体调度性能。
2、根据本发明的一方面,提供了一种任务调度方法,包括:
3、根据当前任务集合,生成任务依赖图;其中,所述任务依赖图为有向无环图;
4、根据所述任务依赖图以及所述任务依赖图中各任务的任务状态,维护各任务的入度计数值,并当确定目标任务的入度计数值为0时,将所述目标任务加入待执行队列;
5、定时获取系统运行状态参数,并根据所述系统运行状态参数,确定当前运行时段的容许并发任务数量;
6、根据所述待执行队列以及所述容许并发任务数量,进行任务调度。
7、根据本发明的另一方面,提供了一种任务调度装置,包括:
8、任务依赖图生成模块,用于根据当前任务集合,生成任务依赖图;其中,所述任务依赖图为有向无环图;
9、待执行队列维护模块,用于根据所述任务依赖图以及所述任务依赖图中各任务的任务状态,维护各任务的入度计数值,并当确定目标任务的入度计数值为0时,将所述目标任务加入待执行队列;
10、容许并发数量确定模块,用于定时获取系统运行状态参数,并根据所述系统运行状态参数,确定当前运行时段的容许并发任务数量;
11、任务调度模块,用于根据所述待执行队列以及所述容许并发任务数量,进行任务调度。
12、根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
13、至少一个处理器;以及
14、与所述至少一个处理器通信连接的存储器;其中,
15、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的任务调度方法。
16、根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的任务调度方法。
17、本发明实施例的技术方案,通过根据当前任务集合,生成任务依赖图,根据任务依赖图以及任务依赖图中各任务的当前任务状态,确定目标任务的入度计数值,并当确定目标任务的入度计数值为0时,将目标任务加入待执行队列,定时获取系统运行状态参数,并根据系统运行状态参数,确定当前运行时段的容许并发任务数量,根据待执行队列以及容许并发任务数量,进行任务调度的方式,在任务依赖关系复杂的场景下,基于任务依赖图能够进行整体分析,在全局视角下识别可执行任务集合及关键路径结构,保证任务按照正确的顺序执行,还能够基于系统的实时负载状态,动态平滑调节任务并发数,兼顾系统稳定性与系统资源利用率,满足复杂依赖场景与动态负载环境下的调度需求。
18、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
1.一种任务调度方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据当前任务集合,生成任务依赖图,包括:
3.根据权利要求2所述的方法,其特征在于,根据各初始任务的有向边集合,生成任务依赖图,包括:
4.根据权利要求1所述的方法,其特征在于,根据所述任务依赖图以及所述任务依赖图中各任务的任务状态,维护各任务的入度计数值,包括:
5.根据权利要求1所述的方法,其特征在于,定时获取系统运行状态参数,并根据所述系统运行状态参数,确定当前运行时段的容许并发任务数量,包括:
6.根据权利要求1所述的方法,其特征在于,根据所述待执行队列以及所述容许并发任务数量,进行任务调度,包括:
7.根据权利要求1所述的方法,其特征在于,还包括下述任一项:
8.一种任务调度装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的任务调度方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com