工作流调度方法及装置与流程

摘要: 本技术涉及分布式任务调度,尤其涉及工作流调度方法及装置。背景技术:1、目前,业界主流的工作流调度方案往往采用单状态机对任务节点的生命周期进行管理,其任务实例的状...
工作流调度方法及装置与流程

本技术涉及分布式任务调度,尤其涉及工作流调度方法及装置。

背景技术:

1、目前,业界主流的工作流调度方案往往采用单状态机对任务节点的生命周期进行管理,其任务实例的状态涵盖等待中、运行中、成功、失败等若干状态,用一个状态字段描述节点的全流程生命周期,调度器根据该状态决定是否触发下游任务,用户根据该状态判断任务当前执行到哪一步。

2、当节点执行失败需要重试时,需要将节点的状态字段从失败重置为等待调度以触发重新执行,但这一重置操作会覆盖上一次执行的历史状态,无法区分当前节点是第几次执行、上一次执行的详细日志和错误码是什么以及上一次执行耗时多久,使得重试过程变得难以追踪和审计。因此,如何实现对工作流调度故障的准确溯源成为有待解决的问题。

技术实现思路

1、本技术实施例提供了一种工作流调度方法及装置,可以解决如何实现对工作流调度故障的准确溯源的技术问题。

2、第一方面,本技术提出一种工作流调度方法,工作流调度方法包括:

3、从目标工作流的待执行节点中确定当前节点,根据当前节点的节点类型对当前节点进行调度,得到当前节点的调度状态;在调度状态为执行中间态的情况下,创建当前节点的执行状态,并在同一数据库事务中基于调度状态同步执行状态;在执行状态为执行超时状态的情况下,重置当前节点,并根据当前节点的运行情况更新当前节点的调度状态;在调度状态为目标终态的情况下,在同一数据库事务中将执行状态的状态变更情况写入工作流调度结果。

4、和相关技术相比,该工作流调度方法至少具备以下有益效果:通过从目标工作流的待执行节点中确定当前节点并根据节点类型进行调度,使得不同节点类型能够按照各自差异化的状态流转规则执行,实现节点类型与执行路径的准确匹配;在调度状态为执行中间态时创建执行状态并在同一数据库事务中基于调度状态同步执行状态,保证了宏观调度状态与微观执行状态在同一数据库事务中始终一致,若任一更新失败则整个事务回滚,为故障溯源和审计提供了完整的状态变更链路;在检测到执行超时状态时重置当前节点并根据运行情况更新调度状态,使执行超时的节点能够被重新调度执行,减少了单次超时导致整个工作流停滞的情况,提升了工作流的容错能力;在调度状态到达目标终态时在同一数据库事务中将执行状态的状态变更情况写入工作流调度结果,固化了节点的执行历史,为工作流调度的故障排查、性能分析和流程审计提供了可靠的数据支撑,实现了对工作流调度故障的准确溯源。

5、在第一方面的第一种可能的实现方式中,从目标工作流的待执行节点中确定当前节点,根据当前节点的节点类型对当前节点进行调度,得到当前节点的调度状态的步骤,包括:获取干涸标志位;在目标线程池存在空闲线程的情况下,将干涸标志位置为第一标志,对目标工作流的待执行节点进行认领,得到节点认领结果;在节点认领结果为认领到待执行节点的情况下,将认领到的待执行节点确定为当前节点;根据节点类型将当前节点派发至目标线程池;在目标线程池中调度当前节点,得到当前节点的调度状态。

6、在第一方面的第一种可能的实现方式中,通过获取干涸标志位确定是否发起认领查询,仅在目标线程池存在空闲线程且干涸标志位为第一标志时才执行原子认领操作,减少了在无任务或线程池满载时发起无效查询造成的资源浪费情况,认领后根据节点类型将当前节点派发至对应的目标线程池,在目标线程池中调度当前节点执行其业务逻辑并更新调度状态,为后续的双状态机同步和异常处理提供数据基础。

7、在第一方面的第二种可能的实现方式中,在目标线程池存在空闲线程的情况下,将干涸标志位置为第一标志,对目标工作流的待执行节点进行认领,得到节点认领结果的步骤之后,还包括:在节点认领结果为未认领到待执行节点的情况下,将干涸标志位置为第二标志,停止对目标工作流的待执行节点进行认领的操作,并以预设周期检测目标线程池是否存在空闲线程;返回获取干涸标志位的步骤,直至节点认领结果为认领到待执行节点。

8、在第一方面的第二种可能的实现方式中,通过在节点认领结果为未认领到待执行节点时将干涸标志位置为第二标志并停止认领操作,使后续排队的认领线程在开始执行前检查干涸标志位后直接返回而不发起数据库查询,以预设周期检测目标线程池是否存在空闲线程,使得当线程池出现空闲槽位时能够恢复认领尝试,保证了调度器在系统负载下降时能够及时感知并重新开始派发任务,通过返回获取干涸标志位的步骤并循环执行直至节点认领结果为认领到待执行节点,形成了完整的干涸熔断和恢复策略,使得调度器在新任务入队后能够自动退出熔断状态恢复正常调度,保证了调度流程的连续性和自适应性,降低了无效查询对数据库造成的负载压力。

9、在第一方面的第三种可能的实现方式中,根据当前节点的运行情况更新当前节点的调度状态的步骤,包括:在当前节点的节点类型为功能节点,且当前节点的调度状态为下发中状态的情况下,在同一数据库事务中将当前节点的执行状态置为下发中状态;获取当前节点的任务模板,并对任务模板进行占位符和参数替换,得到目标任务;基于目标任务运行目标容器组,并创建集群内部服务,其中,目标容器组包括代理容器和业务容器;通过集群内部服务获取目标容器组的运行情况,根据目标容器组的运行情况更新当前节点的调度状态。

10、在第一方面的第三种可能的实现方式中,通过在功能节点启动时在同一数据库事务中将执行状态置为下发中状态,保证了宏观调度状态和微观执行状态在功能节点执行起点即保持强一致,通过对任务模板进行占位符替换和参数替换得到目标任务,基于目标任务运行目标容器组并创建集群内部服务,使得代理容器能够通过集群内部服务的稳定访问地址向调度服务发送回调请求,实现了容器组内部与调度服务之间的可靠通信,通过集群内部服务获取目标容器组的运行情况并分段更新调度状态,提高了功能节点执行过程的可观测性和故障诊断效率。

11、在第一方面的第四种可能的实现方式中,通过集群内部服务获取目标容器组的运行情况,根据目标容器组的运行情况更新当前节点的调度状态的步骤,包括:在通过集群内部服务确定代理容器就绪的情况下,获取目标任务的任务标识,并根据任务标识获取第一分布式锁;在第一分布式锁下将当前节点的调度状态置为已就绪状态,并释放第一分布式锁;在通过集群内部服务确定业务容器执行完成的情况下,根据任务标识获取第二分布式锁;在第二分布式锁下将当前节点的调度状态置为运行中状态,并获取目标任务的运行结果;将当前节点的调度状态置为运行结果对应的终态;相应的,将当前节点的调度状态置为运行结果对应的终态的步骤之后,还包括:释放第二分布式锁。

12、在第一方面的第四种可能的实现方式中,通过在第一阶段回调时获取第一分布式锁并在该锁下将调度状态从下发中推进至已就绪后释放该锁,在第二阶段回调时获取第二分布式锁并在该锁下将调度状态从已就绪推进至运行中再根据运行结果推进至对应终态后释放该锁,实现了两阶段回调的完整状态推进,两阶段回调将功能节点的执行生命周期分为容器就绪和业务执行完成两个阶段,使得调度服务能够准确判断执行进展,若长时间未收到第一阶段回调则问题出在容器启动阶段,若已收到第一阶段但长时间未收到第二阶段则问题出在业务执行阶段,两阶段的区分使得故障定位更加精细化,通过第一分布式锁和第二分布式锁的获取和释放确保了高并发场景下即使回调请求重复发送或乱序到达,节点状态也不会被错误推进,提高了回调处理的安全性和可靠性。

13、在第一方面的第五种可能的实现方式中,根据当前节点的运行情况更新当前节点的调度状态的步骤,包括:在当前节点的节点类型为数据节点、逻辑节点以及条件节点中的任意一项,且当前节点的调度状态为已认领待执行状态的情况下,通过节点类型对应的节点执行器执行当前节点,并将当前节点的调度状态置为运行中状态;获取当前节点的运行情况,将当前节点的调度状态置为运行情况对应的终态。

14、在第一方面的第五种可能的实现方式中,通过检测节点类型并按照差异化的状态流转路径将调度状态推进至运行中状态,数据节点、逻辑节点和条件节点从已认领待执行状态直接推进至运行中状态以跳过下发中和已就绪两个中间状态,实现了对轻量级节点执行特征的精确适配,减少了不必要的状态记录开销和数据库写入操作,在执行完成后获取运行情况并根据该运行情况将调度状态推进至对应的终态,使得调度状态能够准确反映节点的最终执行结果,整个过程中宏观调度状态和微观执行状态在同一数据库事务中同步推进,保证了状态数据的一致性。

15、在第一方面的第六种可能的实现方式中,在当前节点的节点类型为条件节点且当前节点的调度状态为已认领待执行状态的情况下,通过节点类型对应的节点执行器执行当前节点的步骤,包括:在当前节点的节点类型为条件节点且当前节点的调度状态为已认领待执行状态的情况下,通过条件节点对应的节点执行器获取条件节点的条件表达式;根据条件表达式提取变量引用信息;根据变量引用信息查询全局参数或上游输出参数,得到表达式评估上下文;根据条件表达式的模式类型对表达式评估上下文进行表达式评估,得到表达式评估结果;根据表达式评估结果确定活跃后继分支信息和待跳过分支信息;根据活跃后继分支信息和待跳过分支信息进行分支路由,以完成对当前节点的执行。

16、在第一方面的第六种可能的实现方式中,通过条件节点对应的节点执行器获取条件表达式并根据该条件表达式自动提取变量引用信息,根据提取的变量引用信息从不同数据源查询对应的变量值并构建表达式评估上下文,将分散的运行时数据聚合为统一的结构化评估环境,为后续的表达式评估提供了高效准确的变量查找服务,根据条件表达式的模式类型进行差异化评估,根据表达式评估结果确定活跃后继分支和待跳过分支,并通过分支路由实现了条件分支的自动路由和未命中分支的级联跳过,有效减少了无效节点占用调度资源的情况,提高了工作流调度的执行效率。

17、在第一方面的第七种可能的实现方式中,在调度状态为目标终态的情况下,将执行状态的状态变更情况写入工作流调度结果的步骤之后,还包括:在数据库事务提交完成的情况下,推送拓扑推演信令事件,以获取当前节点的后继节点;将后继节点的调度状态置为等待调度状态,得到更新的待执行节点。

18、在第一方面的第七种可能的实现方式中,通过在数据库事务提交完成后推送拓扑推演信令事件以获取当前节点的后继节点,同时通过将后继节点的调度状态置为等待调度状态形成从当前节点完成到后继节点被调度的闭环,使得工作流能够持续向下游推进,实现了有向无环图的自动拓扑传播。

19、在第一方面的第八种可能的实现方式中,工作流调度方法还包括:在当前节点的调度状态为执行失败状态的情况下,根据目标工作流的依赖关系信息确定当前节点的后继节点;根据输入参数来源类型和必填标记确定后继节点的阻断判断结果;在阻断判断结果为后继节点被阻断的情况下,通过乐观锁将后继节点的调度状态从初始状态置为执行失败状态,得到失败标记节点信息;在遍历完当前节点的后继节点的情况下,获取目标工作流的失败处理策略;通过失败处理策略,基于失败标记节点信息对目标工作流进行容错处理,以进行工作流调度。

20、在第一方面的第八种可能的实现方式中,通过在当前节点执行失败时根据依赖关系信息确定其后继节点并根据输入参数来源类型和必填标记判断后继节点是否被阻断,实现了对阻断型依赖关系的准确识别,只有同时满足来源类型为上游类型且必填标记为真的后继节点才会被判定为被阻断,减少了将非阻断依赖节点错误标记为失败的情况,对于被阻断的后继节点通过乐观锁将其调度状态从初始状态置为执行失败状态并写入自动失败历史,使得因上游必填数据缺失而注定失败的后继节点无需被调度执行即可提前终止,减少了无效调度对线程池资源的浪费的情况,乐观锁的条件更新策略保证了仅在节点处于初始状态时才执行更新,减少了已入队节点被覆盖的情况,在完成所有后继节点遍历后根据失败处理策略进行容错处理,使得工作流能够应对不同业务场景的容错需求,提高了工作流调度的鲁棒性和资源利用效率。

21、第二方面,本技术还提出一种工作流调度装置,工作流调度装置包括:节点调度模块,用于从目标工作流的待执行节点中确定当前节点,根据当前节点的节点类型对当前节点进行调度,得到当前节点的调度状态;状态管理模块,用于在调度状态为执行中间态的情况下,创建当前节点的执行状态,并在同一数据库事务中基于调度状态同步执行状态;节点重置模块,用于在执行状态为执行超时状态的情况下,重置当前节点,并根据当前节点的运行情况更新当前节点的调度状态;结果生成模块,用于在调度状态为目标终态的情况下,在同一数据库事务中将执行状态的状态变更情况写入工作流调度结果。

22、和相关技术相比,该工作流调度装置至少具备以下有益效果:通过从目标工作流的待执行节点中确定当前节点并根据节点类型进行调度,使得不同节点类型能够按照各自差异化的状态流转规则执行,实现节点类型与执行路径的准确匹配;在调度状态为执行中间态时创建执行状态并在同一数据库事务中基于调度状态同步执行状态,保证了宏观调度状态与微观执行状态在同一数据库事务中始终一致,若任一更新失败则整个事务回滚,为故障溯源和审计提供了完整的状态变更链路;在检测到执行超时状态时重置当前节点并根据运行情况更新调度状态,使执行超时的节点能够被重新调度执行,减少了单次超时导致整个工作流停滞的情况,提升了工作流的容错能力;在调度状态到达目标终态时在同一数据库事务中将执行状态的状态变更情况写入工作流调度结果,固化了节点的执行历史,为工作流调度的故障排查、性能分析和流程审计提供了可靠的数据支撑,实现了对工作流调度故障的准确溯源。

23、第三方面,本技术还提出一种工作流调度设备,设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序配置为实现如上文的工作流调度方法的步骤。

24、第四方面,本技术还提出一种存储介质,存储介质为计算机可读存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上文的工作流调度方法的步骤。

25、第五方面,本技术还提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序被处理器执行时实现如上文的工作流调度方法的步骤。