任务处理方法、装置、设备、存储介质和程序产品与流程

摘要: 本技术涉及分布式系统,特别是涉及一种任务处理方法、装置、设备、存储介质和程序产品。背景技术:1、随着业务规模和复杂性的不断攀升,单计算机节点的资源瓶颈日益凸显,...
任务处理方法、装置、设备、存储介质和程序产品与流程

本技术涉及分布式系统,特别是涉及一种任务处理方法、装置、设备、存储介质和程序产品。

背景技术:

1、随着业务规模和复杂性的不断攀升,单计算机节点的资源瓶颈日益凸显,分布式系统已成为主流的系统架构。在分布式系统中,通常由任务调度节点负责接收用户任务并分发给各执行节点,最终汇总结果反馈给用户。然而,分布式系统中的网络波动、进程重启、操作系统异常、节点临时掉电等临时故障在实践中难以避免。临时故障发生后,任务调度节点与任务执行节点之间的状态不一致,导致部分任务因未被及时感知而泄漏,或已被执行的任务被重复分发。

2、相关技术中,任务调度节点通常通过周期性保活机制和任务超时重发机制,来确认各任务执行节点的任务状态,一旦发现任务长时间未完成或节点失联,便重新将任务分发至其他正常节点。

3、然而,上述分布式系统的任务处理方法,在故障恢复后泄漏任务不能在第一时间被重新执行,存在任务处理不及时的问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高任务处理及时性的任务处理方法、装置、设备、存储介质和程序产品。

2、第一方面,本技术提供了一种任务处理方法,应用于分布式系统中的任务调度节点,该方法包括:

3、响应于任一任务执行节点发起的请求,将请求中携带的连接校验信息与本地维护的任务执行节点对应的连接状态标识进行比对;

4、若比对不一致,则对任务执行节点进行有效连接;

5、若比对一致,且请求中还携带有任务校验信息,则将任务校验信息与本地维护的任务执行节点对应的任务会话标识进行比对,并根据比对结果确定响应请求所返回的任务信息;

6、若比对一致,且请求中未携带有任务校验信息,则对请求进行相应处理。

7、本技术实施例提供的技术方案中,响应于任一任务执行节点发起的请求,将请求中携带的连接校验信息与本地维护的任务执行节点对应的连接状态标识进行比对,若比对不一致,则对任务执行节点进行有效连接;若比对一致,且请求中还携带有任务校验信息,则将任务校验信息与本地维护的任务执行节点对应的任务会话标识进行比对,并根据比对结果确定响应请求所返回的任务信息;若比对一致,且请求中未携带有任务校验信息,则对请求进行相应处理。上述方法中,通过与连接状态标识的比对,能够在进程或节点发生重启后,及时识别出任务执行节点或任务调度节点自身所处的连接状态是否已发生变化,从而精准触发有效连接流程以同步全量任务信息,确保故障恢复后任务不泄漏且能继续执行。通过与任务会话标识的比对,能够准确识别出区分重发请求与有效新请求,避免因网络重发导致同一任务被重复分配。在比对一致且请求未携带有任务校验信息的情况下,直接对请求进行相应处理,能够使不同类型的请求在连接有效时各自得到正确的业务响应。该方法使得任务调度节点在处理各类请求时,均能够在故障恢复后立即响应并同步任务状态,无需依赖周期性探测或超时等待来发现故障,从而保证了泄漏任务在故障恢复后的第一时间即可被重新调度执行,有效提升了任务处理的及时性。

8、在其中一个实施例中,与任务执行节点进行有效连接,包括:

9、向任务执行节点返回报错信息,以指示任务执行节点触发建立连接请求;

10、响应于任务执行节点发起的建立连接请求,根据本地维护的任务执行节点对应的在途任务列表对任务执行节点进行有效连接。

11、本技术实施例提供的技术方案中,通过在比对不一致时向任务执行节点返回报错信息以触发建立连接请求,使任务执行节点在故障恢复后能够主动重新发起连接,无需依赖任务调度节点的周期性探测即可在第一时间同步任务信息,保证了泄漏任务能够被及时重新执行。

12、在其中一个实施例中,根据本地维护的任务执行节点对应的在途任务列表对任务执行节点进行有效连接,包括:

13、若任务执行节点对应的在途任务列表中没有在途任务,则生成新的连接状态标识以及确定任务执行节点待处理的任务,并将新的连接状态标识和待处理的任务返回至任务执行节点,以指示任务执行节点基于新的连接状态标识更新连接校验信息以及执行待处理的任务;

14、若在途任务列表中有在途任务,则继续等待,直至在途任务完成处理。

15、本技术实施例提供的技术方案中,通过在接收到建立连接请求后检查在途任务列表,仅当在途任务列表为空时才生成新的连接状态标识并返回待处理任务,有效避免了在旧请求尚未处理完毕时进行连接重建所导致的任务状态错乱或任务重复执行,确保了所有正在执行中的旧请求均能被排空。当在途任务列表不为空时持续等待直至其变为空,既保证了任务状态的准确性,又能够在等待结束后自动触发连接重建,无需人工干预或额外的触发机制,从而在保证任务处理准确性的同时提升了系统的自动化恢复能力。

16、在其中一个实施例中,在生成新的连接状态标识之后,该方法还包括:

17、将本地维护的任务执行节点对应的连接状态标识替换为新的连接状态标识。

18、本技术实施例提供的技术方案中,通过在生成新的连接状态标识后立即将本地连接状态标识替换为新标识,保证了后续通信中双端连接校验信息的一致性,使得故障恢复后的正常通信能够快速建立。

19、在其中一个实施例中,根据比对结果确定响应请求所返回的任务信息,包括:

20、若比对结果表示任务校验信息和任务会话标识一致,则获取最近一次为任务执行节点分发的任务,并将最近一次分发的任务作为任务信息返回至任务执行节点;

21、若比对结果表示任务校验信息和任务会话标识不一致,则从任务校验信息中提取任务执行节点计划需要的任务数量,并将任务数量的任务分发给任务执行节点。

22、本技术实施例提供的技术方案中,通过将任务校验信息与本地任务会话标识进行比对,能够在比对一致时识别出因网络波动导致的消息重发,并通过返回最近一次分发的任务来保证任务获取请求的幂等性,避免了同一任务在网络重发场景下被重复分配而导致任务重复执行;在比对不一致时从任务校验信息中提取任务执行节点计划需要的任务数量,并按照该数量进行精准分发,使得任务执行节点能够根据自身资源剩余情况按需获取任务,实现了任务分发的合理性和高效性。

23、在其中一个实施例中,在将任务数量的任务分发给任务执行节点之后,该方法还包括:

24、将本地维护的任务执行节点对应的任务会话标识的值替换为任务校验信息的值。

25、本技术实施例提供的技术方案中,通过在分发新任务后将本地任务会话标识替换为请求中的任务校验信息,使得下一次请求能够以更新后的会话标识作为比对基准,保证了后续重发请求识别和有效新请求处理的准确性。

26、在其中一个实施例中,对请求进行相应处理,包括:

27、从请求中提取任务执行结果;

28、将向用户上报任务执行结果作为在途任务添加至任务执行节点对应的在途任务列表中;

29、在将任务执行结果上报给用户的情况下,将在途任务从在途任务列表中移出,并向任务执行节点返回上报成功信息。

30、本技术实施例提供的技术方案中,通过在连接校验信息与连接状态标识比对一致且请求中未携带有任务校验信息时,将请求识别为任务结束上报请求并进行相应处理,使得任务执行节点完成执行的任务能够及时上报至任务调度节点并反馈给用户,保证了任务执行结果的及时交付。

31、在其中一个实施例中,请求通过以下任一种方式生成:

32、任务执行节点在检测到任务执行节点本地维护的连接校验信息为第一数值的情况下,根据自身的节点标识生成请求;

33、任务执行节点在检测到自身的剩余资源为充足状态的情况下,根据剩余资源确定任务数量,并根据任务数量、连接校验信息和任务校验信息生成请求;

34、任务执行节点在执行完成任务调度节点分发的任务的情况下,根据连接校验信息和任务执行结果,生成请求。

35、本技术实施例提供的技术方案中,在检测到连接校验信息为第一数值时由任务执行节点主动发起建立连接请求,使得新加入系统或重启后的任务执行节点能够第一时间与任务调度节点建立连接并获取全部任务信息,无需等待任务调度节点的周期性探测,保证了泄漏任务在故障恢复后能够被快速重新执行。在检测到剩余资源充足时由任务执行节点主动发起任务获取请求,使得任务分发不再依赖于任务调度节点的主动推送,而是由任务执行节点根据自身资源情况按需获取任务,实现了任务分发的合理性和高效性,避免了因任务调度节点不了解各执行节点实时资源状况而导致的分配不均或资源浪费。在完成任务执行后由任务执行节点主动发起任务结束上报请求,使得任务调度节点能够及时获知任务的执行结果并清理任务记录,确保任务状态的实时同步。

36、第二方面,本技术还提供了一种任务处理装置,该装置包括:

37、第一比对模块,用于响应于任一任务执行节点发起的请求,将所述请求中携带的连接校验信息与本地维护的所述任务执行节点对应的连接状态标识进行比对;

38、连接模块,用于若比对不一致,则对所述任务执行节点进行有效连接;

39、第二比对模块,用于若比对一致,且所述请求中还携带有任务校验信息,则将所述任务校验信息与本地维护的所述任务执行节点对应的任务会话标识进行比对,并根据比对结果确定响应所述请求所返回的任务信息;

40、处理模块,用于若比对一致,且所述请求中未携带有任务校验信息,则对所述请求进行相应处理。

41、第三方面,本技术还提供了一种计算机设备,该计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项实施例中的方法的步骤。

42、第四方面,本技术还提供了一种计算机可读存储介质,该计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。

43、第五方面,本技术还提供了一种计算机程序产品,该计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一项实施例中的方法的步骤。