一种任务调度方法、系统、计算设备和存储介质与流程

技术特征：
1.一种任务调度方法，其特征在于，包括：多个任务处理节点向调度节点发送注册请求；所述调度节点根据所述注册请求查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；所述调度节点获取所述待执行任务对应的待处理数据，根据所述待处理数据的数量和所述节点注册信息拆分所述待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。2.根据权利要求1所述的方法，其特征在于，所述多个任务处理节点向调度节点发送注册请求进一步包括：多个任务处理节点按照预设执行周期进行唤醒，并随机地生成对应的节点识别码；针对每个任务处理节点，判断该任务处理节点对应的节点识别码是否有效；若无效，则重新生成对应的节点识别码；若有效，则向调度节点发送携带有所述节点识别码的注册请求。3.根据权利要求1所述的方法，其特征在于，在对多个任务处理节点进行注册之后，所述方法还包括：所述调度节点将所述待执行任务的任务标识写入至任务处理信息表中。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：多个任务处理节点获取所述调度节点所分配的待处理数据，对所述待处理数据进行处理，并实时更新所述待处理数据的处理状态。5.根据权利要求4所述的方法，其特征在于，所述多个任务处理节点获取所述调度节点所分配的待处理数据，对所述待处理数据进行处理，并实时更新所述待处理数据的处理状态进一步包括：多个任务处理节点从目标数据表中获取所述调度节点所分配的待处理数据，并逐条处理所述待处理数据；实时记录并更新所述待处理数据的处理时间和处理结果，并在处理完所有的待处理数据之后，将所述处理结果上报至所述调度节点，以供所述调度节点根据所述处理结果更新任务处理信息表中的任务处理状态。6.根据权利要求1-5任一项中所述的方法，其特征在于，所述方法还包括：所述调度节点遍历任务处理信息表，查询多个任务处理节点对应的任务处理状态；若所述待执行任务对应的待处理数据全部处理完成，则更新所述待执行任务的处理状态；若所述待执行任务对应的待处理数据未全部处理完成，则对未完成任务处理的任务处理节点进行健康检查。7.根据权利要求6所述的方法，其特征在于，所述对未完成任务处理的任务处理节点进行健康检查进一步包括：查询未完成任务处理的任务处理节点最近一次处理待处理数据的处理时间，并计算当前时间与最近一次处理待处理数据的处理时间之间的时间间隔；判断所述时间间隔是否大于预设休眠时间间隔；若是，则将该任务处理节点的节点状态更新为失效状态，并将该任务处理节点未完成
处理的待处理数据分配给其他任务处理节点进行处理。8.一种任务调度系统，其特征在于，包括多个任务处理节点和调度节点；其中，所述多个任务处理节点用于向调度节点发送注册请求；所述调度节点用于根据所述注册请求查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；以及，获取所述待执行任务对应的待处理数据，根据所述待处理数据的数量和所述节点注册信息拆分所述待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。9.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的任务调度方法对应的操作。10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的任务调度方法对应的操作。

技术总结
本发明公开了一种任务调度方法、系统、计算设备和存储介质，该方法包括：多个任务处理节点向调度节点发送注册请求；调度节点查询任务调度表中是否包含有待执行任务，若查询到待执行任务，则对多个任务处理节点进行注册，生成节点注册信息；调度节点获取待执行任务对应的待处理数据，根据待处理数据的数量和节点注册信息拆分待处理数据，并将拆分后的待处理数据分配给多个任务处理节点进行处理。本发明通过调度节点将待执行任务动态调度多个任务处理节点，通过多个任务处理节点并发处理数据，避免多个任务处理节点之间竞争处理任务或重复处理任务的情况发生，从而大大提高数据处理的效率，提高大批量数据处理的效率和健壮性。提高大批量数据处理的效率和健壮性。提高大批量数据处理的效率和健壮性。


技术研发人员：李志勇 陈挺 顾黎斌 丁强 赵华锋
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2020.05.20
技术公布日：2021/11/25