面向多地域自动化设备的分布式仿生柔性调度方法及系统与流程

摘要: 本技术涉及分布式计算资源调度与自动化设备控制,具体涉及一种面向多地域自动化设备的分布式仿生柔性调度方法及系统。背景技术:1、现有技术中,已经存在根据执行节点状态...
面向多地域自动化设备的分布式仿生柔性调度方法及系统与流程

本技术涉及分布式计算资源调度与自动化设备控制,具体涉及一种面向多地域自动化设备的分布式仿生柔性调度方法及系统。

背景技术:

1、现有技术中,已经存在根据执行节点状态和任务属性进行分布式任务调度的技术方案。例如,中国专利申请cn111708627a公开了一种基于分布式调度框架的任务调度方法,其由主节点根据待调度任务的任务大小进行分片,计算各执行节点的任务负载率,并根据分片任务的优先级以及各执行节点的任务负载率,将分片任务分配至相应执行节点执行。

2、又如,中国专利cn109542600b公开了一种分布式任务调度系统及方法,其通过任务分发模块、任务捞取模块和任务执行模块完成任务调度,任务捞取过程中根据任务集可用配额数量以及任务优先级权重确定可捞取的子任务实例,并根据尚未被捞取的子任务实例数量动态调整相应任务的优先级权重。

3、上述现有技术能够根据任务优先级、执行节点负载或者任务可用配额等因素实现分布式任务分配。但是,当调度对象进一步扩展为分布于不同地域、由地域侧节点管理的大量异构自动化设备时,如果控制服务端直接根据各具体执行设备的状态完成任务与设备之间的绑定,则需要持续获得具体设备的细粒度运行状态;在设备状态动态变化以及跨地域通信存在延迟的情况下,控制服务端用于调度的设备状态可能与设备实际状态存在时间差。

4、此外,在自动化设备执行环境中,不同设备的当前空闲状态、连续运行程度、恢复状态以及与不同任务的适配程度可能存在差异,仅依据执行节点负载或任务优先级难以反映具体自动化设备当前的可执行能力。同时,不同任务域还存在最低完成要求、历史有效产出效率以及当前时间窗口剩余任务量等差异,静态任务配额难以根据实际执行结果持续调整。

5、因此,需要一种适用于多地域异构自动化设备的分布式调度方法,在控制服务端进行宏观容量和任务资源分配的基础上,由接近自动化设备的地域侧节点根据设备实时状态完成具体设备选择,并根据实际任务执行耗时及有效产出持续修正后续滚动时间窗口的容量和任务资源分配。

技术实现思路

1、为解决现有多地域自动化设备调度过程中,控制服务端直接选择具体设备对设备实时状态依赖较高、静态资源分配难以兼顾不同任务域的任务完成需求与资源利用率、动态执行状态下容量估算与设备选择不准确,以及分布式任务认领过程中可能发生重复认领和重复执行等技术问题,本技术提供一种面向多地域自动化设备的分布式仿生柔性调度方法及系统。

2、在第一方面,本技术提供一种面向多地域自动化设备的分布式仿生柔性调度方法,包括:

3、将目标任务切分为多个具有确定执行边界的微批次任务,并使所述微批次任务关联任务域和意图节点;

4、获取各地域代理节点上报的可用执行槽位、执行状态、任务平均耗时及任务切换损耗,在滚动时间窗口内计算容量快照,以确定当前滚动时间窗口内可执行的微批次任务数量;

5、根据所述容量快照,采用最小保障、效率加权及空闲池借用方式确定不同任务域的任务配额,并根据任务截止时间、配额缺口和等待老化程度计算任务紧迫度,根据所述任务紧迫度形成候选任务队列;

6、地域代理节点从所述候选任务队列获取候选任务,根据本地域自动化设备的空闲度、疲劳度、预计运行时长、画像亲和度及恢复状态进行本地设备评分,根据评分结果选择用于执行所述候选任务的自动化设备;

7、通过执行标识和执行租约对所述候选任务进行原子认领,使成功认领任务的地域代理节点取得对应任务的执行权,并根据执行租约控制所述执行权的有效期限;

8、获取任务执行结果,根据任务执行结果更新任务平均耗时、任务产出效率以及自动化设备疲劳度,并将更新后的数据用于后续滚动时间窗口的容量计算、任务配额及设备选择。

9、优选地,所述容量快照根据各地域代理节点的可用执行槽位、执行状态系数、滚动时间窗口长度以及安全冗余系数确定,并结合任务平均耗时及任务切换损耗换算为当前滚动时间窗口内可执行的微批次任务数量。

10、优选地,在进行任务域配额分配时,首先根据各任务域的最低完成要求分配最小保障配额,再根据历史任务产出效率分配剩余容量;当部分任务域在当前滚动时间窗口内不能使用其已分配容量时,将相应容量释放至空闲池,由其他具有未完成任务的任务域借用。

11、优选地,所述疲劳度为随时间变化的设备状态量;自动化设备执行任务、发生执行失败或者风险事件时增加相应疲劳度,在空闲或恢复期间按照预设衰减关系降低疲劳度,并根据疲劳度调整自动化设备的本地设备评分或运行状态。

12、优选地,当微批次任务持续未被认领时,根据等待时间提高对应任务的任务紧迫度;当任务域连续多个滚动时间窗口的完成程度低于预设要求时,提高所述任务域对应任务的调度权重,以降低任务域长期无法获得执行资源的概率。

13、优选地,通过执行标识、任务版本和执行租约控制任务认领;对于同一任务,仅允许一个有效执行标识对应的执行者持有当前任务执行权,执行租约失效后,原执行者的迟到执行结果不用于覆盖新的有效执行状态。

14、在第二方面,本技术提供一种面向多地域自动化设备的分布式仿生柔性调度系统,包括控制服务端、至少一个地域代理节点以及连接于所述地域代理节点的多个自动化设备。

15、所述控制服务端用于执行目标任务切分、滚动时间窗口容量计算、任务域配额分配、候选任务队列构建以及任务原子认领控制;所述地域代理节点用于获取候选任务及本地域自动化设备的实时状态,根据设备空闲度、疲劳度、预计运行时长、画像亲和度及恢复状态进行本地设备评分,并根据评分结果选择自动化设备执行任务。

16、与现有技术相比,本技术至少具有以下有益效果:

17、(1)通过将服务端的宏观资源分配与地域代理节点的本地设备选择进行分离,使控制服务端无需持续根据跨地域设备的细粒度实时状态直接指定具体执行设备,降低跨地域状态传输延迟和设备状态变化对调度决策的影响。

18、(2)通过滚动时间窗口容量快照,根据设备可用执行槽位、执行状态、任务平均耗时及任务切换损耗动态确定可执行任务容量,使任务投放量能够随实际可用执行能力变化,降低静态容量估算导致的任务积压或者执行资源闲置。

19、(3)通过最小保障、效率加权和空闲池借用相结合的任务域配额机制,在保证具有最低完成要求的任务域能够获得相应执行资源的同时,使暂时无法利用的任务域容量能够被其他任务域使用,从而兼顾不同任务域的完成要求和整体资源利用率。

20、(4)通过将设备空闲度、疲劳度、预计运行时长、画像亲和度及恢复状态引入地域代理节点的本地设备评分,使具体设备选择能够依据设备当前运行状态动态调整,降低同一设备长时间连续执行以及处于恢复状态的设备被继续分配任务的概率。

21、(5)通过任务等待老化以及任务域完成不足时的调度权重调整,使长时间未获得执行资源的任务及任务域能够逐步提高调度优先程度,降低任务域长期无法获得执行资源的概率。

22、(6)通过执行标识、任务版本和执行租约控制任务认领及执行权,并限制失效执行者的迟到结果覆盖当前有效执行状态,从而降低并发认领、网络重试或者执行者失效情况下同一任务被重复执行以及执行状态被错误覆盖的概率。

23、(7)通过任务执行反馈持续更新任务平均耗时、任务产出效率及设备疲劳度,并将更新结果用于后续滚动时间窗口的容量计算、任务配额及设备选择,使调度参数能够根据实际执行结果持续调整,提高多地域异构自动化设备调度过程对动态执行环境的适应能力。