边缘分布式集群的任务协同调度方法、装置、设备及介质与流程
本技术涉及资源调度,具体涉及一种边缘分布式集群的任务协同调度方法、装置、设备及介质。
背景技术:
1、随着边缘计算与人工智能技术的深度融合与快速发展,边缘分布式集群系统已成为支撑前端智能计算业务落地的核心载体,并广泛应用于环境监测、工业现场感知、智慧交通、公共安防等诸多领域。伴随业务场景的持续拓展,边缘分布式集群所承载的任务类型日益丰富,且呈现出显著的多样化与计算密集化特征。具体而言,除了传统的数据采集、状态监测与数据回传等轻量级任务外,集群目前还需处理大量高复杂度的深度神经网络推理任务,例如实时目标检测、多节点协同感知建图、多路视频流智能分析等。这些新兴任务对边缘侧的计算能力与响应效率提出了更高的要求。
2、然而,在实际应用中,受限于硬件形态、功耗预算及部署成本,单个边缘节点,尤其是微型传感设备和轻量化边缘终端,在计算资源、存储空间与电池容量方面均十分有限。面对上述计算密集型推理任务,若采用单节点独立处理的模式,极易出现处理时延超标、能耗过快消耗等问题。这不仅难以满足任务对实时性要求,还可能因部分节点资源耗尽而失效,进而破坏整个集群的网络连通性与业务连续性。另一方面,若采用传统将任务全部卸载至远端云服务器的处理方案,虽然云端具备充足的算力储备,但受限于长距离无线传输中的带宽波动、传输时延高等因素,该方案无法适配高动态边缘场景下的低时延响应需求,同时也难以适应网络拓扑频繁变化的分布式集群环境。因此,依托集群内部节点的空闲算力资源开展边缘侧协同计算,实现任务的分布式调度与资源共享,成为解决上述矛盾的关键技术路径。
3、当前,针对边缘分布式集群协同推理与任务调度的研究中,主流技术方案主要分为两类,且在实际应用中均存在一定的局限性:
4、第一类为基于传统优化理论的调度方法,包括凸优化、博弈论以及遗传算法、贪婪算法等启发式算法。该类方法通常基于静态网络环境的假设,依赖于完备的信道状态信息与节点参数来求解最优策略。然而,在实际应用中,边缘分布式集群的网络拓扑往往动态变化,信道质量具有强随机性,导致传统优化方法的求解过程迭代复杂度极高,难以在毫秒级的控制时隙内输出有效决策。此外,该类方法通常难以有效处理系统长期时间耦合的稳定性约束。
5、第二类为基于纯深度强化学习的调度方法,例如深度q网络(dqn)、近端策略优化(ppo)等算法。该类方法通过智能体与环境的交互学习调度策略,具备较强的动态环境适配能力。但是,纯数据驱动的深度强化学习算法在硬约束保障方面存在天然缺陷。在以能耗、时延最小化为优化目标的奖励函数引导下,智能体往往难以保证系统队列的长期稳定性,在突发任务流量下容易出现任务积压溢出的问题。同时,边缘分布式集群的状态空间涵盖了计算负载、信道状态、节点电量等多维度信息,动作空间包含卸载决策、功率控制、算力调节等多类型变量,这种高维的状态动作空间易导致纯深度强化学习算法收敛速度慢、训练过程波动大,难以直接部署于资源受限的边缘节点。
6、综上所述,现有技术方案难以在保障系统长期队列稳定性的前提下,同步实现计算资源、通信资源与卸载策略的联合优化。因此,亟需一种融合理论稳定性约束与智能决策能力,能够适配异构边缘分布式集群动态特性的分布式任务协同调度方法。
技术实现思路
1、有鉴于此,本技术提供了一种边缘分布式集群的任务协同调度方法、装置、设备及介质,主要目的在于解决现有边缘分布式集群任务调度方案难以在保障系统长期队列稳定性的前提下,同步实现计算资源、通信资源与任务卸载策略的联合动态优化,导致动态网络环境下易出现任务积压溢出、时延超标或能耗过快消耗的技术问题。
2、第一方面,本技术提供了一种边缘分布式集群的任务协同调度方法,包括:
3、采集边缘分布式集群中各节点在当前时隙的资源状态参数,并在所述各节点的本地存储空间中建立虚拟任务数据队列,所述虚拟任务数据队列用于实时表征待处理推理任务的积压状态;
4、基于队列稳定性理论,构建包含系统长期队列稳定性约束与系统总成本优化目标的协同调度模型,将所述协同调度模型的长期约束转化为当前时隙的瞬时漂移加罚优化目标;
5、构建深度强化学习网络模型,将所述瞬时漂移加罚优化目标映射为所述深度强化学习网络模型的反馈奖励函数,以基于所述反馈奖励函数对所述深度强化学习网络模型进行迭代训练,得到训练完成的所述深度强化学习网络模型;
6、将当前时隙采集的所述资源状态参数与所述虚拟任务数据队列的积压值输入训练完成的所述深度强化学习网络模型,输出包含任务卸载决策与资源分配指令的联合动作;
7、控制所述各节点依据所述联合动作执行本地推理或任务卸载,并根据任务执行结果更新所述虚拟任务数据队列的积压值,进入下一控制周期。
8、第二方面,本技术提供了一种边缘分布式集群的任务协同调度装置,包括:
9、采集模块,用于采集边缘分布式集群中各节点在当前时隙的资源状态参数,并在所述各节点的本地存储空间中建立虚拟任务数据队列,所述虚拟任务数据队列用于实时表征待处理推理任务的积压状态;
10、第一构建模块,用于基于队列稳定性理论,构建包含系统长期队列稳定性约束与系统总成本优化目标的协同调度模型,将所述协同调度模型的长期约束转化为当前时隙的瞬时漂移加罚优化目标;
11、第二构建模块,用于构建深度强化学习网络模型,将所述瞬时漂移加罚优化目标映射为所述深度强化学习网络模型的反馈奖励函数,以基于所述反馈奖励函数对所述深度强化学习网络模型进行迭代训练,得到训练完成的所述深度强化学习网络模型;
12、输入模块,用于将当前时隙采集的所述资源状态参数与所述虚拟任务数据队列的积压值输入训练完成的所述深度强化学习网络模型,输出包含任务卸载决策与资源分配指令的联合动作;
13、控制模块,用于控制所述各节点依据所述联合动作执行本地推理或任务卸载,并根据任务执行结果更新所述虚拟任务数据队列的积压值,进入下一控制周期。
14、第三方面,本技术提供了一种电子设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的边缘分布式集群的任务协同调度方法。
15、第四方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的边缘分布式集群的任务协同调度方法。
16、借由上述技术方案,本技术提供的一种边缘分布式集群的任务协同调度方法、装置、设备及介质,与目前现有技术相比,本技术可采集边缘分布式集群中各节点在当前时隙的资源状态参数,并在各节点的本地存储空间中建立虚拟任务数据队列,虚拟任务数据队列用于实时表征待处理推理任务的积压状态;基于队列稳定性理论,构建包含系统长期队列稳定性约束与系统总成本优化目标的协同调度模型,将协同调度模型的长期约束转化为当前时隙的瞬时漂移加罚优化目标;构建深度强化学习网络模型,将瞬时漂移加罚优化目标映射为深度强化学习网络模型的反馈奖励函数,以基于反馈奖励函数对深度强化学习网络模型进行迭代训练,得到训练完成的深度强化学习网络模型;将当前时隙采集的资源状态参数与虚拟任务数据队列的积压值输入训练完成的深度强化学习网络模型,输出包含任务卸载决策与资源分配指令的联合动作;控制各节点依据联合动作执行本地推理或任务卸载,并根据任务执行结果更新虚拟任务数据队列的积压值,进入下一控制周期。
17、采用上述技术方案,本技术对边缘分布式集群中各节点的资源状态参数与任务积压状态进行实时感知,以系统长期队列稳定性与总成本联合优化为目标,建立了基于队列稳定性理论的协同调度模型,将长期时间耦合的稳定性约束与能耗时延惩罚分别采用lyapunov漂移项与加权成本项进行解耦转化和瞬时映射。通过将复杂的长期随机优化问题转化为仅依赖当前时隙状态的瞬时漂移加罚优化目标,并将其映射为深度强化学习网络的反馈奖励函数,精准引导了智能体在涵盖离散卸载决策与连续资源调节的混合动作空间中的策略探索,避免了纯数据驱动算法缺乏长期硬约束保障导致的策略发散与队列失控,显著提高了动态网络环境下计算资源、通信资源与任务卸载策略联合动态优化的准确性与系统长期运行的鲁棒性。
18、本技术在边缘节点在线运行时无需依赖全局完备的先验信息与集中式控制器,仅通过获取本地及邻居节点的实时状态特征与虚拟任务数据队列积压值并输入训练完成的深度强化学习网络,即可在毫秒级时间内输出包含任务卸载决策与资源分配指令的联合动作。该方法在分布式协同调度的基础上,利用虚拟队列积压值的闭环动态更新与周期性邻居信息交互即可消除动态任务流量与信道波动带来的任务积压溢出风险,大幅降低了传统优化算法在时变环境下的迭代求解复杂度与通信开销,保障了边缘分布式集群在资源受限与高动态场景下任务处理的低时延响应、高能效利用与业务连续性。
19、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段,而可依照说明书的内容予以实施,并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本技术的具体实施方式。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com