一种面向多目标场景的端边云分布式系统与任务调度方法

摘要: 本发明涉及无线通信和计算机科学与,具体来说,涉及一种面向多目标场景的端边云分布式系统与任务调度方法。背景技术:1、在当今万物智联与边缘智能(edgeintell...
一种面向多目标场景的端边云分布式系统与任务调度方法

本发明涉及无线通信和计算机科学与,具体来说,涉及一种面向多目标场景的端边云分布式系统与任务调度方法。

背景技术:

1、在当今万物智联与边缘智能(edge intelligence)蓬勃发展的背景下,端边云协同的分布式计算架构已成为支撑海量数据处理与实时复杂任务的核心基础设施。为了满足日益增长的差异化服务质量(qos)需求,分布式决策系统需要在高度动态变化的物理网络环境中,实现系统资源效能的最优配置。

2、此类系统的核心调度任务通常涉及两个维度的深度协同:第一维度是任务流转路径的动态选择,即决策将任务在多层级、异构化的计算节点间进行最优调度,以匹配节点的实时算力与链路带宽;第二维度是特定增强功能模块的自适应激活,即根据任务需求与节点环境,判定是否开启某种能够提升处理效能或质量的辅助功能。这一过程不仅需要实时感知各计算节点的硬件资源状态,还需要对全链路的通信拓扑演化具有敏锐的捕捉能力。

3、尽管分布式调度方案在过去数年中取得了显著进展,但在面对海量决策变量与多约束优化目标时,仍暴露出以下深层次的技术瓶颈。

4、首先,离散动作空间的组合爆炸导致维度灾难与算力过载。在大规模云边协同网络中,候选路径选择与多种功能模块开关的组合构成了超高维度的离散优化空间。传统的深度神经网络(dnn)或多智能体强化学习(marl)方案,往往试图通过不断堆叠网络层数和参数量来拟合复杂的动作概率分布。然而,部署在网络边缘的网关或基站节点通常面临严苛的算力与能耗限制,难以支撑超大规模参数矩阵的实时推理与在线梯度更新。这导致模型在动态环境下收敛极慢,且容易陷入局部最优解,无法满足毫秒级的决策响应要求。

5、其次,多目标间的非线性耦合与收益和开销建模缺失。现有技术在处理任务分配时,通常侧重于单一性能指标(如仅优化响应延迟)或采用简单的静态加权方式。然而,在实际物理环境中,任何功能模块的激活(如检索增强、数据预处理或特征压缩等)虽然能为核心处理逻辑缩减计算负载,但其本身必然会引入额外的物理执行时延与硬件功耗。当前的决策模型缺乏对这种功能增益与底层成本之间动态博弈关系的深度建模。在复杂的网络拓扑中,无线链路能耗、骨干回程带宽压力与功能执行产生的静态/动态代价相互交织,传统策略难以在降低端到端服务时延的同时,实现系统全链路能效(energy efficiency)的帕累托(pareto)最优。

6、最后,资源匹配感知粗糙导致全局负载失衡与羊群效应。现有方案往往缺乏对任务特征与节点局部资源(如特定知识库、加速引擎等)匹配程度的精细化度量。这导致大量请求在空间分布上容易出现严重的羊群效应,即请求盲目涌向少数高性能或所谓专家节点,造成由于排队拥塞带来的时延剧增,而大量具备相关资源储备的边缘节点却处于空闲状态,严重破坏了全局范围内的负载均衡与资源配置效率。

7、综上所述,在分布式云边协同网络承载生成式ai服务的场景中,现有资源调度方案存在三重技术缺陷:一是任务路由分配与rag检索增强开关决策相互割裂,未结合各边缘服务器差异化知识匹配度做联合优化,易出现盲目启用rag、检索开销超出计算收益的资源浪费问题;二是缺少可动态调优的统一多目标效用评价机制,难以兼顾任务服务延迟与系统全链路能效的博弈关系,无法实现二者的帕累托最优权衡;三是路由与rag开关组合形成指数级高维离散动作空间,传统强化学习模型参数量庞大、推理开销高、收敛速度慢,无法满足边缘节点算力受限场景下的实时调度需求。

8、需要说明的是:本背景技术仅用于介绍本发明的相关信息,以便于帮助理解本发明的技术方案,但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开,在没有证据表明相关信息已在本发明的申请日以前公开的情况下,相关信息不应被视为现有技术。

技术实现思路

1、因此,本发明的目的在于克服上述现有技术的缺陷,提供一种面向多目标场景的端边云分布式系统与任务调度方法。

2、本发明的目的是通过以下技术方案实现的:

3、根据本发明的第一方面,提供1.一种面向多目标场景的端边云分布式系统,用于提供生成式ai服务,所述系统包括多个边端与一个云端,云端配置有一个云服务器,该云服务器上配置有知识库,可用于执行生成式ai任务;每个边端为一个配置有边缘服务器的基站,其中:所述基站用于接收终端发起的生成式ai任务,以及,基于边缘服务器生成的任务调度策略将生成式ai任务调度至对应的边缘服务器或云服务器处理;边缘服务器用于生成任务调度策略以及执行被调度的生成式ai任务,其中,边缘服务器上配置有知识库与预先构建的智能体,所述智能体以其所属基站在一个时间步上的状态为输入,以该基站在该时间步上的任务调度策略为输出,其中,一个基站在一个时间步上的状态包括该基站在该时间步上接收的每个生成式ai任务的任务信息、每个生成式ai任务与每个边缘服务器的知识库的匹配度、基站的网络状态、每个服务器的负载状态;一个任务调度决策指示了一个基站在一个时间步上接收的每个生成式ai任务的目标调度服务器与目标调度服务器在执行该生成式ai任务时是否启用检索增强。

4、该方案至少能够实现以下有益技术效果:

5、构建了包含云端云服务器与多组基站-边缘服务器的端边云架构,依托边缘侧混合量子神经网络智能体实现任务路由与rag检索增强开关的联合决策,结合各节点本地知识库的知识匹配度信息进行调度,兼顾本地处理与全局调度需求,适配生成式ai服务动态业务场景

6、可选的,所述每个生成式ai任务的任务信息包括该生成式ai任务的生成结果数据量、未启用检索增强时执行该生成式ai任务所需的去噪步数、单步去噪处理的计算密度。

7、该方案至少能够实现以下有益技术效果:

8、该方案采集生成式ai任务结果数据量、去噪步数、计算密度等核心任务特征,完善全局状态输入信息,保障智能体可准确评估任务算力开销与检索适配性,为rag开关决策与路由优化提供精准任务基础数据。

9、可选的,所述基站的网络状态包括基站与每个发起生成式ai任务的终端间的数据传输速率、基站与面向多目标场景的端边云分布式系统中每个服务器间的数据传输速率。

10、该方案至少能够实现以下有益技术效果:

11、该方案将基站与终端、基站与各服务器之间的实时传输速率纳入环境状态,完整刻画全链路通信时延特性,避免跨节点传输瓶颈影响调度决策,保障时延评估和联合调度决策的真实性。

12、可选的,通过如下方式构建每个边缘服务器中的智能体:

13、获取多个初始混合量子神经网络模型,其中,初始混合量子神经网络模型的数量与面向多目标场景的端边云分布式系统中边缘服务器的数量一致,每个初始混合量子神经网络模型对应一个边缘服务器,每个初始混合量子神经网络模型包括:经典预编码器,用于对一个基站在单个时间步上的状态执行线性编码以将状态中的每个元素编码为量子态;量子变分演化模块,用于对经典预编码器编码得到的所有量子态进行多层变分电路串行演化并执行量子测量,并输出归一化量子特征向量;经典后处理模块,用于对接收量子变分演化模块输出的量子特征向量进行线性映射与softmax函数处理以得到每个任务的所有可能的调度策略的概率分布,并基于概率分布输出每个任务最终的调度策略;构建数据集,所述数据集包括多个连续时间步上面向多目标场景的端边云分布式系统中每个基站的状态;采用强化学习方式对所有边缘服务器中初始混合量子神经网络模型进行迭代训练以得到每个边缘服务器中智能体,其中,每轮迭代包括:将构建的数据集里每个时间步下各基站的状态输入对应边缘服务器的初始混合量子神经网络,以各基站的任务调度策略作为执行动作,采用预设奖励函数量化评估每一时间步全部任务调度策略的总奖励值,根据奖励值更新所有混合量子神经网络的参数。

14、该方案至少能够实现以下有益技术效果:采用经典预编码、参数化量子变分电路、经典后处理构成混合量子神经网络架构,借助量子并行特性压缩模型参数量;通过分布式强化学习迭代训练智能体,以轻量化模型完成高维联合决策求解,适配边缘节点算力受限场景,提升调度推理速度并实现全局协同优化。

15、可选的,所述预设的奖励函数为:

16、

17、

18、其中,表示第个时间步上面向多目标场景的端边云分布式系统中所有基站的任务调度策略的总奖励值,表示预设的偏好权重因子,表示第一预设方法确定面向多目标场景的端边云分布式系统第个时间步上的能效指标,该指标指示了面向多目标场景的端边云分布式系统第个时间步上单位能耗成功处理的生成式ai任务的数量;表示采用第二预设方法确定面向多目标场景的端边云分布式系统第个时间步上的服务延迟指标,该指标指示了面向多目标场景的端边云分布式系统第个时间步上接收到的所有任务的平均处理延时。

19、该方案至少能够实现以下有益技术效果:该方案通过构建可配置权重因子的线性加权奖励函数,统一量化系统能效指标与平均服务时延指标,可根据业务需求动态调整时延和能效优化权重,实现时延性能与系统能耗的动态平衡优化。

20、可选的,通过如下方式确定能效指标:

21、

22、

23、

24、

25、其中,表示面向多目标场景的端边云分布式系统第个时间步上的能效指标,表示系统中基站的总数,表示基站的索引,表示第个时间步上第个基站接收的生成式ai任务数量,表示任务的索引,表示第个基站接收到的第个生成式ai任务的目标服务器,表示第个时间步上第个基站接收到的第个生成式ai任务在上执行的总能耗,表示的单位算力能效,表示第个时间步上第个基站接收到的第个生成式ai任务在上执行时单步去噪处理的实际计算密度,表示第个时间步上执行第个基站接收到的第个生成式ai任务时是否启用检索增强,=1时,表示启用检索增强,=0时,表示不启用,表示启用检索增强的能耗,表示预设的第个基站与服务器间的链路传输能耗系数,表示基站的传输功率,表示第个时间步上第个基站接收到的第个生成式ai任务的生成结果数据量,表示第个时间步上第个基站接与该基站接收到的第个生成式ai任务的发起终端间的数据传输速率,为指示函数,在与第个基站属于同一边端时,该指示函数值为1,反之该指示函数值为0,表示服务器之间的传输功率,表示与第个基站间传输的速率。

26、该方案至少能够实现以下有益技术效果:该方案通过建立全链路能耗精细化模型,完整计算算力推理能耗、rag检索能耗、无线传输能耗与跨节点光纤传输能耗,精准评估rag启用及跨节点调度带来的能耗代价,保障能效指标计算真实准确,支撑绿色节能调度优化。

27、可选的,通过如下方式确定平均服务延时指标:

28、

29、

30、

31、其中,表示第个时间步上边云分布式系统的服务延迟指标,表示系统中基站的总数,表示基站的索引,表示第个时间步上第个基站接收的生成式ai任务的数量,表示生成式ai任务的索引,表示第个时间步上第个基站接收的第个生成式ai任务的处理延时,表示个时间步上第个基站接收的第个任务的实际计算负载,表示第个时间步上第个基站接收的第个生成式ai任务在到达目标服务器前该目标服务器的计算负载,为指示函数,在与第个基站属于同一边端时,该指示函数值为1,反之该指示函数值为0,表示跨边端传输产生的延时,表示执行第个时间步上第个基站接收的第个生成式ai任务时是否启用检索增强,=1时,表示启用检索增强,=0时,表示不启用,表示启用检索增强产生的检索延时。

32、该方案至少能够实现以下有益技术效果:该方案通过构建包含排队负载时延、算力计算时延、跨节点传输时延、rag检索时延的全链路时延模型,精准计算系统平均服务时延,实现端到端服务时延的精确评估,保障低时延调度优化目标有效落地。

33、根据本发明的第二方面,提出一种基于本发明第一方面所述的分布式决策系统的任务调度方法,所述方法包括:以离散时间步为周期,采用所述分布式决策系统对生成式ai任务进行调度,其中,单时间步上的调度流程包括:各基站接收终端上传的生成式ai任务,并构建当前时间步上每个基站的状态;各边缘服务器将自身所属基站的状态输入内置的智能体,由智能体推理输出当前时间步上接收的所有生成式ai任务对应的调度决策;每个基站依据调度决策将各生成式ai任务分发至对应目标服务器,由目标服务器完成自身被调度的生成式ai任务。

34、与现有技术相比,本发明的优点在于:

35、本发明提出的端边云协同分布式调度架构,实现了任务路由与rag检索增强开关的联合协同决策,依托知识匹配度感知机制规避无效检索开销;通过全链路时延与能耗精细化建模及可配置权重多目标效用函数,动态平衡服务时延与系统能效,实现多目标帕累托最优调度;基于参数化量子电路构建轻量化混合量子神经网络智能体,显著降低模型参数量,大幅减轻边缘节点算力与内存压力,提升实时推理能力。整体方案显著提升动态高并发云边协同场景下系统综合调度效用,兼顾生成式ai服务低时延体验与绿色节能需求,具备优异的鲁棒性和边缘部署适配能力,适配未来大规模6g云边协同网络环境。