一种缓存感知的大小模型云边协同多任务调度方法

本发明涉及云边协同任务调度，尤其涉及一种缓存感知的大小模型云边协同多任务调度方法。

背景技术：

1、随着扩散模型在图像生成、内容创作以及实时交互等业务领域的广泛部署，图像生成服务正从传统的离线批处理模式向在线即时响应模式加速演进。与基于前馈网络的经典生成任务不同，扩散式图像生成过程依赖多步迭代去噪，推理链路显著延长，计算资源消耗呈指数级上升，同时终端用户对响应时延的容忍度极低。单纯依赖中心云端的大规模生成模型完成全部推理步骤，虽然能够保证输出图像的语义一致性与视觉质量，但长距离的数据回传和频繁的模型调用会引入不可忽视的端到端时延与网络带宽占用；相反，若将完整的迭代生成过程全部下沉至边缘节点处理，边缘设备在算力峰值、内存容量和存储空间上的固有瓶颈又难以支撑高并发场景下的稳定服务。因此，基于云端大模型与边缘小模型协同推理的云边架构，通过将生成任务在云边两侧进行合理拆分与协作，已成为扩散图像生成业务在实际系统中普遍采用的一种部署范式。

2、在现有云边协同调度技术中，针对图像生成场景的实际运行需求仍存在多方面的不足。缓存管理通常被视作独立模块，与模型调度决策之间缺少有效联动，缓存内容的使用情况未能作为调度过程中的重要参考因素，导致已缓存数据的复用潜力无法得到充分开发。扩散模型特有的迭代去噪过程会产生大量中间状态数据，而当前方法普遍缺少围绕这些中间结果进行复用的差异化执行路径设计，使得生成质量与响应速度之间的平衡难以达成。边缘节点资源受限的情况下，小规模模型的频繁加载和卸载会引入额外的系统开销，缺少合理的在线离线状态管理与按需加载机制，将导致整体运行效率下滑。此外，实际业务场景中，图像生成任务普遍存在质量、时延、资源成本的多维约束条件，现有调度技术无法在多任务并发运行状态下完成多维度需求的统筹适配，造成云边协同系统资源浪费，整体任务调度运行效能难以有效提升。

3、中国专利公告号cn115202879b公开了基于多类型智能模型的云边协同调度方法及应用，云边协同调度方法包括：构建预测模型，预测模型包括分别部署在n个边缘节点上的n个推理模型以及对应的n个选择模型；基于预测模型中的选择模型调度对应的推理模型执行目标任务。该方案只是基于训练特征集构建预测模型并通过选择模型调度对应的推理模型执行目标任务，无法感知边缘服务器的缓存状态和云端大模型的可用资源，降低了云边协同系统的任务调度效率与资源利用率。

技术实现思路

1、为此，本发明提供一种缓存感知的大小模型云边协同多任务调度方法，用以克服现有技术中无法感知边缘服务器的缓存状态和云端大模型的可用资源，降低了云边协同系统的任务调度效率与资源利用率的问题。

2、为实现上述目的，本发明提供一种缓存感知的大小模型云边协同多任务调度方法，包括以下步骤：

3、s1、构建包含多个边缘服务器、中心云服务器和多个用户终端的云边协同任务调度系统，并对云边协同任务调度系统进行初始化，得到初始化后的云边协同任务调度系统，其中，所述边缘服务器部署边缘小模型，所述中心云服务器部署云端大模型；

4、s2、获取初始化后的云边协同任务调度系统中用户终端的用户任务请求数据，并基于用户任务请求数据、边缘小模型的模型数据、云端大模型的模型数据和当前缓存状态数据构建任务-模型-缓存映射关系；

5、s3、通过任务-模型-缓存映射关系生成各个待调度任务的候选执行路径集合，并对候选执行路径集合进行优先级排序分析，得到待调度任务序列；

6、s4、基于待调度任务序列获取初始化后的云边协同任务调度系统当前的系统状态向量，并将系统状态向量输入任务调度模型中进行分析，得到初始任务调度结果，并根据初始任务调度结果确定待调度任务序列中的各个待调度任务在候选执行路径集合中的目标任务执行路径和目标匹配生成模型；

7、s5、基于目标任务执行路径和目标匹配生成模型对初始任务调度结果进行约束检验，得到满足预设约束条件的有效任务级调度结果，并基于有效任务级调度结果对各个边缘服务器中的目标边缘小模型进行资源级调度，得到资源级调度结果；

8、s6、基于资源级调度结果对待调度图像生成任务进行分析，得到执行反馈数据，并判断执行反馈数据是否满足预设终止条件，若是，则停止迭代，若否，则基于执行反馈数据重新执行步骤s2至步骤s6，直至满足预设终止条件。

9、本技术的技术原理在于：通过构建云边协同任务调度系统并完成初始化，明确各个边缘服务器部署边缘小模型、中心云服务器部署云端大模型的层级架构；获取用户终端的用户任务请求数据后，将用户任务请求数据、边缘小模型的模型数据、云端大模型的模型数据和当前缓存状态数据共同作为输入，构建任务-模型-缓存三元映射关系，使调度决策能够感知各边缘节点的缓存资源实时使用情况；基于该任务-模型-缓存三元映射关系为每个待调度任务生成包含不同边缘节点及中心云节点执行可能性的候选执行路径集合，并对所有候选执行路径进行优先级排序分析，形成待调度任务序列；获取当前系统的状态向量并输入任务调度模型中进行分析，得到初始任务调度结果，从中确定每个待调度任务在候选执行路径集合中的目标任务执行路径和目标匹配生成模型；对初始调度结果施加预设约束条件进行检验，筛选出满足预设约束条件的有效任务级调度结果，再以有效任务级调度结果为基础对各个边缘服务器中部署的目标边缘小模型进行资源级调度；基于资源级调度结果执行待调度任务后获取执行反馈数据，判断是否满足预设终止条件，若不满足则基于反馈数据重新迭代执行上述步骤，形成闭环优化机制。

10、与现有技术相比，本技术的有益效果在于：通过构建云边协同任务调度系统，实现了边缘小模型与云端大模型的协同配合，为多任务差异化调度提供了系统基础；通过获取用户任务请求数据并结合用户任务请求数据、边缘小模型的模型数据、云端大模型的模型数据和当前缓存状态数据构建任务-模型-缓存三元映射关系，使调度决策能够感知各边缘节点的缓存资源使用状况，避免将任务调度至缓存不足的边缘节点，有效减少了因缓存缺失导致的重复加载开销；通过生成各个待调度任务的候选执行路径集合并进行优先级排序分析得到待调度任务序列，实现了多任务场景下的有序调度，避免任务间资源竞争引发的执行冲突；通过获取系统状态向量并输入任务调度模型进行分析得到初始任务调度结果，进而确定目标任务执行路径和目标匹配生成模型，实现了调度策略与系统实时状态的自适应匹配；通过对初始任务调度结果进行约束检验得到满足预设约束条件的有效任务级调度结果，并基于该有效任务级调度结果对各个边缘服务器中的目标边缘小模型进行资源级调度，保障了调度方案在实际部署中的可行性和资源分配的合理性，通过基于资源级调度结果对待调度图像生成任务进行分析得到执行反馈数据，并在不满足预设终止条件时基于执行反馈数据重新迭代，形成了调度策略的持续优化闭环，进而提升了云边协同系统的任务调度效率与资源利用率。

11、进一步，所述s1包括以下步骤：

12、s11、根据预设系统组网配置参数对多个边缘服务器、一个中心云服务器和多个用户终端进行系统组网配置，得到云边协同任务调度系统；

13、s12、根据云边协同任务调度系统，在所述边缘服务器部署边缘小模型并为该边缘服务器配置本地缓存空间，得到配置有边缘小模型和本地缓存空间的边缘服务器配置结果；

14、s13、基于所述边缘服务器配置结果在所述中心云服务器部署云端大模型并为该中心云服务器配置云端缓存空间，得到配置有云端大模型和云端缓存空间的中心云服务器配置结果；

15、s14、基于所述中心云服务器配置结果对边缘服务器的待调度任务队列状态、本地缓存状态、边缘小模型在线状态和边缘可用资源状态进行初始化，得到云边协同任务调度系统的初始化状态数据；

16、s15、根据云边协同任务调度系统的初始化状态数据对dueling dqn网络的模型参数、目标网络参数以及经验回放池进行初始化，并通过所述边缘服务器获取用户终端发起的图像生成请求，并提取图像生成请求中的文本提示、生成质量约束、最大容忍时延和缓存复用需求，得到初始化后的云边协同任务调度系统。

17、本方案中，通过构建云边协同任务调度系统完成边缘小模型与云端大模型的协同部署及本地缓存与云端缓存的分级配置，初始化任务队列与资源状态数据并提取图像生成请求的文本提示、质量约束与时延需求，增强图像生成任务的云边调度能力与资源利用率。

18、进一步，所述s2包括以下步骤：

19、s21、根据用户终端的用户任务请求数据和当前缓存状态数据，对每个待调度任务的原始去噪总步数和归一化缓存匹配度进行分析，得到缓存复用后的实际去噪步数，其中，所述实际去噪步数的数学表达式为：，式中，表示第个待调度任务在缓存复用后的实际去噪步数，表示第个待调度任务的归一化缓存匹配度，表示第个待调度任务的原始去噪总步数；

20、s22、基于缓存复用后的实际去噪步数和各个候选模型的单步平均推理时延计算每个待调度任务和每个候选模型之间的时延适配度，其中，所述时延适配度的数学表达式为：，式中，表示第个待调度任务与第个候选模型之间的时延适配度，表示第个待调度任务的最大容忍时延，表示第个待调度任务调用第个候选模型时对应执行路径的平均通信时延，表示第个候选模型的单步平均推理时延；

21、s23、根据边缘小模型的模型数据和云端大模型的模型数据获取各个候选模型的模型生成精度和各个候选模型的模型最大支持分辨率，并基于所述时延适配度、各个候选模型的模型生成精度和各个候选模型的模型最大支持分辨率计算每个待调度任务和每个候选模型之间的联合匹配度，并基于所述联合匹配度构建任务-模型-缓存映射关系，其中，所述联合匹配度的数学表达式为：，式中，表示第个待调度任务与第个候选模型之间的联合匹配度，表示第个候选模型的模型生成精度，表示第个待调度任务的生成质量约束，表示第个候选模型的模型最大支持分辨率，表示第个待调度任务的目标分辨率需求，表示取最小值函数。

22、本方案中，通过计算缓存复用后的实际去噪步数缩减冗余推理开销，根据时延适配度筛选满足容忍时延的模型，融合模型精度与分辨率约束生成联合匹配度，构建任务-模型-缓存映射关系，实现计算资源与缓存内容的协同优化，增强边缘云端协同调度效能。

23、进一步，所述s3包括以下步骤：

24、s31、基于任务-模型-缓存映射关系获取各个待调度任务对应的当前缓存状态数据，根据当前缓存状态数据判断各个待调度任务对应的缓存内容是否存在，若缓存内容存在且与任务输出要求完全一致，则生成缓存复用路径，若缓存内容存在且与任务输出要求的特征向量相似度大于预设相似度阈值，以及边缘小模型剩余算力占比大于预设算力阈值，则生成缓存辅助边缘生成路径，若缓存内容不存在且边缘小模型剩余算力占比大于预设算力阈值则，生成边缘生成路径，若任务生成质量参数超过边缘小模型能力上限，则生成云端生成路径，形成各个待调度任务的候选执行路径集合；

25、s32、基于候选执行路径集合中各个待调度任务的任务等待时长、归一化缓存匹配度和最大容忍时延计算各个待调度任务对应的调度优先级，其中，所述调度优先级的数学表达式为：，式中，表示第个待调度任务对应的调度优先级，表示第个待调度任务的任务等待时长；

26、s33、通过各个待调度任务对应的调度优先级对候选执行路径集合中的各个待调度任务进行降序排序，得到待调度任务序列。

27、本方案中，通过分析待调度任务与缓存及模型间映射关系生成多元候选执行路径，结合任务等待时长与缓存匹配度及最大容忍时延计算调度优先级，并对候选执行路径集合中的各个待调度任务进行降序排序，有效提升系统资源利用效率。

28、进一步，所述s4包括以下步骤：

29、s41、基于待调度任务序列对任务队列状态、缓存状态、边缘小模型在线状态和边缘可用资源状态进行采集，得到资源状态集合；

30、s42、对边缘小模型的单次加载卸载开销、边缘小模型的累计访问频率以及云端大模型可用状态进行采集，得到模型状态参数；

31、s43、对资源状态集合、模型状态参数，以及与各个待调度任务的归一化缓存匹配度和任务需求参数进行组合，得到系统状态向量；

32、s44、基于dueling dqn网络构建包含价值网络和优势网络的任务调度模型，将系统状态向量输入任务调度模型中，通过价值网络对系统状态向量进行分析，得到状态价值函数值，通过优势网络对系统状态向量进行分析，得到各个候选动作对应的优势函数值，并根据所述状态价值函数值和各个候选动作对应的优势函数值计算各个候选动作对应的状态动作值，其中，所述状态动作值的数学表达式为：，式中，表示调度决策的时隙序号，表示第时隙的系统状态向量，表示在第时隙针对当前状态所选定的调度动作，表示在第时隙的系统状态向量下执行调度动作所对应的状态动作值，表示由价值网络拟合的、在系统状态向量下的状态价值函数取值，表示由优势网络拟合的、在系统状态向量下执行调度动作时的优势函数取值，表示候选动作集合，表示候选动作集合中的任一候选动作，表示在系统状态向量下执行候选动作时的优势函数取值；

33、s45、采用-贪婪策略从候选动作集合中选择调度动作并生成随机数，判断随机数是否小于预设探索概率值，若是，则从候选动作集合中随机选择一个候选动作作为调度动作，若否，则从候选动作集合中选择状态动态值最大的候选动作作为调度动作；

34、s46、根据所述调度动作从候选执行路径集合中确定与所述调度动作对应的目标任务执行路径，并根据所述调度动作确定与所述目标任务执行路径匹配的目标匹配生成模型。

35、本方案中，通过采集多维度资源与模型状态构建系统状态向量，利用基于价值网络和优势网络的任务调度模型计算状态动作值，并结合贪婪策略动态选择调度动作，从而确定最优执行路径与匹配模型，提升任务调度的准确性和资源利用效率。

36、进一步，所述s5包括以下步骤：

37、s51、基于初始任务调度结果获取各个待调度任务对应的目标任务执行路径和目标匹配生成模型，分别检验每个待调度任务是否满足预设生成质量约束条件、预设时延约束条件和预设边缘资源约束条件，若存在不满足任意一项约束条件的待调度任务，则从所述候选执行路径集合中重新选择次优目标任务执行路径和次优目标匹配生成模型，并再次进行约束检验，直至全部待调度任务均满足预设生成质量约束条件、预设时延约束条件和预设边缘资源约束条件，得到有效任务级调度结果；

38、s52、基于有效任务级调度结果获取目标边缘小模型的当前在线状态，以及目标边缘小模型所在边缘服务器的当前剩余内存容量，当所述当前在线状态为未在线且所述当前剩余内存容量大于或等于目标边缘小模型的加载所需内存容量时，将所述目标边缘小模型加载至在线模型池，当所述当前在线状态为未在线且所述当前剩余内存容量小于所述加载所需内存容量时，从所述在线模型池中选取当前未被任务调用且加载卸载开销最小的边缘小模型执行卸载操作，再将所述目标边缘小模型加载至所述在线模型池；

39、s53、获取所述目标边缘小模型的累计访问频率和加载卸载开销，并计算所述目标边缘小模型的保留值，当所述目标边缘小模型的保留值低于预设保留阈值且所述目标边缘小模型未被当前时隙任务调用时，将所述目标边缘小模型卸载至离线模型池，其中，所述目标边缘小模型的保留值的数学表达式为：，式中，表示第个目标边缘小模型的保留值，表示第个目标边缘小模型的累计访问频率，表示第个目标边缘小模型的加载卸载开销；

40、s54、根据所述在线模型池中目标边缘小模型的在线状态和所述离线模型池中目标边缘小模型的离线状态，更新所述有效任务级调度结果中各个有效任务级对应的模型状态信息，得到资源级调度结果。

41、本方案中，通过约束检验与路径重选保障任务调度有效性，动态加载卸载边缘小模型优化边缘服务器内存资源，基于访问频率和加载卸载开销计算保留值并卸载低价值模型，更新模型状态信息完成资源级调度结果，提升边缘资源利用效率与任务调度质量。

42、进一步，所述s6包括以下步骤：

43、s61、基于资源级调度结果执行当前时隙的待调度图像生成任务，得到任务完成时延、系统执行开销和缓存复用收益，并将任务完成时延、系统执行开销和缓存复用收益作为执行反馈数据；

44、s62、基于执行反馈数据采集下一时刻的系统状态，将当前时刻的系统状态、当前时隙执行的调度动作、即时奖励值和下一时刻的系统状态组合成状态转移元组，并将状态转移元组存入经验回放池中，其中，所述即时奖励值根据任务完成时延、系统执行开销和缓存复用收益进行分析得到；

45、s63、从所述经验回放池中随机采样状态转移元组，根据所述状态转移元组计算目标状态动作值，所述目标状态动作值的数学表达式为：，式中，表示第时隙的目标状态动作值，表示在第时隙执行调度动作后获得的即时奖励值，表示折扣因子，表示对候选动作求取最大值操作，表示目标网络的状态动作值函数，表示第时隙的系统状态向量，表示目标网络预测在下一状态下执行各个候选动作时的动作状态值，表示目标网络预测在下一状态下执行各个候选动作时选取最大的状态动作值；

46、s64、根据目标状态动作值对任务调度模型的主网络参数进行更新，得到更新后的主网络参数，并判断任务调度模型的当前参数更新次数是否达到预设同步步数，若是，则将更新后的主网络参数同步至目标网络，得到同步后的目标网络参数，若否，则保持目标网络的当前参数不变，将更新后的主网络参数和同步后的目标网络参数或目标网络的当前参数作为更新后的模型参数，并将执行反馈数据和更新后的模型参数以及递增后的迭代轮次作为当前状态数据；

47、s65、基于当前状态数据中的执行反馈数据和迭代轮次判断是否满足预设终止条件，若是，则停止迭代，若否，则基于所述执行反馈数据更新系统状态并重新执行步骤s2至步骤s6。

48、本方案中，通过采集执行反馈数据并构建状态转移元组存入经验回放池，随机采样计算目标状态动作值以更新主网络参数，并在达到预设同步步数时将主网络参数同步至目标网络，基于执行反馈数据和迭代轮次判断终止条件，实现任务调度模型的稳定训练与自适应优化，有效降低任务完成时延和系统执行开销，提升缓存复用收益。

49、进一步，在所述s65中，所述预设终止条件为所述迭代轮次达到预设最大轮次，或所述执行反馈数据中的任务完成时延小于预设时延阈值且缓存复用收益大于预设收益阈值。

50、本方案中，通过设定最大轮次与时延收益双重达标条件，使训练在满足时延和收益目标时及时终止，避免过度迭代并保障任务调度满足性能需求。