基于边界感知的大模型协作推理与回退方法

本发明涉及人工智能领域，尤其涉及基于边界感知的大模型协作推理与回退方法。

背景技术：

1、随着大语言模型在移动终端、车载设备、机器人、ar/vr设备和物联网终端中的应用增加，单一终端通常难以同时满足模型参数（权重与配置）存储、kv cache显存、实时推理时延和能耗约束。因此，端边云协作推理成为一种重要技术策略，由用户终端、基站侧mec服务器和云端gpu服务器共同承担大模型推理任务。

2、现有方案通常采用静态策略选择、二进制卸载或固定切分后部署。二进制卸载通常将完整推理任务放在本地或远端执行，不能利用端、边、云之间的层段协同能力。固定切分后部署通常在推理开始前确定模型分片和物理执行节点，运行期间不再根据链路、队列和显存变化调整策略。

3、对于自回归大模型生成式推理而言，一次完整推理通常包括prefill阶段和decode阶段。prefill阶段的输入为用户请求中的输入token序列，例如prompt序列；prefill阶段不是直接输出最终回复token，而是输出供decode阶段继续使用的中间状态，主要包括各层生成的kv cache以及层间传递的activation。decode阶段以prefill阶段形成的kv cache和相关activation状态为基础，按照自回归方式逐token生成输出token；每生成一个新token，系统会相应增加该token对应的kv cache。

4、因此，prefill阶段和decode阶段具有不同的资源特征。prefill阶段主要处理完整输入token序列，其计算量和activation传输量通常随输入token长度增长；decode阶段逐token生成输出，其token之间具有严格的自回归依赖，整体上按token顺序串行推进，同时kv cache会随着输出token数持续增长。若在decode过程中链路速率下降、边缘或云端队列积压、业务给定的输出token数较长或kv cache占用超过安全阈值，则原本具有收益的协作推理策略可能转变为负收益策略。

5、现有协作推理方案主要存在以下技术缺陷：

6、（1）协作策略通常在推理开始时一次性确定，缺乏运行时重新判断机制

7、现有方案通常基于请求到达时的设备状态、链路状态和负载状态确定推理策略。但在实际推理过程中可能存在以下情况：终端到边缘的无线链路发生波动；边缘到云端的回传带宽下降；其他用户请求导致边缘或云端队列积压；大模型实际生成token数超过初始预测；kv cache会随着decode阶段持续增长。

8、因此，推理开始时满足协作条件的策略，在运行过程中可能变成负收益策略。现有方案缺乏对此类变化的动态重评估机制。

9、（2）缺乏对“协作收益是否仍为正”的边界判断

10、跨设备协作推理会产生中间激活特征传输开销。若链路带宽不足，或输入/输出token长度较大，则通信开销可能超过因多设备计算带来的时延收益。

11、现有方案通常仅优化静态总时延或平均时延，缺乏对如下边界关系的运行时判断："剩余计算收益">"剩余通信代价"。

12、因此，系统可能继续执行已经不再具有收益的协作策略。

13、（3）缺乏对kv cache动态增长导致显存风险的提前控制

14、在大模型推理中，模型权重通常可在节点上常驻并被多个请求共享，而kv cache是请求级动态状态，会随输入长度、生成长度和并发请求数增长。

15、现有协作推理方案往往在推理开始时判断显存是否满足初始需求，但未充分考虑decode过程中kv cache的持续增长，可能导致：边缘服务器显存接近阈值；云端服务器显存被多个请求占满；后续token生成过程中出现显存溢出（oom，out of memory）；正在执行的协作策略被迫中断。

16、（4）缺乏准入与回退联动机制

17、现有方案通常关注“如何选择最优策略”，但缺乏一个完整控制闭环：请求到达时是否允许进入协作推理；协作执行过程中是否仍然满足收益和资源边界；边界不再满足时如何回退；如何避免无效协作继续占用带宽、算力和显存。

18、因此，在多用户、动态链路和长上下文大模型推理场景下，现有方案鲁棒性不足。

技术实现思路

1、以下是对本文详细描述的主题的概述。

2、本技术的目的在于至少一定程度上解决相关技术中存在的技术问题之一，本技术实施例提供了基于边界感知的大模型协作推理与回退方法。

3、本技术的实施例，一种基于边界感知的大模型协作推理与回退方法，包括：

4、在预填充阶段，获取节点协作推理请求与资源状态信息；

5、根据模型分片预部署状态、节点协作推理请求与资源状态信息生成候选协作推理策略；

6、根据用户数按照边界约束从所述候选协作推理策略中筛选得到目标协作推理策略；

7、在自回归生成阶段，在词元token自回归生成的过程中，根据当前的资源状态信息重评估剩余token长度、剩余计算收益、剩余通信代价和剩余键值缓存增长量，重新评估当前策略是否满足边界约束，当协作收益边界越界、显存安全边界越界、链路状态边界越界，执行当前策略的回退动作。

8、根据本技术的某些实施例，所述候选协作推理策略包括：预填充阶段和自回归生成阶段的模型切分点集合、模型分片到执行节点的映射、分片之间使用的通信链路集合、串行或并行执行关系以及各模型分片对应的键值缓存驻留节点集合。

9、根据本技术的某些实施例，在生成候选协作推理策略之后，所述方法还包括：

10、当节点已经预部署或缓存模型分片，根据节点协作推理请求将所述模型分片分配给节点执行；

11、当候选策略要求节点执行未部署的模型分片，将所述候选策略标记为不可用或者需要冷启动加载和计入额外加载时延。

12、根据本技术的某些实施例，根据用户数按照边界约束从所述候选协作推理策略中筛选得到目标协作推理策略，包括：

13、对单用户场景，判断单个节点协作推理请求对应的候选协作推理策略是否满足边界约束以确定目标协作推理策略；

14、对多用户场景，在各用户的有效候选策略集合内进行资源竞争选择以确定目标协作推理策略。

15、根据本技术的某些实施例，单用户场景对应的边界约束包括：部署约束、计算收益约束、通信收益约束、词元token长度约束、显存安全约束和时延约束中的一种或多种。

16、根据本技术的某些实施例，所述部署约束用于约束在节点已经预部署或缓存模型分片的情况下，根据节点协作推理请求将所述模型分片分配给节点执行；

17、所述计算收益约束用于约束候选策略相对于单节点基准执行的计算收益大于0；

18、所述通信收益约束用于约束跨节点协作带来的计算时延节省大于跨节点传输中间激活特征或相关中间状态产生的通信时延；

19、所述词元token长度约束用于约束在当前输入长度、业务给定输出长度和链路有效传输速率条件下，候选策略的计算收益能覆盖通信代价；

20、所述显存安全约束用于约束输入长度临界值和输出长度临界值之和小于或等于最大支持上下文长度，所述最大支持上下文长度表示在满足各节点安全显存阈值的前提下，策略所能支持的最大输入与输出词元总长度；

21、所述时延约束用于约束策略对应的端到端时延小于或等于最大可容忍推理时延。

22、根据本技术的某些实施例，多用户场景对应的边界约束包括：无线带宽约束、边缘服务器至云端服务器的回传带宽约束和多用户显存约束；所述资源竞争选择，包括：

23、在满足无线带宽约束、边缘服务器至云端服务器的回传带宽约束和多用户显存约束的情况下，选择使系统总代价最小的策略组合；

24、其中，所述无线带宽约束用于约束各用户在对应有效候选策略下所需占用的最小无线带宽之和小于或等于系统能分配的总无线带宽；

25、所述边缘服务器至云端服务器的回传带宽约束用于约束各用户在对应有效候选策略下所需占用的最小边缘服务器至云端服务器的回传带宽小于或等于系统能分配的总边缘服务器至云端服务器的回传带宽；

26、所述多用户显存约束用于约束模型分片的权重显存占用与各用户在对应有效候选策略下所需占用的键值缓存之和小于或等于节点的安全显存阈值。

27、根据本技术的某些实施例，在自回归生成阶段，当满足以下任一重评估触发条件，触发重新评估当前策略是否满足边界约束：

28、生成token的数量达到预设数量阈值；

29、当前链路有效传输速率下降；

30、当前键值缓存占用超过预警阈值；

31、当前队列负载超过预设队列负载阈值；

32、实际生成token数超过预测值；

33、新的节点协作推理请求到达且新的节点协作推理请求的优先级高于当前的节点协作推理请求。

34、根据本技术的某些实施例，当继续协作的剩余计算收益不大于剩余通信代价，判断为协作收益边界越界；

35、当节点当前已占用的键值缓存与后续剩余token在节点上预计新增的键值缓存之和超过安全显存阈值，判断为显存安全边界越界；

36、当剩余token长度、有效传输速率或时延约束导致当前策略不再满足单用户边界条件，判断为链路状态边界越界。

37、根据本技术的某些实施例，所述回退动作包括以下动作中的一种或多种：

38、停止后续token对应的中间激活特征activation的跨设备传输；

39、保持后续自回归生成阶段在当前键值缓存驻留节点或当前可执行子策略中执行；

40、将终端-基站-云端的协作回退为基站-云端的协作、终端-基站的协作或单节点执行；

41、降低低优先级请求的并发度；

42、延后不满足准入条件的新的节点协作推理请求。

43、上述方案至少具有以下的有益效果：

44、通过提出面向decode阶段的剩余协作收益边界判定机制，不再仅在推理开始前静态选择协作策略，而是在生成过程中根据剩余token、实时链路速率和activation传输代价判断继续协作是否仍具有正收益，能够避免链路恶化或输出长度增长后继续执行负收益协作策略；

45、通过将kv cache的驻留位置和动态增长量纳入协作边界判断，区分跨节点传输的activation和本地持续增长的kv cache，能够提前识别decode阶段可能出现的显存风险，避免仅依据初始显存状态准入而导致后续token生成过程中显存溢出或策略中断；

46、通过在边界不满足时执行与kv cache驻留位置相匹配的协作回退，能够在不迁移或少迁移大规模kv cache的情况下停止不必要的跨节点activation传输，并将协作策略回退到仍可执行的节点组合，从而降低通信开销、减少显存压力并提高长输出大模型推理的稳定性。