画像引导的云收益阈值路由与有状态需求估计方法及系统

本发明属于云-边体系下大模型推理，具体涉及一种画像引导的云收益阈值路由与有状态需求估计方法及系统。

背景技术：

1、随着大语言模型在长上下文任务中的广泛应用，云-边协同推理架构成为兼顾算力与成本的重要部署方式。云端具备更强算力，但受云调用预算、隐私策略、带宽与服务部署约束；边缘节点具备有限工作节点，但可承载隐私敏感或低延迟需求的请求。

2、现有技术中，数据中心侧的前缀/上下文缓存复用方案（如专利us20250291722a1）其缓存决策仅依据前缀复用频次，未考虑云端调用预算以及跨“云-边”链路的状态迁移对路由的影响，也未涉及由离线画像估计的云收益阈值及面向slo的准入控制。云-边协同的神经网络/大模型卸载与拆分方案（如专利cn113169990a），面向无状态的dnn计算图分割，分割单元是固定计算模型的节点，不建模随请求跨边界存在、可复用的前缀/会话状态，未考虑云端调用预算上限，无“由预算决定阈值”的路由判据，也无slo准入控制。另有方案（如专利cn119201476b）侧重按提示树局部感知把预填充/解码拆分到不同执行实例，未涉及由画像段估计的云收益阈值、云调用预算上限约束、“隐私/预算/阈值”联合门控，也未涉及基于拒绝配额的slo准入。

3、上述现有技术存在以下缺点：其一，路由视角无状态化，把长上下文请求当作可独立路由的输入，无法区分“前缀已缓存的长请求”与“需完整重算上下文的长请求”，导致把稀缺的云调用预算花在边际价值低的请求上；其二，预算与收益脱节，传统预算化策略只做“按比例限制上云次数”，未把“云收益”作为每类请求的判据，造成预算被浪费或被保守阈值锁死；其三，收益估计忽略可复用状态，未把“缓存命中带来的未缓存上下文减少”计入需求估计；其四，忽略过载，过载时若不加区分地接纳所有请求，排队延迟导致slo有效吞吐崩塌。

4、综上所述，需要一种联合方案来克服上述缺陷。

技术实现思路

1、为解决上述问题，本发明公开了一种画像引导的云收益阈值路由与有状态需求估计方法及系统，建立了“画像引导阈值路由+云调用预算+状态相关需求估计”在云-边环境下的联合方案，把三者从各自独立的局部优化，形成一个闭环的全局决策机制，实现低尾延迟、预算利用率高和slo有效吞吐。

2、为达到上述目的，本发明的技术方案如下：

3、画像引导的云收益阈值路由与有状态需求估计方法，包括以下步骤：

4、s1接入与解析：接收长上下文请求，解析出负载来源、任务类型、会话标识、前缀标识、新提示长度、历史长度、输出长度、隐私等级与到达时刻；

5、s2未缓存上下文接入：从状态缓存管理模块获取命中标志与未缓存上下文长度；命中越多，待预填充部分越小；

6、s3需求估计：分别估计边缘、云端、拆分三种方案的需求，并叠加当前各工作节点的排队延迟，得到含排队延迟的预估完成延迟；

7、s4云收益计算：求边缘需求与云端需求之差，得到该请求的云收益；

8、s5隐私门控：若请求隐私等级不允许上云，则直接走边缘执行s6；否则进入云预算/阈值门控s7；

9、s6边缘执行：在边缘节点执行该请求，不占用云端调用预算；

10、s7预算与阈值门控：仅当“已用云调用占比低于云调用预算，且云收益不低于该分组阈值”才考虑上云；否则走边缘执行s6；

11、s8拆分收益判定：在允许上云的候选里评估拆分执行，仅当“计算节省－状态迁移代价”为净收益且优于整云时才选择拆分s9；否则选择整云卸载s10；

12、s9拆分执行：由云端完成预填充、边缘完成解码，仅当拆分净收益为正时被选中；

13、s10云端卸载执行：把请求整体卸载到云端执行；

14、s11准入判定：对将要落到边缘/云端的请求，用当前工作节点可用性预测其完成延迟；若超过slo触发值且拒绝配额未耗尽，则拒绝s12，且不占用工作节点时间与云预算；

15、s12拒绝请求：不占用工作节点时间与云调用预算；

16、s13派发与记录：派发执行，并记录云调用占比、延迟、slo有效吞吐与拒绝率等指标。

17、作为本发明的一种补充，所述云收益阈值由离线画像段按“任务类型×负载来源”分组，用云调用预算决定的分位数计算得到。

18、云收益：

19、；

20、云收益阈值（画像段计算，按分组 ）：

21、；

22、其中，、为边缘需求与云端需求，为负载来源，为画像段请求集合，为隐私等级，为分位数算子，表示在该分组且允许上云的请求集合上取云收益的分位数，为云调用预算占比上限。

23、作为本发明的一种补充，步骤s7里，当画像阈值偏保守导致云调用预算未被用满时，执行预算填充校正，下调阈值以用足预算。

24、作为本发明的一种补充，步骤s2里，所述未缓存上下文长度为请求总上下文中必须在服务端点重新预填充的部分，由总长度减去已命中缓存的前缀长度与会话长度得到。

25、作为本发明的一种补充，步骤s3里，云端需求、边缘需求与拆分需求：

26、；

27、；

28、；

29、其中拆分式中的  项显式为“状态迁移代价”，是拆分是否划算的关键。

30、、、分别为云端/边缘/拆分需求，为设备-云端往返时延，为输入传输时间，为边缘输入传输时间；为输入token量与待迁移token量，为设备-边缘往返时延，、为边-云往返时延/迁移传输时间；、为云端预填/解码系数，、为边缘预填/解码系数；为总上下文字长，；为可复用前缀长度；为可用历史长度，为新提示长度，为未缓存上下文长度，由状态缓存管理模块按命中标志折算并提供；为输出长度，为每token可复用状态的字节占用，

31、含排队延迟的预估完成延迟：

32、；

33、其中，为到达时刻，为资源上工作节点的下一个可用时刻，为资源的工作节点集合，为被选中的工作节点，r{e,c,s}分别对应边缘、云端、拆分需求，则为对应的边缘、云端或拆分的服务需求。

34、作为本发明的一种补充，满足步骤s5和s7合取条件有三项：

35、（1）在线路由判定：

36、；

37、其中，为隐私等级；为服务请求  前已消耗云调用占比，为云调用预算占比上限，为任务类型×负载来源分组的云收益阈值，为请求所属分组的阈值。

38、（2）准入判定：

39、；

40、其中为预测完成延迟，为slo触发保护系数，为slo目标，为当前拒绝数，为拒绝配额；

41、（3）约束与评价指标：

42、；

43、；

44、其中，为请求总数，为统计时间窗，为策略对请求选定的动作，为slo有效吞吐，为拒绝率，为云调用预算占比上限，为请求的服务完成延迟。

45、作为本发明的一种补充，步骤s9里，所述拆分执行的需求估计中显式计入状态迁移代价，所述状态迁移代价按未缓存状态体积计。

46、作为本发明的一种补充，步骤s11里，所述slo准入判定中，被拒绝的请求不占用云端或边缘工作节点时间，也不占用云调用预算。

47、本发明的场景与参与者：本发明面向“云-边协同的长上下文大模型推理服务系统”，执行主体为部署在云-边体系中的长上下文大模型在线决策控制单元；参与者包括用户侧设备（发起长上下文请求）、边缘节点（具备有限个工作节点）以及云端后端（具备更快算力，但受云调用预算、隐私策略、带宽与服务部署约束）。

48、本发明所述的标题对象如何进入系统：用户设备发起的长上下文请求会携带可复用状态——包括共享前缀（重复系统提示、检索文档前缀、共享任务模板）与多轮会话历史。请求经网关解析出元数据——负载来源、任务类型、会话标识、前缀标识、新提示长度、历史长度、输出长度、隐私等级与到达时刻——之后进入在线决策控制单元；控制单元从状态缓存管理模块获取该请求对应的“未缓存上下文长度”（由命中标志折算），再据此估计云收益并作出路由与准入决策。

49、本发明所述的云收益：是对同一请求，“在边缘执行”与“在云端执行”两种方案预估需求的差值，取正值表示云端更快、值得上云。

50、本发明所述的云收益阈值：是针对某个“任务类型×负载来源”分组，由云调用预算决定的分位数，用于判定该分组请求“值得上云”的最低云收益。

51、本发明所述的可复用状态：跨请求可复用的中间表示，分为“前缀态”（共享提示/检索文档前缀）与“会话态”（多轮会话/多轮任务累积历史）。

52、本发明所述的slo有效吞吐与拒绝率：在slo时限内完成且未被拒绝的请求吞吐；被拒绝请求占总请求的比例。二者联合评估准入控制。

53、本发明还介绍了一种画像引导的云收益阈值路由与有状态需求估计系统，包括：

54、请求特征编码器，用于把到达的长上下文请求映射为统一元组；元组包括负载来源、任务类型、会话标识、前缀标识、新提示长度、历史长度、输出长度、隐私等级、到达时刻；

55、未缓存上下文接入单元，用于接收状态缓存管理模块回传的状态命中标志与未缓存上下文长度，并把该长度纳入边缘/云端/拆分需求估计，使云收益估计能区分前缀已缓存与需重算上下文；

56、需求估计器，用于分别估计边缘执行、云端执行、拆分执行三种方案的需求并叠加工作节点排队延迟，输出含排队延迟的预估完成延迟；

57、云收益画像存储单元，保存来自画像段的“云收益分布与阈值”，按“任务类型×负载来源”分组存储由云调用预算决定的云收益阈值，供在线路由门控查询；同时记录预算用量，支撑预算填充校正；

58、路由/门控层，按“隐私允许→云预算未耗尽→云收益≥阈值”的联合条件决定是否上云，并在允许上云时评估拆分执行；输出“边缘执行、云端卸载、拆分执行、拒绝”四选一动作；

59、slo准入控制器，在路由决策之后，用当前工作节点可用性预测请求完成延迟；若超过slo触发值且拒绝配额未耗尽，则拒绝该请求，且不占用云端/边缘工作节点时间；输出slo有效吞吐与拒绝率；

60、执行调度器，按选定动作把请求派发到边缘工作节点或云端节点执行，并维护各工作节点的下一个可用时刻，供需求估计与准入判定使用；同时记录云调用占比、延迟与吞吐等指标。

61、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。

62、本发明还提供一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

63、本发明的有益效果为：

64、（1）预算受限下显著消除尾延迟灾难：通过画像引导的云收益阈值路由，把有限云调用花在边际价值最高的请求上；在公开长上下文/多轮对话数据集构造的负载下，p95延迟相较朴素预算基线降低约97%~98%，相较“画像引导但无状态”的消融也降低约14%。

65、（2）收益估计区分已缓存/需重算：由“未缓存上下文长度”折算云收益，使路由能识别“前缀已缓存”的便宜请求与“需完整重算”的昂贵请求，避免把预算浪费在低收益请求上。

66、（3）预算防浪费防锁死：阈值由预算本身决定（分位数），配合预算填充校正，避免“保守阈值锁死预算”或“一味用满预算却低收益”的两种故障模式。

67、（4）显式状态迁移定价，避免错误拆分：拆分需求式显式计入，使“计算节省－迁移代价”为净收益时才选中拆分，从而避免在状态迁移昂贵时错选拆分。

68、（5）非凝视、免语义标签、易部署：请求元数据只需网关已知的来源/任务/会话/前缀/近似token长度即可，不依赖未来信息、不要求语义标签或模型质量预测，可由简单在线规则运行。

69、（6）过载下保护slo有效吞吐：准入控制以工作节点可用性预测完成延迟，超阈值且拒绝配额未耗尽时拒绝；在约4倍请求过载下，30秒级slo有效吞吐由约9.5×10²提升到约1.6×104请求/小时，拒绝率约10%，且以有效吞吐+拒绝率联合评估如实披露代价。