一种云边协同推理方法、设备及介质
本发明涉及云边协同计算与大型语言模型推理,具体是涉及到一种云边协同推理方法、设备及介质。
背景技术:
1、随着物联网(internet of things,iot)、5g通信技术以及人工智能(artificialintelligence,ai)的迅猛发展,全球数据产生量呈指数级增长,海量数据的实时处理需求急剧增加。这一趋势促进了云计算与边缘计算的深度融合,即云边协同计算的兴起。在云边协同计算架构中,云端数据中心和边缘侧设备(如智能网关、边缘服务器、高性能终端)共同承担数据处理与推理任务,旨在实现算力资源的高效编排与延迟优化之间的平衡。
2、近年来,以transformer架构为基础的大型语言模型(llm)在自然语言处理、代码生成、文本理解等领域展现出卓越的能力。以deepseek、qwen等大模型为例,其在代码生成、复杂逻辑推理等任务上的表现已接近人类专家水平。然而,llm的推理过程具有显著的资源密集型特征,通常需要庞大的显存、高昂的算力以及巨大的能耗,这导致了高延迟和高昂的服务成本。虽然deepseek等模型的推理成本已大幅压缩,但在面对海量终端并发请求时,其累积成本和网络传输延迟依然会在一定程度上限制其实时应用的普及。
3、传统的云边协同研究主要聚焦于基于卷积神经网络(cnn)的视觉任务或简单的分类任务,其协同模式通常是基于模型层的静态切分。然而,这种分布式异构计算模式在大型语言模型推理场景中面临着全新的挑战。llm的自回归生成特性决定了其推理过程必须维护巨大的键值缓存,且每一层计算都存在强依赖关系,简单的模型切分会导致云边之间频繁的通信交互,反而增加了端到端延迟。
4、此外,边缘智能技术的快速发展为在资源受限的边缘设备上部署深度学习模型提供了新的解决方案。通过模型压缩、量化、知识蒸馏等技术,可以在边缘设备上部署参数量较小的小规模语言模型。虽然边缘小模型具有低延迟、数据隐私性好、无带宽成本等优势,但其推理能力有限,在处理复杂任务(如复杂的代码逻辑生成、长文本摘要)时,生成结果的质量往往不稳定,容易产生逻辑错误或幻觉。
5、在工业物联网、自动驾驶等关键任务场景中,物联网设备需要实时处理大量感知数据并进行智能决策。如果完全依赖边缘小模型,生成结果的质量波动可能引发严重后果(如自动驾驶中的错误指令);如果完全依赖云端大模型,则会引入不可接受的网络传输延迟和高额计算成本。更为复杂的是,云边网络环境具有高度的动态性,网络带宽、节点负载、任务复杂度都在实时变化,传统的静态资源分配策略无法适应这种动态变化的需求。
6、目前,针对云边协同推理的现有技术方案主要包括以下几类:
7、第一,所有推理任务均由端侧设备采集后,通过网络上传至云端数据中心处理。该模式利用云端强大的gpu集群运行千亿参数级的大模型,保证了最高的推理精度和生成质量。但受限于广域网带宽和物理传输距离,端到端延迟较高,且存在明显的长尾效应。随着用户量的增加,云端并发压力剧增,单位推理成本高昂。此外,敏感数据上传云端存在隐私泄露风险。
8、第二,将量化后的小模型直接部署在边缘侧,数据不出域,隐私性好,无传输延迟,无需支付云端api费用。但边缘设备算力有限,通常只能运行参数量较小的量化模型。在处理复杂逻辑(如长代码生成、复杂语义理解)时,推理精度无法满足工业级要求,生成内容的可用性低,生成质量不如云端模型稳定。
9、第三,早期云边协同系统通常采用简单的规则进行任务分配,例如按照固定的比例或随机概率将任务分发。该策略实现简单,无需复杂的决策逻辑和状态监控。但该策略无法感知任务的具体难易程度和当前的系统状态(网络拥塞、计算负载),简单的任务可能被发送到云端浪费资源,困难的任务可能被留在边缘导致执行失败,无法在动态变化的环境中保持系统的最优性能。
10、第四,将一个大神经网络切分为两部分,前几层在边缘运行,提取中间特征后传输至云端,由云端完成后续层的计算。该策略旨在减少传输数据量。但对于自回归生成式的大语言模型,由于不仅涉及前向传播,还涉及kv cache的维护和逐token生成的交互,模型分割会带来巨大的通信开销,且中间层数据的体积往往大于原始输入文本,导致传输开销反而大于计算节约,在llm场景下通常不具备实用性。
11、可见,现有技术主要存在以下不足:
12、第一,边缘设备部署的小规模模型在处理复杂代码生成任务时,输出结果可能呈现局部语法正确但整体逻辑错误的复合缺陷。现有云边协同方案通常在请求到达阶段依据任务描述、历史上下文或系统状态决定执行路径,未针对边缘模型已经生成的候选代码本身建立可在较少时间内完成的质量验收机制。若直接返回候选结果,可能把错误代码交付给用户;若一律交由云端复算,又会丧失边缘侧低延迟、低带宽占用和低云端成本优势。
13、第二,现有静态或规则式分流策略通常只根据网络延迟、节点负载等外部状态调节路由,未把候选结果可用性作为与网络传输成本、边缘负载和云端排队成本共同作用的判定量。实际场景中,同一质量分数在不同网络与负载条件下对应的最优决策不同,现有技术无法将质量预测分数与系统状态共同映射为动态验收边界,而是采用孤立的固定阈值。
14、第三,llm推理场景不仅关注延迟,更关注生成质量和计算成本。现有技术难以在满足推理延迟约束的同时,最大化推理质量并最小化计算成本,缺乏统一的数学模型将质量、延迟、成本三个维度纳入同一个优化框架中,导致系统往往只能顾此失彼。
15、第四,传统协同计算框架多针对判别式任务或请求级任务调度,其输出形式通常为标签、概率或固定维度特征;而代码生成等llm任务输出为变长序列,既要考虑语法可运行性,也要考虑指令满足度、控制流一致性和边界用例覆盖情况。现有方案缺少将候选代码、质量预测模型、动态验收边界和后续云端兜底数据回流训练结合起来的结果级协同机制。
技术实现思路
1、本发明提供了一种云边协同推理方法、设备及介质,其目的是解决现有云边协同推理架构中缺乏针对边缘小模型生成候选结果之后的结果级质量仲裁机制、无法将候选结果可用性预测与动态系统状态联合映射为分流决策,从而导致难以在低延迟、高生成质量和低成本之间实现动态最优平衡的技术问题。
2、为实现上述目的,本发明第一方面提供了一种云边协同推理方法,包括如下步骤:
3、接收用户发送的推理请求;
4、调用本地部署的小规模模型对所述推理请求进行推理,生成候选结果;
5、调用本地部署的得分预测模型,将所述推理请求和所述候选结果作为联合输入,输出所述候选结果的可用性预测分数;
6、获取当前系统状态参数,所述系统状态参数包括网络延迟、边缘节点利用率和云端节点利用率;
7、以最小化加权延迟与计算成本为优化目标,根据所述系统状态参数计算动态效用验收边界;
8、比较所述可用性预测分数与所述动态效用验收边界,若所述可用性预测分数满足所述动态效用验收边界的判定条件,则将所述候选结果返回给用户;否则,将所述推理请求转发至云端节点;
9、调用本地部署的大规模模型对所述推理请求进行推理,生成高质量结果,并将所述高质量结果返回给用户。
10、进一步的,调用本地部署的小规模模型对所述推理请求进行推理,生成候选结果的方法包括:
11、获取所述推理请求中包含的用户指令或任务描述信息;
12、将所述用户指令或任务描述信息作为输入,加载边缘节点本地部署的轻量级大语言模型,其中,所述轻量级大语言模型为qwen2.5-coder模型;
13、由所述轻量级大语言模型对所述输入进行自回归前向推理计算,生成与所述用户指令或任务描述信息对应的初始输出序列;
14、对所述初始输出序列进行解析和格式化处理,提取其中满足预设代码格式或函数签名要求的有效代码片段,作为所述候选结果。
15、进一步的,所述得分预测模型通过以下步骤预先训练获得:
16、构建训练数据集,所述训练数据集包含多个样本,每个样本包括用户指令、候选代码以及对应的真实评分标签;
17、对于每个样本,将所述用户指令和所述候选代码拼接为联合输入序列,输入至基于codebert的编码器,获取所述联合输入序列的全局表征向量;
18、将所述全局表征向量输入多层感知机回归头,经sigmoid激活函数输出所述候选代码的预测概率值;
19、以所述真实评分标签作为监督信号,采用加权logistic损失函数计算损失值,通过反向传播算法更新所述codebert编码器和所述多层感知机回归头的网络参数,直至所述损失值收敛,得到训练完成的得分预测模型。
20、进一步的,所述构建训练数据集包括:
21、从预设的代码生成任务数据集中提取用户指令和对应的测试程序,所述测试程序包含多个测试用例;
22、对于每个用户指令,调用不同规模的生成模型分别进行多次推理,生成多个候选代码;
23、对每个候选代码执行所述测试程序,首先判断所述候选代码是否可编译或可解释运行,若不可运行则将该候选代码的真实评分标记为0分;
24、若可运行,则在预设的时间和内存限制下运行所述测试程序,统计所述候选代码通过的测试用例数量与测试用例总数的比值,根据所述比值将所述候选代码的真实评分赋值为0至100分之间的数值;
25、将所述用户指令、所述候选代码以及对应的真实评分作为一个训练样本,存入所述训练数据集。
26、进一步的,调用本地部署的得分预测模型,将所述推理请求和所述候选结果作为联合输入,输出所述候选结果的可用性预测分数的方法包括:
27、将所述推理请求中的用户指令与所述候选结果进行拼接,生成“[cls]用户指令[sep]候选代码[eos]”格式的联合输入序列;
28、将所述联合输入序列送入基于codebert的编码器,通过所述编码器的多头自注意力机制提取所述用户指令与所述候选代码之间的交互特征,并获取所述联合输入序列中[cls]令牌对应的隐藏状态,作为融合指令意图信息和候选代码结构信息的全局表征向量;
29、将所述全局表征向量输入多层感知机回归头,经过非线性映射和降维处理,输出所述候选结果的质量预测值;
30、其中,所述多层感知机回归头采用基于执行反馈标签的加权logistic损失函数进行参数微调,所述加权logistic损失函数用于在训练过程中对低质量候选结果的预测偏差赋予高于高质量样本的惩罚权重,以使模型输出的质量预测值作为所述可用性预测分数。
31、进一步的,所述加权logistic损失函数具体为:
32、
33、其中,表示预设的二值化目标标签;表示所述多层感知机回归头经sigmoid激活函数处理后输出的概率预测值;表示基于所述候选结果通过执行评估器统计测试用例通过比例所赋的0至100分的真实评分。
34、进一步的,根据所述系统状态参数计算动态效用验收边界的方法包括:
35、获取预设的基础验收边界,所述基础验收边界为在基准网络状态和基准负载状态下候选结果可直接返回所需的最低质量分数;
36、按照以下公式计算动态效用验收边界:
37、
38、其中,为动态效用验收边界;为预设的基础验收边界;为当前测量的网络延迟,为网络延迟的归一化参考最大值,为预设的网络延迟调节系数;为当前测量的边缘节点利用率,为当前测量的云端节点利用率,为利用率的归一化参考最大值,为预设的负载均衡调节系数。
39、进一步的,比较所述可用性预测分数与所述动态效用验收边界的比较方法包括:通过判断所述可用性预测分数是否大于或等于所述动态效用验收边界。
40、进一步的,将所述推理请求转发至云端节点之前,还包括:
41、获取所述候选结果及其对应的所述可用性预测分数;
42、将所述推理请求、所述候选结果和所述可用性预测分数封装为云端兜底请求数据包;
43、将所述云端兜底请求数据包通过广域网发送至云端节点,作为所述云端节点进行深度推理的输入上下文信息。
44、为实现上述目的,本发明第二方面提供了一种电子设备,包括存储器以及处理器,所述存储器用于存储支持处理器执行所述云边协同推理方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
45、为实现上述目的,本发明第三方面提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行所述云边协同推理方法的步骤。
46、本发明的有益效果:
47、与现有技术相比,本发明提供的一种云边协同推理方法、设备及介质,通过在边缘小模型完成候选结果生成之后,调用经代码生成评分任务微调的指令-代码联合评分器对用户指令-候选结果二元组进行无参考质量预测,将语义一致性、语法完整性与逻辑可运行性压缩为候选结果可用性分数,从而在边缘侧建立无需调用云端参考答案即可快速判别候选结果是否可用的结果级质量仲裁机制,解决了现有方案在请求路由阶段无法感知候选输出本身质量的问题;其次,本发明将候选结果可用性预测分数与当前网络延迟、边缘节点利用率和云端节点利用率等系统状态参数共同输入动态效用验收边界的计算,使同一质量分数在不同网络与负载条件下对应不同的最优路由决策,即通过将边缘直接返回期望效用与云端兜底期望效用的比较边界在线修正,使质量预测分数不再是孤立的固定阈值,而是随系统状态漂移的自适应判定量,从而解决了分流阈值与质量分数之间缺少效用耦合的问题;再次,本发明通过构建统一的优化目标函数,将延迟、质量和成本三个维度纳入同一个优化框架中,使系统在最小化加权延迟与计算成本的同时以动态边界作为约束确保候选结果的质量可用性,避免了现有技术只能顾此失彼的困境;最后,本发明构建了基于执行反馈的代码评分数据集,并支持将云端兜底生成的高质量结果与后续执行反馈回流至评分模型训练过程,使边缘评分器逐步适配具体任务分布,形成边缘生成-质量评分-效用判定-云端兜底-数据回流的闭环校准机制,解决了传统协同框架缺乏针对生成式变长输出的结果级验收与闭环校准的问题,从而在低延迟、高生成质量和低成本之间实现了动态最优平衡。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com