基于5G-A内生智能网元的大模型分布式协同推理方法及系统

本发明属于移动通信与人工智能交叉，具体涉及一种基于5g-a内生智能网元的大模型分布式协同推理方法及系统。

背景技术：

1、随着基于 transformer 架构的大语言模型的爆发式增长，在网络边缘实现低延迟、高隐私的大模型推理成为了智能网联汽车、工业控制及端侧智能助手等场景的核心诉求。目前的边缘推理和分布式大模型部署主要存在以下典型架构：

2、1.云侧高性能集群部署：终端设备通过广域网将请求转发至远程云端 gpu 集群，云端计算完成后将 token 序列返回给终端 。

3、2.纯端侧（on-device）本地推理：在手机、个人电脑或孤立的边缘设备上，通过模型量化、剪枝等技术压缩模型后进行本地单机推理 。

4、3.外挂式移动边缘计算（mec）： 在 5g 核心网外部挂载独立的 mec 服务器，通过标准的 ip 通道承载推理流量 。

5、现有技术存在的缺陷与痛点：

6、1.云侧部署的网络时延高且存在严重的隐私泄露风险：远程广域网链路存在长途多跳路由，带来巨大的网络时延和抖动，严重影响交互式大模型的首字响应时间ttft。同时，用户输入的 prompt提示词包含大量敏感信息，上传至外部公有云极易造成数据隐私泄露。

7、2.端侧设备硬件瓶颈限制，无法承载大参数模型：边缘单机和移动终端的显存容量和算力极度受限，面对 7b、13b 甚至更大参数量的模型时，存在“装不下”或推理速度极慢的问题。

8、综上所述，5g 内生通信网元算力闲置，缺乏ai推理内生架构：在现有的 5g-a 网络体系中，基站和用户面功能等网元部署了大量的硬件算力（如高性能通用 cpu、dsp 或fpga），但这些算力完全被局限在原生的通信功能（如信号处理、协议解析、数据路由转发等）中。由于缺乏内生的推理架构设计，网元无法解析推理任务特征，导致网络基础设施与算力基础设施彼此孤立，边缘巨大的闲置算力无法被有效利用。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于 5g-a 内生智能网元的大模型分布式协同推理方法及系统。

2、一方面，本发明提供一种基于 5g-a 内生智能网元的大模型分布式协同推理方法，包括：

3、s1、系统初始化分片部署：

4、基于5g-a网络架构，构建由用户设备ue、基站gnb、会话管理功能smf、集成于upf的ai推理网元aif组成的内生分布式推理系统；调度模块采集gnb与aif的显存、算力、n3链路带宽资源，将总层数为l的大语言模型纵向切分为前序k层、后序l-k层；将前序k层模型参数加载至aif，后序l-k层模型参数加载至gnb 内置轻量化推理引擎；

5、s2、控制面推理流定向引导：

6、ue 发起大模型推理会话并上传prompt数据流；smf识别该数据流为 ai 推理专用qos流，下发n4控制规则至upf，由aif拦截推理数据包，常规业务流量仍经由upf原生转发通道传输；

7、s3、aif执行前序模型层计算：

8、aif解析ue输入报文得到 token 序列，采用连续批处理完成 prefill 阶段前序k层前向传播，生成维度为 [b,s,h] 的中间激活张量；其中，b为批处理大小，s为序列长度，h为模型隐藏层维度；

9、s4、智能n3接口张量封装传输：

10、对 gnb 与 upf 间的 n3 接口进行 gtp-u 扩展，在 gtp-u 扩展报头嵌入推理元数据，推理元数据包含模型 id、分层索引 k、批处理大小 b、微批次索引；将中间激活张量序列化后封装至扩展 gtp-u 报文，通过 n3 链路传输至目标 gnb；

11、s5、基站接力完成剩余推理与 token 生成：

12、gnb 解析 gtp-u 扩展报头提取推理元数据，反序列化中间激活张量并绑定至对应用户推理上下文；轻量化推理引擎执行后序 l-k 层前向计算，经由解码层生成单步token；将 token 通过 5g 下行空口返回 ue，并保留上下文循环执行 decode 迭代直至生成结束符；

13、s6、自适应分布式并行模式切换调度：

14、调度模块实时监测 n3 链路带宽 b (t)、链路抖动 j (t)，基于通信量量化公式动态切换流水线并行 pp模式与张量并行 tp 模式：

15、当链路带宽不足或抖动超标时，启用 pp 模式，单次迭代通信量vpptotal=b×s×h×d，并同步开启微批次调度实现计算与通信时序重叠，其中，d为单数据类型字节长度；

16、当 gnb 与 aif 同址、链路带宽b(t)≥bthresh且抖动j(t)≤jthresh时，切换 tp 模式，tp 单层通信量vtplayer=4bshd，总通信量vtptotal=4ltpbshd；其中，bthresh表示带宽阈值，jthresh表示抖动阈值。

17、另一方面，本发明提供一种基于 5g-a 内生智能网元的大模型分布式协同推理系统，包括：

18、用户设备 ue，作为推理请求发起端，通过 5g 空口收发推理输入 prompt 与生成token；

19、基站 gnb，内置轻量化推理引擎，存储并执行大模型后序分层，集成 n3 扩展报文解包模块，完成张量反序列化与后段推理计算；

20、会话管理网元 smf，控制面策略调度单元，识别 ai 推理 qos 流，下发 n4 规则实现推理流量定向拦截；

21、ai 推理网元 aif，集成部署于 upf 服务器，内置高性能推理引擎、张量序列化模块、上下文缓存模块，承载大模型前序分层计算，生成中间激活张量；

22、升级智能 n3 接口，扩展 gtp-u 报文头部，支持嵌入推理元数据，作为 aif 与gnb 之间高维张量传输通道；

23、自适应调度模块，部署于 aif 或 smf 侧，实时采集 n3 链路带宽、抖动指标，基于通信量化公式动态切换 tp与pp 并行模式，下发微批次调度指令。

24、本发明的有益效果：

25、1.构建网络内生智能架构，激活网元闲置算力： 打破传统大模型云端部署或外挂mec 的模式，通过将大模型按层进行切分，深度集成于 5g 无线接入网（ran）与用户面网元（upf）中。在不破坏、不修改 3gpp 标准 5g 会话框架的前提下，实现网络基础设施向“智能计算节点”的内生转化，充分挖掘和池化gnb与核心网upf中物理相邻且空闲的计算资源。

26、2.实现跨网元流水线接力计算，保障数据隐私安全： 将大模型纵向切分为前序层与后续层，由集成了 ai 推理功能的全新用户面网元执行前半部分模型计算，再通过升级扩展的智能 n3 数据接口将中间激活张量无缝、高效地路由传输至基站，由基站完成剩余模型层计算与 token 生成。使整个自回归推理的生命周期完全保留在本地边缘网络域内，从根本上降低用户敏感提示词和生成内容的外部泄露风险。

27、3.提供基于量化通信理论的自适应协同调度策略： 针对 5g-a 边缘回传网络带宽受限、信道多变且存在固有空口抖动的特点，在系统调度中内置张量并行（tp）与流水线并行（pp）的单次自回归迭代通信量定量计算模型。通过理论公式对比（证明 tp 的通信量与层数呈线性正比且远大于 pp），实现分布式并行模式的智能动态降级与按需选择。通过微批次调度隐藏通信延迟，确保系统在有限的网络资源下具备极高的时延稳健性。

28、4.实现边缘数据全内生闭环，提供通信级别的隐私安全： 传统方案需要将用户原始的敏感提示词和完整的自回归上下文高频上传至外部公有云，存在严重的隐私泄露隐患。本发明通过内生网元架构，使用户推理请求的整个生命周期在本地5g-a局域网内部完成流转。暴露给外部网络的流量为零，实现了通信级别的隐私硬隔离。

29、5.化整为零池化网元算力，达成零硬件升级商用成本： 本发明利用现网中已经部署的基站服务器以及核心网通用服务器中未被充分利用的空闲计算资源进行虚拟化池化与接力计算。不需要额外在边缘投资采购昂贵的ai专用独占算力卡或重构物理网络，通过纯软件层面对标准网元功能的内生扩展，即可以极低的能效比使分布式现网设备协同承载起百亿级的大模型边缘推理业务，具有极高的产业落地与商用价值。