内存访问方法及基于CXL池化内存与光互联的推理系统与流程

摘要: 本发明涉及计算机体系结构、存储访问及光互联,具体涉及一种内存访问方法及基于cxl池化内存与光互联的推理系统。背景技术:1、随着大语言模型(largelangua...
内存访问方法及基于CXL池化内存与光互联的推理系统与流程

本发明涉及计算机体系结构、存储访问及光互联,具体涉及一种内存访问方法及基于cxl池化内存与光互联的推理系统。

背景技术:

1、随着大语言模型(large language model,llm)参数规模从千亿级向万亿级持续演进,混合专家(mixture of experts,moe)架构凭借“总参数规模大、单次推理稀疏激活”的特征,已成为提升模型容量与推理效果的重要技术路线。moe模型在单个推理步中通常仅激活少量专家,但全量专家参数仍需可靠存储并在路由确定后及时供给计算核心,由此使系统同时面临内存容量、专家参数供给带宽、跨节点访问时延以及资源利用效率等多重约束。当前产业部署普遍采用高带宽内存本地驻留、专家并行集群或外部内存扩展等路径,但各类方案均只能解决其中部分问题,尚不能同时满足大容量、低延迟、高带宽、高算力利用率及弹性扩展五项要求。

2、目前产业部署主要采用以下方案:

3、1、片内uma统一内存架构:

4、片内统一内存架构(unified memory architecture,uma)将cpu、gpu、npu等异构计算核心集成于同一soc或封装体系,并使各计算单元共享统一物理内存和一致的虚拟地址空间。其主要优势在于消除主机内存与设备显存之间的显式复制,依托片内互连和高带宽封装内存获得较低访问时延,适用于端侧大模型、工作站推理、图形计算及中小规模模型的单机部署。代表性产品形态包括采用统一内存的高端soc、ai pc处理器以及集成cpu/gpu/npu的异构计算平台。

5、2、基于rdma/ib的专家并行集群:

6、专家并行(expert parallelism,ep)通常将不同专家权重切分驻留于不同gpu或服务器节点,moe路由器根据token特征确定目标专家后,通过infiniband、roce或以太网rdma执行all-to-all、all-to-all-v等集体通信,将token发送至专家所在节点并回收计算结果。该方案已广泛用于多gpu训练集群和大模型在线推理集群,能够借助增加服务器数量横向扩展总显存容量。

7、3、传统电信号cxl内存扩展方案:

8、传统计算快速链路(cxl)内存扩展采用cxl type-3内存设备、cxl aic扩展卡或jbom内存机箱,通过cxl.mem向主机提供可统一编址的扩展容量,并可由cxl交换机和fabric manager实施设备枚举、主机绑定、动态容量分配和多主机资源管理。该方案适用于内存数据库、虚拟化、hpc及大内存ai服务,可在不增加同等数量计算芯片的情况下扩展主机内存。

9、上述现有技术存在以下缺陷:

10、物理层方面,电cxl具备低时延特性但传输距离受限,rdma/ib可支持更长距离互联但通常引入更高的软件与网络处理开销,在跨机架部署时难以同时兼顾内存访问语义、低访问时延和传输距离。

11、架构方面,gpu服务器将高价值计算核心与本地内存固定绑定,为容纳全量专家参数需增加完整计算节点,即便目的仅为扩展容量。moe每步仅激活少量专家,大量冷参数长期占据昂贵本地内存,造成内存闲置与算力过配并存。

12、调度方面,在传统按需访问方案中,通常在moe路由结果确定后才发起远端专家权重读取,使远端访问进入推理关键路径;无差别预取则可能造成带宽浪费和缓存污染。

13、带宽方面,现有方案将完整权重搬运至计算节点后执行少量运算,互联链路因无效搬运而拥塞,缺乏近存计算意味着无法在数据侧完成筛选和压缩。

14、软硬件协同方面,在部分通用cxl内存扩展软件栈中,远端内存主要按通用内存资源进行管理,上层moe路由概率和专家热度等语义难以直接下沉至硬件或池化控制器,从而限制了基于推理状态进行预取、优先级调度和缓存淘汰的能力。

15、综上,现有方案无法在同一架构内同时实现大容量、低延迟、高带宽、高算力利用率及弹性扩展。

技术实现思路

1、本发明的目的是提供一种内存访问方法及基于cxl池化内存与光互联的推理系统,用以解决现有技术中存在的上述问题。

2、为了实现上述目的,本发明采用以下技术方案:

3、第一方面,本发明提供了一种内存访问方法,应用于基于cxl池化内存与光互联的推理系统,基于cxl池化内存与光互联的推理系统包括多个轻量化uma计算节点、cxl光电融合交换网络和全局共享内存池,包括:

4、轻量化uma计算节点在推理过程中执行当前transformer层注意力计算时,通过部署于所述轻量化uma计算节点本地的早期预测网络预测各专家被激活的概率;

5、轻量化uma计算节点获取当前可用cxl光链路的可用带宽,基于所述可用带宽确定出动态预取阈值,将被激活的概率大于所述动态预取阈值的专家纳入候选预取集合,并向全局共享内存池发送针对所述候选预取集合中各专家的权重参数的异步预取操作,以将所述候选预取集合中各专家的权重参数从全局共享内存池传输至轻量化uma计算节点的本地缓存;

6、在当前transformer层注意力计算完成后,若存在预取未命中的目标专家权重,则轻量化uma计算节点对所述目标专家权重发起同步读取,并在所述目标专家权重返回后执行后续专家计算;

7、在当前transformer层的推理完成后,轻量化uma计算节点更新本地缓存中各专家的热度值,并当本地缓存容量达到容量阈值时,按照热度值由低到高依次将一个或多个专家对应的权重参数标记为无效并回收缓存空间,直至本地缓存占用低于所述容量阈值。

8、在一个可能的设计中,所述方法还包括:

9、初始化基于cxl池化内存与光互联的推理系统;

10、所述初始化基于cxl池化内存与光互联的推理系统,包括:

11、对轻量化uma计算节点、cxl光电融合交换网络和全局共享内存池进行光引擎校准;

12、通过cxl.io执行设备发现与枚举,并获取交换端口、type-3内存设备及其能力信息;

13、对轻量化uma计算节点、cxl光电融合交换网络和全局共享内存池进行全局hdm地址空间分配;

14、装载moe大语言模型并建立cxl光电融合交换网络的缓存一致性目录。

15、在一个可能的设计中,在初始化基于cxl池化内存与光互联的推理系统之后,所述方法还包括:

16、全局共享内存池根据专家的访问频率、预测命中率、权重大小和服务等级,将专家的权重参数动态存储在热数据层、温数据层和冷数据层;

17、池化控制器根据系统中各moe大语言模型的实例并发数、kv cache增长率以及链路利用率生成容量调整策略,并基于所述容量调整策略对dcd执行动态容量分配或释放,维护相应的地址映射和访问权限;

18、当基于cxl池化内存与光互联的推理系统的吞吐不足时,新增轻量化uma计算节点并为其建立与已有moe大语言模型的模型权重的共享映射。

19、在一个可能的设计中,所述方法还包括:

20、cxl光电融合交换网络为各关键节点分配至少两条物理独立光路径;

21、当cxl光电融合交换网络检测到任一光链路误码率升高、光功率下降或链路中断时,停止向故障光链路发送新事务,并在备用光链路上重发或恢复未完成请求;

22、当不超过n-k个内存模组失效时,存储池中的池化控制器或近存计算单元利用剩余数据和校验分片恢复缺失内容,并重建至备用模组,其中,存储池中专家的权重参数及缓存一致性目录采用rs(n,k)纠删码或等效冗余编码方式分布于多个物理独立的内存模组中,n表示总分片数量,k表示数据分片数量;

23、当任一存储池中的内存区域发生迁移时,池化控制器在旧地址映射与新地址映射之间设置过渡状态,在所述过渡状态有效期间,阻止所有针对所述任一存储池中内存区域的并发写入请求,并在迁移完成后切换至新映射。

24、在一个可能的设计中,专家被激活的概率为,其中,表示在给定输入token特征x的前提下,第i个专家被早期预测网络预测为被激活的概率,表示第i个专家被激活的事件,表示早期预测网络的权重矩阵,x表示输入token的特征向量,表示早期预测网络的偏置向量,表示温度参数,softmax(·)i表示softmax激活函数。

25、在一个可能的设计中,基于可用带宽确定的动态预取阈值为,其中,表示基础阈值,表示拥塞惩罚系数,表示当前可用cxl光链路的可用带宽,表示当前可用cxl光链路的最大理论带宽。

26、第二方面,本发明提供了一种基于cxl池化内存与光互联的推理系统,包括多个轻量化uma计算节点、cxl光电融合交换网络和全局共享内存池,所述cxl光电融合交换网络分别与所述多个轻量化uma计算节点和所述全局共享内存池通信连接;

27、所述轻量化uma计算节点用于在推理过程中执行当前transformer层注意力计算时,通过部署于所述轻量化uma计算节点本地的早期预测网络预测各专家被激活的概率;

28、获取当前可用cxl光链路的可用带宽,基于所述可用带宽确定出动态预取阈值,将被激活的概率大于所述动态预取阈值的专家纳入候选预取集合,并向全局共享内存池发送针对所述候选预取集合中各专家的权重参数的异步预取操作,以将所述候选预取集合中各专家的权重参数从全局共享内存池传输至轻量化uma计算节点的本地缓存;

29、在当前transformer层注意力计算完成后,若存在预取未命中的目标专家权重,则对所述目标专家权重发起同步读取,并在所述目标专家权重返回后执行后续专家计算;以及

30、在当前transformer层的推理完成后,更新本地缓存中各专家的热度值,并当本地缓存容量达到容量阈值时,按照热度值由低到高依次将一个或多个专家对应的权重参数标记为无效并回收缓存空间,直至本地缓存占用低于所述容量阈值。

31、在一个可能的设计中,所述cxl光电融合交换网络采用双层拓扑结构或星型拓扑结构。

32、在一个可能的设计中,所述cxl光电融合交换网络采用spine-leaf拓扑结构,所述cxl光电融合交换网络包括leaf交换层和spine交换层,所述leaf交换层用于汇聚轻量化uma计算节点或全局共享内存池端口,所述spine交换层用于完成跨leaf路由和多路径转发。

33、本发明具有如下有益效果:

34、1、架构成本维度:降低内存副本与计算资源捆绑造成的总体拥有成本。

35、本发明将全量专家权重参数存储于全局共享内存池,轻量化uma计算节点仅保留热数据与运行时缓存,在专家权重参数占总体内存主要比例、多个推理副本共享同一模型的场景下,可减少重复权重副本。该集中存储由全局共享内存池完成,有利于减少多处容量碎片、跨板管理状态和重复池控制逻辑,并使池化内存的容量、功耗、散热和维护边界更加集中。

36、2. 传输延迟维度:将跨节点专家访问由网络消息语义缩短为内存事务语义。

37、通过cxl光电融合交换网络,本发明在跨机架部署中保持cxl.mem内存访问语义,并基于早期预测网络将专家权重预取与attention计算并行;在预测命中时,真实路由完成后可直接从本地缓存读取对应专家权重,从而减少远端权重获取对推理关键路径的阻塞。

38、3. 算力利用率维度:降低专家等待造成的流水线气泡,提高mfu。

39、在预取时间不超过attention计算窗口且候选命中率较高的条件下,专家权重参数供给时延可由attention计算窗口部分或全部覆盖,从而减少专家等待造成的流水线气泡,有利于提高模型浮点运算利用率和并发推理的有效吞吐。

40、进一步地,采用可扩展的全局共享内存池,可通过增加内存模组或池化资源扩展模型权重可用容量,从而突破单一计算节点本地内存容量限制。

41、进一步的,新增计算节点时无需复制全量模型,仅建立共享地址映射,降低大规模在线推理服务的中断风险,提升整体可用性。