一种基于UMA统一内存架构与CXL内存池化的异构计算系统及内存扩展方法与流程

本发明涉及计算机内存，具体涉及一种基于统一内存架构与池化内存的异构计算机系统及内存分配方法。

背景技术：

1、随着人工智能大模型训练、高性能图计算和实时数据分析等应用的快速发展，计算系统对内存容量和带宽的需求呈指数级增长。以大型语言模型训练为例，模型参数规模已从百亿级扩展至万亿级，单次训练所需的内存容量可达数tb乃至数十tb，远超单一计算节点本地dram的物理容量上限。与此同时，异构算力（如gpu、fpga、dpu等专用加速器）的广泛部署使得多节点协同计算成为常态，进一步对内存资源的共享能力和访问效率提出了更高要求。

2、现有技术中，主要采用两种方式应对上述需求：第一种方式是在统一内存访问架构 (unified memory architecture，uma)中增加dram容量，或通过传统内存扩展技术（如ddr内存通道扩展）扩大本地内存。然而，受限于主板物理插槽数量、cpu内存控制器寻址能力和功耗约束，本地dram的扩展空间极为有限，且大容量dram的成本居高不下，导致系统总体拥有成本急剧上升。此外，该方式无法解决多节点间的内存资源共享问题，各计算节点的内存仍为相互孤立的资源孤岛。第二种方式是通过高速网络（如infiniband、roce）连接远端内存节点或存储节点，利用远程直接内存访问协议实现跨节点的数据访问。

3、近年来，计算快速链接（compute express link，cxl）协议作为一种新型高速互连技术，支持内存语义访问和缓存一致性，为内存扩展提供了新的技术路径。现有商用和行业方案已证明uma能够减少异构计算单元之间的显式数据复制，cxl能够扩展可寻址内存并支持资源池化，操作系统也可通过分层内存策略进行页面迁移。例如申请公布号为cn120849328a发明名称为“使用计算快速链接(cxl)接口的存储系统”的中国专利申请，该申请的技术方案提供了一种通过cxl接口通信连接主机和储存装置的存储系统，该方案仅完成设备级接入或局部共享，缺少面向多节点物理分布资源的统一发现、全局编址、跨板分配、状态同步及故障隔离机制，尚未形成硬件分散部署与全局内存池化管理相结合的完整技术方案。尤其对于扩展内存分别设置于多个计算主板或计算节点的场景。

技术实现思路

1、为解决背景技术中提到的技术问题，本发明提出了一种基于统一内存架构与池化内存的异构计算机系统。

2、该异构计算机系统包括：通过光纤物理连接的本地节点和远端节点；所述本地节点基于本地可池化内存资源及所述远端节点向其开放的可池化内存资源建立面向本地主机的统一池化内存资源视图，用于执行内存的分配与管理；其中，所述本地节点包括：

3、计算芯片模块；

4、基于统一内存访问架构的本地内存，所述本地内存与所述计算芯片模块耦合连接；

5、与所述计算芯片模块连接的计算快速链接控制器，用于接收并解析所述计算芯片模块发出的计算快速链接事务，根据地址映射关系执行地址解析、访问路由和协议处理，并将访问请求转发至板载扩展内存或近端光引擎模块；

6、若干个与所述计算快速链接控制器连接的板载扩展内存；

7、与所述计算快速链接控制器连接的近端光引擎模块，所述近端光引擎模块用于将所述计算快速链接控制器输出的电信号进行电光转换并发送至远端节点，并将来自远端节点的光信号进行光电转换后传送至所述计算快速链接控制器；

8、所述远端节点包括远端光引擎模块、与所述远端光引擎模块连接的远端互连控制模块以及与所述远端互连控制模块连接的可池化内存模块；所述远端光引擎模块用于接收所述近端光引擎模块的光信号并进行光电转换，所述远端互连控制模块用于对恢复后的电信号进行计算快速链接事务处理、访问路由和内存访问控制。

9、进一步地，所述计算芯片模块包括通过片内高速总线相互连接的通用处理单元、图形或并行计算单元、神经网络加速单元以及其他计算加速单元中的至少一种。

10、进一步地，所述板载扩展内存包括一组或多组设置于所述本地节点的计算主板上的扩展内存颗粒，所述扩展内存颗粒通过所述计算主板上的印制电路板走线与所述计算快速链接控制器连接。

11、进一步地，所述远端节点的可池化内存模块包括设置于远端计算主板上的计算快速链接扩展内存，并通过所述远端互连控制模块向所述本地节点开放。

12、可以预见地，通过本发明的基于统一内存架构与池化内存的异构计算机系统，融合的uma架构和cxl架构的优点，实现了硬件物理层的创新。一方面本发明通过uma统一地址映射+ cxl一致性互联，将本地节点、远端节点、外部异构节点抽象为一个统一的“内存池”，经授权的计算节点可基于统一地址视图访问其被分配或授权的池化内存资源，以实现资源池化。另一方面，在跨节点方向设置与cxl控制器耦合的光引擎模块（co-packaged optics，cpo），以光纤取代传统铜质物理链路，由此形成“节点内板载直连、节点间cpo光互联”的分层物理连接架构。此外，当计算任务激增时，可根据系统配置接入更多外部节点，系统自动为其建立地址视图和权限；任务减少时，外部节点可以退出，释放资源。整个过程无需停机或重启，支持动态资源弹性伸缩。本发明的异构计算机系统为人工智能大模型训练、高性能图计算和实时数据分析等应用提供了一种全新的一体化设计的技术路径。

13、另外，本发明还提出了一种基于统一与池化内存的异构计算机内存分配方法。该内存分配方法包括：

14、系统初始化，并验证本地节点和远端节点的设备可用性；

15、面向本地主机将本地节点的内存划分为本地独占区内存和池化共享区内存；

16、将所述池化共享区内存、本地节点的板载扩展内存及所述远端节点通过计算快速链接及光引擎链路向本地主机开放的可池化内存模块，通过统一地址映射关系构建面向本地主机的统一池化内存资源池；

17、对所述统一池化内存资源池进行逻辑分区，并设置访问优先级与访问权限；

18、当响应于本地发起的数据访问请求时，根据请求地址确定目标数据所在的本地内存、本地板载扩展内存或远端可池化内存模块，并在目标数据位于远端可池化内存模块时经计算快速链接控制器和光引擎链路执行跨节点访问；并在访问请求完成后，在所述统一池化内存资源池中更新所访问数据的访问优先级；

19、当响应于外部异构算力节点发起的数据访问请求时，先对外部异构算力节点进行身份认证和权限校验，再根据本地业务负载和光引擎模块的流量情况，控制外部异构算力节点对所述统一池化内存资源池的访问。

20、进一步地，当响应于本地发起的数据访问请求时，还包括：

21、若查询到所述数据位于所述本地节点的本地内存中，则通过计算芯片模块的片内高速总线完成对所述数据的访问；

22、若查询到所述数据位于所述本地节点的板载扩展内存中，则通过计算快速链接控制器执行内存语义访问；若查询到所述数据位于远端节点向本地节点开放的可池化内存模块中，则经本地计算快速链接控制器、近端光引擎模块、光纤链路、远端光引擎模块及远端互连控制模块执行跨节点计算快速链接内存语义访问。

23、进一步地，还包括访问调度与迁入机制：当本地发起的数据访问请求发生缺页、目标数据位于相对于本地内存具有优先级访问时延的扩展或远端内存层，或者所述目标数据属于当前计算任务的主计算路径数据时，提高所述数据访问请求的调度优先级和/或触发所述目标数据向本地内存的迁入，并更新相应地址映射。

24、进一步地，当响应于外部异构算力节点发起的数据访问请求时，控制外部异构算力节点对所述统一池化内存资源池的访问的方法为：

25、获取当前本地业务的负载率，若所述本地业务的负载率高于第一阈值，则将外部异构算力节点的数据访问请求插入低优先级队列；

26、获取光引擎模块的当前信号质量指标和可用带宽，所述信号质量指标包括误码率、光功率、同步锁定状态或链路训练状态中的至少一种，若光引擎模块的当前信号质量低于第二阈值或可用带宽低于第三阈值，则将外部异构算力节点的数据访问请求延迟执行；

27、获取当前占用光纤物理链路的外部异构算力节点数量和各外部异构算力节点的链路带宽占用量，基于加权轮询或公平队列算法分配所述数据访问请求的执行时机。

28、进一步地，还包括异常处理机制：当所述外部异构算力节点退出或发生异常时，撤销所述外部异构算力节点的地址映射和访问权限，并清理其未完成的事务。

29、进一步地，还包括容错机制：持续检测系统链路状态、光引擎模块状态、内存状态、断电事件，当发现异常或故障时，根据异常类型执行限制新事务、重新进行链路训练、标记受影响地址不可达、切换备用路径、数据回迁、地址重映射或故障内存隔离中的至少一种容错处理。

30、可以预见地，本发明的基于统一与池化内存的异构计算机内存分配方法，在前述的异构计算机系统结构下，通过应用层管理功能，构建统一池化内存资源池，并设置优先级别。一方面，系统可以将高频访问的热数据留在本地uma内存，将冷数据或大容量稀疏数据放在cxl扩展内存，有利于在性能需求与内存容量利用之间进行权衡。另一方面，外部节点通过cxl内存语义访问直接读写共享缓存数据，减少传统网络协议栈参与的数据搬移开销，从而有利于降低跨节点共享访问时延。同时，通过权限和流量管控机制，确保多个外部异构算力节点之间公平竞争带宽，不会出现一个外部异构算力节点占满链路导致其他节点无法访问的情况，从而改善分布式和高并发计算中的算力资源利用。