一种内存扩展系统及方法与流程

摘要: 本申请涉及内存扩展,尤其涉及一种内存扩展系统及方法。背景技术:1、随着ai(artificialintelligence,人工智能)及预训练语言模型技术的发展,...
一种内存扩展系统及方法与流程

本申请涉及内存扩展,尤其涉及一种内存扩展系统及方法。

背景技术:

1、随着ai(artificial intelligence,人工智能)及预训练语言模型技术的发展,图形处理器(graphics processing unit,gpu)的显存容量和互连带宽需求急剧增长。然而,片上高带宽内存受限于堆叠技术和器件面积,容量仅为几百gb级别,难以满足大模型部署需求。现有基于计算快速链路协议(compute express link,cxl)的内存扩展方案需经中央处理器(central processing unit,cpu)或交换器件中转,访问路径长、延时大;且图形处理器间互连采用私有总线技术,无法有效共享内存,导致模型训练需反复切分和搬移参数,网络带宽和延时瓶颈使得算力利用率极低、成本高。

技术实现思路

1、本申请提供了一种内存扩展系统及方法,以至少解决相关技术中扩展内存的访问需经过中央处理器或交换器件中转导致访问路径长、延时大,且图形处理器间无法有效共享内存导致算力利用率低、成本高的问题。

2、本申请提供了一种内存扩展系统,包括:

3、协议转换模组,用于接收加速处理器发送的内存访问事务请求,识别所述内存访问事务请求对应的处理器互连协议,并根据所述处理器互连协议与预设内存一致性协议接口格式之间的协议转换关系,将所述内存访问事务请求转换为基于所述预设内存一致性协议接口格式的内存访问事务请求;

4、与所述协议转换模组连接的内存访问仲裁缓冲模组,用于根据转换后的内存访问事务请求中的目标地址确定对应的目标存储介质通道,并根据所述目标存储介质通道,将所述转换后的内存访问事务请求发送至对应的存储介质控制器;

5、至少一个存储介质控制器,用于根据接收到的所述内存访问事务请求访问对应的存储介质。

6、本申请还提供了一种内存扩展方法,包括:

7、接收加速处理器发送的内存访问事务请求,识别所述内存访问事务请求对应的处理器互连协议;

8、根据所述处理器互连协议与预设内存一致性协议接口格式之间的协议转换关系,将所述内存访问事务请求转换为基于所述预设内存一致性协议接口格式的内存访问事务请求;

9、根据转换后的内存访问事务请求中的目标地址确定对应的目标存储介质通道;

10、根据所述目标存储介质通道,将所述转换后的内存访问事务请求发送至对应的存储介质控制器,以根据所述内存访问事务请求访问对应的存储介质。

11、由上述技术方案可以看出,本申请的有益效果在于:

12、本申请提供了一种内存扩展系统,包括:协议转换模组,用于接收加速处理器发送的内存访问事务请求,识别内存访问事务请求对应的处理器互连协议,并根据处理器互连协议与预设内存一致性协议接口格式之间的协议转换关系,将内存访问事务请求转换为基于预设内存一致性协议接口格式的内存访问事务请求;与协议转换模组连接的内存访问仲裁缓冲模组,用于根据转换后的内存访问事务请求中的目标地址确定对应的目标存储介质通道,并根据目标存储介质通道,将转换后的内存访问事务请求发送至对应的存储介质控制器;至少一个存储介质控制器,用于根据接收到的内存访问事务请求访问对应的存储介质。

13、由此可见,本申请通过协议转换模组在内存扩展系统中完成不同处理器互连协议的内存访问事务请求向预设内存一致性协议接口格式的转换,并通过内存访问仲裁缓冲模组根据目标地址将转换后的内存访问事务请求路由至对应的存储介质控制器,使不同处理器互连协议的加速处理器能够通过统一的内存访问接口访问对应的存储介质。相较于需要通过中央处理器或者交换器件进行协议转换及数据中转的内存扩展方式,本申请能够减少内存访问过程中的中间转发环节,缩短加速处理器与扩展存储介质之间的访问路径,降低内存访问延时;同时,通过将处理器互连协议转换与目标存储介质通道选择集成于内存扩展系统中,可以提高内存扩展系统对不同处理器互连协议及不同存储介质的兼容性和扩展能力。

14、此外,本发明还提供了一种内存扩展方法,具有与本申请中的内存扩展系统相应的优点。

1.一种内存扩展系统,其特征在于,包括:

2.根据权利要求1所述的内存扩展系统,其特征在于,所述处理器互连协议包括外围组件互连快速总线协议和基于以太物理层的加速器互连协议中的至少一种。

3.根据权利要求2所述的内存扩展系统,其特征在于,所述内存扩展系统还包括至少两个协议类型互不相同的通信接口;

4.根据权利要求3所述的内存扩展系统,其特征在于,所述至少两个协议类型互不相同的通信接口包括第一通信接口和第二通信接口;

5.根据权利要求1所述的内存扩展系统,其特征在于,所述预设内存一致性协议接口格式为符合计算快速链路内存协议的接口格式。

6.根据权利要求1所述的内存扩展系统,其特征在于,所述协议转换模组包括协议转换查找表;

7.根据权利要求6所述的内存扩展系统,其特征在于,所述协议转换模组用于:

8.根据权利要求7所述的内存扩展系统,其特征在于,当所述处理器互连协议为外围组件互连快速总线协议时,所述内存访问事务请求为外围组件互连快速总线事务层包格式的内存读写请求;

9.根据权利要求7所述的内存扩展系统,其特征在于,当所述处理器互连协议为基于以太物理层的加速器互连协议时,所述内存访问事务请求为加速器互连协议以太帧格式的内存读写请求;

10.根据权利要求1所述的内存扩展系统,其特征在于,所述内存访问仲裁缓冲模组中预先配置有地址映射表;

11.根据权利要求10所述的内存扩展系统,其特征在于,所述地址映射表由主机管理系统在系统初始化时,根据加速处理器地址空间、所述内存扩展系统的本地存储介质地址空间以及外部扩展内存地址空间进行统一编址后生成。

12.根据权利要求1至11任意一项所述的内存扩展系统,其特征在于,所述内存扩展系统还包括一致性内存访问控制器,所述存储介质控制器包括本地存储介质控制器;

13.根据权利要求12所述的内存扩展系统,其特征在于,所述本地存储介质包括双倍数据速率同步动态随机存储器和高带宽内存中的至少一种;

14.根据权利要求12所述的内存扩展系统,其特征在于,所述存储介质控制器还包括计算快速链路根端口模式通信模块;

15.根据权利要求12所述的内存扩展系统,其特征在于,所述内存扩展系统基于现场可编程门阵列实现;

16.根据权利要求12所述的内存扩展系统,其特征在于,所述内存扩展系统还包括控制寄存器,所述控制寄存器分别与所述协议转换模组、所述内存访问仲裁缓冲模组和所述一致性内存访问控制器连接,用于存储并配置所述协议转换模组、所述内存访问仲裁缓冲模组和所述一致性内存访问控制器分别对应的配置参数及运行参数。

17.根据权利要求12所述的内存扩展系统,其特征在于,所述协议转换模组,还用于通过所述内存访问仲裁缓冲模组接收所述存储介质返回的响应数据或操作完成状态信息,并将所述响应数据或操作完成状态信息,由所述预设内存一致性协议接口格式转换为所述处理器互连协议对应的协议格式,并将转换后的响应信息返回至所述加速处理器。

18.一种内存扩展方法,其特征在于,包括: