一种具有层级互连结构的以存储为中心的可重构计算系统

摘要: 本发明属于可重构计算架构,具体涉及一种具有层级互连结构的以存储为中心的可重构计算系统。背景技术:1、当前,多智能体强化学习、大规模神经形态计算、概率图模型(如马...
一种具有层级互连结构的以存储为中心的可重构计算系统

本发明属于可重构计算架构,具体涉及一种具有层级互连结构的以存储为中心的可重构计算系统。

背景技术:

1、当前,多智能体强化学习、大规模神经形态计算、概率图模型(如马尔可夫随机场)等新兴计算任务本质上呈现出“并行-串行”混合计算模式。这类任务既需要大规模并行处理以获得高吞吐率,又因不同基本单元(如智能体、神经节点、图节点等)之间需要频繁的数据查询和状态同步,从而产生大量不规则的访存开销。

2、传统的以处理器为中心的计算架构(如图形处理器、多核中央处理器等)在执行此类任务时,由于多个处理核心竞争公用存储器,导致各处理核心因等待总线仲裁而产生频繁的流水线停顿;同时,不规则访存使得在计算任务中为保持缓存一致性带来的开销剧增,使得绝大多数计算用时和能耗被信息同步消耗,而非用于有效计算。

3、为了解决多核处理器中信息传递在总线上阻塞这一问题,现代多核处理器通常使用片上网络进行处理核心间互连。在传统的片上网络互连结构中,如全连接互连和典型的二维网格互连,布线开销与多核协作延迟之间不能取得很好的平衡,具体表现为处理核心之间进行数据交换时,各处理核心需要空转等待,使得整体处理核心利用率较低,导致其在面对具有“并行-串行”混合计算特征的任务时不能取得良好效果。

4、同样,非传统计算架构中也有相应的尝试,如粗粒度可重构计算架构、近存计算架构和专用加速器架构等。这些架构在面对具有“并行-串行”计算特征的应用场景时同样存在不同的瓶颈。粗粒度可重构计算架构中,由于存储单元和处理单元内容互相不透明,从而导致复杂的数据寻址过程;近存计算中,由于没有改变传统的存储结构,使其仍然需要额外的数据搬运来维持缓存一致性;专用加速器中,其或由于高度定制化从而缺乏通用性和灵活性,或因共享内存访问瓶颈限制导致整体计算速率被拖慢。因此,亟需一种能够解决现存多核处理器中处理核心利用率低、冗余数据搬运多的问题的计算架构,以有效地加速具有“并行-串行”计算特征的应用。

技术实现思路

1、为了解决现存计算架构在“并行-串行”计算任务中面临的多核处理器利用率低、通信效率低下、冗余数据搬运多等技术问题,本发明提出了一种具有层级互连结构的以存储为中心的可重构计算系统。本发明通过多层片上网络通信拓扑结构和事件驱动编程模型,将数据索引请求、索引接收、数据取回和本地数据处理解耦为能够并行执行的过程,同时通过存储器映射输入/输出和基于存储空间需求的编译映射方法减少冗余数据搬运,实现“并行-串行”计算任务的高效加速。

2、本发明的技术方案如下:

3、一种具有层级互连结构的以存储为中心的可重构计算系统,包括由多个以存储为中心的处理核心组成的计算层,以及按照通信距离分级设置的通信层一、通信层二和通信层三,构成四层金字塔式层级互连结构:通信层一在每个处理模组内部连接多个处理核心,通信层二以二维网格连接同一处理芯片内的多个处理模组,通信层三通过pcie、ucie等高速芯片间接口将不同处理芯片内的二维网格连接起来,并通过独立的动态随机存储器通信网络连接动态随机存储器;每个处理核心包括本地数据存储器和本地指令存储器,并用于执行分配至该处理核心的待部署计算任务、管理该待部署计算任务的状态数据,所述状态数据优先驻留于该处理核心的本地数据存储器;其中,所述待部署计算任务,指需要分配至一个或多个处理核心执行的算法、函数或由所述算法、函数构成的功能模块;所述状态数据,指在待部署计算任务执行过程中被读取或更新的输入数据、运行状态数据或中间计算结果;所述层级互连结构按照传输距离对信息流量进行分级,使所述通信层一中的通信不占用所述通信层二和所述通信层三的传输路径;所述以存储为中心,指由分布式存储与四层金字塔式层级互连结构替代集中式全局存储器及多级缓存的金字塔结构;所述分布式存储,指各处理核心所对应的本地数据存储器仅能由该处理核心直接访问,但各处理核心能够通过所述层级互连结构访问其他处理核心的本地数据存储器中的信息,从而使片上各本地数据存储器共同构成分布式存储结构;所述可重构,指能够通过写入本地指令存储器的risc-v指令配置触发条件、处理阶段和数据流,并通过编译映射方法配置待部署计算任务与处理核心之间的映射关系。

4、所述计算层由系统内的全部处理核心构成,每个处理核心包括一个支持标准risc-v指令集的risc-v处理器核心、本地数据存储器、先进先出输入寄存器、先进先出输出寄存器及本地指令存储器,并形成独立的执行环境;所述本地指令存储器中编程的指令序列用于定义该处理核心的数据流和操作流程;所述先进先出输入寄存器和先进先出输出寄存器分别用于暂存片上网络中的输入信息和输出信息,并被直接映射到处理核心的本地地址空间,使片上网络对risc-v处理器核心表现为存储器映射输入/输出接口;计算层通过所述先进先出输入寄存器和先进先出输出寄存器与通信层一相连,以信息包格式接收和传递信息。

5、所述通信层一包括每个处理模组内部的连接电路;每个处理模组包括多个处理核心、一个用于确定信息包传输方向并进行端口仲裁的局部解码器、与通信层二相连的网格通信端口,以及与通信层三中的独立动态随机存储器通信网络相连的动态随机存储器通信端口;所述局部解码器直接连接并管理各处理核心内部已有的先进先出输入寄存器和先进先出输出寄存器;所述网格通信端口和动态随机存储器通信端口分别由先进先出输入寄存器和先进先出输出寄存器实现;所述局部解码器包括与各先进先出输出寄存器对应的信息包解码器和等待时间计数器,以及最大计数选择逻辑和多路选择器;

6、所述通信层二包括同一处理芯片内各处理模组之间的连接电路,用于不同处理模组之间的信息传输;相邻处理模组通过点对点互连形成二维网格拓扑;各处理核心经由通信层一中的网格通信端口接入所述二维网格;所述二维网格的边缘与高速芯片间接口相连,以接入通信层三。

7、所述通信层三包括不同处理芯片之间的通信拓扑和独立的动态随机存储器通信网络,负责不同处理芯片之间的信息传输及动态随机存储器访问;不同处理芯片通过pcie、ucie等高速芯片间接口将通信层二的片内二维网格扩展为多芯片二维网格;所述动态随机存储器通信网络经由通信层三的端口接入、独立于处理模组间的二维网格,将各处理模组的动态随机存储器通信端口与动态随机存储器相连。

8、进一步,所述计算层中,先进先出输入寄存器和先进先出输出寄存器被直接映射到处理核心的本地地址空间,使片上网络对risc-v处理器核心表现为存储器映射输入/输出接口;其中,信息发送被编译为标准存字操作,信息接收被编译为标准读字操作;当risc-v处理器核心向先进先出输出寄存器对应的地址执行存字操作时,信息自动进入先进先出输出寄存器,当其向先进先出输入寄存器对应的地址执行读字操作时,信息从先进先出输入寄存器中取出。该存储器映射输入/输出机制消除了处理核心控制流中计算操作与通信操作的区别,使本地处理流水线与片上网络传输过程相互解耦。

9、进一步,所述通信层一、通信层二、通信层三中,数据传输采用信息包格式进行,信息包包括两种消息类型:

10、1)i型消息,用于通信层一中的高频单跳传输,采用一个32位信息包;其中,第31位至第29位为3位传输类型标识,用于表示北、南、东、西或本地的传输方向,第28位为固定的非零标识位,第27位至第25位为3位目标端口标识,第24位至第0位为25位信息载荷。

11、2)ii型消息,用于通信层二和通信层三中的长距离传输,采用可变长度的多包序列;其首个32位信息包为前序包,其中,第31位至第29位为3位传输类型标识,第28位至第27位为2位后续信息包数量字段,第26位至第13位为14位终点地址,第12位至第0位为13位信息载荷;前序包之后最多跟随三个仅包含32位数据载荷的信息包。

12、进一步,所述通信层一中,当多个所述先进先出输出寄存器请求向同一目标先进先出输入寄存器发送信息包时,局部解码器采用基于最长等待时间的优先仲裁策略决定信息包的传输顺序以解决资源争用:每个先进先出输出寄存器后的信息包解码器解析待发送信息包的类型标识和路由信息,并产生指向目标先进先出输入寄存器的请求,该请求对应的等待时间计数器被激活;当请求未被目标先进先出输入寄存器接收时,对应等待时间计数器在每个仲裁周期递增;最大计数选择逻辑比较所有被激活的等待时间计数器,多路选择器将计数值最大的请求所对应的信息包优先送入目标先进先出输入寄存器,并复位所选请求对应的等待时间计数器;传输ii型消息时,局部解码器在整个多包序列传输完毕前锁定所选路径,以保证各信息包连续传输。

13、进一步,所述通信层二中相邻处理模组之间、以及通信层三中不同处理芯片之间的信息包传输采用全异步四相数据握手协议,该协议解耦不同处理模组和处理芯片之间的时序约束,使各处理模组能够在独立时钟域内运行,并降低全局时钟分布复杂度和峰值功率。一次信息包传输包括以下四个阶段:

14、1)请求阶段:发送方将信息包置于数据线上并保持稳定,同时将请求信号置为高电平,开始信息包传输;

15、2)确认阶段:接收方检测到请求信号后接收信息包,并将确认信号置为高电平;

16、3)清除请求阶段:发送方检测到确认信号后将请求信号置为低电平,并在满足保持时间后清除数据线上的信息包;

17、4)清除确认阶段:接收方检测到请求信号被清除后将确认信号置为低电平,完成握手循环,并释放通道供下一次传输。

18、进一步,所述计算层执行事件驱动的“并行-串行”编程模型所规定的编程方法,所述“并行-串行”,是指所述待部署计算任务被划分为多个处理阶段后,多个处理核心并行执行各自所分配的处理阶段、而单个处理核心内部按处理阶段的顺序依次执行的计算特征,该方法具体为:根据待部署计算任务的数据依赖关系将程序划分为多个静态定义的处理阶段,每个处理阶段形成一个循环;在该循环中,由risc-v处理器核心执行本地指令存储器中的循环语句和条件分支语句,重复检测本地数据存储器中的状态变量及先进先出输入寄存器的状态,并依据四类触发机制执行相应功能函数或切换处理阶段;其中,所述状态变量,是指所述状态数据中保存在本地数据存储器预编程地址处、用于表征数据处理状态的那一部分数据;四类触发机制均通过标准risc-v条件分支指令以及读字指令、存字指令实现;各处理阶段的划分及触发条件由待部署计算任务确定;所述四类触发机制分别为:

19、1)存储条件触发器,当本地数据存储器中预编程地址处保存用于表征数据处理状态的数据统计量,即状态变量,risc-v处理器核心周期性读取该状态变量,并通过条件分支指令判断其是否满足预先定义的逻辑谓词条件,当条件满足时,程序计数器跳转至用户预先编程在本地指令存储器中的相应功能函数,以支持状态依赖的数据处理;

20、2)阶段条件触发器,其采用与存储条件触发器相同的读取和条件分支实现方式,但判断对象为预编程的阶段边界条件或迭代计数,当条件满足时,程序计数器跳转至下一处理阶段以触发处理阶段切换;该触发器同时作为当前处理阶段循环的终止条件,并能够用于不同处理核心之间的阶段同步;

21、3)输入触发器,risc-v处理器核心通过读字指令读取先进先出输入寄存器,当读取结果为非零信息包时,通过条件分支指令跳转至相应处理函数,并根据输入类型和信息内容执行预先编程的行为;

22、4)默认存储扫描触发器,当对先进先出输入寄存器执行读字操作所得结果为全零值,即先进先出输入寄存器为空时,按照保存在risc-v处理器核心寄存器文件中的扫描指针遍历本地数据存储器的地址空间,并检查本地驻留数据是否满足响应条件,从而在无外部输入信息时触发基于本地驻留数据的操作;

23、其中,每个处理阶段至少定义一个所述输入触发器或所述默认存储扫描触发器,以规定该处理阶段的主导操作,并定义所述阶段条件触发器作为该处理阶段循环的终止条件;若上述两类触发器均未定义,则对应处理核心既不能响应外部输入,也不能自主启动操作。

24、通过将处理核心之间的数据索引请求、索引接收和数据取回分解为由上述触发机制启动的离散异步事件:索引请求由任一触发器启动数据索引的生成和发送,索引接收由输入触发器启动本地数据查找和返回,数据取回由输入触发器在索引数据到达时恢复先前挂起的计算;处理核心之间经片上网络进行的信息传输能够与处理核心内部的数据处理并行进行,从而将信息传输延迟隐藏于处理核心的执行流水线中,提高处理核心利用率。

25、进一步,所述系统采用基于存储空间需求的编译映射方法:根据存储待部署计算任务的状态数据所需的空间,将待部署计算任务分配至相应处理核心,并由该处理核心管理对应状态数据,其他处理核心能够读取该状态数据或向管理该状态数据的处理核心发送写入请求;根据待映射对象之间的数据交互频率,将交互频率高的对象分配至同一处理核心、同一处理模组或相邻处理模组;高频访问的状态数据驻留于该处理核心的本地数据存储器,当状态数据超过本地数据存储器容量时,在本地数据存储器中保留访问动态随机存储器所需的索引,由此提高动态随机存储器访问的并行度,并减少处理核心间的数据搬运。当映射固定拓扑时,采用聚类算法或图分割算法将具有重叠邻居集合的图节点或计算单元映射至同一处理核心或相邻处理核心;当邻居集合随任务执行而变化时,按照任务设定的周期迁移待部署计算任务或调整分区边界,以实现负载均衡;当映射需要多个处理模组参与计算的数据流时,将需要频繁通信的模块部署在同一处理模组内,其余模块按照整体数据流结构部署,并构成脉动阵列。

26、本发明的有益效果为:

27、本发明一种具有层级互连结构的以存储为中心的可重构计算系统,通过计算层、通信层一、通信层二和通信层三构成的层级互连结构,以及基于存储空间需求的编译映射方法,使高频交互数据优先驻留于本地数据存储器,并以分布式存储与四层金字塔式层级互连结构替代传统计算架构中的集中式全局存储器和多级缓存的金字塔结构,从而减少不同处理核心之间的通信开销和冗余数据搬运;所述层级互连结构按传输距离对信息流量进行分级,使局部通信不占用更高层级的传输路径,减少高层级路径的资源争用;动态随机存储器访问通过独立于处理模组间二维网格的通信网络进行,不占用该二维网格的传输带宽,提高动态随机存储器访问的并行度。通信层一的局部解码器按最长等待时间优先仲裁信息包的传输顺序,避免等待时间较长的请求长期得不到响应,降低信息包传输的尾延迟;相邻处理模组之间以及不同处理芯片之间的信息包传输采用全异步四相数据握手协议,解耦不同处理模组和处理芯片之间的时序约束,使各处理模组能够工作于相互独立的时钟域,从而降低全局时钟分布复杂度和峰值功率;通过在计算层中应用事件驱动编程模型,并将通信接口的先进先出输入寄存器和先进先出输出寄存器映射到本地地址空间,使处理核心之间的信息传输与处理核心内部的数据处理并行进行,减少处理核心的空转时间,提高处理核心利用率,从而实现对“并行-串行”计算任务的有效加速。