一种基于单节点的多路服务器装置的制作方法

1.本发明涉及节点服务器领域，尤其是涉及一种基于单节点的多路服务器装置。


背景技术：

2.近些年来，对于服务器的需求越来越大。对服务器的功能要求也越来越高，在cpu性能不变的情况下，多路服务器是一种行之有效的提高服务器性能的方法，因此在传统两路服务器的基础上出现了4路、8路甚至更多路数的服务器。
3.飞腾是国内领先的国产cpu厂商，其主力cpu：s2500也是信创行业最常用的arm架构cpu，但是多应用于2路和4路服务器，个别厂商做到了8路，但更高路数的服务器未能实现。
4.目前常用的s2500多路服务器是将多个cpu放在一个主板中，虽然可以公用一个主板，但是受主板大小限制，不能再放置更多的 cpu，最多只能在实现最多8路服务器的开发，不能实现更多路服务器，不利于增强了服务器的系统性能，无法适用于多种对性能要求比较高的应用场景。


技术实现要素：

5.本发明为了解决现有技术中存在的问题，创新提出了一种基于单节点的多路服务器装置，有效解决由于现有技术造成无法实现8路以上服务器的问题，有效地增强了服务器的系统性能，可以适用于多种对性能要求比较高的应用场景。
6.本发明第一方面提供了一种基于单节点的多路服务器装置，包括：互联板以及多个节点，每个节点均包括主板、qsfp板和cpld板，所述互联板分别与多个节点中的qsfp板的fit信号接口通信连接，用于通过多处理器间的直接互连，实现多路cpu计算能力的聚合；所述主板包括cpu、第一cpld，所述cpld板包括第二cpld，主板内部的多个cpu的fit信号接口分别与qsfp板的fit信号接口通信连接，主板内部的第一cpld通过cpld板中的第二cpld与其他节点内部的第一cpld通信连接，用于所有主板内部的cpu的计时器同步启动；多个节点中主板内部的最后一个cpu的第二ctm 信号接口与下一个节点中主板内部的第一个cpu的第一ctm信号接口依次通信连接，用于实现多路cpu互连通信。
7.可选地，qsfp板包括第一qsfp光鼠笼以及第二qsfp光鼠笼，所述第一qsfp光鼠笼一端与互联板通信连接，另一端与qsfp板所在节点中的主板中的部分cpu的fit信号接口通信连接；所述第二 qsfp光鼠笼一端与互联板通信连接，另一端与qsfp板所在节点中的主板中的剩余cpu的fit信号接口通信连接。
8.进一步地，qsfp板还包括第一fit信号连接状态指示灯模块以及第二fit信号连接状态指示灯模块，所述第一fit信号连接状态指示灯模块设置于第一qsfp光鼠笼内部，所述第二fit信号连接状态指示灯模块设置于第二qsfp光鼠笼内部，所述第一fit信号连接状态指示灯模块以及第二fit信号连接状态指示灯模块均分别与qsfp 板所在节点中的主板通信连接。
9.进一步地，每个节点中的主板均包括基板管理控制器，所述基板管理控制器的状态读取端分别与主板内部的所有cpu通信连接，所述基板管理控制器的状态输出端分别与第一fit信号连接状态指示灯模块以及第二fit信号连接状态指示灯模块通信连接。
10.可选地，节点包括一个主节点以及多个从节点，从节点中主板内部的第一cpld判断本节点中主板内部的所有cpu已做好准备后，通过从节点的cpld板中的第二cpld发送节点准备完成信号到主节点的cpld板中的第二cpld，主节点的cpld板中的第二cpld收到本节点和所有从节点的节点准备完成信号后，分别发送节点启动信号到主节点以及各从节点的主板内部的第一cpld，主节点以及各从节点中的第一cpld再分别对应发送启动命令，以保证所有cpu的计时器同步启动。
11.可选地，第一个节点中主板内部的第一个cpu的第一ctm信号接口接地，最后一个节点中主板内部的最后一个cpu的第二ctm信号接口接地。
12.可选地，节点包括一个主节点以及多个从节点，主节点中cpld 板还包括晶振、时钟芯片，所述晶振用于提供时钟信号，所述时钟芯片的时钟输入端与晶振的时钟输出端通信连接，主节点的cpld板中时钟芯片的时钟输出端一路输出至主节点中的主板内部的cpu，另一路输出至其它从节点的cpld板中，由从节点的cpld板将接收的时钟信号发送至本节点中的主板内部的cpu。
13.进一步地，主节点的cpld板中以及从节点中cpld板均还包括切换芯片，主节点的cpld板中时钟芯片的时钟输出端一路通过主节点的cpld板中的切换芯片输出至主节点中的主板内部的cpu，另一路输出至其它从节点的cpld板中的切换芯片，由从节点的cpld 板中的切换芯片将接收的时钟信号发送至本节点中的主板内部的 cpu；从节点中cpld板中的切换芯片的第一输入端与主节点中 cpld板中时钟芯片的时钟输出端通信连接，从节点中cpld板中的切换芯片的输出端与切换芯片所在从节点中主板cpu的时钟输入端通信连接。
14.进一步地，主节点的cpld板中时钟芯片输出的时钟信号均为同源时钟信号。
15.可选地，每个从节点中cpld板还包括晶振以及时钟芯片，晶振用于提供时钟信号，时钟芯片的时钟输入端与晶振的时钟输出端通信连接，在主节点故障或异常时，任意一个从节点取代故障或异常的主节点，成为新的主节点，用于实现不同节点中所有cpu的时钟源同源。
16.本发明采用的技术方案包括以下技术效果：
17.1、本发明技术方案中，互联板分别与多个节点中的qsfp板的 fit信号接口通信连接，用于通过多处理器间的直接互连，实现多路 cpu计算能力的聚合；主板内部的多个cpu的fit信号接口分别与 qsfp板的fit信号接口通信连接，主板内部的第一cpld通过cpld 板与其他节点内部的第一cpld通信连接，用于所有主板内部的cpu 的计时器同步启动；多个节点中主板内部的最后一个cpu的第二 ctm信号接口与下一个节点中主板内部的第一个cpu的第一ctm 信号接口依次通信连接，用于实现多路cpu互连通信，有效解决由于现有技术因为主板中cpu数量的原因造成无法实现8路以上服务器的问题，有效地增强了服务器的系统性能，可以适用于多种对性能要求比较高的应用场景。
18.2、本发明技术方案中qsfp板还包括第一fit信号连接状态指示灯模块以及第二fit信号连接状态指示灯模块，可以直观的确定所在主板中fit信号连接状态。
19.3、本发明技术方案中主节点的cpld板收到本节点和所有从节点的节点准备完成
信号后，分别发送节点启动信号到主节点以及各从节点的主板内部的第一cpld，主节点以及各从节点中的主板第一 cpld再分别对应发送启动命令，保证了所有cpu的计时器同步启动。
20.4、本发明技术方案中主节点中cpld板还包括晶振以及时钟芯片，主节点的cpld板中时钟芯片的时钟输出端一路输出至主节点中的主板内部的cpu，另一路输出至其它从节点的cpld板中，由从节点的cpld板将接收的时钟信号发送至本节点中的主板内部的 cpu，保证了所有节点中cpu的时钟信号的同步。
21.应当理解的是以上的一般描述以及后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
22.为了更清楚说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见的，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明方案中实施例一装置中单个节点的结构示意图；
24.图2为本发明方案中实施例一装置中四个节点与互联板通信的结构示意图；
25.图3为本发明方案中实施例一装置中cpu启动时序示意图；
26.图4为本发明方案中实施例一装置中四个节点中cpld板之间 ctm信号互联的结构示意图；
27.图5为本发明方案中实施例一装置中四个节点中主板内部的 cpu之间ctm信号互联的结构示意图。
具体实施方式
28.为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
29.实施例一
30.如图1-图2所示，为了更清楚的描述本发明实施例，以16路服务器为例进行说明，但不限于16路服务器。本发明提供了一种基于单节点的多路服务器装置，包括：互联板(nc board)以及四个节点 (node0-node3)，每个节点均包括主板(mb)、qsfp板(两个 qsfp_riser，即qsfp光鼠笼)和cpld板(cpld_riser卡)，互联板分别与多个节点中的qsfp板的fit信号接口通信连接，用于通过多处理器间的直接互连，实现多路cpu计算能力的聚合；所述主板包括cpu、第一cpld，所述cpld板包括第二cpld，主板内部的多个cpu的fit信号接口分别与qsfp板的fit信号接口通信连接，主板内部的第一cpld通过cpld板中的第二cpld与其他节点内部的第一cpld通信连接，用于所有主板内部的cpu的计时器同步启动(timer_force-start)；多个节点中主板内部的最后一个 cpu的第二ctm信号接口(panel6)与下一
个节点中主板内部的第一个cpu的第一ctm信号接口(panel4)依次通信连接，用于实现多路cpu互连通信。
31.其中，多路服务器设计的核心是多cpu之间的互联。飞腾s2500 互联主要难点为以下信号的处理：fit信号、同步信号、ctm信号以及时钟信号。
32.其中，fit信号为fast interconnect transport，即快速互连传输接口，一种飞腾自定义的处理器芯片间直连接口，每个通路包含4个 lane(通道)，单lane速率为25gbps；同步信号是为了保证多个cpu 的计时器能够同时启动的信号；ctm信号为多路cpu互连通信信号，目的是唤醒从核；时钟信号即为cpu正常工作需要的时钟信号。
33.整个系统分为两部分，第一部分为4个节点其中包括主板、qsfp 板和cpld板。主板的节点工作的中心，包括了cpu、内存、扩展卡槽等资源。qsfp板负责将fit信号引出，cpld板负责ctm信号、同步信号和时钟信号的处理。第二部分为互联板其功能是接入16个 cpu的fit信号，实现多处理器间的协议报文处理和高速交换，支持全系统资源共享访问，维护缓存一致性，实现紧耦合共享存储器多处理器系统结构，通过处理器间的高速互连，实现多路cpu计算能力的聚合。
34.fit信号
35.具体地，fit信号的作用是cpu的直接互联信号，正常双路和四路主板是在板内cpu之间直接互联的。但是在16路装置中无法完成cpu之间的直接互联，必须将fit接到专用互联板，用互联板完成多个cpu之间的数据处理。
36.具体实现方案如下：在每个节点主板上将cpu的fit信号引出并接到qsfp板，每个qsfp板中包括了2个qsfp光鼠笼(第一qsfp 光鼠笼以及第二qsfp光鼠笼，光鼠笼即光模块鼠笼)，然后通过qsfp 光鼠笼中的光模块和光纤将fit信号传输到互联板中进行处理。
37.qsfp板包括第一qsfp光鼠笼(qsfp_riser卡，即qsfp0，用于连接如图1所示主板内部的cpu0、cpu1)以及第二qsfp光鼠笼 (qsfp_riser卡，即qsfp1，用于连接如图1所示主板内部的cpu2、 cpu3，可以灵活调整)，第一qsfp光鼠笼一端与互联板通信连接，另一端与qsfp板所在节点中的主板中的部分cpu(如图1所示主板内部的cpu0、cpu1)的fit信号接口通信连接；第二qsfp光鼠笼一端与互联板通信连接，另一端与qsfp板所在节点中的主板中的剩余cpu(如图1所示主板内部的cpu2、cpu3)的fit信号接口通信连接。
38.具体地，qsfp板还包括第一fit信号连接状态指示灯模块(如图1所示的led0/1)以及第二fit信号连接状态指示灯模块(如图 1所示的led2/3)，第一fit信号连接状态指示灯模块设置于第一 qsfp光鼠笼内部(qsfp0)，第二fit信号连接状态指示灯设置于第二qsfp光鼠笼内部(qsfp1)，第一fit信号连接状态指示灯模块以及第二fit信号连接状态指示灯模块均分别与qsfp板所在节点中的主板通信连接。
39.每个节点中的主板均包括基板管理控制器(bmc)，基板管理控制器的状态读取端分别与主板内部的所有cpu通信连接，读取cpu 相应寄存器，确定每个cpu中fit信号的link状态，基板管理控制器的状态输出端分别与第一fit信号连接状态指示灯模块以及第二 fit信号连接状态指示灯模块通信连接，用于驱动对应第一fit信号连接状态指示灯模块以及第二fit信号连接状态指示灯模块中的fit 信号连接状态指示灯信号，对应地，第一fit信号连接状态指示灯模块，用于指示主板中cpu0、cpu1的fit信号连接状态，第二fit 信号连接状态指示灯模块，用于指示主板中cpu02、cpu3的fit信号连接状态。
40.同步信号
41.如图3-图4所示，为了保证16个cpu的计时器可以同时启动计时，则需要同时发送启动信号给到所有cpu，具体实现方案是4个节点主板第一cpld判断本节点的cpu已做好准备后发送 node_ready信号到node0(主节点)的cpld板中的第二cpld， node0的cpld板中的第二cpld收到本节点和另外3个节点(node1、 node2、node3)的node_ready信号后发送node_start信号到各节点的主板第一cpld。主板第一cpld再发送启动命令，保证16个cpu 的计时器可以同时启动。时序如图3所示：
42.节点包括一个主节点(node0)以及多个从节点(node1、node2、 node3)，从节点中主板内部的第一cpld判断本节点中主板内部的所有cpu已做好准备后，通过从节点的cpld板中的第二cpld发送节点准备完成信号node_ready到主节点的cpld板中的第二 cpld，主节点的cpld板中的第二cpld收到本节点和所有从节点的节点准备完成信号后，分别发送节点启动信号到主节点以及各从节点的主板内部的第一cpld，主节点以及各从节点中的主板第一 cpld再分别对应发送启动命令node_start，以保证所有cpu的计时器同步启动。不同节点中的cpld板之间的相互通信通过位于cpld 板上的连接器(connector)实现。
43.ctm信号
44.多个节点中主板内部的最后一个cpu的第二ctm信号接口与下一个节点中主板内部的第一个cpu的第一ctm信号接口依次通信连接，用于实现多路cpu互连通信。第一个节点中主板内部的第一个 cpu的第一ctm信号接口接地，最后一个节点中主板内部的最后一个cpu的第二ctm信号接口接地。
45.具体地，s2500每个cpu共有两组ctm信号，分别为panel4 (第一ctm信号接口)和panle6(第二ctm信号接口)，飞腾要求多cpu互联时，前一个cpu的panel6接到下一个cpu的 panel4，第一个cpu的panel4和最后一个cpu的panel6需要接地。每个节点包括了4个cpu即cpu0-cpu3。在主板中cpu0的 panel4和cpu3的panel6是需要接地的，但是作为16个cpu互联的系统。
46.如图5所示，每个节点中主板内部第一个cpu(cpu0)的第一 ctm信号接口panel4需要和前一个节点中主板内部的最后一个 cpu(cpu3)的第二ctm信号接口的panel6连接(通过节点中 cpld板连接)。第一个节点(node0)中主板内部第一个cpu(cpu0) 的panel4和最后一个节点(node3)中主板内部最后一个(cpu3) 的panel6需要接地。
47.将每个节点中主板内部的第一个cpu(cpu0)的第一ctm信号接口panel4和最后一个cpu(cpu3)的第二ctm信号接口 panel6分别引到双排插针和cpld板上的连接器。需要互联的就用线缆互联，需要接地就用短路块接地，以满足不同节点的需求。
48.时钟信号
49.节点包括一个主节点(node0)以及多个从节点(node1、node2、 node3)，主节点(node0)中cpld板还包括晶振(crystal)以及时钟芯片(clockbuffer芯片)，晶振用于提供时钟信号，时钟芯片的时钟输入端与晶振的时钟输出端通信连接，主节点的cpld板中时钟芯片的时钟输出端一路输出至主节点中的主板内部的cpu，另一路输出至其它从节点的cpld板中，由从节点的cpld板将接收的时钟信号发送至本节点中的主板内部的cpu。
50.主节点的cpld板中以及从节点中cpld板均还包括切换芯片，主节点的cpld板中时钟芯片的时钟输出端一路通过主节点的cpld 板中的切换芯片输出至主节点中的主板内部
的cpu，另一路输出至其它从节点的cpld板中的切换芯片，由从节点的cpld板中的切换芯片将接收的时钟信号发送至本节点中的主板内部的cpu；从节点中cpld板中的切换芯片的第一输入端与主节点中cpld板中时钟芯片的时钟输出端通信连接，从节点中cpld板中的切换芯片的输出端与切换芯片所在从节点中主板cpu的时钟输入端通信连接。
51.为了保证16个cpu的时钟源同源，在node0的cpld板中的 clockbuffer芯片可以输出4路同源的50m时钟信号。然后通过cpld 板上的连接器将node0的时钟信号发送到node0主板，通过cpld 板上的连接器发送到其它节点的cpld板上的切换芯片，由从节点的 cpld板上的切换芯片发送时钟信号至对应从节点中主板内部的 cpu。不同节点中的cpld板之间的相互通信通过位于cpld板上的连接器(connector)实现。
52.优选地，从节点(node1、node2、node3)中cpld板也可以均包括晶振(crystal)以及时钟芯片(clockbuffer芯片)，晶振用于提供时钟信号，时钟芯片的时钟输入端与晶振的时钟输出端通信连接。在主节点(node1)故障或异常时，每个从节点均可以取代故障或异常的主节点，成为新的主节点(在从节点取代主节点成为新的主节点后，由新的主节点中的cpld板负责其他从节点的ctm信号、同步信号和时钟信号的处理)，从而保证了多路服务器中不同节点之间的通信，以实现不同节点中所有cpu的时钟源同源，提高了多路服务器中不同节点通信以及时钟等信号同步的可靠性。
53.进一步地，主节点中cpld板中切换芯片的第一输入端通过位于 cpld板中的连接器与其他从节点中cpld板中的时钟芯片的时钟输出端通信连接(在主节点正常时不导通)，主节点中cpld板中切换芯片的第二输入端与主节点中cpld板中的时钟芯片的时钟输出端通信连接，主节点中cpld板中切换芯片的输出端与主节点中主板中的cpu的时钟输入端通信连接(在主节点正常时导通)，主节点中 cpld板中切换芯片的切换控制端与主节点中cpld板中的第二 cpld的控制输出端通信连接。
54.从节点中cpld板中切换芯片的第一输入端通过位于cpld板中的连接器与主节点中cpld板中的时钟芯片的时钟输出端通信连接 (在主节点正常时导通)，从节点中cpld板中切换芯片的第二输入端与主节点中cpld板中的时钟芯片的时钟输出端通信连接(在主节点正常时不导通)，从节点中cpld板中切换芯片的输出端与从节点中主板中的cpu的时钟输入端通信连接，从节点中cpld板中切换芯片的切换控制端与从节点中cpld板中的第二cpld的控制输出端通信连接。
55.本发明技术方案中，互联板分别与多个节点中的qsfp板的fit 信号接口通信连接，用于通过多处理器间的直接互连，实现多路cpu 计算能力的聚合；主板内部的多个cpu的fit信号接口分别与qsfp 板的fit信号接口通信连接，主板内部的cpld通过cpld板与其他节点内部的cpld通信连接，用于所有主板内部的cpu的计时器同步启动；多个节点中主板内部的最后一个cpu的第二ctm信号接口与下一个节点中主板内部的第一个cpu的第一ctm信号接口依次通信连接，用于实现多路cpu互连通信，有效解决由于现有技术因为主板中cpu数量的原因造成无法实现8路以上服务器的问题，有效地增强了服务器的系统性能，可以适用于多种对性能要求比较高的应用场景。
56.本发明技术方案中qsfp板还包括第一fit信号连接状态指示灯以及第二fit信号连接状态指示灯，可以直观的确定所在主板中fit 信号连接状态。
57.本发明技术方案中主节点的cpld板收到本节点和所有从节点的节点准备完成信
号后，分别发送节点启动信号到主节点以及各从节点的主板内部的cpld，主节点以及各从节点中的主板cpld再分别对应发送启动命令，保证了所有cpu的计时器同步启动。
58.本发明技术方案中主节点中cpld板还包括晶振以及时钟芯片，主节点的cpld板中时钟芯片的时钟输出端一路输出至主节点中的主板内部的cpu，另一路输出至其它从节点的cpld板中，由从节点的cpld板将接收的时钟信号发送至本节点中的主板内部的cpu，保证了所有节点中cpu的时钟信号的同步。
59.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。