一种大规模分布式多级集群的构建方法及系统与流程

1.本发明涉及通信技术领域，具体而言，涉及一种大规模分布式多级集群的构建方法及系统。


背景技术：

2.当前的集群设备的互联是单一性质的互联，随着集群设备的增加、数据流设备的特有特征，目前的单一性质的互联不能满足规模和数据流设备的传输特征，无法实现高效的通信传输，需要一种多层次的互联方案。


技术实现要素：

3.为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种大规模分布式多级集群的构建方法及系统，四层立体互联架构，实现了全系统、高带宽、低延迟通信，有效支持计算密集、通信密集和输入/输出密集传输和计算系统的运行。
4.本发明的实施例是这样实现的：
5.第一方面，本发明实施例提供一种大规模分布式多级集群的构建方法，包括以下步骤：
6.根据预置的微互联通信协议构建微互联框架，上述微互联框架采用交叉开关的互联方式；
7.基于微互联框架采用预置的内互联通信协议构建内互联框架，上述内互联框架采用立体互联方式，用于实现异构数据节点之间的立体网络的数据传输；
8.基于内互联框架采用预置的中互联通信协议构建中互联框架，上述中互联框架采用立体互联方式，用于实现多立体网络的数据传输；
9.基于中互联框架采用预置的外互联通信协议构建外互联框架，将外互联框架与交换机互联。
10.为了解决现有技术中的问题，本发明通过构建多层级的网络互联架构，包括外互联-中互联-内互联-微互联四层次互联，四层立体互联，实现了全系统、高带宽、低延迟通信，有效支持计算密集、通信密集和输入/输出密集传输和计算系统的运行。外互联支持中央交换网络的互联；中互联采用立体互联，用于数据的快速传输和高效传输；内互联用于实现异构数据节点之间的立体网络的高速数据传输，以有效降低网络的传输功耗和时间开销；微互联，采用开关阵列的互联。
11.基于第一方面，在本发明的一些实施例中，上述外互联通信协议包括帧头、有效通讯字节、备用码、协议类型、默认码、数据类型、请求id、数据内容包、校验和高八位、校验和中八位、校验和第八位以及帧尾。
12.基于第一方面，在本发明的一些实施例中，上述内互联通信协议包括crc校验、数据以及数据符号，上述数据符号包括响应、保留位、优先级目的端id、源端id、格式类型以及数据长度。
13.基于第一方面，在本发明的一些实施例中，上述中互联通信协议包括路由、起始定界符、数据、结束定界符以及空闲帧。
14.基于第一方面，在本发明的一些实施例中，上述微互联通信协议包括crc校验、数据以及包头、保留位、源地址、经度索引、维度索引和格式类型。
15.基于第一方面，在本发明的一些实施例中，上述内互联框架采用3d-mesh的互联方案。
16.基于第一方面，在本发明的一些实施例中，上述中互联采用3d-torus的互联方案。
17.第二方面，本发明实施例提供一种大规模分布式多级集群的构建系统，包括微互联构建模块、内互联构建模块、中互联构建模块以及外互联构建模块，其中：
18.微互联构建模块，用于根据预置的微互联通信协议构建微互联框架，上述微互联框架采用交叉开关的互联方式；
19.内互联构建模块，用于基于微互联框架采用预置的内互联通信协议构建内互联框架，上述内互联框架采用立体互联方式，用于实现异构数据节点之间的立体网络的数据传输；
20.中互联构建模块，用于基于内互联框架采用预置的中互联通信协议构建中互联框架，上述中互联框架采用立体互联方式，用于实现多立体网络的数据传输；
21.外互联构建模块，用于基于中互联框架采用预置的外互联通信协议构建外互联框架，将外互联框架与交换机互联。
22.第三方面，本技术实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
23.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
24.本发明实施例至少具有如下优点或有益效果：
25.本发明实施例提供一种大规模分布式多级集群的构建方法及系统，通过构建多层级的网络互联架构，包括外互联-中互联-内互联-微互联四层次互联，四层立体互联，实现了全系统、高带宽、低延迟通信，有效支持计算密集、通信密集和输入/输出密集传输和计算系统的运行。外互联支持中央交换网络的互联；中互联采用立体互联，用于数据的快速传输和高效传输；内互联用于实现异构数据节点之间的立体网络的高速数据传输，以有效降低网络的传输功耗和时间开销；微互联，采用开关阵列的互联。
附图说明
26.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
27.图1为本发明实施例一种大规模分布式多级集群的构建方法的流程图；
28.图2为本发明实施例的多层互联框架示意图；
29.图3为本发明实施例的微互联框架示意图；
30.图4为本发明实施例的内互联框架示意图；
31.图5为本发明实施例的3d-mesh的网络实现图；
32.图6为本发明实施例的中互联框架示意图；
33.图7为本发明实施例的3d-torus的节点示意图；
34.图8为本发明实施例的3d-torus的网络实现图；
35.图9为本发明实施例的内互联通信协议和中互联通信协议的组成示意图；
36.图10为本发明实施例的外互联通信协议的组成示意图；
37.图11为本发明实施例的从内到外进行数据传输的流程图；
38.图12为本发明实施例一种大规模分布式多级集群的构建系统的原理框图；
39.图13为本发明实施例提供的一种电子设备的结构框图。
40.附图标记说明：100、微互联构建模块；200、内互联构建模块；300、中互联构建模块；400、外互联构建模块；101、存储器；102、处理器；103、通信接口。
具体实施方式
41.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
42.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
44.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
45.实施例：
46.如图1-图11所示，第一方面，本发明实施例提供一种大规模分布式多级集群的构建方法，包括以下步骤：
47.s1、根据预置的微互联通信协议构建微互联框架，上述微互联框架采用交叉开关的互联方式；
48.如图10所示，上述微互联通信协议包括crc校验、数据以及包头、保留位、源地址、经度索引、维度索引和格式类型。该微互连协议包为内互连协议包的“数据”。
49.在本发明的一些实施例中，如图3所示，微互联采用交叉开关，比如x0和y0互连，则采用将c(0，0)闭环的方式连接。本发明的微互连采用crossbar网络搭建微互连整体系统，
组成一个crossbar网络，其中crossbar网络的节点作为计算单元，作为一种无阻塞网络，具有易于实现控制，稳定性高特点。
50.s2、基于微互联框架采用预置的内互联通信协议构建内互联框架，上述内互联框架采用立体互联方式，用于实现异构数据节点之间的立体网络的数据传输；
51.进一步地，如图9所示，上述内互联通信协议包括crc校验、数据以及数据符号，上述数据符号包括响应、保留位、优先级目的端id、源端id、格式类型以及数据长度。该内互连协议包为中互连协议包的“数据”。
52.进一步地，如图4和图5所示，上述内互联框架采用3d-mesh的互联方案。内互联作为3d-mesh的互联方案，3d-mesh结构是片上互联网络的结构，它将所有节点部署在双层次，其中，一个3d-mesh的节点对应于一个crossbar构建的微互连整体系统，3d-mesh结构利用三维坐标x、y、z来定位每个节点。通过将节点分层，当节点比较多时，会使结构更加清晰，具有较高吞吐率。
53.如图5所示，3d-mesh的网络实现图，有三种类型的节点：
54.其中以p开头的，表示process节点，该节点表示一个微互连整体(计算)系统，该节点作为内互连协议包的生成节点，反过来，也作为内互连协议包的处理节点(当目的地址一致时)；
55.其中以r开头的，表示router节点，该节点作为的功能判断process节点生成地址，完成路由选择功能；
56.其中以t开头的，表示tranceiver节点，经过路由选择后的传输节点，该节点将提供对外的传输介质，通过该节点将搭建对应的3d-torus网络。
57.s3、基于内互联框架采用预置的中互联通信协议构建中互联框架，上述中互联框架采用立体互联方式，用于实现多立体网络的数据传输；
58.进一步地，如图9所示，上述中互联通信协议包括路由、起始定界符、数据、结束定界符以及空闲帧。该中互连协议包为外互连协议包的“数据内容包”。
59.进一步地，如图5所示，上述中互联采用3d-torus的互联方案。中互联作为3d-torus的互联方案，3d-torus网络用大小固定的交换单元互连而成一个三维环绕的格型网，每个交换单元通过单项或双项链路与它的六个相邻节点相连，并具有一双向数据通路的连接线卡，路由选择时要求在每个方向上分别经过若干转接点。对于中互连，采用3d-turos网络搭建，组成一个多节点的3d-turos网络中互连整体系统，其中，一个3d-turos的节点对应于一个3d-mesh构建的内互连整体系统，具有较高吞吐率，对应的路由算法能够减小传输时延。
60.如图7和图8所示，3d-torus的网络实现图，其中：s表示super node节点，该节点内部就是一个完整的3d-mesh的内互连网络整体系统，其中的east/west/south/north/top/down的六个方向是内互连中的tranceiver节点。该网络包括两种类型的节点：
61.其中以r开头的，表示root node节点，表示根节点，该节点作为3d-torus网络的一部分，也提供相关的节点与具有以太网传输能力的传统服务器进行互连；
62.其中以s开头的，表示super node节点，表示超节点，该节点作为3d-torus网络的一部分，六个方向均提供中互连能力。
63.s4、基于中互联框架采用预置的外互联通信协议构建外互联框架，将外互联框架
与交换机互联。外互联采用与普通高速交换机的方式进行互连。对于外互连，采用高带宽的以太网网络搭建，组成一个外中互连整体系统。
64.进一步地，如表1所示(表1为外互联通信协议)，上述外互联通信协议包括帧头、有效通讯字节、备用码、协议类型、默认码、数据类型、请求id、数据内容包、校验和高八位、校验和中八位、校验和第八位以及帧尾。
65.表1：
[0066][0067][0068]
在本发明的一些实施例中，通过构建四层框架实现全系统、高带宽、低延迟通信，大大提高各集群的数据传输效率。首先构建底层微互联框架，采用交叉开关的方式实现数据的互联，其搭载单一网络包；然后在微互联框架的基础上构建内互联框架，其搭载超节点，实现异构数据节点的立体网络的数据传输；在此基础上，构建中互联框架将多个超节点进行关联，中互联搭载多个超级节点，实现多个立体网络之间的数据传输；最后，基于层级叠加构建一个外互联框架，其与外部交换机互联。按照相关的传输机制，从微互联整体系统到内互联整体系统到中互联整体系统，一直到外互连互联整体系统，均含有相关的路由配置表，当进行从内之外的数据传输时，按照对应的包协议在各层进行组包，然后进行数据的传输；反之，当进行从外至内的数据处理时，按照相应的包协议在各层进行解包。通过一层层的互联框架实现数据的高效精准传输。
[0069]
从外互联到中互联到内互联到微互联，采用层层解包处理的方式，实现数据包的处理。例如，现有一个数据包a，数据包a的组成除有效数据载荷外，从外到内依次是外互联包协议包首和包尾，其次是中互联包协议包首和包尾，再次是内互联包协议包首和包尾，最后是微互联包协议包首和包尾。基于上述四层互联框架在对数据包a进行从外到内的处理时，从外到内依次包括以下步骤：解析外互联包协议包首和包尾，并按照包路径地址判断后进入相应的中互联网络；解析中互联包协议包首和包尾，并按照包路径地址判断后进入相应的内互联网络；解析内互联包协议包首和包尾，并按照包路径地址判断后进入相应的微互联网络；最终，按照微互联的包格式，通过x索引(经度索引)和y索引(维度索引)，找对最终的包计算单元。
[0070]
同样的，在进行逆向关联数据包传输时，从微互联到内互联到中互联到外互联，采用层层组包处理的方式。例如，现有一个数据包b，一开始b是有效数据载荷，按照每一层的路由配置算法，从内到外，依次添加微互联包协议包首和包尾组成微互联协议包，添加内互联包协议包首和包尾组成内互连协议包，添加中互联包协议包首和包尾组成中互连协议包，添加外互联包协议包首和包尾组成外互连协议包。如图11所示，基于本发明的四层互联框架进行从内到外进行数据传输具体包括以下步骤：
[0071]
a1、添加微互联包协议包首和包尾组成微互联协议包；
[0072]
a2、判断是否是同一微互联网络内通信，若是同一网络，则直接传输处理，否则添加内互联包协议包首和包尾组成内互连协议包，并进入步骤a3；
[0073]
a3、判断是否是同一内互联网络内通信，若是同一网络，则直接传输处理，否则添加中互联包协议包首和包尾组成中互连协议包，并进入步骤a4；
[0074]
a4、判断是否是同一中互联网络内通信，若是同一网络，则直接传输处理，否则添加外互联包协议包首和包尾组成外互连协议包，并进入步骤a5；
[0075]
a5、包进入以太网通过以太网进行传输。
[0076]
基于上述步骤进行数据包的传输，大大提高了数据传输效率。
[0077]
为了解决现有技术中的问题，本发明通过构建多层级的网络互联架构，包括外互联-中互联-内互联-微互联四层次互联，四层立体互联，实现了全系统、高带宽、低延迟通信，有效支持计算密集、通信密集和输入/输出密集传输和计算系统的运行。外互联支持中央交换网络的互联；中互联采用立体互联，用于数据的快速传输和高效传输；内互联用于实现异构数据节点之间的立体网络的高速数据传输，以有效降低网络的传输功耗和时间开销；微互联，采用开关阵列的互联。
[0078]
如图12所示，第二方面，本发明实施例提供一种大规模分布式多级集群的构建系统，包括微互联构建模块100、内互联构建模块200、中互联构建模块300以及外互联构建模块400，其中：
[0079]
微互联构建模块100，用于根据预置的微互联通信协议构建微互联框架，上述微互联框架采用交叉开关的互联方式；
[0080]
内互联构建模块200，用于基于微互联框架采用预置的内互联通信协议构建内互联框架，上述内互联框架采用立体互联方式，用于实现异构数据节点之间的立体网络的数据传输；
[0081]
中互联构建模块300，用于基于内互联框架采用预置的中互联通信协议构建中互联框架，上述中互联框架采用立体互联方式，用于实现多立体网络的数据传输；
[0082]
外互联构建模块400，用于基于中互联框架采用预置的外互联通信协议构建外互联框架，将外互联框架与交换机互联。
[0083]
为了解决现有技术中的问题，本系统通过微互联构建模块100、内互联构建模块200、中互联构建模块300以及外互联构建模块400等多个模块的配合，通过构建多层级的网络互联架构，包括外互联-中互联-内互联-微互联四层次互联，四层立体互联，实现了全系统、高带宽、低延迟通信，有效支持计算密集、通信密集和输入/输出密集传输和计算系统的运行。外互联支持中央交换网络的互联；中互联采用立体互联，用于数据的快速传输和高效传输；内互联用于实现异构数据节点之间的立体网络的高速数据传输，以有效降低网络的
memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0091]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0092]
对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其它的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。