网络通信系统中的功率、数据、冷却和管理的集成的制作方法

1.本公开总体上涉及通信网络，并且更具体地，涉及通信网络中的功率、数据、管理和冷却集成。


背景技术：

2.在常规通信系统中，由于使用单独的电缆来提供功率、数据和其他公用设施，因此在设备机架中安装网络设备常常是复杂的。通过使用poe(以太网供电)或通用串行总线(usb)，网络设备可以通过单一组合功能电缆来满足其数据连接和功率需求两者。然而，常规poe系统具有有限的功率容量，这可能不适合许多种类的设备。此外，如果功率增加，传统的冷却方法可能不适用于高受电设备。
附图说明
3.图1示出了根据一个实施例的通信系统的示例，该通信系统通过点到点拓扑结构中的组合电缆传送功率、数据、冷却和管理。
4.图2示出了根据一个实施例的通信系统的示例，该通信系统通过锥形拓扑结构中的组合电缆传送功率、数据、冷却和管理。
5.图3示出了根据一个实施例的通过中央集线器和网络设备之间的组合电缆传送功率、数据、冷却和管理的示例。
6.图4是机架中的中央集线器的示意性前视图，该机架具有多个网络设备，在该网络设备的前面板上具有组合电缆接口。
7.图5是机架中的中央集线器的示意性前视图，该机架在网络设备的背面板上具有组合电缆接口。
8.图6描绘了用于实施本文所述的实施例的网络设备的示例。
9.图7是示出根据一个实施例的网络设备处的功率、数据、冷却和管理的框图。
10.图8是示出根据一个实施例的具有组合功率、数据、管理和冷却传送的通信系统的安装过程的概述的流程图。
11.贯穿附图的若干视图，对应的附图标记表示对应的部分。
具体实施方式
12.概述
13.本发明的各方面在独立权利要求中阐述，并且优选特征在从属权利要求中阐述。一个方面的特征可以单独地或与其他方面组合地应用于每个方面。
14.在一个实施例中，一种系统通常包括：中央集线器，该中央集线器包括电源、数据交换机、冷却剂分配系统和管理模块；位于中央集线器的互连域内的多个网络设备；以及将中央集线器连接到网络设备的至少一个组合电缆，并且这些组合电缆包括包含在外部电缆护套内的功率导体、数据链路、冷却剂管和管理通信链路。
15.在一个或多个实施例中，中央集线器和网络设备是机架安装的设备。
16.在一个或多个实施例中，组合电缆连接到网络设备的背面，网络设备被插入机架的前面。
17.在一个或多个实施例中，组合电缆包括多个组合电缆，每个组合电缆将中央集线器连接到网络设备中的一个。
18.在一个或多个实施例中，组合电缆包括到网络设备中的每一个的多抽头连接。
19.在一个或多个实施例中，中央集线器和网络设备通过光纤形成无源光网络。
20.在一个或多个实施例中，该系统还包括冗余中央集线器，该冗余中央集线器通过至少一个备用组合电缆连接到网络设备。
21.在一个或多个实施例中，电源可用于提供至少1000瓦的脉冲功率。
22.在一个或多个实施例中，数据链路包括一对光纤，这对光纤可用于以至少100gb/s向网络设备中的每一个进行传送。
23.在一个或多个实施例中，中央集线器包括备用电源，该备用电源可用于在指定时间段内向网络设备供电。
24.在一个或多个实施例中，冷却剂分配系统包括冷冻备用冷却剂箱。
25.在一个或多个实施例中，管理通信链路包括用于单对以太网(spe)管理通信的单对导线。
26.在一个或多个实施例中，管理通信链路限定管理覆盖(overlay)网络。
27.在一个或多个实施例中，中央集线器通过组合电缆与网络设备形成存储覆盖网络。
28.在一个或多个实施例中，组合电缆还包括位于组合电缆内的电缆标识符发光二极管或耦合到组合电缆的连接器，以用于识别组合电缆或组合电缆的状态。
29.在一个或多个实施例中，中央集线器用作机架顶部(tor)交换机，并且网络设备包括服务器。
30.在另一实施例中，一种装置通常包括：电源、数据交换机、冷却剂分配系统、管理模块、用于连接到组合电缆的至少一个端口，该组合电缆包括包含在外部电缆护套内的功率导体、数据链路、冷却剂管和管理通信链路，并且该装置还包括控制处理器，以用于控制在组合电缆上传送到多个网络设备的功率、数据和冷却之间的交互。电源、数据交换机、冷却剂分配系统、管理模块和控制处理器被包含在机箱内。
31.本文还描述了包括网络节点的对应的方法和装置，还描述了计算机程序、计算机程序产品、计算机可读介质和编码在有形介质上以用于实现系统的逻辑。
32.具体而言，在又一实施例中，一种方法通常包括：将中央集线器插入到机架中，该中央集线器包括包含在机箱内的电源、数据交换机、冷却剂分配系统和管理模块；将组合电缆连接到中央集线器，该组合电缆包括位于外部电缆护套内的功率导体、数据链路、冷却剂管和管理通信链路；将网络设备插入到机架中并将网络设备连接到组合电缆；以及通过组合电缆从中央集线器向网络设备提供功率、数据、冷却和管理。
33.通过参考本说明书的剩余部分和附图，可以认识到对本文所述的实施例的特征和优点的进一步理解。
34.示例实施例
35.提供以下描述以使本领域普通技术人员能够制作和使用实施例。具体实施例和应用的描述仅作为示例提供，并且各种修改对于本领域技术人员来说将是显而易见的。本文描述的一般原理可应用于其他应用而不脱离实施例的范围。因此，实施例不限于所示出的那些，而是被赋予与本文描述的原理和特征一致的最宽范围。为了清楚起见，未详细描述在与实施例相关的技术领域中已知的与技术材料相关的细节。
36.服务器、路由器、存储引擎、加速器、雾节点(fog node)、iot(物联网)设备、网关和类似网络设备的安装常常是复杂的。硬件通常被固定在其安装位置，并且然后单独地连接功率、数据和带外管理电缆。这些电缆大大增加了系统的复杂性和成本，并且常常会增加系统的故障模式。在一个示例中，带有40个1ru(机架单元)服务器的设备机架可以具有数百个需要购买、安装和维护的分立电缆。
37.在用于同时传输功率和数据通信的常规以太网供电(poe)系统中，通过用于数据的同一绞线对电缆来传送功率。标准poe的最大功率传送容量约为100瓦(w)，但许多种类的受电设备将受益于1000瓦或更高的功率传送。数据能力也受限于绞线对的带宽，通常为10gb/s(千兆每秒)或更低。虽然在大规模和分布式计算系统中使用poe作为单电缆互连件将简化安装和维护并减少电缆拥塞，但常规poe系统可能无法扩展到功率要求(例如，约1000w)、互连带宽要求(例如，每台服务器超过40gb/s)或者提供所需的冷却。
38.对于高受电设备，尤其是那些具有高热密度封装或总散热量超过几百瓦的设备，传统的对流冷却方法可能不适用。一旦体积功率密度超过约每升150w，通常使用风扇进行强制空气对流变得不切实际。下一代服务器(例如，具有八个或更多高功率cpu(中央处理单元)、gpu(图形处理单元)和/或tpu(张量处理单元)芯片)将受益于大约每1ru封装1000瓦的功耗能力。支持数十条100gb/s或更高链路的路由器也有类似的功率要求。这种功率密度很难使用风扇进行冷却，并且可能导致空气冷却系统的噪音过大，超过osha(职业安全与健康管理局)的噪声限值。正在研究用泵送液体冷却剂取代强制空气冷却，这是未来数据中心设计的重要趋势。然而，使用一组单独的管道来传送液体冷却剂进一步增加了电缆系统的复杂性。
39.带外管理和存储网络也是机架级服务器安装的关键功能。常常向每个服务器提供一个或多个覆盖网络(超出主流以太网互连)，以建立用于管理流量、报警监视和连接到存储磁盘场等的侧通道。然而，这些覆盖网络增加了系统成本和复杂性。
40.本文描述的实施例提供了互连技术，以同时解决上述问题。一个或多个实施例提供了一种高效、紧凑、有成本效率的方式，以将网络设备(例如服务器、路由器、存储引擎或机架中的类似设备(例如，机柜、服务器机架或用于支持网络设备的其他框架或外壳))与中央数据、管理、功率和冷却资源进行互连。在一个或多个实施例中，组合电缆提供数据、功率、冷却和管理。例如，组合电缆可以将光纤传送的数据、管理(例如，流量管理、报警监视、连接到存储磁盘场或其他管理或存储覆盖网络功能)、功率(例如，脉冲功率、≥100w的功率、≥1000w的功率)和冷却(例如，液体、气体、或多相冷却剂)从中央集线器传输到中央集线器的互连域内的大量网络设备(例如，服务器、路由器、存储引擎、雾节点、iot设备或类似网络设备)。在一个或多个实施例中，与组合电缆和集线器相关联的管理能力实施基础设施的数据互连、功率、冷却和管理覆盖能力之间的交互模式。如下文详细描述的，被配置为提供功率、数据、冷却和管理的中央集线器可以包括集线器控制处理器、数据交换机(交换机、
路由器、交换机/路由器)、配电系统、管理模块(例如，提供物理或虚拟管理功能)和冷却剂分配系统。在一个或多个实施例中，中央集线器还可以提供短期供电和冷却剂备用能力。本文所述的组合电缆和统一中央集线器通信系统可以大大提高效率，降低安装和维护的复杂性，并且降低高密度和分布式计算系统的成本，同时促进系统之间更紧密的耦合。
41.本文描述的实施例在包括多个网络设备的数据通信网络的情境下操作。该网络可以包括经由任何数量的节点进行通信的任何数量的网络设备(例如，路由器、交换机、网关、控制器、接入点或其它网络设备)，这会促进网络内的数据传递。网络设备可以通过一个或多个网络进行通信或与一个或多个网络进行通信，所述一个或多个网络为例如：局域网(lan)、城域网(man)、广域网(wan)、虚拟专用网(vpn)(例如，以太网虚拟专用网(evpn)、第2层虚拟专用网(l2vpn))、虚拟局域网(vlan)、无线网络、企业网络、公司网络、数据中心、物联网(iot)、光网络、互联网、内联网、雾网络或任何其他网络。网络可以包括任何数量的通信系统(例如，服务器场、分布式计算环境(工业计算、边缘计算机、雾节点)、数据中心机架或具有集中互连域的其他通信系统)，这些通信系统包括如本文所述的可用于通过组合电缆来传送数据、功率、管理网络和冷却的中央集线器。
42.现在参考附图，并且首先参考图1，示出了用于通过点对点组合电缆14来集成功率、光纤传输数据、以太网管理和冷却的传输的系统的示例。为了简化起见，示出少量节点。系统被配置为将功率(例如，大于100w的功率、大于1000w的功率、脉冲功率)、数据(例如，光学数据)、冷却(例如，液体、气体或多相冷却)和管理(例如，以太网管理数据、管理通信链路、管理网络、spe(单对以太网)管理数据、管理覆盖、存储覆盖、管理和存储覆盖)从中央集线器10提供到多个网络设备12(例如，服务器、路由器、存储引擎、雾节点、iot设备或类似网络元件、电子组件或设备)。可以在通信设备之间交换信号，并且从电源设备(例如，中央集线器10)向受电设备(例如，通信设备12)传输功率。如下面关于图3详细描述的，系统向网络设备12提供功率、数据、管理和冷却，该网络设备12被配置为通过电缆系统来接收数据、功率、管理和冷却，在该电缆系统中每个组合电缆14包括光纤(一个或多个光纤)、功率导体(功率铜线)、以太网管理数据线(例如，一个或多个线对)和冷却剂管(一个或多个冷却管)。从中央集线器10延伸到远程通信设备12的电缆14被配置为在单个电缆(组合电缆、多功能电缆、多用途电缆、混合电缆)中传输功率、光学数据、以太网管理和冷却。电缆14可以由适合于传输电力、数据(铜、光纤)和冷却剂(液体、气体或多相)的任何材料形成，并且可以以包含在外部电缆护套内的任何布置来传输任何数量的电线、光纤和冷却管。
43.如图1的示例所示，该系统包括中央集线器10，该中央集线器10经由组合电缆14与远程设备12进行通信，每个电缆被配置用于传送功率、光学数据、冷却和管理数据。中央集线器10可以与任何数量的网络设备12进行通信。在一个示例中，中央集线器10作为机架顶部(tor)交换机而与多个服务器(例如，40个1ru服务器或任何其他数量或配置的服务器、存储设备、路由器、交换机或其他网络设备)进行通信。例如，可以使用中央集线器10代替tor交换机、pdu(配电单元)、管理终端服务器和机架级冷却基础设施。如下文详细描述的，中央集线器10包括控制处理器13，以用于控制在组合电缆14上传送的功率、数据和冷却之间的交互。
44.在图1所示的示例中，中央集线器10包括：控制器(集线器控制处理器)13；配电模块(pdm)15，用于接收功率(例如，从电网、可再生能源、发电机或电池构建功率)；网络接口
(例如，交换机、路由器、结构卡、线路卡)16，用于从网络(例如，互联网、网络主干)接收数据或向网络发送数据；管理模块(例如，管理交换机、控制器、路由器、终端服务器、存储集线器、虚拟化流量管理)17，其可以补充主数据交换机16以用于管理和存储覆盖网络；以及冷却剂分配系统18，与冷却设备(cooling plant)流体连通。在一个或多个实施例中，冗余中央集线器(未示出)可以根据通信系统中的需要来提供备用或附加功率、带宽、冷却或管理。
45.网络设备12可以包括，例如，位于机架或机柜中的服务器、路由器或存储引擎，或位于分布式计算环境(例如，工业计算、边缘、雾)中的iot设备或雾节点，其中组合电缆向中心集线器的互连域内的分布式端点提供数据、功率、管理、以及冷却。在一个或多个实施例中，网络设备12可以在大于100w的功率水平(例如，1000w或任何其他功率水平)下工作。网络设备12还可以与一个或多个其他设备(例如，雾节点、iot设备、传感器等)进行通信，并且可以使用poe或usb向设备传送功率。例如，网络设备12中的一个或多个可以使用poe向以下电子组件传送功率，例如：ip(互联网协议)相机、voip(ip语音)电话、摄像机、销售点设备、安全访问控制设备、住宅设备、大楼自动化设备、工业自动化设备、工厂设备、灯(建筑灯、路灯)、交通信号和许多其他电气组件和设备。
46.图2示出了另一示例，在该示例中，中央集线器10使用锥形拓扑结构通过单一组合电缆14向多个网络设备12传送功率、光学数据、管理和冷却。组合电缆14可以包括多个抽头(多抽头)，以用于使用锥形拓扑结构将多个服务器或其他端点从单一源或一组主服务器连接在一起。
47.在一个或多个实施例中，pon(无源光网络)(例如，10g pon)可以在光纤上使用多个抽头，并且具有功率(例如，脉冲功率)和冷却系统的多抽头配置。例如，10g的pon通信带宽可以在小型服务器社区之间分配。例如，pon可以根据需要为共用一个组合电缆14的同一机柜中的服务器12的集群提供动态带宽，并且在客户端设备广泛分布的情况下也可能很有价值(例如，沿着线性共用电缆的一系列街角雾节点或沿着长走廊的一系列wi
‑
fi或li
‑
fi ap(接入点))。多抽头功率可以通过例如在中央集线器10处向电缆14供应4000w或更大的功率开始，其中每个服务器12分接功率线，直到功率减弱为止。服务器12还可以彼此通信(例如，通过组合电缆14中的管理数据链路)，并且基于需要或请求的加载来动态地重新分配其冷却、功率和带宽的使用。
48.例如，该系统可以用于创建一种有成本效率的手段，即在机架或一组机架内创建具有最小布线量的服务器场。由于抽头可以容易地被移除和重新附接，而不会中断电缆14上的其他服务器12，因此维护工作得以简化。对于功率/数据需求高度可变的设备或沿着单一路径在地理上分布的设备，多抽头变体(图2)可能优于点对点变体(图1)。例如，可以使用多抽头功率和冷却剂分配，以更好地为具有高度可变负载的设备或分布在长距离(例如，接近1km)上的设备的集合提供服务。
49.应当理解，图1和图2中所示以及上文所述的网络设备和拓扑结构只是示例，并且本文所述的实施例可以在包括不同网络拓扑结构或不同数量、类型或布置的网络设备的网络中实现，而不脱离实施例的范围。
50.图3示意性地示出了根据一个实施例的从中央集线器10向网络设备12中的一个传送功率、数据、冷却和管理通信的电缆14。例如，可以向中央集线器10提供来自网络主干的一个或多个高带宽数据光纤、来自建筑物电气室的电气服务(例如，约40kw)以及来自建筑
物冷却设备的循环液体冷却剂的供应。可以注意到，虽然图3示出了用于在中央集线器10处接收功率、数据和冷却的各个连接，但是这些资源也可以在组合电缆上从远程集线器传送到中央集线器。
51.在图3所示的示例中，中央集线器10包括：用于从电网接收功率的配电模块20，用于从主干网络接收数据并向主干网络传输数据的主交换机/路由器(网络接口、交换机、路由器)21，与冷却设备流体连通的冷却剂分配系统22，用于为数据、功率和冷却之间的交互提供控制和管理的集线器控制处理器30，以及用于管理或存储覆盖网络的管理交换机32。如图3所示，所有这些组件都包含在机箱(外壳)19内，以将交换机/路由器功能、控制、配电、冷却分布和管理网络集成到单个封装件中。在一个或多个实施例中，例如，机箱19可以被配置为1ru或2ru网络设备。
52.配电模块20通过导体26向远程设备12处的电源模块23供电。中央集线器10处的主交换机/路由器21经由数据链路(例如，光纤、数据线)27与远程设备12处的网络接口24进行通信。管理模块32提供管理功能，并且可用于例如管理和存储覆盖网络。应理解，本文所使用的术语管理模块可以指的是实体或虚拟管理功能。例如，管理模块可以包括一个或多个较小的数据交换机，其可集成到中央集线器10中以补充主数据交换机21或提供对主数据交换机21上的流量的虚拟化管理。
53.中央集线器10处的冷却剂分配系统22利用冷却剂管28和网络设备12处的一个或多个散热器25形成冷却回路。集线器控制处理器30可以提供冷却回路的控制逻辑以及组合电缆14的功率和数据传输功能。集线器控制处理器30还可以向管理交换机32提供控制信息，以用于管理网络设备12或者管理或存储覆盖。在一个或多个实施例中，中央集线器10还可以包括冷却剂备用存储装置(例如，冷冻备用冷却剂箱)31和短期电源(例如，备用电池)36，如下详细描述的。
54.电缆14包括功率导体26(例如，用于脉冲功率的重型绞合线)，管理通信链路35(例如，用于传输以太网数据的一个或多个线对(例如，单对以太网(spe)、光纤传送管理或存储覆盖网络)，用于传输数据的数据链路27(例如，对于常规系统每个方向至少有一个光纤，或者对于双向光纤系统至少有一个光纤，金属主数据互连(导体、导线))，冷却剂管28(对于液体系统，每个方向至少有一个，或者对于压缩空气系统，每个方向至少有一个)，以及保护性外罩33。这些组件以及可用于将所选元件彼此隔离、管理元件之间的导热性或提供保护和强度的一个或多个附加组件被包含在单一组合电缆14的外部电缆护套33内。
55.在图3所示的示例中，电缆14包括两个功率线(导体)26(每种极性一个)、管理通信链路(线对)35、两个光纤27(用于双向数据连接)、以及分别耦合到位于中央集线器10和远程设备12处的连接器29a和29b的两个冷却剂管28(供应管和回流管)。电缆14还可以包括用于识别电缆或电缆状态的光缆标识符37，如下所述。中央集线器10和远程设备12处的连接器29a和29b被配置为与电缆14配合，以用于发送和接收功率、数据和冷却。在一个实施例中，连接器29a、29b在同一连接器主体中传输功率、光学数据、冷却剂和管理数据。
56.导体26可以包括能够例如向每个端点12传送几千瓦的功率的重型功率导体。在一个示例中，可以使用脉冲功率，其中在电缆14上传输高压能量的短脉冲，并且通过端点12来确认接收。该系统可以包括一个或多个用于更高功率操作的安全特征(例如，绝缘、功率/电缆兼容性确认、控制电路检查开路/短路的过程、或热传感器)。在一个实施例中，脉冲功率
可以包括例如高压功率脉冲之间的低压故障检测。例如，故障感测可以包括通过电缆或受电设备的低压感测进行线对线故障检测和通过中点接地进行线对地故障检测。触摸安全故障保护也可以通过电缆和连接器设计来提供，该电缆和连接器设计即使在施加高压的情况下也是触摸安全的。功率安全特征提供了安全的系统操作和组件的安装和移除(断开)。
57.可选覆盖管理网络可以被配置为电缆14中的一个或多个额外导体35。在一个或多个实施例中，覆盖管理网络可以使用spe来降低布线复杂性。如果需要光纤通道(fc)进行存储，并且不可能或不希望在主光纤链路上使用聚合以太网，则可以提供附加的fc绞线。这些覆盖和附加存储网络可以作为服务器本身上的逻辑接口进行分解。
58.光纤27可用于以例如400 gb/s(或其他数据速率，包括10gb/s和100gb/s之间的速率)向每个端点12进行传送。
59.中央集线器10处的冷却剂分配系统22保持低温冷却剂的来源，该低温冷却剂通过分配管道(例如，歧管)、通过连接器29a，并且沿着电缆的冷却剂供应线28发送到远程设备12。远程设备12上的连接器29b与电缆14耦合，并且供应冷却剂通过设备内部的元件(例如，排出热量的散热器25和热交换器(下文关于图7进一步描述))来路由。加热后的冷却剂可以通过回流歧管来聚集，并且通过电缆14中的回流管28离开设备的连接器29b返回中央集线器10。电缆14使冷却剂返回中央集线器10，其中，回流冷却剂通过中央集线器10上的冷却剂分配系统22处的热交换器，以将来自冷却剂回路的热量转移到外部冷却设备，并且重复循环。冷却剂分配系统22处的热交换器可以是液体
‑
液体热交换器，带有例如传递到冷冻水或冷却塔电路的热量。热交换器也可以是液体
‑
空气热交换器，带有用于将废热量排放到大气中的风扇。可以由温度、压力和流量的传感器来监视从电缆14返回的热冷却剂。一旦冷却剂释放出热量，它可能会通过泵39流回，并且然后被送回冷却回路。可以在中央集线器10或远程设备12处提供一个或多个变速泵，以使流体围绕冷却回路循环。
60.在替代实施例中，在电缆14内仅提供单个冷却剂管，并且高压空气(例如，由带中间冷却器的中央压缩机提供)用作冷却剂。当空气进入远程设备12时，允许其膨胀和/或直接撞击设备内的散热元件。冷却可以通过经由空气质量流的强制对流来实现，并且当高压空气膨胀至大气压力时，可以通过焦耳
‑
汤姆逊效应来提供附加的温度降低。一旦空气完成其冷却任务，就可以通过一系列止回阀和消音器(未示出)将空气排放到远程设备12外部的大气中。
61.在一个或多个实施例中，冷却剂管28支持液体冷却剂或其他能够冷却热负荷的流体的流动。冷却剂可以包括，例如水、防冻剂、液体或气体制冷剂或混合相冷却剂(沿着回路部分地从液体变为气体)。中央集线器10还可包括一个或多个支持系统，以用于过滤冷却剂、供应新鲜冷却剂、调节防腐化学品、从回路中排出空气、或根据安装和维护电缆14的需要对回路进行填充和排放。在一个示例中，可以提供约25升/分钟的25摄氏度水基冷却剂，以冷却机架内包含的40kw通信系统。应理解，这只是一个示例，并且其他冷却速率或温度可用于冷却各种负载。来自所有远程设备12的冷却回路可以彼此隔离或通过歧管和大型中央热交换器混合，以实现整体系统热效率。
62.如前所述，各种传感器可以监视冷却剂回路(冷却剂分配系统22、冷却剂管28、散热器25)周围关键点处的聚合和单个分支冷却剂温度、压力和流量数量。其他传感器可以监视功率导体26任一端处的功率传送系统的电流和电压。一个或多个阀门可用于基于其瞬时
需求来控制传送至远程设备12的冷却量。例如，集线器控制处理器30可以基于热传感器和功率传感器来控制冷却剂分配。
63.集线器控制处理器30可以实施算法以提供各种集成管理功能。例如，脉冲功率技术可以利用来自接收端点的连续反馈来闭合反馈回路并维持安全的高功率连接。由于数据和管理网络被包括在同一电缆14中，并且其路由/交换能力被包括在与功率集线器功能相同的机箱中，因此集线器处理器30可以协调两个系统以有效地进行交互。功率和冷却的结合也提供了优点。脉冲功率可以精确测量和调节传送到每个端点的瞬时功率。如果中央集线器的冷却剂传送集线器具有用于调整每个组合电缆的冷却剂流的阀门，则集线器控制处理器可以通过冷却剂网络来执行闭环控制，以匹配所提供的功率。数据路由器在同一集线器中的位置允许功率和冷却系统监视并快速响应计算负载的变化，如网络流量的变化中显而易见的。将管理网络集成到同一电缆14和中央集线器10中，也为对数据、功率或冷却网络中的异常情况进行更密切的监视和更快的响应提供了可能性，从而提高了整个数据中心的效率和安全性。
64.如前所述，冷却剂分配系统22可以通过集线器控制处理器30与中央集线器10中的数据和功率元件进行交互。例如，每个分支可以将不同的组合电缆驱动至单独的服务器，并且具有自身的冷却剂计量功能，该冷却剂计量功能可以包括集线器的冷却剂歧管组件内的阀门或小型泵的网络。由于中央集线器10通过其电力系统遥测了解到每个服务器的瞬时功率消耗，因此沿着每个分支的冷却剂流可以更快地对所需的冷却负荷作出反应，从而潜在地消除由热惯性、感测滞后或流量变化延迟引起的不稳定性。集线器控制处理器30处的控制算法可以组合功率、数据和冷却系统的操作状态，以在正常和紧急模式两者下优化所连接的服务器的操作和效率。
65.由组合电缆14提供的所有公用设施(功率、数据、冷却、管理)可以与集线器控制处理器30进行交互，以保持系统安全且高效。在一个或多个实施例中，包括位于中央集线器的控制处理器30和远程设备的管理器处理器34上的组件的分布式控制系统可以通过组合电缆14中的管理以太网导体35进行通信。可以由集线器控制处理器30来使用中央集线器10和远程设备12处的传感器，以监视温度、压力或流量。伺服阀门或变速泵可用于确保冷却剂流符合远程热负荷的要求。温度、压力和流量传感器可用于在冷却回路的多个阶段(例如，在中央集线器10的入口和远程设备12的入口)测量冷却剂特性，并且这些传感器的子集也可以策略性地放置在出口和中间点。远程设备12可以包括例如温度传感器，以用于监视关键半导体的管芯温度、关键组件(例如，光学模块、磁盘驱动器)的温度或设备密封外壳内的空气温度。如果系统在功率导体26中检测到附加的功率流(例如，由于远程设备12处的cpu负载突然增大)，则集线器控制处理器30可以在预期散热器温度即将升高时(甚至在温度传感器记录温度之前)主动增加冷却剂流。集线器控制处理器30还可以监视远程设备的内部温度，并且调整冷却剂流以保持设定点温度。该反馈系统确保始终存在正确的冷却剂流。冷却剂流过大将浪费能量，而冷却剂流过小将导致远程设备12中的关键组件过热。
66.中央集线器10还可包括对功率和冷却恢复力的支持。例如，ups(不间断电源)功能可以在ac电网故障和可从备用发电机获得稳定电源的时刻之间提供支持。如图3所示，中央集线器10可以包括能够在启动备用发电机所需的几分钟内提供约40kw的备用电池36(例如，一个或多个电池)。在一个示例中，5
‑
10kw小时的电池存储容量将适合容纳中央集线器
的路由器、冷却和管理功能的同一1ru/2ru机箱。备用电池36和主配电系统20可以在中央集线器10处相互作用，从而可以基于数据交换机21所看到的正在传输的数据来调节和控制从备用电池36到每个网络设备12的功率流。例如，如果观察到中央集线器10支持的服务器12的子集具有最小的网络流量，则当备用电池36接近耗尽时，ups元件可以首先卸载这些负载。这使得基于所监视的网络流量的最关键的负载子集能够保持更长时间。
67.如图3所示，中央集线器10还可包括小型隔离箱31，该小型隔离箱31用于保持数十升本地储存的预冷冻备用液体冷却剂，以从中央冷却剂供应的临时中断中恢复。在一个示例中，可以使用小型珀耳帖制冷器(peltier refrigerator)来连续地冷却液体。如果主冷却剂回路停止循环、运行干燥或入口温度过高，则可以使用阀门和本地泵将预冷冻冷却剂从箱31通过冷却剂分配歧管22沿着复合电缆14分流至中央集线器所服务的设备12中。对冷却剂进行预冷冻(降至环境露点，或在更先进的系统中略高于其冻结温度)通过在达到服务器的高热限值之前允许附加的升温来提高其冷却能力，从而提高本地储备箱31中存储的有限体积的冷却剂的运行时间。
68.对箱31中的备用冷却剂进行预冷冻，允许有限体积的冷却剂可以被储存在尺寸合理的集线器箱中，以进一步用于紧急冷却情况。例如，如果服务器中的液体散热器的设计温度为55摄氏度，且冷却剂在30摄氏度的环境温度下储存，则可以基于流量、散热等来支持特定的运行时间，其中冷却剂的温度通过服务器升高了25摄氏度。通过将备用冷却剂保持在环境温度以下(例如5摄氏度)，可以使用50摄氏度的升温，使小型储备箱31的冷却运行时间加倍。对于主冷却剂供应线运行干燥或运行过热的情况，也可以有不同的控制模式。在一些情况下(例如，冷冻设备冷却剂太热)，可以用表计量备用冷却剂以稀释主冷却剂供应，以使主冷却剂降温，或在其他情况下(例如，冷冻设备流故障)，将备用冷却剂隔离并再循环至负载。
69.在一个或多个实施例中，备用冷却剂箱31的尺寸可以被配置为使其在预期负载下的运行时间与备用电池36相似。在一个示例中，备用电池36和备用冷却剂箱31的运行时间可以是5
‑
10分钟，这可能足以应对针对数据中心的功率和冷却设备的许多短期公用设施中断和维护动作。如果预期中断持续时间超过支持的运行时间，则备用存储装置提供足够的时间，以允许服务器12保存其状态并在功率耗尽或危险的过热之前执行有序关机。
70.在一个或多个实施例中，可以提供电缆标识符以用于识别电缆，因为可能有许多电缆14位于中央集线器10上，并且可能会使试图识别需要操作的电缆的技术人员感到困惑。在一个示例中，可以将识别能力集成到电缆14、连接器29a、连接器29b或其任何组合中。标识符元件可以使所选电缆或连接器发光以便识别电缆，并且可以包括例如电缆14中的元件(光纤)37或连接器29a、29b中的一者或两者中的led 38，该光纤37或led38可以以易于识别的颜色或闪烁模式照亮以快速指示故障，例如功率故障、冷却剂流/压力的损失、网络错误等。在一个实施例中，光纤37可以沿着电缆的长度被集成，并且led 38被提供在中央集线器连接器29a内以照亮电缆。在另一实施例中，小型led被集成到组合电缆14两端的连接器29a、29b中，以在连接器体内提供驱动电路，以用于接收控制消息并且以所选颜色、闪烁模式或这两者来照亮led。例如，可以通过使用“泄漏的”光纤、适当的电缆护套材料和光终端来照亮电缆14的整个长度。
71.电缆14可以包括包含在电缆14的外部护套33内的功率导体26、光纤27、管理数据
线(覆盖网络链路)35和冷却剂管28的各种配置。冷却剂管28可以具有各种截面形状和布置，这可能会产生更多的空间和热效率电缆。可以调整供应和回流管壁材料的导热率，以优化整个系统冷却。电缆14还可以被配置为通过供应管
‑
回流管的传导、外部环境传导、冷却剂管
‑
功率导体的热传导或这些或其他条件的任何组合来防止热损失。例如，隔热材料可位于冷却剂管28之间，以防止热冷却剂回流管和冷冷却剂供应管之间的热流。隔热材料也可以放置在冷却剂管28和外部护套33之间。在另一实施例中，一个或两个冷却剂管28可以设有通向外部的低热阻抗路径。还可以在功率导体26和一个冷却剂管28之间提供热路径，以使用回路的部分冷却功率来保持电缆14中的功率导体26冷却。
72.在一个或多个实施例中，电缆护套33可以包括两个用于识别冷却系统中的泄漏的小型传感导体(未示出)。如果冷却剂管发生泄漏，护套33内的冷却剂会导致信号在这些导体之间传递，并且可以使用中央集线器10处的诸如tdr(时域反射计)之类的设备来定位电缆故障的准确位置，从而便于维修。
73.为了防止在电缆14与中央集线器10或远程设备12解耦时发生冷却剂泄漏，冷却剂线路28和连接器29a、29b优选地包括自动切断进出电缆以及进出设备或集线器的流体的阀门(未示出)。在一个或多个实施例中，连接器29a、29b可以被配置为允许发生连接排序和反馈。例如，直到建立经验证的密封冷却剂回路，才可以进行电气连接。电缆连接器29a、29b还可以包括线路是否受压的视觉或触觉证据，从而减少用户安装或维护错误的可能性。连接器29a、29b优选地被配置为通过手或机械手容易地匹配和解除匹配(耦合、解耦)。连接器29a、29b还可包括快速断开装置，以用于在插入机架中时将连接器与中央集线器10或网络设备12处的端口进行盲配，如下面关于图5所述。电缆14还可以在每端处包括快速断开装置，以用于与连接器29a、29b相配合。
74.在一个或多个实施例中，冗余中央集线器(未示出)可以根据需要在网络中提供备用或附加功率、带宽、冷却或管理。例如，网络设备12处的每个散热器25(或热交换器)可以包括两个隔离的流体通道，每个通道链接到一个冗余中央集线器。如果冷却剂从一个集线器停止流动，则另一集线器可以提供足够的冷却剂(例如，由集线器控制处理器30节流)，以保持关键组件正常工作。隔离对于防止一个流体回路中的压力损失事件也影响到冗余回路中的压力而言至关重要。主集线器和备用集线器两者也可同时用于向设备功率电路进行供电，以提供更高的功率能力。类似地，冗余数据光纤可以提供更高的网络带宽，并且冗余冷却剂回路可以提供更高的冷却能力。集线器控制处理器30可以管理故障，并且在必要时将数据、功率和冷却恢复到较低水平。
75.图4示出了位于机架43内的中央集线器40和服务器42的示例。应理解，本文中使用的术语“机架”可以指代服务器机架、机柜、外壳、框架或配置用于接收和支持多个网络设备(例如，中央集线器、服务器、路由器、交换机、线路卡、结构卡、1ru设备、2ru设备或任何其他网络设备)的任何其他设备，这些网络设备被插入机架的前开口或后开口(例如，插槽)，或被安装在机架上或连接到机架以形成通信系统(例如，中央集线器和位于中央集线器的互连域内的网络设备)。类似地，本文中使用的术语“机架安装的”是指安装在任何类型的服务器机架、机柜、外壳、框架或上述其他设备中的网络设备。
76.如前所述，通常出现在数据中心机架中的分立的数据、功率、管理和冷却互连件被提供所有这些功能的组合电缆互连件所取代，从而大大简化了安装、维护和维修。中央集线
器40将tor交换机/路由器功能、控制、配电、冷却分布和管理组合成单一的集成封装件，这将由支持功能所使用的机架空间最小化。在此示例中，中央集线器40位于机架43的顶部，并取代tor交换机。可选的冗余集线器44也可以位于机架43上，如下所述。应当理解，中央集线器40和冗余中央集线器44(如果包括的话)可以位于机架上的任何位置(例如，顶部、底部或任何其他插槽)。在图4所示的示例中，中央集线器40和冗余集线器44在前面板上分别包括用于功率、数据和冷却的接口45。如上文关于图3所述，功率接口接收来自电网或其他外部源的功率，数据接口与网络主干进行通信，并且冷却剂接口与外部冷却设备流体连通。如前所述，中央集线器40或冗余集线器44还可以在组合电缆上接收功率、数据和冷却。在图4所示的示例中，用于向任何数量的服务器42传输组合的功率、数据、管理和冷却的多个接口(端口)46也位于中央集线器40和冗余集线器44的前面板上。每个服务器42包括用于接收一个或多个组合电缆49的一个或多个接口(端口)47，并且还可以包括用于连接到任何数量的其他设备(例如，iot设备或其他终端设备)的一个或多个端口48。如前所述，服务器42例如可以向iot设备、传感器或器具或其他设备提供poe。在图4所示的示例中，每个服务器42包括两个端口47，以用于连接到与中央集线器40和冗余集线器44通信的组合电缆49。服务器滑入机架中的开放插槽中，并且连接单个组合电缆49(或在使用冗余集线器44的情况下连接两个)，从而完成功率、数据、管理、存储和高密度冷却功能的安装。
77.如先前关于图2所述，将中央集线器40连接到服务器42的组合电缆49可以替换为锥形拓扑结构中的具有多个抽头的一个组合电缆。
78.关键设备可能需要考虑容错性。如果需要冗余，则备用集线器44可以配备有与两个组合电缆49(一个连接到每个集线器)进行接口连接的一个或多个服务器42。每个电缆49可以位于独立的集线器40、44上，其中每个集线器提供数据、功率、冷却和管理。可以提供用于功率、数据、冷却和管理的冗余连接，以防止中央集线器40、其到互联网的数据连接、主电源、冷却系统或管理模块发生故障。
79.应理解，本文中使用的术语“前”、“后”或“背”是基于机架43和网络组件40、42、44的取向的相对术语，并且不应解释为限制机架43内组件的布置或取向。在一个或多个示例中，机架43可以被定位为靠近壁或另一机架，并且可有限地接触到前开口或背开口中的任一者。因此，用于将组合电缆49耦合到中央集线器40、冗余集线器44或服务器42的电缆连接(接口、端口)46、47也可以位于背面板上，如下面关于图5所述。
80.如图5所示，从中央集线器50或可选的冗余集线器54到服务器52的组合电缆连接也可以位于集线器和服务器的背面。中央集线器50、服务器52和连接到中央集线器和服务器的背面的组合电缆59的局部侧视图如图5中的切口所示。两个服务器55以虚线示出，以说明电缆59和连接器57在服务器后面的位置。在一个示例中，设备机架43可以预先分级，其中用于数据、功率、管理和冷却的中央分配集线器50位于顶部，并且多个组合端点电缆59散开到机架下方的服务器位置。这可用于支持盲配情形，从而允许从前面安装服务器52，而无需从后面进入，其中，在服务器被插入到机架中之前，单个组合电缆59被预先分级在机架43的背面(例如，类似于背面板连接器)或被插入到电缆59中的松弛环(slack loop)中。
81.中央集线器50和冗余集线器54处的功率、数据和冷却接口55可以位于集线器的前面(面板)或背面。
82.应当理解，图4和图5所示的系统仅为示例，并且本文所述的实施例可用于包括不
同数量或布置的组件的其他系统，而不脱离实施例的范围。例如，在分布式计算环境(例如，工业计算或雾网络)中，中央集线器可以以不同方式进行封装，并且电缆可以将数据、功率、管理和冷却连接到超过1km的距离的分布式端点。
83.图6示出了可用于实现本文所述的实施例的网络设备60(例如，图1中的中央集线器10)的示例。在一个实施例中，网络设备60是可编程机器，其可以用硬件、软件或其任何组合来实现。网络设备60包括一个或多个处理器62、管理系统63、存储器64、冷却系统(泵、阀门、传感器)65和接口(电气、光学、流体)66。
84.网络设备60可以包括任何数量的处理器62(例如，单处理器或多处理器计算设备或系统)。处理器62可以接收来自软件应用或模块的指令，这使得处理器执行本文描述的一个或多个实施例的功能。处理器62还可以操作管理系统63、冷却系统65或数据系统66的一个或多个组件。
85.存储器64可以是易失性存储器或非易失性存储装置，其存储各种应用、操作系统、模块和数据，以供处理器62执行和使用。例如，管理系统63的组件、冷却组件65的控制逻辑或控制系统的其他部分(例如，代码、逻辑或固件等)可以存储在存储器64中。网络设备60可以包括任何数量的存储器组件，这些存储器组件也可以形成存储覆盖的一部分。
86.逻辑可以在一个或多个有形介质中编码，以供处理器62执行。例如，处理器62可以执行存储在计算机可读介质(例如，存储器64)中的代码。计算机可读介质可以是例如：电子介质(例如，ram(随机存取存储器)、rom(只读存储器)、eprom(可擦除可编程只读存储器))、磁性介质、光学介质(例如，cd、dvd)、电磁介质、半导体技术或任何其他合适的介质。在一个示例中，计算机可读介质包括非暂态计算机可读介质。逻辑可用于执行以下关于图8的流程图所述的一个或多个功能，或诸如本文所述的功率水平协商、安全子系统或热控制之类的其他功能。
87.接口66可以包括用于接收数据、功率和冷却或将数据、功率和冷却传输到其他设备的任何数量的接口(例如，功率、数据和流体连接器、线路卡、端口、用于连接到图3中电缆14的组合连接器29a、29b)。网络接口可以被配置为使用各种不同的通信协议来发送或接收数据，并且可以包括用于通过耦合到网络的物理链路来传送数据的机械、电气和信令电路。接口66中的一个或多个可以被配置用于poe f(光纤) c(冷却)、poe f、poe、pof(光纤供电)或类似操作。
88.应当理解，图6所示和上面描述的网络设备60只是一个示例，并且可以使用网络设备的不同配置。例如，网络设备60还可以包括可用于促进本文所述的能力的硬件、软件、算法、处理器、设备、组件或元件的任何合适组合。
89.图7是示出根据一个实施例的网络设备70(例如，图1中的网络设备12)处的组件的框图。系统组件在对受电设备进行通电期间提供与电源(例如，图1中的中央集线器10)的通信，并且还可以提供故障保护和检测。如前所述，网络设备70通过耦合到连接器83的组合电缆84来接收功率、管理、冷却、以及双向数据。网络设备70包括用于接收光学数据并将其转换为电信号(或将电信号转换为光学数据)的光学/电气组件71和包括功率检测模块72、功率监视和控制单元73、和功率启用/禁用模块74的功率组件。
90.功率检测模块72可以检测功率，使光学组件71通电，并且向电源返回状态消息。可以经由功率线、光学通道或以太网管理通道上的状态变化来提供返回消息。在一个实施例
中，功率启用/禁用模块74不启用功率，直到光收发器和源已确定设备已正确连接且网络设备已准备好通电。在一个实施例中，设备70被配置为计算可用功率并防止布线系统在不应通电时被通电(例如，在冷却故障期间)。
91.功率监视和控制设备73持续监视功率传送，以确保系统能够支持所需的功率传送，并且不超过安全限值(电压、电流)。如果缺少与电源的光转换或管理通信，则功率监视和控制设备73还可以监视光信令并禁用功率。温度、压力或流量传感器80、87还可以向功率监视和控制模块73提供输入，以便在设备70处的温度超过规定限值时，可以禁用功率。
92.经由冷却回路78中的冷却(冷却剂)管向设备70提供冷却，冷却回路78通过冷却抽头(散热器、热交换器)76、79向受电设备提供冷却，并使温热(热)的冷却剂返回中央集线器。网络设备70还可以包括用于管理冷却的多个组件。网络设备70内的冷却回路78可以包括任何数量的传感器80、87，以用于监视回路周围关键点处(例如，进入和离开设备，在关键组件位置处)的聚合和单个分支温度、压力和流速。例如，传感器87可以用于检查远程设备70接收的冷却剂量是否与中央集线器供应的冷却剂量大致相同，以帮助检测组合电缆84中的泄漏或堵塞，并确认温度和压力是否在规定限值内。
93.分配管道将冷却回路78中的冷却剂路由到网络设备70内的各个热控制元件，以通过各个流路径来主动调节冷却。例如，分配歧管75可以被包括在网络设备70中，以将冷却剂路由到冷却抽头76和热交换器79。如果歧管具有多个输出，则每个歧管可配备阀门82(手动或伺服控制)，以调节各个流路径。热控制元件可以包括液体冷却散热器、热管或直接附接到最热组件(例如，cpu、gpu、tpu、电源、光学组件等)以直接去除其热量的其他设备。网络设备70还可以包括冷板或设备外壳的壁中的通道，以冷却它们接触的任何东西。可以提供空气
‑
液体热交换器(其可以通过小型内部风扇增强)，以循环冷却密封箱内的空气。一旦冷却剂通过这些元件并去除了设备的热量，冷却剂就可以通过附加的温度、压力或流量传感器，通过另一歧管以重新组合流量，然后流出至冷却剂回流管。在图7所示的示例中，冷却系统包括泵81，泵81可用于帮助驱动冷却回路78周围的冷却剂或将冷却剂送回中央集线器，并且还用于在中央集线器10的泵送动作被中断时提供冗余。
94.分配歧管75可以包括任何数量的单独歧管(例如，供应歧管和回流歧管)，以提供任何数量的冷却分支，这些冷却分支指向网络设备70内的一个或多个组件。此外，冷却回路78可以包括任何数量的泵81或阀门82，以控制冷却回路的每个分支中的流量。该流量可以通过主动反馈回路来设置，该主动反馈回路感测临界热负荷的温度(例如，大功率半导体的管芯温度)，并且持续调节为散热器或热交换器79提供服务的回路中的流量。泵81和阀门82可以由管理系统/控制器77控制，并且响应于网络设备70处的监视、基于通过管理通信通道从中央集线器10接收的控制逻辑进行工作。
95.应当理解，图7中所示的网络设备70只是一个示例，并且网络设备可以包括不同的组件或组件的布置，而不脱离实施例的范围。例如，冷却系统可以包括任何数量的泵、歧管、阀门、散热器、热交换器或传感器，这些设备位于冷却剂回路内的不同位置，或被布置为对设备的各种元件或部分进行冷却。此外，网络设备70可以包括任何数量的功率传感器或控制模块，这些功率传感器或控制模块可用于与中央集线器处的集线器控制处理器进行通信，以优化网络设备处的功率传送和冷却。
96.图8是示出根据一个实施例的用于安装集成通信系统并且在通信系统中传送组合
的功率、数据、管理和冷却的过程的概述的流程图。在步骤86，将包括(位于机箱中的)电源、数据交换机、冷却剂分配系统和管理交换机的中央集线器40插入到机架43中(图4和图8)。将包括(包含在外部电缆护套内的)光纤(一个或多个光纤)、冷却剂管(一个或多个冷却剂管)和用于以太网管理通信的导线(覆盖网络链路)的组合电缆49连接到中央集线器40(步骤87)。将网络设备(例如，服务器42)插入到机架中并连接到组合电缆49(步骤88)。在组合电缆49上将功率、数据、冷却和管理从中央集线器40传送到网络设备42(步骤89)。
97.应当理解，图8中所示的过程仅是用于安装和操作具有组合的功率、数据、冷却和管理的通信系统的过程的示例，并且可以在不脱离实施例的范围的情况下添加、移除、组合、重新排序或修改步骤。
98.在一个实施例中，一种系统包括：中央集线器，该中央集线器包括电源、数据交换机、冷却剂系统和管理模块；多个网络设备，位于中央集线器的互连域内；以及至少一个组合电缆，将中央集线器连接到网络设备，并且包括包含在外部电缆护套内的功率导体、数据链路、冷却剂管和管理通信链路。
99.尽管已经根据所示实施例描述了方法和装置，但本领域的普通技术人员将容易认识到，在不脱离实施例范围的情况下，可以对实施例进行更改。因此，上述描述中包含的以及附图中所示的所有内容意在被解释为说明性的，而不是限制性的。