具有流体分配配置的信息技术冷却系统的制作方法

所公开的实施例总体上涉及用于电子设备的温度控制的液体冷却系统，特别是但不排 他地涉及一种具有流体分配配置的冷却系统。

背景技术

许多现代信息技术(IT)设备，诸如服务器、刀片式服务器、路由器、边缘服务器等在操 作期间产生大量的热量。由单独的部件产生的热量(尤其是诸如处理器、包括多个小芯片的 SoC的高功率部件)使得这些单独的部件中许多不可能或难以利用空气冷却系统有效地冷 却。因此，现代IT设备需要液体冷却或液体-空气混合冷却。

由于对液体冷却的要求，一些IT设备具有机载液体冷却系统，该系统热联接到需要冷 却的单独的部件。但是这些机载液体冷却系统通常不孤立操作。它们通常联接到至少一个 较大的冷却系统，诸如电子机架中的液体冷却系统，并且机架的冷却系统可进一步联接到 诸如数据中心的较大设施的液体冷却系统。在这样的系统中，数据中心的冷却系统使工作 流体循环通过机架冷却系统，机架冷却系统又使工作流体循环通过IT设备上的冷却系统。

以前的解决方案单独设计了IT机架/容器和设施冷却基础设施，这意味着冷却基础设施 和冷却剂环路连接是设施侧基础设施。这种设计长期以来一直被工业中使用和采用，但是 它不够灵活，并且缺乏现代IT基础设施所需的弹性，尤其是不断变化的IT配置。几种现 有的解决方案已经提出将冷却设备与机架集成，但是每个单独的机架级冷却系统仍然是独 立的，这意味着仍然需要设施级的分配和冷却基础设施。由此产生的硬件和控制系统复杂 且成本高昂。

技术实现要素：

一种装置包括：布置成IT集群的多个IT单元，每个IT单元包括IT容器，所述IT容 器与邻近所述IT容器的对应冷却器配对并流体联接，每个IT容器在其对应的冷却器的上 游。所述IT集群包括：第一行，其具有上游端和下游端，并且包括定位成彼此邻近且彼此 抵接的一个或更多个IT单元，和第二行，其具有上游端和下游端，所述第二行邻近所述第 一行，并且包括定位成彼此邻近且彼此抵接的一个或更多个IT单元，其中，所述第一行中 的每个IT单元的冷却器通过行内流体连接件流体联接到所述第一行中的下一个下游IT单 元的IT容器，或者通过行间流体连接件流体联接到所述第二行中的所述一个或更多个IT 单元中的一个IT单元的IT容器。

根据一些实施例，所述第二行中的每个IT单元的冷却器通过行内流体连接件流体联接 到所述第二行中的下一个下游IT单元的IT容器，或者通过行间流体连接件流体联接到所 述第一行中的所述一个或更多个IT单元中的一个IT单元的IT容器，并且所述IT集群包 括至少一对行间流体连接件，其中，所述至少一对行间流体连接件、所述第一行中的行内 流体连接件以及所述第二行中的行内流体连接件在所述IT集群内形成至少一个流体环路。

根据一些实施例，所述第一行和所述第二行彼此平行，并且所述第一行的上游端邻近 所述第二行的下游端，并且所述第一行的下游端邻近所述第二行的上游端。

根据一些实施例，所述至少一对行间流体连接件包括将所述第一行的上游端流体联接 到所述第二行的下游端的第一行间流体连接件以及将所述第一行的下游端流体联接到所述 第二行的上游端的第二行间流体连接件，从而在所述IT集群中形成单个流体环路。

根据一些实施例，所述至少一对行间流体连接件包括两对或更多对行间流体连接件， 其中，所述两对或更多对行间流体连接、所述第一行中的行内流体连接件以及所述第二行 中的行内流体连接件在所述IT集群内形成多个流体环路。

根据一些实施例，每个冷却器包括：流体联接到对应的IT容器的冷却器入口，流体联 接到行内流体连接件或行间流体连接件的开环出口，以及闭环出口；流体旁路管线，其具 有联接在其中的第一三通阀和第二三通阀，其中，所述流体旁路管线流体联接到单元入口， 并且通过所述第二三通阀流体联接到所述开环出口和所述闭环出口；和主冷却环路，其流 体联接到所述流体旁路管线。

根据一些实施例，所述主冷却环路包括：热交换器，其具有入口和出口，所述热交换 器的入口通过供应管线在所述单元入口处或所述单元入口附近流体联接到所述流体旁路管 线，并且所述热交换器的出口通过返回管线联接到所述第一三通阀和所述第二三通阀之间 的所述流体旁路管线；泵，其流体联接在所述返回管线中；和双向管线，其流体联接到所 述第一三通阀并且在所述泵上游联接到所述返回管线。

根据一些实施例，至少一个冷却器的热交换器还包括适于通过控制阀联接到设施供应 管线的外部入口以及适于流体联接到设施返回管线的外部出口。

根据一些实施例，至少一个冷却器的热交换器是多相热交换器，所述多相热交换器还 包括适于联接到设施供应管线的外部入口以及适于流体联接到设施蒸气返回管线的外部出 口。

一种数据中心设施包括：一个或更多个IT集群和一个或更多个数据中心冷却系统。每 个IT集群包括多个IT单元，每个IT单元包括IT容器，所述IT容器与邻近所述IT容器的 对应冷却器配对并流体联接，每个IT容器在其对应冷却器的上游。每个IT集群包括：第 一行，其具有上游端和下游端，并且包括定位成彼此邻近且彼此抵接的一个或更多个IT单 元，和第二行，其具有上游端和下游端，所述第二行邻近所述第一行，并且包括定位成彼 此邻近且彼此抵接的一个或更多个IT单元，其中，所述第一行中的每个IT单元的冷却器 通过行内流体连接件流体联接到所述第一行中的下一个下游IT单元的IT容器，或者通过 行间流体连接件流体联接到所述第二行中的所述一个或更多个IT单元中的一个IT单元的 IT容器。每个数据中心冷却系统包括联接到至少一个设施环路的设施热交换器，所述设施 环路包括设施供应管线和设施返回管线，其中，所述一个或更多个IT集群中的每个冷却器 联接到所述一个或更多个数据中心冷却系统中的一个数据中心冷却系统的设施供应管线和 设施返回管线。

根据一些实施例，所述第二行中的每个IT单元的冷却器通过行内流体连接件流体联接 到所述第二行中的下一个下游IT单元的IT容器，或者通过行间流体连接件流体联接到所 述第一行中的所述一个或更多个IT单元中的一个IT单元的IT容器，并且所述IT集群包 括至少一对行间流体连接件，其中，所述至少一对行间流体连接件、所述第一行中的行内 流体连接件以及所述第二行中的行内流体连接件在所述IT集群内形成至少一个流体环路。

根据一些实施例，每个集群中的成对的冷却器共享所述一个或更多个数据中心冷却系 统中的一个数据中心冷却系统，使得包括来自所述第一行的一个冷却器和来自所述第二行 的一个冷却器的成对的冷却器联接到同一设施环路的所述设施供应管线和所述设施返回管 线。

根据一些实施例，所述一个或更多个数据中心冷却系统包括第一数据中心冷却系统和 第二数据中心冷却系统，其中，所述第一数据中心冷却系统使用第一冷却流体并流体联接 到集群中的冷却器的子集，并且所述第二数据中心冷却系统使用第二冷却流体并联接到集 群中的冷却器的另一子集。

根据一些实施例，成对的集群共享所述一个或更多个数据中心冷却系统中的一个数据 中心冷却系统，使得第一集群的第一行中的冷却器和第二集群的第二行中的冷却器流体联 接到单个设施环路。

根据一些实施例，每个集群包括集成的分配模块，所述分配模块具有适于流体联接到 至少一个设施热交换器的供应管线和返回管线。

根据一些实施例，每个冷却器通过供应管线和返回管线流体联接到单个设施热交换器。

根据一些实施例，每个冷却器的供应管线通过控制阀流体联接到设施供应管线。

根据一些实施例，每个冷却器包括温度传感器以感测所述冷却器的出口温度，并且其 中所述控制阀基于感测到的出口温度来设置。

根据一些实施例，至少一个集群包括两对或更多对行间流体连接件，其中，所述两对 或更多对行间流体连接、所述第一行中的行内流体连接件以及所述第二行中的行内流体连 接件在所述IT集群内形成多个流体环路。

根据一些实施例，至少一个冷却器包括：流体联接到对应的IT容器的冷却器入口，流 体联接到行内流体连接件或行间流体连接件的开环出口，以及闭环出口；流体旁路管线， 其具有联接在其中的第一三通阀和第二三通阀，其中，所述流体旁路管线流体联接到单元 入口，并且通过所述第二三通阀流体联接到所述开环出口和所述闭环出口；主冷却环路， 其流体联接到所述流体旁路管线。所述主冷却环路包括：热交换器，其具有入口和出口， 所述热交换器的入口通过供应管线在所述单元入口处或所述单元入口附近流体联接到所述 流体旁路管线，并且所述热交换器的出口通过返回管线联接到所述第一三通阀和所述第二 三通阀之间的所述流体旁路管线；泵，其流体联接在所述返回管线中；和双向管线，其流 体联接到所述第一三通阀并且在所述泵上游联接到所述返回管线。

附图说明

参照以下附图描述了本发明的非限制性和非穷尽性实施例，其中除非另有说明，否则 贯穿各个视图类似的附图标记指代类似的部件。

图1是IT容器的实施例的框图，该IT容器包括容纳有电子器件和冷却系统的电子机 架。

图2是包括IT容器及其对应的冷却器或冷却单元的IT单元的实施例的框图。

图3A至图3B是冷却系统的实施例的图；图3A是平面图，图3B是侧视图。

图4A至图4C是模块化冷却系统的实施例的侧视图。

图5A至图5B是冷却系统的实施例的平面图。

图6A至图6C是冷却系统以及可以在其中形成的模块配置的实施例的平面图。

图7是冷却系统的实施例的平面图。

图8是用于控制内部再循环环路和外部环路之间的冷却流体的流动的过程的实施例的 流程图。

具体实施方式

描述了用于高密度服务器机架的多环路冷却配置的实施例。描述具体细节以提供对实 施例的理解，但是相关领域的技术人员将认识到，本发明可在没有一个或更多个所描述的 细节的情况下或者利用其他方法、部件、材料等来实践。在一些情况下，公知的结构、材 料或操作没有详细示出或描述，但是仍然包含在本发明的范围内。

在整个说明书中对“一个实施例”或“实施例”的引用意味着所描述的特征、结构或 特性可包括在至少一个所描述的实施例中，因此“在一个实施例中”或“在实施例中”的 出现不一定都指同一实施例。此外，在一个或更多个实施例中，特定特征、结构或特性可 以任何合适的方式组合。如在本申请中所使用的，诸如“前”、“后”、“顶”、“底”、 “侧”、“横向”、“纵向”等的方向术语是指当它们在附图中呈现时实施例的取向，但 是任何方向术语都不应被解释为暗示或要求所描述的实施例在实际使用中的任何特定取 向。

模块化设计变得越来越重要和流行，尤其是对于许多应用场景。存在不同的方法来使 用模块化概念设计IT集群。模块化概念不再是IT容器的概念，它可用于系统的任何部分 或集群的分区。开发模块化冷却和电源模块以及IT模块的组合模块以实现更高的系统灵活 性和弹性变得越来越重要。特别是，需要模块化液体冷却架构来支持IT集群或IT容器， 该集群或IT容器中填充有液体冷却的IT设备或IT之间的液体冷却单元。所描述的实施例 提供了可针对不同场景配置不同类型的液体冷却分配集群的设计。这对IT机架内产生的不 断增加的功率密度至关重要。

描述了具有新颖的冷却环路管理配置的IT基础设施设计的实施例。所描述的实施例用 于设计和开发模块化计算和存储集群，或者用于超大规模数据中心建筑，或者是在容器数 据中心系统中。实施例主要关注用于实现IT机架和冷却硬件的系统架构以及相应的解决方 案，尤其是传热系统和流体管理设计，以将热负载从每个IT机架提取到集群外部。实施例 包括与IT容器集成的冷却单元，其形成流体传输环路的一部分。然后将多个这样的部件组 合，以产生不同类型的内部再循环环路。每个内部再循环环路都形成在IT集群内。冷却单 元连接到外部环路，以向集群内部环路输送冷却能力。内部环路根据系统布局、模块布局 和IT布局不同地配置。此外，内部环路可在整个集群部署之前和之后动态地调整，从而允 许在IT集群之间进行不同的冷却剂再循环。此外，还针对外部和内部布局和应用提出了模 块化配置方案。流量、压力和温度根据IT要求进行控制。

简化的系统设计可具有多种益处，其中之一是快速部署。所公开的实施例将复杂的流 体系统和管理与IT外壳集成在一起，而不是将单独的系统设计为设施基础设施。通过这样 的设计，部署被简化，并且配置和热系统布置可被动态地调整。硬件和系统配置可能需要 根据不同的用例和应用场景进行调整。尤其在云计算中，系统配置可能需要根据客户要求 进行调整。因此，基础设施弹性不仅要求它能够支持不同类型的硬件部署和操作，包括功 率和冷却要求，还要求它能够支持整个系统级PoD/集群布置和系统重新配置。

已经提到模块化设计是重要的，设计和部署模块的方法是最重要的。所公开的实施例 旨在提供有效的模块化设计和方法。

所公开的实施例为IT机架、冷却硬件和流体管理提供了灵活的配置，同时消除了用于 内部流体分配的主要设施级冷却基础设施。这大大简化了用于设计传热环路的设施级设计。 这种设计和操作方法能够实现下列各项的高度灵活性和弹性：系统环路配置和流体管理； 机架集群分组；以及模块化设计方法和系统分区布局。另一个提出的特征是，集群内的内 部环路从设施完全分离和独立，改为由IT容器和它们对应的冷却单元形成。此外，内部环 路方案可根据需要动态地重新配置。该设计可容易地通过模块化设计适应。此外，目前的 设计提供了鲁棒的系统冗余，以应对不同的故障场景或其他异常场景，并且另一个创新是 简化了房间设施侧的设计，以在冷却系统中形成不同的传热环路。

图1是示出了电子机架的实施例的侧视图的框图，该电子机架是在数据中心中常用的 一种IT容器。在一个实施例中，电子机架100包括CDU 101、机架管理单元(RMU)102和 一个或更多个服务器刀片103A-103D(统称为服务器刀片103)。服务器刀片103可分别从电 子机架100的前端904插入服务器插槽的阵列。请注意，尽管仅示出了四个服务器刀片 103A-103D，但是在电子机架100内可保持更多或更少的服务器刀片。还要注意，CDU 101、 CMU 102和服务器刀片103的特定位置仅出于说明的目的而示出；也可实现CDU 101、CMU 102和服务器刀片103的其他布置或配置。此外，设置在前端104的前门和设置在后端105 的后门是可选的。在一些实施例中，在前端104和/或后端105上可没有门。

在一个实施例中，CDU 101包括热交换器111、液体泵112和泵控制器110。热交换器 111可为液体-液体热交换器。热交换器111包括具有第一对液体连接器的第一管，该第一 对液体连接器联接到外部液体供应管线132/返回管线131以形成主环路，其中联接到外部 液体供应管线132/返回管线131的连接器可设置或安装在电子机架100的后端105上。此 外，热交换器111还包括第二管，该第二管具有联接到液体歧管125的第二对液体连接器， 液体歧管125可包括向服务器刀片103供应冷却液体的供应歧管和将较暖的液体返回到 CDU 101的返回歧管。处理器可安装在冷板上，其中冷板包括嵌入其中的液体分配通道， 以接收来自液体歧管125的冷却液体，并将携带从处理器交换的热量的冷却液体返回到液 体歧管125。机架100是IT容器的一个例子，该IT容器可与如图2所示的冷却单元联接， 以形成IT单元，然后该IT单元可与其他IT单元组合成集群，如图3A等所示。

每个服务器刀片103可包括一个或更多个IT部件(例如，CPU、GPU、存储器和/或存 储设备)。每个IT部件可执行数据处理任务，其中IT部件可包括安装在存储设备中、加载 到存储器中并由一个或更多个处理器执行以执行数据处理任务的软件。服务器刀片103可 包括联接到一个或更多个计算服务器(也称为计算节点)的主机服务器(称为主机节点)。主机 服务器(具有一个或更多个CPU)典型地通过网络(例如，因特网)与客户端对接，以接收对诸 如存储服务(例如，基于云的存储服务，诸如备份和/或恢复)的特定服务的请求，执行应用 来执行某些操作(例如，图像处理、深度数据学习算法或建模等，作为软件即服务或SaaS 平台的一部分)。响应于该请求，主机服务器将任务分配给由主机服务器管理的计算服务器 (具有一个或更多个GPU)中的一个或更多个。计算服务器执行实际任务，这些任务可能在 操作期间产生热量。

电子机架100还包括RMU 102，其被配置成提供和管理供应给服务器刀片103和CDU 101的电力。RMU 102可联接到电源单元(未示出)，以管理电源单元的功耗，以及电源单元 的其他热管理(例如，冷却风扇)。电源单元可包括必要的电路(例如，交流(AC)到直流(DC) 或DC到AC功率转换器、电池、变压器或调节器等)，以向电子机架100的其余部件提供 电力。

在一个实施例中，RMU 102包括最佳控制逻辑111和机架管理控制器(RMC)122。最 佳控制逻辑111联接到服务器刀片103中的至少一些，以接收服务器刀片103中每一个的 操作状态，诸如处理器的处理器温度、液体泵112的当前泵速和冷却液体的液体温度等。 基于该信息，最优控制逻辑111通过优化预定目标函数来确定液体泵112的最优泵速，使 得目标函数的输出达到最大，同时满足一组预定约束。基于最佳泵速，RMC 122被配置成 向泵控制器110发送信号，以基于最佳泵速控制液体泵112的泵速。

图2示出了IT单元200的实施例，该IT单元200包括冷却器或冷却单元202，该冷却 器或冷却单元202流体联接到信息技术(IT)容器232以冷却IT容器内的部件。顾名思义， IT容器232包含产生热量的IT部件，并包括容器流动路径233，通过该路径进入IT容器 232的冷却流体被输送到其中的产生热量的部件。容器流动路径233可理解为用于IT容器 的冷却流体管理设计。图1示出了数据中心机架中容器流动路径233的实施例，但是IT容 器232的其他实施例可具有不同于所示的容器流动路径。冷却单元202不限于任何特定的 容器流动路径，而是可改为与IT容器232内的任何流动路径一起使用。IT容器232还包括 入口236和出口238，并且容器流动路径233通过流体管线流体联接到入口236和出口238 两者。IT容器232还包括另一个闭环容器入口240，其通过闭环容器入口240和容器流动 路径233上游的位置之间的闭环流动路径244流体联接，该上游位置在容器入口236和容 器流动路径的入口之间。冷却单元202类似地包括联接到旁路管线B的入口204，并且包 括流体联接到闭环出口208的出口242。IT容器232内的流体管线可由刚性管、柔性管或 两者制成，并且可预先安装在IT容器内以使其更加模块化。

IT容器232定位在冷却单元202的上游，其容器出口238流体联接到单元入口204， 并且其闭环容器入口240流体联接到出口242(如果其将在闭环模式下使用的话)。在一个实 施例中，在容器入口236处、容器出口238和单元入口204之间以及出口242和闭环容器 入口240之间的流体联接可使用快速分离配件或盲配合配件来实现，但是其他实施例当然 也可使用不同的流体联接件。

冷却器或冷却单元202与其对应的上游IT容器232流体联接，并且可进一步与下游IT 容器(在该图中未示出，但是参见例如图3A至图3B)流体联接，以冷却上游和下游IT容器 两者内的电子器件。冷却单元202包括单元入口204和两个冷却出口：开环出口206和闭 环出口208。在冷却单元202内，旁路管线B将入口204流体连接到第二三通阀V2。阀 V2又将旁路管线B流体联接到开环出口206和闭环出口208，使得阀V2可用于在开环配 置和闭环配置之间切换。第一三通阀V1也流体联接到入口204和阀V2之间的旁路管线B 中。三通阀V1和V2都具有三个流体端口，在图中编号为#1至#3。在两个三通阀V1和 V2中，流体可从任何端口被引导到其他端口中的一个或两个；当三通阀将流从一个端口引 导到两个其他端口时，该阀还可改变进入每个输出端口的流的比例。此外，在每个阀V1 和V2中，从每个端口到另一个端口的流体流可独立地调节和控制，而对另一个端口的影 响最小，并且在一种操作模式中，阀中的所有三个端口都可关闭。

冷却单元202还包括流体联接到旁路管线B的主环路或冷却环路。主环路包括热交换 器(HX)210，该热交换器210具有入口，该入口通过供应管线S在入口204处或附近流体 连接到旁路管线B。返回管线R将热交换器210的出口流体联接到第一阀V1和第二阀V2 之间的旁路管线B；通过这种布置，供应管线S、热交换器210、返回管线R和旁路管线B 的一部分形成主冷却环路。泵212流体联接到返回管线R中，以使冷却流体循环通过主环 路和旁路管线的至少一部分。在图示实施例中，热交换器210还包括外部入口和外部出口。 外部出口可包括打开和关闭外部出口的阀211。另外，阀211可用于调节流量。在另一个实 施例中，泵可用于调节流体流量。外部出口和外部入口都可联接到数据中心冷却系统，以 向热交换器210供应冷却流体，外部入口联接到设施供应源，并且外部出口联接到设施返 回。冷却单元202的其他实施例可完全自给，并且不需要使用外部入口或外部出口。冷却 单元202的其他实施例在液体冷却方面可为自给的，但是仍然使用外部冷却源，诸如通过 冷却单元的气流。

双向管线214流体联接到三通阀V1和泵212上游的返回管线R。流体可通过双向管线 214双向流动：从返回管线R到V1阀，或者从阀V1到返回管线R的另一方向，具体取决 于单元的操作模式。旁路管线B与双向管线214和三通阀V1一起被设计用于应对异常操 作模式，从而提高系统的鲁棒性、可维护性和灵活性。双向管线214以及旁路管线B、供 应管线S和返回管线R都可由柔性管、刚性管或刚性管和柔性管的某种组合制成。

除了上述流动硬件之外，冷却单元202可包括各种传感器来监测单元内的状况。冷却 单元202包括流量计M1、压力传感器P1和温度传感器T，尽管其他实施例可包括用于测 量单元内的这些或其他量的附加或不同的传感器。在图示实施例中，流量计M1定位在入 口204附近，而压力传感器P1和温度传感器T定位在旁路管线B中返回管线R连接旁路 管线处的下游位置——具体地，在该实施例中，在返回管线R流体联接到旁路管线B的位 置与三通阀V2之间。在其他实施例中，传感器可不同地定位(例如，参见图3)。单元202 中的各种传感器通信地联接到控制系统216，并且控制系统216也通信地联接到单元202 内的流动硬件(在该实施例中，泵212和三通阀V1和V2)，该流动硬件可在操作期间被控 制。图中的虚线示出了在传感器、控制系统和流动硬件之间的信号连接。因此，在图示实 施例中，控制系统216可基于来自流量计M1、压力传感器P1和温度传感器T以及可能存 在的任何附加的或不同的传感器的输入来改变泵212的速度以及三通阀V1和V2的位置。

在操作中，冷却单元202可以闭环模式、开环模式或混合闭环/开环模式操作，这主要 取决于三通阀V2的设置。当阀V2将流体从端口#1引导至端口#2时，它形成了IT外壳的 闭环；当V2将流体从端口#1引导至端口#3时，它形成将单元连接到更大的再循环系统的 开环。三通阀V1与双向管线214一起使用，主要用于调节冷却单元202的内部操作。

冷却流体例如从定位在上游的另一个冷却单元(未示出)通过入口236进入IT容器232。 冷却流体流过容器流动路径233，在那里它从IT部件和电子器件吸收热量，并且现在热的 冷却流体通过出口238离开IT容器。当它离开出口238时，现在热的冷却流体通过入口204 进入冷却单元202，并通过供应管线S流入热交换器210，在那里流体被冷却。在它离开热 交换器通过返回管线R和泵212以及旁路管线B之后，现在变凉的流体流到阀V2，该阀 被设置成引导流体通过端口#2进入闭环出口208。闭环出口208流体联接到冷却单元出口 242，使得现在冷却的流体通过闭环出口流到单元出口242。流体流到单元出口242，并通 过入口240被接收到IT容器232中，然后被引导回到容器流动路径233中。然后，在该闭 环模式下，冷却单元202再循环冷却流体以冷却上游IT容器232。连接入口240和容器流 动路径233的流体管线可单独组装或者被认为是容器流动路径233的一部分。该流体管线 的功能类似于闭环出口208的功能：为IT容器和冷却单元完成闭环。

图3A至图3B一起示出了冷却系统300的实施例。图3A是平面图，图3B是侧视图。 冷却系统300包括布置在第一行(行1)和第二行(行2)中的IT单元的至少一个集群302。在 图示实施例中，这些行被定位成IT单元的背面彼此面对，但是在其他实施例中，这些行可 相对于彼此不同地定位。行1具有上游端和下游端，并且行2类似地具有上游端和下游端。 在图示实施例中，行1的上游端定位在行2的下游端旁边，并且行1的下游端定位在行2 的上游端旁边，但是在其他实施例中，行布置可不同于所示布置。

行1包括一个或更多个IT单元304，并且每个IT单元包括IT外壳306及其对应的冷 却器或冷却单元308。因此，图示实施例包括N个IT单元304_1至304_N，包括N个IT 容器306_1至306_N，每个IT容器具有其对应的冷却器308_1至308_N，其中N≥1。IT 单元304在该行内串联布置，使得所有IT单元具有相同的取向，每个IT容器306在其对 应的冷却器308的上游。结果，行1具有在其上游端处的IT容器306、在其下游端处的冷 却器308，并且在IT容器和冷却器之间交替。行2包括一个或更多个IT单元310，每个IT 单元包括IT外壳312及其对应的冷却器或冷却单元314。因此，图示实施例包括M个IT 单元310_1至310_M，包括M个IT容器312_1至312_M，每个IT容器具有其对应的冷却 器314_1至314_M，其中M≥1。IT单元304在该行内串联布置，其中所有IT单元处于相 同的取向，每个IT容器312在其对应的冷却器314的上游。结果，行2具有在其上游端处 的IT容器312和在其下游端处的冷却器314。在图示实施例中，行1和行2两者具有相同 数量的IT单元(即，M＝N)，但是在其他实施例中，行不需要具有相同数量的IT单元(即， M≠N)。

除了到其对应的IT容器的上游流体连接件之外，行1和行2中的每个冷却器还具有到 另一个IT容器的下游流体连接件，例如经由其开环出口(参见图2)。该下游流体连接件可 为行内流体连接件(即，到同一行中的下游IT容器的流体连接件)或者行间流体连接件(即， 到另一行中的IT容器的流体连接件)。因此，在行1中，流体连接件316a和316b是将冷 却器308_1流体联接到下游IT容器306_2的行内流体连接件，而流体连接件318a和318b 是将冷却器308_N流体联接到下游IT容器312_1的行间流体连接件。类似地，在行2中， 流体连接件320a和320b是将冷却器314_1流体联接到IT容器312_2的行内流体连接件， 而流体连接件322a和322b是将冷却器314_M流体联接到IT容器306_1的行间流体连接 件。流体连接件316、318、320和322中的每一个在图中显示为一对连接件(例如，316a和 316b)，以示出通过冷却器的冷却和旁路流动路径(参见图2)，但是实际上两个流动路径都 可用单个物理流体连接件来实现。每个集群302包括至少一对行间流体连接件，使得在每 个集群中，IT容器及其对应的冷却器与行内流体连接件和行间流体连接件一起在集群内形 成至少一个再循环环路324。再循环环路324完全在集群内循环冷却流体。集群302的其 他实施例可包括多于一对的行间流体连接件，使得在集群内可形成多于一个的再循环环路 (例如，参见图5B)。内部环路不需要其他设施。

如在图3B中最清楚看到的，除了流体联接到它们对应的IT容器和下游IT容器之外， 每个冷却器内的热交换器210(参见图2)以及因此内部再循环环路324可通过外部流体环路 流体联接到一个或更多个设施热交换器。因此，在图示实施例中，每个冷却器308通过供 应管线328和返回管线330流体联接到对应的设施热交换器326：冷却器308_1通过供应 管线328_1和返回管线330_1联接到设施热交换器326_1，冷却器308_2通过供应管线328_2 和返回管线330_2联接到设施热交换器326_2，以此类推。行2中的冷却器(在此图中不可 见，因为它在行1的后面)类似地联接到设施热交换器。在一个实施例中，对于每个集群， 可存在冷却器到设施热交换器的一对一的对应关系，也就是说，每个冷却器流体联接到其 自己的设施热交换器。但是在其他实施例中，在冷却器和设施热交换器之间可存在多对一 的对应关系；例如，来自行1的冷却器和来自行2的冷却器都可流体联接到单个设施热交 换器，并且因此共享单个设施热交换器。其他实施例可具有在冷却器和设施热交换器之间 的一对多的对应关系(即，每个冷却器流体联接到多个设施热交换器)，或者在冷却器和设施 热交换器之间的多对多的对应关系(即，每个冷却器流体联接到多个设施热交换器，并且每 个设施热交换器流体联接到多个冷却器)。可看出，整个设施侧只需要外部环路。每个独立 的外部冷却单元填充在IT集群的顶部上。这与以前的解决方案不同，在以前的解决方案中， 流过机架的顶部的流体是内部环路。

在一个实施例中，行或集群中的所有冷却器以及它们对应的设施热交换器具有相同的 类型，即单相或多相。但是在其他实施例中，行或集群中的所有冷却器以及它们对应的设 施热交换器不需要具有相同的类型。例如，在系统300中，一个或更多个冷却器308和设 施热交换器326的组332可为多相热交换器(例如，液体供应和蒸气返回，如附图中用于供 应和返回的不同管线类型所示)，而热交换器326的剩余部分可为单相热交换器(例如，液体 供应和液体返回，如附图中用于供应和返回的相同管线类型所示)。因此，在每个集群内， 可能具有不同地冷却的子集群。通常，每个冷却器中的热交换器(参见图2)应与其对应的设 施热交换器兼容：如果冷却器的热交换器是单相的，那么对应的设施热交换器也必须是单 相的，以此类推。外部冷却单元可根据流体要求单独配置。这是通过在集群内形成内部环 路来实现的。在这种设计中，不同类型的外部冷却流体可用于集群的不同部分，并且通过 这里描述的内部环路设计简化了实现这种实施方式的对应基础设施。同样，内部环路由IT 外壳和冷却单元并且在多个组合的IT外壳和冷却单元内形成。每个冷却单元用于为连接到 它的IT容器服务，并将热量提取到连接到它的外部环路。因此，单独的冷却单元控制对于 维持内部环路的再循环和操作条件两者至关重要。

图4A至图4C示出了冷却系统的其他实施例。图4A示出了系统400的实施例，其中 联接到集群中的冷却器的外部冷却环路是共享的中央分配环路。在系统400中，诸如集群 302的集群的行1中的每个冷却器308流体联接到设施冷却系统。如同在系统300中一样， 在系统400中，每个冷却器308具有供应管线328和返回管线330，但是在系统400中， 每个供应管线还包括控制阀408，以控制设施管线和冷却器之间的流动。每个冷却单元的 供应温度用于控制外部环路上的阀(例如，阀408)，阀开度控制外部环路的流量。这是冷却 单元内热交换器的冷却流体。每个冷却器具有热交换器，用于在内部环路和外部环路之间 交换热量(参见图2)；这种控制设计通过控制输送到冷却单元的冷却流体来确保由冷却单元 供应的温度保持相同。

对于每个冷却器308，其供应管线328经由其控制阀408流体联接到设施供应管线402。 每个返回管线330流体联接设施返回管线404。设施供应管线402和设施返回管线404又 流体联接到设施热交换器406。行2中的冷却器(在此图中不可见，因为它在行1的后面) 可类似地联接到设施供应和返回管线。在一个实施例中，行2中的冷却器流体联接到与行 1中的冷却器相同的设施供应和返回管线，但是在其他实施例中，行2中的冷却器可流体 联接到不同于行1中的冷却器所联接到的设施供应和返回管线。在另一个实施例中，设施 供应管线402和设施返回管线404可集成到集群302中，使得流体连接件328和330都存 在于集群内，并且集群只需要联接到设施热交换器406，因此只需要一个设施连接件。

图4B示出了冷却系统425的另一个实施例。冷却系统425示出了冷却系统如何可被分 割、模块化和集成。如同在系统300和400中一样，集群302中的冷却器通过供应和返回 管线流体联接到分配模块426。分配模块426又联接到设施冷却单元428。通过这种模块化， 系统集成只需要两个设施级连接件，整个系统就可准备好操作：每个设施冷却单元428和 分配模块426之间的一个连接件432，以及在分配模块426和每个集群中的各个冷却器之 间的一组连接件430。由于这种布置，模块还包括部分内部环路和完全外部环路，或者完 全内部环路和部分外部环路。内部环路可被动态地调整，对IT或外部环路的影响有限。

图4C示出了冷却系统450的另一个实施例。冷却系统450示出了冷却系统可如何被分 割和模块化。如同在系统400和425中一样，集群302中的冷却器308通过供应和返回管 线流体联接到分配模块452。分配模块452又联接到一对设施冷却单元454和456。通过这 种模块化，系统集成只需要四个设施级连接件。前两个连接件是设施冷却单元454和分配 模块426之间的连接件458以及设施冷却单元456和分配模块452之间的连接件460。下 一个连接件是分配模块452和使用冷却单元454的冷却器308之间的一组连接件462，并 且最后一个连接件是分配模块452和可使用冷却单元454和冷却单元456中的一个或两个 的冷却器之间的一组连接件464。在一个实施例中，冷却单元454和456使用不同的冷却 流体，但是在其他实施例中，它们可使用相同的冷却流体。在另一些实施例中，冷却单元 454和456可使用不同相的冷却流体；例如，冷却单元454可为液相冷却单元，而冷却单 元456可为蒸气相冷却单元(例如，冷凝器)。由于这种布置，模块还包括部分内部环路和完 全外部环路，或者完全内部环路和部分外部环路。内部环路可被动态地调整，对IT或外部 环路的影响有限。可看出，该设计能够实现非常紧凑的架构，用于在数据中心实现多个传 热环路，消除了任何设施侧的依赖性，同时能够实现模块化设计。

对于系统400、425和450，通过调节每个冷却器内的单个泵212(参见图2)，内部环路 内的流量的操作保持相同。一种有效的方法涉及将泵调节到每个集群内相同的恒定速度。 使用图8中所示的流程图控制供应温度，以确保内部环路中保持适当的流体温度，并根据 设计和操作要求将流体输送至每个IT外壳。

图5A至图5B示出了冷却系统500的另一个实施例。冷却系统500包括设施501，在 该设施内，至少一个集群302定位在IT单元的行502和504之间。在一个实施例中，行502 和504可为IT单元的独立行，但是在其他实施例中，它们可为集群的一部分，该集群的另 一半未在图中示出(但是参见例如图6)；例如，在一个实施例中，行502可为类似于集群302 的第二集群的第一行，而行504可为类似于集群302的第三集群的第二行。集群302和行 502和504中的IT单元可如上面在图2中描述的那样，使得每个IT单元包括IT容器和冷 却器。集群302包括一对行间流体连接件，使得在集群内形成单个再循环环路324。

冷却系统500包括定位在设施501外部的一对冷却单元(例如，热交换器(HX))506和 512，以将热量从循环通过集群302和行502和504的冷却流体传递到大气。热交换器506 流体联接到供应环路508和返回环路510。供应环路508和返回环路510定位在行502和 集群302的一个行之间；供应环路508通过控制阀流体联接到行502中的一个或更多个冷 却器和集群302的一个行中的一个或更多个冷却器，并且返回环路流体联接到行502中的 一个或更多个冷却器和集群302的一个行中的一个或更多个冷却器。类似地，热交换器512 流体联接到供应环路514和返回环路516。供应环路514和返回环路516定位在行504和 集群302的另一个行之间；供应环路514通过控制阀流体联接到行504中的一个或更多个 冷却器和集群302的另一个行中的一个或更多个冷却器，并且返回环路516流体联接到行 504中的一个或更多个冷却器和集群302的另一个行中的一个或更多个冷却器。可看出， 集群302由两个IT行形成，如由虚线所圈出的。外部环路和服务区域布置在该行的另一侧 上。在该实施例中，由两个冷却单元提供的冷却能力可由两个外部再循环环路分配。集群 302接收两种不同的外部冷却流体源，这在诸如冷却单元或外部环路故障的情况下可能是 有益的。在图示实施例中，系统500可被认为被分成两个模块。第一模块518包括热交换 器506、供应管线508和返回管线510、行502和集群302的上行。第二模块520包括热交 换器512、供应管线514和返回管线516、行504和集群302的下行。在图示实施例中，模 块518和520基本上相同。

图5B示出了集群302处于不同配置的图5A的系统500。在图5A中，集群302包括 一对行间流体连接件，使得在集群内形成单个再循环环路324。但是集群302内的行间流 体连接件对的数量可改变以形成多个子集群，每个子集群具有其自己的再循环环路。因此， 在图5B的配置中，集群302包括三对行间流体连接件，使得在集群302内形成三个子集群 302a、302b和302c。子集群302a和302c由四个IT单元形成，并且子集群302b由两个IT 单元形成。当然，其他实施例可使用不同数量的行间连接件对，将集群302分成不同于所 示数量的子集群。如上所述，集群302的每行中的冷却器连接到它们相应的设施供应和返 回环路，但是在集群内具有行间流体连接件的新配置的情况下，流体流入、流出并且在与 其他子集群分开的每个子集群内流动。可看出，通过使用本发明提出的方法，可根据需要 形成不同类型的内部环路。这三个集群可指定给不同的客户或不同的软件应用。系统500 因此不仅消除了内部环路设施设计，而且允许在IT集群之间不同类型的内部环路配置和管 理。同样，这三个集群作为示例示出，布置用于三种不同类型的IT容器/硬件、不同类型 的工作负载和服务、不同的服务级别安排、不同的外部冷却环路、不同的客户等。

图6A示出了冷却系统600的另一个实施例。冷却系统600包括设施601，在设施601 内定位有三个IT集群：第一集群602、第二集群604和第三集群606。在一个实施例中， 集群602、604和606被配置成类似于集群302，其中IT单元配置有交替的IT容器和冷却 器。集群602、604和606中的每一个可具有一个或更多个内部再循环环路，如图3A至图 3B和图5B所示。

冷却系统600包括定位在设施601外部的三个冷却单元(例如，热交换器(HX))608、610 和612，以将热量从循环通过集群602、604和606的冷却流体传递到大气。每个热交换器 联接到设施供应环路和设施返回环路，以向集群提供冷流体并接收从集群返回的热流体。 在图示实施例中，每个热交换器对向一对集群提供设施供应和返回管线。设施供应管线614 流体联接到热交换器608和610，以向集群602和604供应冷却流体，并且设施返回管线 616联接到热交换器610和608，以从集群604和602返回流体。类似地，设施供应管线 618流体联接到热交换器610和612，以向集群604和606供应冷却流体，并且设施返回管 线620流体联接到热交换器612和610，以从集群604和606返回流体。设施供应管线615 和返回管线613类似地流体联接到热交换器，以向集群602和集群602上方的附加集群(未 示出)供应流体和从集群602和该附加集群返回流体，并且设施供应管线622和返回管线624 流体联接到热交换器，以向集群606和集群602下方的附加集群(未示出)供应流体和从集群 606和该附加集群返回流体。每个冷却器通过控制阀流体联接到其相应的供应管线。

图6B至图6C示出了可通过系统600实现的不同冷却模块配置，使该系统与模块化数 据中心/IT集群概念高度兼容。具体的模块设计仅取决于系统可如何预制和部署，并且实际 的系统配置可在部署后进行调整。

图6B示出了系统600的第一模块配置，其具有完整的外部环路和部分且独立的内部环 路。在这种配置中，系统分为四个模块B。在每个模块B中，外部环路(即集群外部的设施 环路)完全在模块内形成，并且内部环路(即集群的内部再循环环路)部分地由模块内每个集 群的一行形成。在这个设计中，每个模块B包含完整的外部环路。两种不同的方法可能适 用于不同的用例，并且这种设计提供了用于将它设计成模块的系统划分方法。在该实施例 中，外部冷却环路在模块部署前完成，并且可能需要连接到冷却模块。在这种情况下，冷 却单元是单独的模块。

图6C示出了系统600的第三模块配置，其具有完整的内部环路和独立的外部环路。在 这种配置中，系统分为三个模块C。每个模块C包括完整的集群及其外部环路。每个集群 内至少形成一个完整的内部再循环环路，并且外部冷却环路(即设施冷却环路)是独立的。外 部冷却环路是在集群中填充IT单元后形成的，并且内部环路是根据设计要求在集群中预先 形成的。

图7示出了冷却系统700的另一个实施例。冷却系统700包括设施701，在设施701 内定位两行702和704的IT单元。在一个实施例中，行702和704可为独立的IT单元行， 但是在其他实施例中，一个或两个可为集群的一部分，该集群的另一半未在图中示出(但是 参见例如图6)。例如，在一个实施例中，行702可为类似于集群302的集群的第一行，而 行704可为类似于集群302的另一集群的第二行。行702和704中的IT单元可如上面在图 2中描述的那样，使得每个IT单元包括IT容器和冷却器。

冷却系统700包括定位在设施701外部的设施热交换器(HX)706，以将热量从循环通 过行702和704的冷却流体传递到大气。热交换器706流体联接到供应环路708和返回环 路710。供应环路708和返回环路710定位在行702和704之间。供应环路708通过控制 阀流体联接到行702和704中的一个或更多个冷却器，并且返回环路710流体联接到行702 和704中的一个或更多个冷却器。

冷却系统700和上述其他系统之间的主要区别是IT容器和冷却器在行中的顺序。在先 前的实施例中，IT容器和冷却器在每行中交替，使得没有IT容器邻近另一个IT容器，并 且没有冷却器邻近另一个冷却器。换句话说，从行的上游端到该行的下游端，IT容器和冷 却器在该行中的顺序是：

容器→冷却器→容器→冷却器→等。

相比之下，在冷却系统700中，行702和704中的IT容器和冷却器的顺序是：

容器→冷却器→冷却器→容器→容器→冷却器→等。

以这种方式定向IT单元使每个冷却器邻近另一个冷却器，并且每个IT容器邻近另一 个IT容器。或者，换句话说，每个IT容器都邻近冷却器和另一个IT容器，并且每个冷却 器都邻近IT容器和另一个冷却器。通过以这种方式将IT单元定向成一行，并将每个冷却 器的出口联接到其抵接的每个冷却器的入口，每对IT单元可形成具有其自身再循环环路的 子集群。然后，在行702中，以这种方式布置IT单元和连接其冷却器导致子集群702a具 有其自己的再循环环路712a，并且子集群702b具有其自己的再循环环路712b。虽然图中 仅示出了子集群702a和702b，但是在一些实施例中，每对IT单元可用于形成子集群。这 为配置系统和管理冷却流体环路提供了非常高的灵活性。

图8示出了用于控制诸如图2所示的冷却器和例如如图4A所示的设施冷却系统之间的 相互作用的过程800的实施例。该过程开始于框802。在框804，该过程收集温度T入口，该 温度T入口是上游冷却单元的出口温度和下游单元(例如每个冷却器中的温度传感器T)的入 口温度(参见图2)。

在框806，该过程确定T入口是否超过设计温度。如果在框806中T入口超过设计温度， 则过程移动到框808，在框808，过程试图通过增加控制阀的开度(也就是说，通过增加控 制阀408允许通过的流体量)来降低T入口。在框808中增加了控制阀408的开度之后，过程 移动到框810，在框810，过程再次收集T入口，然后返回框806，以检查T入口是否超过设计 温度。但是如果在框806，该过程确定T入口不超过设计温度，则该过程移动到框812，以确 定T入口是否小于设计温度。如果在框812中T入口小于设计温度，则过程移动到框814，在 框814，过程试图通过降低控制阀的开度来增加T入口，然后返回到框810，在框810，过程 再次检查T入口的值。

除了上述实施例，冷却系统布置的其他实施例也是可能的。例如：

·IT容器或IT机架(包括其中的环路设计)可能是不同的。

·内部布局可以不同方式配置。

·整个系统的模块化方案(内部环路、外部环路和外部冷却单元)可能与图示不同。

实施例的上述描述并不旨在穷举或将本发明限制于所描述的形式。为了说明的目的， 本文描述了本发明的具体实施例和示例，但是各种修改是可能的。