数据中心交付点布局和配置的制作方法

1.本发明的实施方式大致涉及数据中心配置。更具体地，本发明的实施方式涉及热管理和设施基础设施的设计和布局，以支持在具有不同的计算和存储交付点(pod)配置的数据中心中部署和操作电子机架。


背景技术：

2.计算集群和数据中心服务于当今信息经济的计算、存储和其它信息技术(it)需求。随着技术的快速发展和对性能要求的不断提高，诸如机器学习、视频流、高性能计算等新的应用和工作负荷，诸如计算和存储资源或pod的分离的新计算体系结构已经得到了显著发展。这种具有分离的计算和存储pod的计算体系结构对于支持它们所需的数据中心设施和硬件基础设施的设计和布局具有重要意义。例如，诸如机架布局、系统容量、额定功率、冷却方法、联网配置等的硬件配置可为不同的。因此，传统数据中心基础设施可能不能有效地和有成本效益地支持新计算体系结构的部署和操作。数据中心基础设施也可能不容易适于支持具有不同计算和存储分离配置(例如，不同大小和比率的计算和存储pod)的计算体系结构。
3.散热或热管理是数据中心设计中的一个重要考虑因素。随着计算和存储容器中的诸如高性能处理器和存储设备的高性能电子部件的数量稳定增加，在pod的普通操作期间产生和耗散的热量也增加。如果允许数据中心工作的环境温度随时间升高，则数据中心内使用的电子部件的可靠性降低。保持适当的热环境对于这些pod在数据中心中的正常操作以及它们的性能和寿命很关键。
4.数据中心中功率密度越来越高的高性能pod的热管理可使用液体和空气冷却系统的组合。然而，难以灵活地调整和缩放数据中心的冷却基础设施，以满足分离的计算和存储pod的变化的硬件配置。需要升级和更新it设备，并以比容纳数据中心的设施的生命周期快得多的速度部署具有分离的计算和存储pod的新计算体系结构，这使得发挥新计算体系结构的全部潜力具有挑战性。


技术实现要素：

5.根据本技术的一方面，提供了一种数据中心的液体冷却装置，可包括：
6.多个互连的模块化冷却单元，所述模块化冷却单元中的每个均具有流体分配子系统，所述流体分配子系统配置为将从冷却液源接收的冷却液供应至液
‑
气热交换器，并将来自所述液
‑
气热交换器的温热液体返回至所述冷却液源；以及
7.所述液
‑
气热交换器的多个冷却盘管，所述冷却盘管中的每个均配置成接收来自所述模块化冷却单元中相应的一个的冷却液，以去除来自热负荷的气流的热量，其中，基于所述液
‑
气热交换器之后的气流的温度来控制供应至所述液体冷却装置的所述冷却液的冷却能力。
8.根据本技术的另一方面，提供了一种数据中心系统，可包括：
9.一行或多行多个电子机架，所述电子机架中的每个均容纳多个电子部件；和
10.一行或多行行冷却单元，每行所述行冷却单元均与相应行的电子机架相关联，其中，每行冷却单元均包括：
11.多个互连的模块化冷却单元，所述模块化冷却单元中的每个均具有流体分配子系统，所述流体分配子系统配置为将从冷却液源接收的冷却液供应至液
‑
气热交换器，并将来自所述液
‑
气热交换器的温热液体返回至所述冷却液源；以及
12.所述液
‑
气热交换器的多个冷却盘管，所述冷却盘管中的每个均配置成接收来自所述模块化冷却单元中相应的一个的冷却液，以去除来自所述电子机架中的一个的气流的热量，其中，在所述电子机架的对应行的气流将热量传递至所述液
‑
气热交换器之后，基于来自所述行冷却单元的气流的温度来控制供应至所述行冷却单元的冷却液的冷却能力，以及其中，所述系统的布局配置成使得来自所述行冷却单元的气流以与入口气流相同的方向流入所述电子机架的相邻行及其相关联的用于整个区域或所述数据中心的部分的行冷却单元。
附图说明
13.在附图的图中以示例而非限制的方式示出了本发明的实施方式，在附图中，相似的附图标记指示相似的元件。
14.图1是示出数据中心设施的示例的框图。
15.图2是示出根据一个实施方式的电子机架的示例的框图。
16.图3是示出根据一个实施方式的冷板配置的示例的框图。
17.图4是根据一个实施方式的冷却行和相关联的机架行的俯视布局图，图中示出了冷却行在整个数据中心中以相同的方向布置。
18.图5是根据一个实施方式的数据中心中的冷却行和相关联的机架的俯视布局图，冷却行和相关联的机架布置成使得每对冷却行彼此面对。
19.图6是根据一个实施方式的数据中心中的冷却行和相关联的机架的俯视布局图，冷却行和相关联的机架布置成使得冷却行的上部和下部面向相反方向。
20.图7是根据一个实施方式的冷却行的侧视图或后视图，图中示出了用于液体供应回路和返回回路的至每个冷却盘管的流体连接，每个冷却盘管均用于单独冷却每个支架。
21.图8是根据一个实施方式的冷却行的侧视图或后视图，图中示出了用于液体供应和返回回路的至每个冷却盘管组，该每个冷却盘管组均在两个相邻机架之间共用。
22.图9是根据一个实施方式的冷却行和相关联的机架的俯视布局图，该冷却行和相关联的机架配置成使得来自冷却行的空气流的温度用于独立地控制供应至冷却行的冷却液的冷却能力。
23.图10是根据一个实施方式的冷却行的俯视图，该冷却行在附接机架之前连接至设施基础设施，以形成液体冷却系统的冷却液供应回路和温热液体返回回路。
具体实施方式
24.将参考下面讨论的细节描述本发明的各种实施方式和方面，并且附图将示出各种实施方式。以下描述和附图是本发明的说明，并且不应解释为限制本发明。描述了许多具体
细节以提供对本发明的各种实施方式的透彻理解。但是，在某些情况下，为了提供对本发明实施方式的简要讨论，没有描述众所周知的或常规的细节。
25.在说明书中对“一个实施方式”或“一个实施方式”的引用是指结合该实施方式描述的特定特征，结构或特性可包括在本发明的至少一个实施方式中。说明书中各个地方出现的短语“在一个实施方式中”并不一定全都指同一实施方式。
26.本文公开了支持数据中心的房间气流、服务器机架和冷却输送子系统的布局、布置和配置，数据中心具有带分离的计算和存储交付点(pod)的系统体系结构。可称为it pod的计算或存储pod以及服务it pod的冷却输送子系统布置成使得it pod的热管理可由容纳it pod的数据中心的基础设施灵活地支持。由于计算和存储pod的数量、比率和配置可不同，以服务于不同的it应用，因而计算和存储pod可具有不同的功率负载、功率密度等，从而需要不同的功率和冷却输送子系统。
27.在一个实施方式中，冷却输送子系统可包括液体冷却、或液体冷却和空气冷却的组合，以灵活地支持it pod的热管理功能。供应至pod的冷却输送子系统的液体的冷却能力可在反馈回路中基于pod由冷却液冷却后的空气温度来独立地调节和控制，该空气温度为诸如来自容纳pod的机架的入口和/或出口空气温度。冷却能力的变化可包括冷却液的温度或体积的变化。有利的是，计算和存储pod可具有不同数量的具有不同功率负载的机架，并且仍然具有独立的温度控制，从而使得可用一致的热管理解决方案来管理具有不同功率密度的it pod。
28.在一个实施方式中，冷却行布置在容纳pod的每行机架的后侧中，以向pod供应冷却输送子系统。冷却输送子系统可包括将冷却流体供应至pod并将温热流体返回至冷却源的再循环回路。冷却行的设计通过有效地将数据中心的整个空间作为冷通道来处理，消除了传统热通道和冷通道布局或数据中心的任何容纳结构。冷却行包括成行布置的模块化冷却单元，以供应液体冷却回路来冷却该行机架。每个冷却单元中的主单元可为用于冷却离开一个或多个机架的气流的冷却盘管。向冷却盘管供应冷却液，并将冷却盘管用作热交换器，以冷却由容纳在机架内的电子部件加热的气流的温度。
29.在一个实施方式中，除了液
‑
气冷却盘管之外或代替液
‑
气冷却盘管，液
‑
液冷却盘管(例如，机架级液体冷却单元、机架歧管、浸没冷却箱等)可连接至冷却分配子系统。不同类型的it机架(例如，计算机架、存储机架、联网设备机架)可布置在pod的任何位置。数据中心的任何it空间均可配置为计算pod、存储pod或异构计算和存储pod。冷却行设计可灵活地适于满足各种布局、布置、热负荷和pod的配置的冷却要求。
30.在一个实施方式中，布置在机架行的后侧中的冷却行可在整个数据中心室布置相同方向上。在由冷却行的冷却盘管冷却之后，来自机架的空气大致以相同方向流动。供应至每行的冷却液的冷却能力可基于来自冷却行的空气流的温度来独立地控制。因而，可将来自不同冷却行的空气温度控制为相对均匀，而不管与冷却行相关联的机架的功率负载如何。由于来自机架的均匀定向的气流和气流的均匀温度，房间中的每个位置在热管理方面均可视为相同。
31.在一个实施方式中，即使当布置在机架行的后侧中的冷却行彼此面对，使得来自一对冷却行中的每个的空气朝向彼此流动时，仍可独立地将来自两个冷却行的空气温度控制为相对均匀。该布局类似于传统pod的交替热通道冷通道布置，但是由于冷却行的空气温
度的独立控制，该布局不经历传统pod的热通道和冷通道之间的温度梯度。
32.在一个实施方式中，冷却行和相关联的机架可分成上部和下部。所有行的上部均可在一个方向上，以及所有行的下部均可在相反的方向上。因而，来自行的两个部分的空气可以以相反的方向流动。这种布置还可使其本身能够通过行的独立温度控制来热管理，从而去除房间内的位置之间的任何温度梯度，或保持房间温度均匀。
33.在一个实施方式中，冷却行的关键部件之一包括具有集成流体分配管道的模块化冷却单元，该流体分配管道可互连，以形成冷却分配子系统，所述冷却分配子系统将冷却液供应至冷却盘管，以带走由容纳在与冷却行相关联的机架内的电子部件所产生的热量。模块化冷却单元的组件可连接至数据中心设施的冷却液供应和返回回路，以将冷却液分配至机架的电子部件，并返回加热的液体，以用于散热。冷却行的冷却能力可独立地控制。集成到冷却单元中的流体分配管道的网络使得冷却分配子系统的配置能够独立于该设施的固定基础设施，从而提供可伸缩性、可维修性、维护简易性，同时提高液体冷却系统的效率、弹性、可用性和可靠性。
34.图1是示出数据中心或数据中心单元的示例的框图。在该示例中，图1示出了数据中心的至少部分的俯视图。参照图1，根据一个实施方式，数据中心系统100包括一行或多行信息技术(it)部件、设备或工具101
‑
102的电子机架，该信息技术(it)部件、设备或工具101
‑
102例如为通过网络(例如，因特网)向各种客户端提供数据服务的计算机服务器、计算节点或存储节点。在该实施方式中，每行均包括布置在行101和行102中的诸如电子机架110a
‑
110n的电子机架阵列。然而，可实现更多或更少的电子机架行。每一行均可为计算pod、存储pod或异构计算和存储pod的部分。通常，行101
‑
102平行地对齐，其中，前端朝向彼此(或彼此背向；例如，如果部署图1所示的多个系统，则取决于机架如何进行分组，机架中的两个可理解为彼此背向，以及后端彼此背向，从而在它们之间形成通道103，以允许管理人员在其中行走和执行服务。然而，也可应用其它配置或布置。
35.在一个实施方式中，电子机架(例如，电子机架110a
‑
110n)中的每一个都包括壳体，以容纳在其中操作的it部件的多个电子机架。电子机架可包括散热液体歧管、多个服务器槽、以及能够插入到刀片服务器或服务器槽中和从刀片服务器或服务器槽中取出的多个刀片服务器。每个刀片服务器均表示具有一个或多个处理器、存储器和/或永久存储设备(例如，硬盘)的计算节点。处理器中的至少一个可连接至液体冷板(也称为冷板组件)以接收冷却液。另外，一个或多个可选的冷却风扇与刀片服务器相关联，以向其中容纳的计算节点提供空气冷却。注意，散热系统120可联接至多个数据中心系统，诸如数据中心系统100。
36.在一个实施方式中，散热系统120包括连接至建筑物/容纳容器外部的冷却塔或干燥冷却器的外部液体回路。散热系统120可包括但不限于蒸发冷却、自由空气、拒绝大热质量、废热回收设计，或具有主动制冷循环的冷却器系统。散热系统120可包括或联接至提供冷却液的冷却液源。
37.在一个实施方式中，每个刀片服务器均模块化地联接至散热液体歧管，使得可从电子机架中移除刀片服务器，而不影响电子机架和散热液体歧管上的剩余刀片服务器的操作。在另一个实施方式中，每个刀片服务器均通过快速释放联接组件联接至散热液体歧管(也称为冷却液歧管)，该快速释放联接组件具有联接至柔性软管以将散热液体分配至处理器的第一液体入口连接器和第一液体出口连接器。第一进液连接器用于通过第二液体入口
连接器从安装在电子机架后端的散热液体歧管接收散热液体。第一液体出口连接器用于将携带从处理器经第二液体出口连接器交换到散热液体歧管的热量的较温热或较热的液体发射回电子机架内的冷却剂分配单元(cdu)。
38.在一个实施方式中，散热液体歧管设置在每个电子机架的后端，并联接至液体供应管线131，以从散热系统120接收散热液体(也称为冷却液)。散热液体通过附接至冷板组件的液体分配回路分配以去除来自处理器的热量，其中处理器安装在冷板组件上。冷板配置成类似于其中附接有或嵌入有液体分配管的散热器。所得到的携带从处理器交换的热量的较温热或较热的液体经由液体返回管线132传送回散热系统120。
39.液体供应/返回管线131
‑
132被称为数据中心或房间液体供应/返回管线(例如，整体液体供应/返回管线)，其向行101
‑
102的所有电子机架供应散热液体。如将要讨论的是，在一个实施方式中，液体供应/返回管线131
‑
132可集成在连接至电子机架110a
‑
110n的模块化冷却单元内。通过使相邻模块化冷却单元的液体供应/返回线路131
‑
132互连以形成冷却行，并将冷却行的模块化冷却单元的液体供应/返回线路131
‑
132连接至电子机架110a
‑
110n的冷却液歧管，以与数据中心设施的供应/返回线路一起完成冷却液供应和返回回路，可组装电子机架110a
‑
110n以形成行101或102。液体供应管线131和液体返回管线132联接至位于电子机架中的每个内的cdu的热交换器，从而形成主回路。热交换器的次回路联接至电子机架中的每个刀片服务器，以将冷却液输送到处理器的冷板。
40.在一个实施方式中，数据中心系统100还包括可选的气流输送系统135，以产生气流，从而使气流通过电子机架的刀片服务器的空气空间，以交换由于计算节点(例如服务器)的操作而由计算节点产生的热量，并将经气流交换的热量排放到房屋/房间/建筑物外部的外部环境108。例如，空气供应系统135产生凉/冷空气流，以从通道103通过电子机架110a
‑
110n循环，从而带走交换的热量。冷气流通过电子机架的前端进入电子机架，而暖/热气流从电子机架的后端离开电子机架。带有交换热量的暖/热空气从房间/建筑物排出。因而，冷却系统是混合液
‑
气冷却系统，其中，由处理器产生的部分热量通过相应的冷板由冷却液去除，而由其它电子设备或处理装置产生的其余部分热量通过气流冷却去除。
41.在一个实施方式中，电子机架102可具有其自身的内部气流输送系统，诸如风扇，以使气流行进通过电子机架102的空气空间，从而将由计算或存储pod产生的热量与冷却行的模块化冷却单元的冷却盘管进行交换。向冷却盘管供应液体供应/返回管线131
‑
132的冷却液，以冷却气流。在与冷却盘管进热交换之后，电子机架102的冷却气流可流出冷却行，并在反馈回路中使用，以调节和控制供应至电子机架102的冷却行的冷却液的冷却能力。
42.图2是示出根据一个实施方式的电子机架的框图。电子机架200可代表如图1所示的任何电子机架，例如，电子机架110a
‑
110n。参照图2，根据一个实施方式，电子机架200包括但不限于cdu 201、可选机架管理单元(rmu)202和一个或多个刀片服务器203a
‑
203e(统称为刀片服务器203)。刀片服务器203可分别从电子机架200的前端204或后端205插入到服务器槽阵列中。注意，尽管这里示出了五个刀片服务器203a
‑
203e，但是可在电子机架200内维护更多或更少的刀片服务器。还应注意的是，cdu 201、rmu 702和刀片服务器203的特定位置仅出于说明的目的而示出；也可实现cdu 201、rmu 202和刀片服务器203的其它布置或配置。在一个实施方式中，电子机架200可对环境开放或部分地由机架容器容纳，只要冷却风扇可产生从前端到后端的气流即可。电子机架200可为计算pod、存储pod或异构计算和存
储pod的部分。
43.另外，对于至少一些刀片服务器203，可选的风扇模块(未示出)与刀片服务器相关联。风扇模块中的每个均包括一个或多个冷却风扇。风扇模块可安装在刀片服务器203的后端或电子机架上，以产生从前端204流出、行进通过刀片服务器203的空气空间、并在电子机架200的后端205离开的气流。
44.在一个实施方式中，cdu 201主要包括热交换器211、液体泵212和泵控制器(未示出)、以及一些其它部件，诸如贮液器、电源、监测传感器等。热交换器211可为液
‑
液的热交换器或冷却盘管。热交换器211包括具有入口和出口端口的第一回路223，该入口和出口端口具有与液体供应/返回管线131
‑
132联接的第一对液体连接器，液体供应/返回管线131
‑
132集成到电子机架200，以形成主回路。集成的液体供应/返回管线131
‑
132可设置在电子架200的后端205的底部。液体供应/返回管线131
‑
132也称为房间液体供应/返回管线，通过冷却行的模块化冷却单元的供应/返回管线131
‑
132连接至散热系统120，这将在下面进行解释。另外，热交换器211还包括具有两个端口的次回路，该两个端口具有连接至液体歧管225以形成次回路的第二对液体连接器，次回路可包括供应歧管(也称为机架液体供应管线)和返回歧管(也称为机架液体返回管线)，供应歧管将冷却液供应至刀片服务器203，返回歧管将较温热的液体返回至cdu 201。注意，cdu 201可为任何种类的市场上可买到的或可定制的cdu。在一个实施方式中，cdu 201的热交换器211可为空气
‑
液体热交换器或冷却盘管。这里将不描述cdu 201的细节。
45.每个刀片服务器203均可包括一个或多个it部件(例如，中央处理单元或cpu、图形处理单元(gpu)、存储器和/或存储设备)。每个it部件均可执行数据处理任务，其中it部件可包括软件，该软件安装在存储设备中，加载到存储器中，并由一个或多个处理器执行，以执行数据处理任务。在一个实施方式中，刀片服务器203可为计算pod的部分，并且可包括联接至一个或多个计算服务器(也称为计算节点，诸如cpu服务器和gpu服务器、以及具有asic和fpga单元的服务器)的主服务器(称为主节点)。主服务器(具有一个或多个cpu)通常通过网络(例如，因特网)与客户端接口，以接收对特定服务的请求，所述特定服务诸如为存储服务(例如，基于云的存储服务，诸如备份和/或恢复)、执行应用以执行某些操作(例如，图像处理、视频流、深度学习算法或建模等，作为服务软件或saas平台的部分)。响应于该请求，主服务器将任务分配给由主服务器管理的计算节点或计算服务器(例如，具有一个或多个gpu或asic)中的一个或多个。计算服务器执行实际任务，这可在操作期间产生热量。在一个实施方式中，当it部件是包括存储设备阵列的存储pod的部分时，it部件可为客户端或计算pod提供诸如基于云的存储服务的存储服务。
46.电子机架200还包括可选的rmu 202和电源单元(psu)(图中未示出)，其配置为提供和管理提供应服务器203和cdu 201的电力。rmu 202可联接至电池备用单元(也未示出)，以向电子机架200和服务器203提供备用能量。psu可包括必要的电路(例如，交流(ac)到直流(dc)或dc到dc功率转换器、电池、变压器或调节器等)，以调节供应至电子机架200的其余部件的功率。
47.在一个实施方式中，rmu 202包括优化模块221和机架管理控制器(rmc)222。rmc 222可包括监视器，以监视电子机架200内的各种部件的操作状态，例如刀片服务器203、cdu 201和风扇模块。具体地，监视器从各种传感器接收表示电子机架200的操作环境的操作数
据。例如，监视器可接收表示处理器、冷却液和气流的温度的操作数据，这些数据可通过各种温度传感器来捕获和收集。监视器还可接收表示由风扇模块和液体泵212产生的风扇功率和泵功率的数据，这些数据可与风扇模块和液体泵各自的速度成比例。这些操作数据被称为实时操作数据。注意，监视器可实现为rmu 202内的单独模块。基于操作数据，优化模块221使用预定的优化函数或优化模型执行优化，以导出用于风扇模块的一组最佳风扇速度和用于液体泵212的最佳泵速度。在一个实施方式中，rmu 202可基于通过热交换器211或冷却单元的冷却盘管经过热交换之后的气流温度，调节和控制供应至连接至机架200的冷却单元的冷却液的冷却能力。
48.图3是示出根据一个实施方式的处理器冷板配置的框图。处理器/冷板结构301/303可表示如图2所示的刀片服务器203的任何处理器/冷板结构。参照图3，处理器301插入到处理器插座内，其中，处理器插座安装在印刷电路板(pcb)或母板302上，印刷电路板(pcb)或母板302联接至数据处理系统或服务器的其它电子部件或电路。处理器301还包括附接至其上的冷板303，冷板303联接至液体供应管线和液体返回管线。由处理器301产生的热量的部分由冷却液通过冷板303除去。热量的剩余部分进入敞开的空气空间305，其可通过由冷却风扇304产生的气流来去除。
49.回到图2，根据一个实施方式，电子机架200还包括位于刀片服务器203和机架歧管225之间的一个或多个液体分配单元(ldu)，诸如ldu 250a
‑
250e(统称为ldu 250)。每个ldu均作为局部液体分配歧管以及刀片服务器203的冷却装置操作。在图2中，将ldu 250示出为在刀片服务器203的外部，但是它ldu 250可设计在刀片服务器203中。在该示例中，存在对应于刀片服务器203中的一个的ldu。然而，在其它实施方式中，尽管未示出，但是ldu可与多个刀片服务器203相关联。
50.类似于cdu，在ldu和机架歧管225之间形成主回路，同时在ldu和刀片服务器之间形成次回路。结果，与常规系统相比，液体分配回路显著缩短。在常规系统中，从供应管线132或从cdu 201接收的冷却液必须穿过刀片服务器203中的每个冷板。结果，液体分配回路长得多，并且泵送液体的功率需求高得多。通过ldu 250，联接至刀片服务器的冷板的每个次回路均为局部单回路。在一个实施方式中，分配至刀片服务器的冷却液是基于温度在液体形式和蒸汽形式之间转换的两相冷却液。在这种配置中，可不需要用于次级回路的液体泵。
51.在一个实施方式中，冷却行连接至每个机架行，诸如图2的机架200，从而容纳pod，以向pod提供冷却分配子系统。冷却分配子系统可包括将冷却流体供应至pod并将温热流体返回至数据中心基础设施的冷却源的再循环回路。不同类型的it机架(例如，计算机架、存储机架、联网装置机架)可布置在pod的任何位置。数据中心的任何空间均可配置为计算pod、存储pod或异构计算和存储pod。冷却行可灵活地配置成满足各种布局、布置、热负荷和pod的配置的冷却要求。
52.图4是根据一个实施方式的冷却行401和相关联的机架200的行的俯视布局图，图中示出了冷却行401在整个数据中心100中以相同的方向布置。机架200中的冷却风扇可通过机架200的空气空间抽吸由电子部件加热的空气，以便由冷却行401的冷却盘管(未示出)冷却。从冷却供应/冷却返回管线131
‑
132向冷却行401的冷却盘管供应冷却液。对于冷却行401的所有机架200，如出口气流403所示，以及对于各种冷却行401的所有机架200，在冷却
行401的冷却盘管冷却之后，来自机架200的空气以相同的方向流出冷却行401。因而，来自一个冷却行401的出口气流403可在与进入相邻冷却行401的入口气流相同的方向上。例如，来自一行机架200和相关冷却行401的空气出口可面对相邻行机架200和相关冷却行401的空气入口。
53.在一个实施方式中，可测量来自冷却行401的出口气流403的温度，以控制供应至冷却行401的冷却液的冷却能力，诸如温度或体积。机架200可容纳不同布置的计算或存储pod，而与pod的功率负载需求无关。可改变计算和存储pod的数量、比率和配置，以服务于不同的it应用。示出了包围两行机架200的一个pod 405。因为容纳pod的机架200可具有不同的功率负载和功率密度，可耗散不同量的热量，因而可能需要不同的冷却输送子系统。在一个实施方式中，除了或代替提供气流的液体冷却，冷却输送子系统可包括液
‑
液冷却盘管、图3所示的冷板303、或其它液
‑
液冷却装置(例如，机架级液体冷却单元、机架歧管、浸没冷却箱等)，以灵活地支持pod的热管理功能。
54.在一个实施方式中，基于来自不同冷却行401的出口气流403的温度，可独立地控制不同冷却行401的冷却能力，以解决pod的不同功率负载。因而，可将来自不同冷却行401的空气温度控制为相对均匀，而与连接至冷却行401的机架200的功率负载无关。由于来自机架200的均匀定向的气流和气流的均匀温度，因而可认为数据中心100中的每个位置在热管理方面是相同的。这意味着可在数据中心100中的任何it空间中部署it机架的任何变化，而不会在任何其它空间上引起任何热影响，或仅引起可忽略的热影响。因而，可将所有数据中心100认为是使用冷却行401的冷通道，这也使得冷却分配子系统的配置能够独立于数据中心100的固定冷却基础设施。
55.图5是根据一个实施方式的数据中心100中的冷却行401和相关联的机架200的俯视布局图，冷却行401和相关联的机架200布置成使得每对冷却行401彼此面对。可将该实施方式认为是将当前公开中提出的设计概念与传统的热通道
‑
冷通道数据中心合并。例如，当改装数据中心以支持当前公开的设计时，代替进行完整重建，一些现有的诸如电力设施或联网设施的设施可保持完整，并且也可实现当前的热设计配置，以节省成本。来自该对的每个冷却行401的出口气流503朝向彼此流动。在一个实施方式中，如果由该对冷却行401冷却的一对机架200具有基于来自任一冷却行401的出口气流503的类似功率负载，则可联合控制该对冷却行401的冷却能力。
56.在一个实施方式中，可独立地控制该对冷却行401的冷却能力，以考虑由该对冷却行401基于来自相应冷却行401的出口气流503的温度而冷却的该对机架200的不同功率负载，即使来自该对冷却行401的出口气流503可混合。该对冷却行401的独立控制允许来自两个冷却行401的出口气流503的温度相对均匀。机架200的这种布置类似于传统pod的交替热通道冷通道布置，但是由于独立控制连接至机架200的冷却行401的冷却能力，因而该布置不经历传统pod的热通道和冷通道之间的温度梯度。
57.图6是根据一个实施方式的数据中心100中的冷却行401和相关联的机架200的俯视布局图，所述冷却行401和相关联的机架200布置成使得冷却行的上部和下部面向相反的方向。所有冷却行401的上部可在一个方向上，并且所有冷却行401的下部可在相反的方向上。因而，来自冷却行401的两个部分的出口气流603可沿相反方向流动。这种布局使得能够实现可用于不同的使用情况的不同数据中心室气流动态设计，诸如pod分区。冷却行401的
冷却能力也可独立地控制成去除在数据中心100中的位置之间的任何温度梯度，或保持室温均匀。在一个实施方式中，可使用优化和参数分析来最优地控制气流603。例如，图2的rmu 202可监测通过机架200的气流的温度和体积。基于该数据，rmu 202的优化模块221可使用预定的优化模型执行优化，以导出用于机架200的风扇模块的一组优化风扇速度，从而控制气流603。
58.图7是根据一个实施方式的冷却行401的侧视图或后视图，图中示出了用于液体供应和返回回路131
‑
132到每个冷却盘管703的流体连接701，该冷却盘管用于单独冷却每个支架200。冷却行可包括布置成行的模块化冷却单元，以向液体冷却回路供应冷却行的机架200。每个冷却单元中的主要单元可为用于冷却吹过一个或多个机架200的气流的冷却盘管703。通过冷却分配子系统从冷却供应管线131向冷却盘管供应冷却液，并且冷却盘管用作液
‑
气热交换器，以冷却来自容纳在机架200中的电子部件的携带热量的气流的温度。
59.在一个实施方式中，除了液体到空气冷却盘管703或代替液体到空气冷却盘管703，图3中的液
‑
液冷却装置(例如，机架级液体冷却单元、机架歧管、浸没冷却箱等)或冷板303可连接至冷却行401的冷却分配子系统。在一个实施方式中，如果液
‑
液冷却装置具有足够的冷却能力来冷却机架200，则可不需要使用冷却盘管703对气流进行液
‑
气冷却。在这种情况下，可容易地移除冷却盘管703。
60.不同类型的it机架(例如，计算机架、存储机架、联网装置机架)可布置在机架200的任何位置。机架200的任何部分均可配置或划分为计算pod、存储pod或异构计算和存储pod。包括液
‑
气冷却盘管703和液
‑
液装置的冷却行401的冷却分配子系统具有可灵活地适于支持容纳在机架200中的pod的各种布局、布置、热负荷和配置的冷却要求的冷却能力。
61.在一个实施方式中，冷却行401的模块化冷却单元具有集成的流体分配管道，该流体分配管道可互连以形成冷却分配子系统，该冷却分配子系统用于将冷却液从冷却供应管线131分配至机架200的冷却盘管703和液
‑
液设备，并通过返回管线132返回加热的液体。例如，流体连接部701和流体端口705可将冷却液供应至冷却盘管703和/或诸如机架级液体冷却单元、机架歧管、浸没冷却箱、冷板等的液
‑
液冷却装置，并从该冷却盘管703和/或该液
‑
液冷却装置返回加热的液体。在一个实施方式中，流体端口705可用作冷却盘管703的主端口(例如，流体连接部701)的冗余端口。在一个实施方式中，冷却盘管703的位置可高于机架200，以便与来自机架200的温升空气进行更有效的热交换。冷却行401的模块化冷却单元可从冷却行401的便于接近的后侧进行维修。在一个实施方式中，冷却行401可包括用于在冷却分配子系统的任何泄漏的情况下防止流体溢出的内部结构。
62.冷却行401的冷却能力可通过控制来自冷却供应管线131的冷却液的温度和/或体积来独立地控制。在一个实施方式中，冷却行401的模块化冷却单元的冷却能力可通过泵(未示出)独立地控制，该泵控制供应至机架200的冷却液的体积。图7示出了冷却行401的每个模块化冷却单元的冷却盘管703可分别为每个机架200满足冷却需求。集成的流体分配管道和冷却行401的模块化配置使得用于机架200的冷却分配子系统的配置能够独立于设施的固定基础设施，从而提高液体冷却系统的可伸缩性、效率、弹性、可用性和可靠性。
63.图8是根据一个实施方式的冷却行401的侧视图或后视图，图中示出了用于液体供应和返回回路131
‑
132到在两个相邻机架200之间共用的每个冷却盘管组703的流体连接部。冷却盘管组703的两个冷却盘管也可用作彼此的冗余备份。可通过流体连接701从一对
相邻模块化冷却单元的冷却分配子系统向冷却盘管组703供应冷却液。冷却盘管组703可起到液
‑
气热交换器的作用，以冷却来自容纳在该对机架200中的电子部件的携带热量的气流的温度。在一个实施方式中，多于两个的冷却盘管可布置在一个共用区域中。
64.图9是根据一个实施方式的冷却行401和相关联的机架200的俯视布局图，该冷却行401和相关联的机架200配置成使得来自冷却行401的空气流的温度t1用于独立地控制供应至冷却行401的冷却液的冷却能力。机架200可容纳计算pod、存储pod或异构计算和存储pod的各种布局、布置和配置，以服务于不同的it应用。pod可具有不同的功率负载、功率密度等，因而需要不同的冷却输送子系统，诸如液
‑
气冷却、液
‑
液冷却，或它们的组合，用于热交换。
65.例如，第一pod 901可包括两个常规机架200，诸如用于同类计算的机架。第二pod 902可包括两个高密度机架260，其具有用于运行机器学习或高性能计算(hpc)工作负荷的更高的功率密度，并因而具有比常规机架200的更严格的冷却要求。第一pod 901和第二pod 902可使用液
‑
气冷却盘管(未示出)。除了液
‑
气冷却盘管之外，第三pod 903也可使用液
‑
液冷却装置，诸如浸没冷却罐905。在冷却盘管中流动的流体对于整个房间可相同。如果某些it室或机架需要不同类型的工作流体，诸如浸没冷却流体，则可将另外的单元添加至冷却盘管、机架200或浸没罐905中。
66.在一个实施方式中，在气流已由冷却行401的冷却盘管冷却之后，可基于连接至pod的机架的冷却行401的出口气流的温度t1，在反馈回路中独立地调节和控制供应至pod的冷却输送子系统的液体的冷却能力。例如，机架的rmu 202或设施可监测冷却行401的温度t1，以调节从冷却供应管线131供应至冷却行401的冷却液的温度或体积。在一个实施方式中，供应至冷却行401的冷却液的体积可通过冷却行401的阀或泵(未示出)来调节。在一个实施方式中，每个pod的冷却能力或pod的每个冷却行的冷却能力可通过来自pod或pod的冷却行的监视温度t1来独立地控制。因而，可认为温度t1是pod的冷通道温度控制，使得pod能够独立地和动态地根据pod调节冷却能力，而与设施的固定基础设施无关。冷却能力的控制可在不同级执行，诸如在冷却盘管级、冷却行401级或在pod级，诸如pod 405、901、902或903。
67.在一个实施方式中，温度t2可为机架内的空气温度。可基于机架的温度t2，在反馈回路中控制和调节机架中的气流。例如，图2中的rmu 202可监测通过机架的气流的温度t2和体积。基于该数据，rmu 202的优化模块221可使用预定的优化模型执行优化，以导出用于机架的风扇模块的一组最佳风扇速度，从而控制气流。同样，pod可独立地和动态地调节pod的气流，而与设施的固定基础设施无关。
68.在一个实施方式中，如果冷却输送子系统使用液
‑
液冷却，则可测量热交换之后由pod的液
‑
液冷却装置返回的温液体的温度。rmu 202的机架或设施可监测冷却行401的液体温度，以调节从冷却供应管线131供应至冷却行401的冷却液的温度或体积。在一个实施方式中，不同的冷却供应和返回管线131
‑
132可将冷却液供应至不同的冷却行401或pod，并从不同的冷却行401或pod返回温热的液体。
69.图10是根据一个实施方式的冷却行401的俯视图，该冷却行401连接至设施的基础设施，以在机架附接之前形成液体冷却系统的冷却液供应回路131和温热液体返回回路132。如图4、图5、图6所示，冷却行401可灵活地布置成各种布局，以适应计算pod、存储pod或
异构计算和存储pod的不同布局、布置和配置。图10示出了部署任何it设备之前的数据中心房间设置。冷却行401内的各个设备未在该图中示出。有利地，冷却行401的模块化配置和冷却分配子系统可灵活地支持快速变化的it需求，包括功率密度、形状因数、冷却方法、功率传送机构、机架布局、联网配置、pod配置等的变化，而不使数据中心基础设施过时。
70.在以上的说明书中，已经参考本发明的具体示例性实施方式对本发明的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本发明的更宽泛精神和范围的情况下，可对本发明做出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。