具有冗余数据路径的物理层接口的制作方法

具有冗余数据路径的物理层接口


背景技术：

1.用于云计算的数据中心必须在没有中断的情况下运行客户应用。然而，硬件和软件部件两者都不可避免地会以由它们的平均故障时间表征的速度失效。随着数据中心基础设施变得越来越复杂，总故障率迅速上升，并且对于超大规模数据中心，故障数量变得难以处理。
2.解决该问题的一个方法是提供使得能够甚至在识别和修复故障时继续操作的某种形式的冗余。但以硬件的形式来表示时，冗余可以采取有源部件和无源备用部件的形式，如果有源部件将要失效，则无源备用部件已准备好接管，由此防止服务中断。
3.虽然这样的冗余是有益的，但是仅仅为每个硬件部件提供备用将是非常昂贵或低效的。相反，期望仅在这样做最有益的地方提供冗余。
4.在可以配置现有部件以提供这样的冗余而不需要复制整个部件的情况下，可实现更高的效率。例如，如果网络交换机装备有足够的内部冗余，则使用这样的交换机来实现期望的性能水平将比为每个有源交换机提供一个无源备用交换机和这样的布置所需的附加的连接电缆更有效。


技术实现要素：

5.因此，本文公开了一种物理层接口设备的实施例，包括：用于主要数据路径的第一发射器和第一接收器；用于次级数据路径的第二发射器和第二接收器；用于非冗余数据路径的第三发射器和第三接收器；以及多路复用器。第三接收器被耦合为同时向第一和第二发射器提供从非冗余数据路径接收的数据流，并且多路复用器为第三发射器提供经由主要数据路径接收的数据流和经由次级数据路径接收的数据流中所选择的一者。
6.第一个公开的网络交换机实施例包括：多个物理层接口、内部交换机结构和至少一个控制器。多个物理层接口各自将数据流包从对应的网络端口传送到对应的主要数据路径和次要数据路径，并且将数据流包从所对应的主要数据路径和次要数据路径中所选择的一者传送到所对应的网络端口。在多个物理层接口之间引导数据流包的内部交换机结构。控制器在控制器检测到与对应的主要数据路径相关联的故障时将多个物理层接口中的至少一个物理层接口配置成从该物理层接口所对应的主要数据路径转换成该物理层接口对应的次级数据路径。
7.第二个公开的网络交换机实施例也包括：多个物理层接口、内部交换机结构和至少一个控制器。在该实施例中，多个物理层接口各自将数据流包从对应的非冗余数据路径传送到对应的主要网络端口和次要网络端口，并且将数据流包从所对应的主要网络端口和次要网络端口中所选择的一者传送到所对应的非冗余数据路径。在多个物理层接口之间引导数据流包的内部交换机结构。控制器在控制器检测到与对应的主要网络端口相关联的故障时将多个物理层接口中的至少一个物理层接口配置成从该物理层接口所对应的主要网络端口转换成该物理层接口对应的次级网络端口。
8.前述实施例中的每一者可以单独或组合地实现，并且可以以任何合适的组合来用
以下特征中的任何一者或多者来实现：1.确定主要数据路径的链路状况并且控制多路复用器以基于链路状况来选择所述主要数据路径或次要数据路径的控制器。2.第一、第二和第三发射器中的每一者在没有纠错和重新生成的纠错代码保护的情况下发送来自第一、第二和第三接收器中的对应的一者的重定时的数据流。3.物理层接口包括至少对从第三接收器提供到第一发射器的数据流进行纠错、执行包完整性检查和重新生成纠错代码保护的一个或多个集成电路模块。4.第二发射器在没有纠错和重新生成的纠错代码保护的情况下发送至少来自第三接收器的数据流。5.物理层接口设备包括：一个或多个集成电路模块中的在多路复用器和第三发射器之间的第二集成电路模块，该第二集成电路模块对数据流中的所选择的一者生成纠错代码保护。6.物理层接口设备包括：一个或多个集成电路模块中的耦合到第二接收器的第三集成电路模块，该第三集成电路模块对经由次级数据路径接收的数据流执行纠错。7.控制器是多个控制器中的一个控制器，多个物理层接口中的每一者包括多个控制器中的对应的一个控制器以确定所对应的网络端口的状态并基于状态在所对应的主要数据路径和次要数据路径之间进行选择。8.控制器通过将误差率或丢包率与预定的阈值进行比较来检测故障。9.交换机结构复制数据流包，以经由主要数据路径和次要数据路径两者将数据流包递送到多个物理层接口中的每一者。10.控制器调整被引导到多个物理层接口中的至少一个物理层接口的数据包的路由规划，以经由次级数据路径而不是主要数据路径来引导数据包。
附图说明
9.图1是常规网络交换机的框图。
10.图2是添加内部冗余的网络交换机的框图。
11.图3是添加连接冗余的网络交换机的框图。
12.图4是第一说明性物理层接口的框图。
13.图5是说明性多信道物理层接口的框图。
14.图6是说明性的可靠性增强方法的流程图。
15.图7是第二说明性物理层接口的框图。
16.图8是第三说明性物理层接口的框图。
具体实施方式
17.尽管在附图和以下描述中给出了特定实施例，但是请记住它们不限制本公开。相反，它们为普通技术人员提供用于辨别包含在所附权利要求书的范围内的替代形式、等效物和修改的基础。
18.图1是常规网络交换机100的框图，常规网络交换机100具有端口a
‑
n，网络电缆可以连接到端口a
‑
n以将数据流传送到其他网络节点(例如，服务器或其他交换机)或传送来自其他网络节点的数据流。物理层接口102a
‑
102n将每个端口耦合到内部交换机结构104，以便至少提供信道信号传输和接收硬件，但潜在地也提供通道同步、纠错编码/解码、数据加扰/解扰、多路复用/解多路复用和数据成帧(framing)/提取。内部交换机结构104从物理层接口102接收传入数据包，检查其中包含的报头信息以至少确定目的地地址信息，并且将数据包引导到适当的物理层接口作为外出数据包。公开的文献公开了用于内部交换机结构
的许多合适的实现方式，范围从交叉(cross
‑
bar)开关到基于总线的架构。参见例如us6259699“system architecture for and method of processing packets and/or cells in a common switch(用于处理公共交换机中的包和/或单元的系统架构和方法)”以及us7079525“network switch having a hybrid switch architecture(具有混合交换机架构的网络交换机)”。
19.内部交换机结构104通常包括一个或多个控制器，这些控制器协调其他部件的操作以提供期望的功能，并且还可以监测物理层接口102的性能并调整它们的操作参数或配置。控制器可以是由固件配置的可编程通用处理器，或它们可以采取专用集成电路(asic)的形式。典型地，内部交换机结构104部件的大部分需要以最小的延迟来处理高数据传输量，这相应地被实现为asic。
20.当交换机在数据中心中服务中服务时，它无休止的速度不间断地操作以引导惊人量的数据通信。无论开关部件多么可靠，都应预期到故障。此类故障经常是局部的，最初仅损害端口的小子集(例如，1个或2个端口)的操作。然而，那1个或2个端口可能是服务器到网络的仅有的(多个)连接。
21.为了增强每个交换机端口的可靠性，本文提出了一种采用增强物理层接口设计和方法的交换机200。如图2所示，内部交换机结构104经由以下冗余路径连接到物理层接口202(a)
‑
202(n/2)中的每一者：主要路径和次要路径。在初始(默认)状态中，仅选择主要路径用于在物理层接口和内部交换机结构之间传送数据包。如果在给定主要路径上的性能变得降级，则相关联的物理层接口202可以切换(或被切换)到备用状态，在备用状态中，仅选择次要路径用于在物理层接口和内部交换机结构之间传送数据包。在任一情况下，经由外部交换机端口的数据通信可以通过物理层接口的非冗余侧继续进行。备用状态的使用可以为诊断和纠正性能降级问题提供时间。
22.主要路径和次要路径可以耦合到内部交换机结构104的相对独立的部分，使得两个路径都不太可能受到单个或局部部件故障的影响。在一些构想的实施例中，当检测到故障时，内部交换机结构104仅仅将数据流从失效的主要数据路径重新路由到相关联的次要数据路径。故障可以被检测为比特误差率、码元误差率、或丢包率超过预定阈值。在其他构想的实施例中，内部交换机结构104复制针对每个给定端口寻址的数据包，以在主要数据路径和次要数据路径两者上提供它们，使得可以仅使用相应的物理层接口的重新配置来完成从主要数据路径到次要数据路径的转换。
23.注意，如果内部交换机结构104仅支持与图1相同数量的路径，则图2实施例中的交换机端口的数量将减半，以换取增加的可靠性。相反，如果将内部交换机结构缩放以支持图1路径的两倍的路径，则可以在图2的实施例保持交换机端口的数量。
24.在内部交换机部件被证明具有比端口连接器和相关联的网络电缆更低的故障率(平均故障时间更长)的相关情况下，可以如图3所示颠倒物理层接口的冗余侧和非冗余侧。说明性网络交换机300示出了耦合到以下冗余外部接口的物理层接口302a
‑
302n中的每一者：主要端口a
‑
n和次要端口a'
‑
n'。(预期将通过冗余电缆将冗余端口连接到同一外部节点。)内部交换机结构104通过单个非冗余路径耦合到物理层接口中的每一者。如前所述，在初始(默认)状态中，仅选择主要端口用于向外部节点(例如，服务器或另一交换机)传送数据流并传送来自外部节点的数据流。如果在给定主要端口上的性能变得降级，则物理层接
口202可以切换(或被切换)到备用状态，在备用状态中，选择相关联的的次要端口用于向相关联的外部节点传送数据流并传送来自相关联的外部节点的数据流。在两个状态中，将继续通过非冗余路径向内部交换机结构104传送数据包并传送来自内部交换机结构104的数据包。
25.图4示出了将非冗余路径(“路径a0”)耦合到两个冗余路径(“路径p0”和“路径s0”)的物理层接口的说明性实现方式。这里的讨论深入不必要的细节，但是可以在例如共同拥有的题为“serdes architecture with a hidden backchannel protocol(具有隐藏的反向信道协议的串行器/解串器架构)”(“孙(sun)”)的美国专利10,212,260中找到关于物理层接口部件的附加实现细节，所述专利由此通过引用以其整体结合于此。本文讨论的每个数据路径都可以是符合以太网标准(ieee标准802.3
‑
2015或更高版本)操作的多通道数据路径，在该情况下，对数据路径的任何切换将同时应用在所有通道上。
26.接收器402和发射器404连接到非冗余数据路径(此处示出为外部数据端口的路径a0)以接收和发送数据流。根据以太网标准，并且如在孙的专利中更完全地描述的，接收器402和发射器404可以实现以太网协议的以下子层：物理介质附属(pma)，以及物理介质相关(pmd)。对于接收器，这将包括均衡、码元检测、串行到并行转换、以及通道去扭曲(de
‑
skewing)。对于发射器，这将包括并行到串行转换、码元调制、预均衡、以及传输。
27.mac模块406实现以太网协议的前向纠错层(fec)、物理编码子层(pcs)和介质访问控制(mac)子层，除其他事项外，提供了码元检测/解码、错误纠正(对于传入数据)和纠错代码保护的重新生成(对于外出数据)、以及包完整性验证(对于传入数据)和校验和的生成(对于外出数据)。
28.先进先出(fifo)缓冲器408将mac模块406耦合到第二mac模块410以用于主要数据路径p0。第二接收器412和发射器414将第二数据链路模块410耦合到主要数据路径p0以实现pma、pmd功能。
29.对于次要数据路径s0，第三接收器422提供到第三数据链路模块426的码元数据流的并行检测，第二组fifo缓冲器428经由多路复用器430将第三数据链路模块426耦合到第一数据链路模块406。当主要数据路径活动时，多路复用器430选择fifo缓冲器408，并且当次要数据路径活动时，多路复用器430选择fifo缓冲器428。在任一状态中，fifo缓冲器428可以将来自接收器402的并行检测到的码元数据流耦合到第三发射器424以供在次要数据路径s0上传输。
30.在所有数据路径都可用的默认状态中，多路复用器选择主要数据路径。非冗余数据路径被提供有经由主要数据路径p0接收的数据流，并且经由次要数据路径s0接收的数据流(如果有的话)被丢弃。可以通过物理层接口设备的内部寄存器来控制多路复用器状态，如果在内部检测到错误，则能够由物理层设备来设置多路复用器状态，或者能够由外部控制器(例如，交换机结构控制器)来设置多路复用器状态。物理层接口设备可基于例如比特误差率、码元误差率、丢包率等来确定链路状况或网络端口状态，从而在误差率低于预定阈值时确定有效状况或状态。例如，mac模块410可以检测码元误差和包误差以监测误差率，并且由此确定故障是否与主要数据路径(或替代地与当前选择的数据路径)相关联。
31.通过主要端口p0和次要端口s0两者广播经由非冗余数据路径a0接收的数据流。到达主要端口p0的数据流通过数据链路模块406、410，这些模块提供fec消除和重新生成以及
包完整性检查。到达次要端口的数据流遵循“重定时”路径，该路径缺少fec/pcs/mac功能。该路径依赖于外部节点和内部交换机结构用于为它们之间的链路进行纠错和包完整性检查；在该状态中，物理层接口不为各个链路段提供这样的保护。
32.我们在这里注意到，当主要数据路径活动(被选择)时，次要数据路径可能经历多次中断而不影响非冗余路径和主要数据路径之间的通信量。如果由于硬件或软件故障，主要路径p0失效，则经由非冗余数据路径a0接收的数据流仍被广播到次要数据路径s0，并且经由次要数据路径接收的任何数据被传送到多路复用器430，多路复用器420可以选择该数据以供经由非冗余数据路径进行传输。物理层接口或外部控制器可以检测故障并改变多路复用器430的状态。状态之间的转换很快，即，在几纳秒的量级上。在转换期间，在非冗余数据路径和次要数据路径上的链路状况保持稳定。
33.虽然链路状况一般可以容忍可能由多路复用器430的不同步转换而导致被截断的一个或两个包，但是物理层接口可以容易地布置用于同步转换。物理层接口可以监测包报头信息，使得转换能够在来自主要路径的包的结束之后开始，并且在来自次要路径的包开始时完成。空闲模式可以用于在转换间隔期间保持链路。
34.可以将转换与在物理层接口的内部寄存器中的错误代码或警报信号相关联，使交换机控制器将警报消息传送给服务人员。因为次要数据路径是可操作的，所以在服务器保持连接和可用的同时，服务人员有时间诊断和解决主要数据路径故障的原因。
35.当主要数据路径恢复操作时，mac模块406、410可以恢复或继续将经由非冗余数据路径a0接收的数据流传送到主要数据路径p0。经由主要数据路径p0接收的数据流(如果有的话)被传送到多路复用器430，但是因为选择了次要路径，该数据流被丢弃。然而，此时，物理层接口已准备好在指令来自控制器时转换回主要数据路径。如前所述，状态转换很快，即，在几纳秒的量级上。
36.尽管图4的示例为行进到次要路径s0和来自次要路径s0的数据提供了非对称fec/pcs/mac功能，但构想了提供对称处理的替代实施例。图7示出了替代实施例，其包括先前讨论的mac模块406、410以在主要数据路径和非冗余数据路径之间提供fec/pcs/mac功能，但进一步包括mac模块706、710以在次级数据路径和非冗余数据路径之间提供相同功能。使用mac模块的该布置，数据路径中的每一者可以以某种程度的独立性进行操作。注意，省略了多路复用器430(图4)，并且替代地在发射器404的输入处提供多路复用器730以在来自mac模块406的数据流和来自mac模块706的数据流之间选择。
37.图8示出了另一替代实施例，其将fec/pcs/mac功能一起省略，使用接收器来执行均衡和码元检测，并使用发射器来重新发送检测到的码元，由此在没有纠错或包完整性验证的情况下提供重定时功能。在发射器404的输入处提供多路复用器830，以在经由主要路径和次要路径接收的数据流之间进行选择。此类重定时实现方式可在主要数据路径和次要数据路径之间采用不同步切换，潜在地导致包截断和相关联的链路状况瞬变。
38.尽管优选前述数字实施例，但是在提供滤波和信号放大而不进行码元检测和重调制的情况下，将物理层接口实现为模拟信号中继器以及在主要数据路径和次要数据路径之间进行选择的多路复用器也是可行的。支持多接口操作的物理层接口(模拟中继器、数字重定时器、mac功能、以及它们的非对称组合)可提供附加的灵活度，以使得能够在出现硬件故障时弱化降级。
39.为了支持多端口或非冗余数据路径，可以在单个封装的集成电路中包括物理层接口的多个实例作为物理层接口设备。图5示出了在单个设备中包括物理层接口的四个实例的示例。预期每个独立独立于其他实例操作，使得例如实例中的三个实例可以在默认状态中继续操作而第四个实例开始使用所选择的次级数据路径来操作。
40.图6是说明性的可靠性增强方法的流程图，可通过具有所公开的物理层接口的交换机中的控制器来实现所述方法。(控制器可以是内部交换机结构的一部分或包括在物理层接口中的一个或多个物理层接口中)在框602中，物理层接口默认为活动状态，在活动状态中，经由非冗余路径接收的数据被复制到主要数据路径和次要数据路径两者，并且经由主要数据路径来接收经由非冗余数据路径发送的数据。
41.在框604中，保留活动状态，直到在主要数据路径上检测到故障。在框606中，物理层接口转换为备用状态，在备用状态中，经由非冗余路径接收的数据被复制到主要数据路径和次要数据路径两者，并且经由次要数据路径来接收经由非冗余数据路径发送的数据。优选地传达警报以发起故障纠正。
42.在框606中，保留备用状态，直到故障被纠正，此时，方法回到框602。期望状态转换会很快，从而保留每个数据路径的稳定性。
43.期望前述实施例促进路径冗余的实际和经济实现。一旦完全了解以上公开内容，则众多替代形式、等效物和修改方案对于本领域技术人员将变得显而易见。例如，上文描述的实施例以针对每个主要数据路径的单个次级数据路径的形式来提供冗余，但是本领域普通技术人员将认识到所公开的的原理能够被容易地扩展以提供多个次级数据路径，以进一步增大每个主要数据路径的冗余。旨在将权利要求书解释为涵盖包含在所附权利要求书的范围内的所有这些替代形式、等效物和修改方案。