无单一失败点的存储装置的制作方法

1.本发明一般涉及存储器技术领域，特别涉及一种无单一失败点的存储装置。


背景技术：

2.在当今的企业级高性能高可用性存储系统里数据的可靠性，可达性和可服性是至关紧要的。因此系统对无单一失败点的要求是必然的。传统的存储系统里，如图1a，服务器11经过交换机21与多个存储盘31,41进行数据读写通信，但是这种系统的单一失败点非常多，如果服务器11故障或交换机21故障或存储盘31,41里的存储控制器或任何一个存储器设备故障都会导致数据无法访问，无法恢复和丢失。图1b的系统通过增加服务器12和交换机22可以消除服务器和交换机中的单一失败点，但是存储控制器和存储器设备还是会产生单一失败点。如图1c，当今系统的解决方法为复制所有存储盘形成复制存储盘31’，41’，但是在海量数据存储中心里这样的解决方案有昂贵的代价。


技术实现要素：

3.本发明的目的在于提供一种无单一失败点的存储存储装置。
4.本技术公开了一种存储装置，包括两个存储控制器和多个存储器设备，所述多个存储器设备通过多条点对点的数据总线在所述两个存储控制器之间连接形成环路，其中，一个存储控制器与部分的存储器设备形成一传输和控制总线组，另一个存储控制器与剩余的存储器设备形成另一传输和控制总线组；
5.其中，当所述两个存储控制器中的一个故障时，所述多个存储器设备与另一个存储控制器形成传输和控制总线组以继续进行控制和数据传输；当所述多个存储器设备中的任意一个故障时，剩余的存储器设备重新排列并与所述两个存储控制器形成两个新的传输和控制总线组以继续进行控制和数据传输。
6.本技术还公开了一种存储装置，包括两个存储控制器和多个存储器设备，所述多个存储器设备通过多条点对点的数据总线在所述两个存储控制器之间连接形成一条线形链路；
7.其中，当一个存储控制器故障时，所述多个存储器设备与另一个存储控制器形成传输和控制总线组；当所述多个存储器设备中的任意一个故障时，该故障的存储器设备两侧的其他存储器设备分别与两端的存储控制器形成两个传输和控制总线组。
8.在一个优选例中，所述存储控制器具有双端口。
9.在一个优选例中，所述多条点对点的数据总线为双向点对点的数据总线。
10.在一个优选例中，所述存储控制器与相连的所述存储器设备之间及所述多个存储器设备中相邻的存储器设备之间通过共享的双向数据总线进行控制和数据传输。
11.在一个优选例中，所述多条点对点的数据总线为单向点对点的数据总线。
12.在一个优选例中，所述存储控制器与相连的所述存储器设备之间及所述多个存储器设备中相邻的存储器设备之间通过共享的单向数据总线进行控制和数据传输。
13.在一个优选例中，所述存储控制器与相连的所述存储器设备之间及所述多个存储器设备中相邻的存储器设备之间通过单向点对点的控制总线连接。
14.在一个优选例中，所述存储控制器与相连的所述存储器设备之间及所述多个存储器设备中相邻的存储器设备之间通过双向点对点的控制总线连接。
15.本技术还公开了一种存储器设备，所述存储器设备具有两组端口，所述存储器设备支持并发总线模式，所述并发总线模式使得所述存储器设备的两组端口独立连接两个不同的总线接口；当所述并发总线模式使能时，所述两组端口同时设置为输出状态，或同时设置为输入状态，或一个端口设置为输出状态另一个端口设置为输入状态，或一个端口设置为输入状态另一个端口处于无驱动高阻状态，或一个端口设置为输出状态另一个端口处于无驱动高阻状态；所述并发总线模式未使能时，所述两组端口为低延时旁路模式。
16.在一个优选例中，所述两组端口中的每一个包括有一个或多个端口。
17.在一个优选例中，所述一个端口组包括的端口中的一个或多个用于数据传输，同时一个或多个用于控制。
18.在一个优选例中，所述两组端口分别进行读操作或写操作。
19.在一个优选例中，通过端口逻辑实现所述并发总线模式，所述端口逻辑与一个存储块封装在同一个管芯里形成所述存储器设备。
20.在一个优选例中，通过端口逻辑实现所述并发总线模式，所述端口逻辑封装在单独管芯里并且与一个或多个单独封装的存储块管芯封装在同一个管壳里形成所述存储器设备。
21.本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本技术上述发明内容中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a b c，在另一个例子中公开了特征a b d e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一个使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a b c d的方案因技术不可行而应当不被视为已经记载，而a b c e的方案应当视为已经被记载。
附图说明
22.参考以下附图描述本技术的非限制性和非穷举性实施例，其中除非另有说明，否则相同的附图标记在各个附图中指代相同的部分。
23.图1a为现有技术中存储系统的示意图。
24.图1b为现有技术中存储控制器与存储器设备为单一失败点的的示意图。
25.图1c为现有技术中需要复制存储盘来解决单一失败点的的示意图。
26.图2a为本发明一实施例中存储装置的示意图。
27.图2b为本发明另一实施例中存储装置的示意图。
28.图2c为本发明另一实施例中存储装置的示意图。
29.图3a为本发明一实施例中双控制器与设备之间分配为两个传输和控制总线组的
示意图。
30.图3b为本发明另一实施例中双控制器与设备之间分配为两个传输和控制总线组的示意图。
31.图3c为本发明一实施例中一个控制器故障后传输和控制总线组重组的示意图。
32.图3d为本发明一实施例中一个存储器设备故障后传输和控制总线组重组的示意图。
33.图3e为本发明另一实施例中一个存储器设备故障后传输和控制总线组重组的示意图。
34.图3f为本发明另一实施例中一个存储器设备故障后传输和控制总线组重组的示意图。
35.图4a为本发明一实施例中存储装置的示意图。
36.图4b为本发明另一实施例中存储装置的示意图。
37.图4c为本发明另一实施例中存储装置的示意图。
38.图5a为本发明一实施例中存储装置的示意图。
39.图5b为本发明另一实施例中存储装置的示意图。
40.图5c为本发明另一实施例中存储装置的示意图。
41.图6a为本发明一实施例中一个控制器故障后传输和控制总线组重组的示意图。
42.图6b为本发明一实施例中一个存储器设备故障后传输和控制总线组重组的示意图。
43.图7a为本发明一实施中具有双端口，每个端口支持并发总线模式的存储器设备示意图。
44.图7b为本发明一实施中具有双端口组，每个端口组支持并发总线模式的存储器设备示意图。
45.图8a为本发明一实施例中双控制器与设备之间分配为两个传输和控制总线组的示意图。
46.图8b为本发明一实施例中一个控制器故障后利用双端口存储器设备重组菊花链的示意图。
47.图8c为本发明一实施例中一个控制器故障后利用双端口存储器设备重组菊花链的示意图。
具体实施方式
48.现在将描述本技术的各个方面和示例。以下描述提供了用于彻底理解和实现这些示例的描述的具体细节。然而，本领域技术人员将理解，可以在没有许多这些细节的情况下实践本技术。
49.另外，可能未详细示出或描述一些众所周知的结构或功能，以便简明扼要并避免不必要地模糊相关描述。
50.在下面给出的描述中使用的术语旨在以其最广泛的合理方式解释，即使它与本技术的某些特定示例的详细描述一起使用。以下甚至可以强调某些术语，然而，任何旨在以任何受限制的方式解释的术语将在本详细描述部分中明确且具体地定义。
51.本技术的第一实施方式中公开了一种存储装置，图2a示出了该存储装置的示意图，包括两个存储控制器101,102和多个存储器设备201-204、301-304，所述多个存储器设备201-204、301-304通过多条点对点的数据总401线在所述两个存储控制器101、102之间连接形成环路。在一个实施例中，所述存储控制器101、102具有双端口。
52.在一个实施例中，如图2a所示，所述多条点对点的数据总线401为双向点对点的数据总线。在一个实施例中，所述存储控制器101、102与相连的所述存储器设备201、204、301、304之间及所述多个存储器设备201-204、301-304中相邻的存储器设备之间通过共享的双向数据总线进行控制和数据传输，即数据传输和控制共享同一条总线。
53.应当理解，本技术的其他实施例中，所述多条点对点的数据总线401还可以为单向点对点的数据总线。在该实施例中，所述存储控制器与相连的所述存储器设备之间及所述多个存储器设备中相邻的存储器设备之间通过共享的单向数据总线进行控制和数据传输，即数据传输和控制共享同一条总线。
54.在一个实施例中，如图2b所示，所述存储控制器101、102与相连的所述存储器设备201、204、301、304之间及所述多个存储器设备201-204、301-304中相邻的存储器设备之间通过单向点对点的控制总线402连接。
55.在一个实施例中，如图2c所示，所述存储控制器101、102与相连的所述存储器设备201、204、301、304之间及所述多个存储器设备201-204、301-304中相邻的存储器设备之间通过双向点对点的控制总线403连接。
56.其中，一个存储控制器与部分的存储器设备形成一传输和控制总线组，另一个存储控制器与剩余的存储器设备形成另一传输和控制总线组。
57.如图3a所示，存储控制器101与存储器设备201、202、301、302形成第一传输和控制总线组501，存储控制器102与存储器设备203、204、303、304形成第二传输和控制总线组502。
58.如图3b所示，存储控制器101与存储器设备201、202、203、204形成第一传输和控制总线组501，存储控制器102与存储器设备301、302、303、304形成第二传输和控制总线组502。
59.应当理解，图3a所示的连接方式优于图3b所示的连接方式，每一个存储控制器与相连的存储器设备的物理连接较近。
60.在一个实施例中，当所述两个存储控制器中的一个故障时，所述多个存储器设备与另一个存储控制器形成传输和控制总线组以继续进行控制和数据传输；当所述多个存储器设备中的任意一个故障时，剩余的存储器设备重新排列并与所述两个存储控制器形成两个新的传输和控制总线组以继续进行控制和数据传输。
61.如图3c所示，当存储控制器101故障时，存储控制器102与存储器设备201-204、301-304连接形成传输和控制总线组，能够继续进行控制和数据传输。
62.在本实施例的装置中，如果两个存储控制器中有一个发生故障，剩余存储存储器器将获得此信息。存储控制器故障侦察方法有很多。在一个实例中，外界控制系统里的主机或服务器可以经过异常状态反应侦察故障存储控制器状态并通知剩余存储控制器。在另一个实例中，装置里面的两个存储控制器经过总线间歇地探查对方状态观察对方的正常性。在另一个实例中，装置里面的两个存储控制器经过总线间歇地汇报给对方状态并以超时计
时器发现对方已经进入故障状态。当一个存储控制器发生故障后，剩余的存储控制器经过控制和数据总线配备存储器设备里的端口设置接管总线上所有存储器设备，从而达成存储控制器非单一失败点。
63.如图3d所示，存储器控制和存储器设备采用图3a所示的连接方式，当存储器设备303故障时，不会影响其他存储器设备和存储控制器之间的控制和数据传输。存储控制器102可以从所剩存储器设备203，204，304的raid数据里恢复存储器设备303丢失的数据。
64.如图3e所示，存储器控制和存储器设备采用图3a所示的连接方式，当存储器设备304故障时，不会影响其他存储器设备和存储控制器之间的控制和数据传输。然而，本技术的其他实施例中，还可以对存储控制器和存储器设备进行重新排列，例如，参考图3f所示，存储控制器101与存储器设备201、301-303形成一传输和控制总线组，存储控制器102与存储器设备202-204形成另一传输和控制总线组，本实施例中可以形成两个新的传输和控制总线组，能够继续进行控制和数据传输。
65.在本实施例的装置中，如果多个存储器设备中有一个发生故障，故障存储器设备所在的传输和控制总线组里的存储控制器将可以侦察。故障侦察方法有很多种，控制器可以根据存储器设备无反应，存储器设备故障状态汇报，存储器设备读取数据错误等综合侦察。故障存储器设备被发现后，装置里面的两个存储控制器可以重新组合传输和控制总线组，继续控制剩余存储器设备和平衡性能。装置可以通过数据恢复算法，例如raid5，raid6等，恢复故障存储器设备丢失的数据，从而达到存储器设备无单一失败点，同时避免数据复制的需要，大大降低存储设施的成本。
66.本技术的第二实施方式还公开了一种存储装置，图4a示出了该存储装置的示意图，包括两个存储控制器101,102和多个存储器设备201-204，所述多个存储器设备201-204通过多条点对点的数据总线401在所述两个存储控制器101,102之间连接形成一条线形链路。
67.在一个实施例中，如图4a所示，所述多条点对点的数据总线401为双向点对点的数据总线。在一个实施例中，所述存储控制器101、102与相连的所述存储器设备201、204之间及所述多个存储器设备201-204中相邻的存储器设备之间通过共享的双向数据总线进行控制和数据传输，即数据传输和控制共享同一条总线。
68.在一个实施例中，如图4b所示，所述存储控制器101、102与相连的所述存储器设备201、204之间及所述多个存储器设备201-204中相邻的存储器设备之间通过单向点对点的控制总线402连接。
69.在一个实施例中，如图4c所示，所述存储控制器101、102与相连的所述存储器设备201、204之间及所述多个存储器设备201-204中相邻的存储器设备之间通过双向点对点的控制总线403连接。
70.在一个实施例中，如图5a所示，所述多条点对点的数据总线401还可以为单向点对点的数据总线404。在该实施例中，所述存储控制器与相连的所述存储器设备之间及所述多个存储器设备中相邻的存储器设备之间通过共享的单向数据总线进行控制和数据传输，即数据传输和控制共享同一条总线。
71.在一个实施例中，如图5b所示，所述多个存储器设备201-204通过多条点对点的数据总线401连接，所述存储控制器101、102与相连的所述存储器设备201、204之间及所述多
个存储器设备201-204中相邻的存储器设备之间通过单向点对点的控制总线402连接。
72.在一个实施例中，如图5c所示，所述多个存储器设备201-204通过多条点对点的数据总线401连接，所述存储控制器101、102与相连的所述存储器设备201、204之间及所述多个存储器设备201-204中相邻的存储器设备之间通过双向点对点的控制总线403连接。
73.其中，当一个存储控制器故障时，所述多个存储器设备与另一个存储控制器形成传输和控制总线组；当所述多个存储器设备中的任意一个故障时，该故障的存储器设备两侧的其他存储器设备分别与两端的存储控制器形成两个传输和控制总线组。
74.如图6a所示，存储器控制和存储器设备采用图4b所示的连接方式，当存储控制器102故障时，存储器设备201-204与存储控制器101形成传输和控制总线组。
75.如图6b所示，存储器控制和存储器设备采用图4b所示的连接方式，当存储器设备201故障时，存储器设备202-204与存储控制器102形成传输和控制总线组。
76.本技术的另一实施方式还公开了一种存储器设备，所述存储器设备具有两套双向端口组，所述存储器设备支持并发总线模式，所述并发总线模式使得所述存储器设备的两组端口独立连接两个不同的总线接口；当所述并发总线模式使能时，所述两组端口同时设置为输出状态，或同时设置为输入状态，或一个端口设置为输出状态另一个端口设置为输入状态，或一个端口设置为输入状态另一个端口处于无驱动高阻状态，或一个端口设置为输出状态另一个端口处于无驱动高阻状态；所述并发总线模式未使能时，所述两组端口为低延时旁路模式。本实施方式中的存储器设备用于实现前文所述的存储装置。
77.在一个实施例中，所述两组双向端口组中的每一个组可以包括有一个或多个端口。在一个实施例中，所述一个双向端口组包括的端口中的一个或多个用于数据传输，同时一个或多个用于控制。
78.在一个实施例中，所述两套双向端口组分别进行读操作或写操作。
79.如图7a左边的示意图，存储器设备包括存储块(memory block)和端口逻辑，存储块和端口逻辑封装在同一个管芯(die)中，通过端口逻辑实现所述并发总线模式，端口逻辑包括两组端口，两组端口中的每一个包括有一个或多个端口。例如，图7a左边的示意图中，端口逻辑中的两组端口分别包括一个端口，各自连接双向总线lbus、rbus，图7b左边的示意图中，端口逻辑中的两组端口分别包括两个端口，其中一个端口连接双向总线lbus1、lbus2，一个端口连接双向总线rbus1、rbus2。
80.如图7a右边的示意图，存储器设备包括多个存储块(memory block)和端口逻辑，多个存储块各自封装在一个管芯中，端口逻辑单独封装在一个管芯中，再将他们同时封装在同一个管芯中，通过端口逻辑实现所述并发总线模式，端口逻辑包括两组端口，两组端口中的每一个包括有一个或多个端口。例如，图7a右边的示意图中，端口逻辑中的两组端口分别包括一个端口，各自连接双向总线lbus、rbus，图7b右边的示意图中，端口逻辑中的两组端口分别包括两个端口，其中一个端口连接双向总线lbus1、lbus2，一个端口连接双向总线rbus1、rbus2。
81.在一实施例中，图4b系统里存储器设备具有两组端口组，每个端口组支持并发总线模式的存储器设备。如图8a。在这个实例里每个端口组有两个端口，一个端口用于控制，一个端口用于数据端口。在正常工作时，存储控制器101与存储器设备203、204形成传输和控制总线组(菊花链)，存储控制器102与存储器设备201、202形成传输和控制总线组(菊花
链)，存储控制器101的菊花链与存储控制器102的菊花链分割界处于存储器设备202和存储器设备203之间。两个菊花链的节点端口的分割界控制总线两端都设置为输入，数据总线为无驱动高阻状态。两个菊花链内部的存储器设备201、204的端口逻辑的并发模式关闭，设置为低延时旁路模式。当存储控制器102故障时，如图8b所示,存储控制器101设定存储器设备202的节点端口从输入状态转为输出状态，进行与存储器设备203的控制，再设置存储器设备203的端口逻辑的并发总线模式关闭，如图8c所示，打通两个菊花链。重建菊花链有多种方案，本实施例中只是列举了其中一个例子。
82.需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。本专利的申请文件中，如果提到根据某要素执行某行为，则是指至少根据该要素执行该行为的意思，其中包括了两种情况：仅根据该要素执行该行为、和根据该要素和其它要素执行该行为。多个、多次、多种等表达包括2个、2次、2种以及2个以上、2次以上、2种以上。
83.在本技术提及的所有文献都被认为是整体性地包括在本技术的公开内容中，以便在必要时可以作为修改的依据。此外应理解，在阅读了本技术的上述公开内容之后，本领域技术人员可以对本技术作各种改动或修改，这些等价形式同样落于本技术所要求保护的范围。