集群存储系统和元数据恢复方法与流程

1.本技术涉及计算机技术领域，特别涉及集群存储系统和元数据恢复方法。


背景技术：

2.集群存储是通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器，极大提高了磁盘利用率，可以为非结构化数据提供具备极高传输带宽和灵活可扩展性的存储解决方案。
3.元数据(metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在大数据环境下，元数据的体量也非常大，元数据的存取性能是整个分布式文件系统性能的关键。常见的元数据管理可以分为集中式和分布式元数据管理架构。
4.在单机柜场景中，通常元数据被保存在扩展柜的磁盘上。但是同一批次的存储扩展柜、磁盘的使用寿命趋近相似，并且因为元数据高频次的读写属性，介质的使用寿命普遍偏短。所以各个元数据因为存储介质损坏而造成的数据丢失的风险非常高。


技术实现要素：

5.本技术的目的在于提供一种集群存储系统和元数据恢复方法，其能够改善上述问题。
6.本技术的实施例是这样实现的：
7.第一方面，本技术提供一种集群存储系统，包括多个集群节点，每个所述集群节点对应一个终端设备，所述终端设备用于读取所述集群节点内的数据或者向所述集群节点写入数据；
8.每个所述集群节点都包括有至少一个扩展存储器，每个所述扩展存储器内都包括有至少一个存储组，每个所述存储组内存储有至少一个元数据；
9.所述终端设备内包括有与所述存储组数量相同的控制器，每个所述控制器对应连接有一个所述存储组，用于读取所述存储组内的元数据或者向所述存储组写入元数据；
10.每个所述控制器内增设有至少一个本地存储单元，所述本地存储单元用于存储与对应的所述存储组内所存储的元数据一致的元数据副本。
11.在本技术可选的实施例中，同一个所述存储组的各个所述存储单元位于同一个物理磁盘中。
12.在本技术可选的实施例中，同一个所述扩展存储器的各个所述存储组位于同一个物理磁盘中。
13.在本技术可选的实施例中，所述集群节点可以是存储设备、计算机设备或服务器。
14.可以理解，本技术公开了一种集群存储系统，每个集群节点对应一个相互通信的
终端设备，存入集群节点内的扩展存储器的元数据，都在对应的终端设备的本地存储单元内存有元数据副本。在集群节点的扩展存储器出现损坏的情况下，可以及时调用本地存储单元内的元数据副本，用以恢复集群节点内的元数据，采用此方式可以进而恢复出整个集群存储系统的元数据。
15.在本技术可选的实施例中，每个所述集群节点还都包括至少一个全局存储空间，所述全局存储空间内存储的数据可以通过所述集群存储系统的全局网络总线进行传输；所述扩展存储器位于所述集群节点内的非全局存储空间中。
16.可以理解，全局存储空间内存储的数据可以通过集群存储系统的全局网络总线进行传输。比如，每个集群节点包括远程直接数据存取(remotedirect memory access，rdma)网络接口卡(rdma network interface card，rnic)，全局网络总线即为rdma网络，该rnic用于通过rdma网络访问不同集群节点的全局存储空间内存储的数据。但是存储于非全局存储空间的元数据，一旦损坏则难以通过全局网络总线从其他节点中调用。因此，需要在对应的终端设备的本地存储单元内存储元数据副本，以便于修复集群节点的元数据。
17.在本技术可选的实施例中，所述存储组包括多个存储单元，每个所述存储单元内存储有一个元数据，同一所述存储组内的所述存储单元所存储的元数据相同。
18.第二方面，本技术还公开了一种元数据恢复方法，该方法应用于第一方面任一项所述的集群存储系统中，该方法包括：
19.通过目标控制器读取对应所述存储组内元数据；
20.在读取失败的情况下，读取对应的所述目标控制器内所述本地存储单元存储的元数据副本；
21.将所述元数据副本重新写入对应的所述存储组内。
22.可以理解，本技术公开了一种数据恢复方法，在无法读取集群节点内存储的元数据的情况下，可以立即调用本地存储单元存储的元数据副本对其进行恢复，保证集群存储系统的数据存储安全。
23.在本技术可选的实施例中，所述将所述元数据副本重新写入对应的所述存储组内，具体包括：分别向所述目标控制器对应的所述存储组的各个所述存储单元写入所述元数据副本。
24.在本技术可选的实施例中，在所述通过目标控制器读取对应所述存储组内元数据之前，所述方法还包括：在通过所述目标控制器向对应的所述存储组写入所述元数据后，将与所述元数据内容相同的所述元数据副本写入对应的所述本地存储单元中。
25.第三方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第二方面任一方法的步骤。
26.有益效果：
27.本技术公开了一种集群存储系统，每个集群节点对应一个相互通信的终端设备，存入集群节点内的扩展存储器的元数据，都在对应的终端设备的本地存储单元内存有元数据副本。在集群节点的扩展存储器出现损坏的情况下，可以及时调用本地存储单元内的元数据副本，用以恢复集群节点内的元数据，采用此方式可以进而恢复出整个集群存储系统的元数据。
28.本技术公开了一种数据恢复方法，在无法读取集群节点内存储的元数据的情况下，可以立即调用本地存储单元存储的元数据副本对其进行恢复，保证集群存储系统的数据存储安全。
29.为使本技术的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。
附图说明
30.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
31.图1是本技术提供的一种集群存储系统的结构示意图；
32.图2是图1所示的单独一个集群节点的结构示意图；
33.图3是本技术提供的一种数据恢复方法的流程示意图；
34.图4是本技术提供的一种数据恢复方法的具体步骤示意图；
35.图5是本技术提供的在本地存储单元备份元数据副本的具体步骤示意图。
具体实施方式
36.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.集群存储是通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享存储池中提供给前端的应用服务器，极大提高了磁盘利用率，可以为非结构化数据提供具备极高传输带宽和灵活可扩展性的存储解决方案。
38.集群存储有六大特点：
39.1.开放式架构(高扩展性)
40.它针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素，每个元素都可以非常容易地采用业界最新技术而不用改变集群存储的架构，且扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。
41.2.分布式操作系统
42.这是集群存储的灵魂所在。所有对集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。
43.3.统一命名空间
44.统一命名空间在很多厂家的存储概念中都出现过。在集群存储中，统一命名空间强调的是同一个文件系统下的统一命名空间。它同样可以支持上pb级别的存储空间。如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到统一命名空间，其效率和出现存储热点时的性能将会大大低于把上pb级别的存储空间置于同一个文件系统下管理的统一命名空间。
45.4.易管理性
46.目前存储业界的管理方式都是通过各厂商的管理工具，或通过web界面进行管理和配置，往往客户端还需要安装相关软件才能访问到存储上的空间。随着需要管理的存储空间逐渐增大，管理存储的复杂度和管理人员的数量也将会随之增加。而集群存储应该提供一种集中的、简便易用的管理方式，对客户端没有任何影响，采用业界标准的访问协议(比如nfs，cifs)访问集群存储。
47.5.负载均衡
48.集群存储通过分布式操作系统的作用，会在前端和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。
49.6.高性能
50.关于高性能领域，目前对集群存储的讨论还仅局限在高带宽、高并发访问的应用模式下。毫无疑问，集群存储对于该类应用可以提供比传统存储架构更优的性能。但目前应用除了高带宽、高并发访问类的之外，还有高iops、随机访问、小文件访问以及备份归档等其他类的应用，集群存储应该在以上领域同样提供高性能的解决方案。
51.元数据(metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在大数据环境下，元数据的体量也非常大，元数据的存取性能是整个分布式文件系统性能的关键。常见的元数据管理可以分为集中式和分布式元数据管理架构。
52.在单机柜场景中，通常元数据被保存在扩展柜的磁盘上。但是同一批次的存储扩展柜、磁盘的使用寿命趋近相似，并且因为元数据高频次的读写属性，介质的使用寿命普遍偏短。所以各个元数据因为存储介质损坏而造成的数据丢失的风险非常高。
53.第一方面，本技术提供一种集群存储系统，包括多个集群节点，每个集群节点对应一个终端设备，终端设备用于读取集群节点内的数据或者向集群节点写入数据。如图1所示的集群存储系统包括有三个集群节点，每个集群节点对应有一个终端设备。
54.每个集群节点都包括有至少一个扩展存储器，每个扩展存储器内都包括有至少一个存储组。如图2所示的扩展存储器包括有三个存储组。每个存储组内存储有至少一个元数据。
55.终端设备内包括有与存储组数量相同的控制器，如图2所示的终端设备内设置有三个控制器。每个控制器对应连接有一个存储组，用于读取存储组内的元数据或者向存储组写入元数据。
56.每个控制器内增设有至少一个本地存储单元，本地存储单元用于存储与对应的存储组内所存储的元数据一致的元数据副本。
57.在本技术可选的实施例中，存储组包括多个存储单元，每个存储单元内存储有一个元数据，同一存储组内的存储单元所存储的元数据相同。
58.如图2所示，第一存储组包括有存储单元11、存储单元12和存储单元13；第二存储组包括有存储单元21、存储单元22和存储单元23；第三存储组包括有存储单元31、存储单元32和存储单元33。可以理解，同一存储组内的存储单元所存储的元数据相同，那么这些存储单元内所存储的互为彼此的元数据副本。
59.在本技术可选的实施例中，同一个存储组的各个存储单元位于同一个物理磁盘中。
60.在本技术可选的实施例中，同一个扩展存储器的各个存储组位于同一个物理磁盘中。
61.在本技术可选的实施例中，集群节点可以是存储设备、计算机设备或服务器。
62.可以理解，本技术公开了一种集群存储系统，每个集群节点对应一个相互通信的终端设备，存入集群节点内的扩展存储器的元数据，都在对应的终端设备的本地存储单元内存有元数据副本。在集群节点的扩展存储器出现损坏的情况下，可以及时调用本地存储单元内的元数据副本，用以恢复集群节点内的元数据，采用此方式可以进而恢复出整个集群存储系统的元数据。
63.在本技术可选的实施例中，如图1所示，每个集群节点还都包括至少一个全局存储空间(图中未示出)，全局存储空间内存储的数据可以通过集群存储系统的全局网络总线进行传输；扩展存储器位于集群节点内的非全局存储空间中。
64.可以理解，全局存储空间内存储的数据可以通过集群存储系统的全局网络总线进行传输。比如，每个集群节点包括远程直接数据存取(remote direct memory access，rdma)网络接口卡(rdma network interface card，rnic)，全局网络总线即为rdma网络，该rnic用于通过rdma网络访问不同集群节点的全局存储空间内存储的数据。但是存储于非全局存储空间的元数据，一旦损坏则难以通过全局网络总线从其他节点中调用。因此，需要在对应的终端设备的本地存储单元内存储元数据副本，以便于修复集群节点的元数据。
65.第二方面，如图3所示，本技术还公开了一种元数据恢复方法，该方法应用于第一方面任一项的集群存储系统中，该方法包括：
66.310、通过目标控制器读取对应存储组内元数据。
67.320、在读取失败的情况下，读取对应的目标控制器内本地存储单元存储的元数据副本。
68.330、将元数据副本重新写入对应的存储组内。
69.在本技术可选的实施例中，步骤330具体包括：分别向目标控制器对应的存储组的各个存储单元写入元数据副本。
70.可以理解，本技术公开了一种数据恢复方法，在无法读取集群节点内存储的元数据的情况下，可以立即调用本地存储单元存储的元数据副本对其进行恢复，保证集群存储系统的数据存储安全。
71.如图4所示，以图1和图2所示的集群存储系统为例，在需要进行元数据恢复的情况下，分别从各个集群节点对应的控制器内读取本地存储单元所存储的元数据副本，然后将这些元数据副本重新写入对应的扩展存储器的存储组中。
72.在本技术可选的实施例中，在步骤310之前，方法还包括：在通过目标控制器向对应的存储组写入元数据后，将与元数据内容相同的元数据副本写入对应的本地存储单元中。
73.如图5所示，以图1和图2所示的集群存储系统为例，在进行本技术公开的元数据恢复方法之前，需要将同一元数据写入同一组存储组的三个存储单元中，并且还需要将该元数据副本写入存储组对应的控制器的本地存储单元中。
74.第三方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第二方面任一方法的步骤。
75.上述计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元，例如终端设备的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备，例如上述终端设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
76.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
77.在本技术所提供的几个实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
78.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
79.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
80.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机
设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
81.在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
82.当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。
83.以上描述仅为本技术的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
84.以上所述仅为本技术的可选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。