一种存储管理方法、装置、设备及机器可读存储介质与流程

1.本公开涉及通信技术领域，尤其是涉及一种存储管理方法、装置、设备及机器可读存储介质。


背景技术：

2.受到数据的爆炸性增长驱动，分布式存储凭借其在线扩容、容量自由扩展、业务不中断、性能随节点数量增加呈近线性增长的优势，被越来越多的企业和解决方案所青睐。
3.分布式存储的特点是存储容量和性能随节点数的增加呈近线性扩展，数据被打散尽可能均匀的存储在不同的服务器上。随着数据存储量的增多，越来越多的客户倾向于使用统一的大规模集群，使用大规模的集群，意味着存储所关联的交换机端口数会越来越多，使用更高密度端口数的核心交换机是一种解决方法，但是这样操作会有两个问题，一个是核心交换机的本身成本很高，另一个就是更换交换机工作量过大。所以更常见的一种方法是使用交换机级联来打通网络，但是由于交换机之间的级联带宽有限，当频繁出现跨交换机存取数据时，就可能造成网络带宽成为存储性能瓶颈的问题。


技术实现要素：

4.有鉴于此，本公开提供一种存储管理方法、装置及电子设备、机器可读存储介质，以改善上述网络带宽成为存储性能瓶颈的问题。
5.具体地技术方案如下：
6.本公开提供了一种存储管理方法，应用于分布式存储集群设备，所述方法包括：获取存储集群内各存储服务器与各网络设备的网络连接关系；根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本；所述预设规则包括，归属于同一个存储区域的各存储服务器中，与存储集群内的任一直接连接有存储服务器的网络设备均有至少有一个存储服务器直接连接；响应于数据读取命令，由存储有关联于数据读取命令的存储区域中，与目标网络设备的网络连接链路路径最短的存储服务器读取关联的数据并反馈；所述目标网络设备是存储集群中与读取设备的网络连接路径最短的网络设备，所述读取设备是待获取关联于数据读取命令的数据的设备。
7.作为一种技术方案，所述获取存储集群内各存储服务器与各网络设备的网络连接关系，包括：接收存储服务器上报的网络连接链路信息，所述网络连接链路信息是存储服务器通过lldp链路层发现协议获取的；根据各存储服务器上报的网络连接链路信息获取存储集群内各存储服务器与各网络设备的网络连接关系。
8.作为一种技术方案，所述根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本，包括：归属于同一个存储区域的各存储服务器中，若与同一直接连接有存储服务器的网络设备有至少两个存储服务器直接连接，则在单次写入数据时，允许且仅允许所述至少两
个存储服务器中的任一存储服务器通过该网络设备接收待存储数据，由接收到待存储数据的向所述至少两个存储服务器中的其他存储服务器传输待存储数据。
9.作为一种技术方案，响应于数据写入命令，由用于存储关联于该数据写入命令的数据的存储区域中，与写入设备的网络连接路径最短的存储服务器从写入设备接收待存储数据；所述写入设备是待发送关联于数据写入命令的待存储数据的设备；所述接收待存储数据的存储服务器包括缓存模块，该存储服务器还用于向缓存模块和同一存储区域中的其他存储服务器分发待存储数据，所述缓存模块用于缓存接收的待存储数据并在同一存储区域中的其他存储服务器均存储待存储数据完成后删除缓存的待存储数据。
10.本公开同时提供了一种存储管理装置，应用于分布式存储集群设备，所述装置包括：链路单元，用于获取存储集群内各存储服务器与各网络设备的网络连接关系；管理单元，用于根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本；所述预设规则包括，归属于同一个存储区域的各存储服务器中，与存储集群内的任一直接连接有存储服务器的网络设备均有至少有一个存储服务器直接连接；数据单元，用于响应于数据读取命令，由存储有关联于数据读取命令的存储区域中，与目标网络设备的网络连接链路路径最短的存储服务器读取关联的数据并反馈；所述目标网络设备是存储集群中与读取设备的网络连接路径最短的网络设备，所述读取设备是待获取关联于数据读取命令的数据的设备。
11.作为一种技术方案，所述获取存储集群内各存储服务器与各网络设备的网络连接关系，包括：接收存储服务器上报的网络连接链路信息，所述网络连接链路信息是存储服务器通过lldp链路层发现协议获取的；根据各存储服务器上报的网络连接链路信息获取存储集群内各存储服务器与各网络设备的网络连接关系。
12.作为一种技术方案，所述根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本，包括：归属于同一个存储区域的各存储服务器中，若与同一直接连接有存储服务器的网络设备有至少两个存储服务器直接连接，则在单次写入数据时，允许且仅允许所述至少两个存储服务器中的任一存储服务器通过该网络设备接收待存储数据，由接收到待存储数据的向所述至少两个存储服务器中的其他存储服务器传输待存储数据。
13.作为一种技术方案，数据单元还用于响应于数据写入命令，由用于存储关联于该数据写入命令的数据的存储区域中，与写入设备的网络连接路径最短的存储服务器从写入设备接收待存储数据；所述写入设备是待发送关联于数据写入命令的待存储数据的设备；所述接收待存储数据的存储服务器包括缓存模块，该存储服务器还用于向缓存模块和同一存储区域中的其他存储服务器分发待存储数据，所述缓存模块用于缓存接收的待存储数据并在同一存储区域中的其他存储服务器均存储待存储数据完成后删除缓存的待存储数据。
14.本公开同时提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的存储管理方法。
15.本公开同时提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的存储管理方法。
16.本公开提供的上述技术方案至少带来了以下有益效果：
17.根据网络连接关系划分存储区域，使得每个基层网络设备均直接连接有同一存储区域下的存储服务器，在外部设备获取数据时，通过链路路径最短的设备为其提供数据，尽可能地避免跨网络设备传输数据造成的网络带宽占用，改善网络带宽成为存储性能瓶颈的问题。
附图说明
18.为了更加清楚地说明本公开实施方式或者现有技术中的技术方案，下面将对本公开实施方式或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施方式，对于本领域普通技术人员来讲，还可以根据本公开实施方式的这些附图获得其他的附图。
19.图1是本公开一种实施方式中的存储管理方法的流程图；
20.图2是本公开一种实施方式中的存储管理装置的结构图；
21.图3是本公开一种实施方式中的电子设备的硬件结构图。
具体实施方式
22.在本公开实施方式使用的术语仅仅是出于描述特定实施方式的目的，而非限制本公开。本公开和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
23.应当理解，尽管在本公开实施方式可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
24.在一种技术方案中，存储区域内的存储服务器划分主备，读取数据时从主存储服务器读取，若外部设备连接的网络设备交换机不是与主存储服务器直接连接的交换机，则需要跨交换机读取数据，所以在这种情况下，跨交换机访问的数量就会很大，交换机之间的级联网络带宽可能成为存储性能的瓶颈。尤其是在大数据计算场景，典型的应用即为一次写入，多次读取，如果读取都需要跨交换机进行操作，交换机之间的带宽就会成为瓶颈。
25.有鉴于此，本公开提供一种存储管理方法、装置及电子设备、机器可读存储介质，以改善上述网络带宽成为存储性能瓶颈的问题。
26.具体地技术方案如后述。
27.在一种实施方式中，本公开提供了一种存储管理方法，应用于分布式存储集群设备，所述方法包括：获取存储集群内各存储服务器与各网络设备的网络连接关系；根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本；所述预设规则包括，归属于同一个存储区域的各存储服务器中，与存储集群内的任一直接连接有存储服务器的网络设备均有至少有一个存储服务器直接连接；响应于数据读取命令，由存储有关联于数据读取命令的存储
区域中，与目标网络设备的网络连接链路路径最短的存储服务器读取关联的数据并反馈；所述目标网络设备是存储集群中与读取设备的网络连接路径最短的网络设备，所述读取设备是待获取关联于数据读取命令的数据的设备。
28.具体地，如图1，包括以下步骤：
29.步骤s11，获取存储集群内各存储服务器与各网络设备的网络连接关系；
30.步骤s12，根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本；
31.步骤s13，响应于数据读取命令，由存储有关联于数据读取命令的存储区域中，与目标网络设备的网络连接链路路径最短的存储服务器读取关联的数据并反馈。
32.所述预设规则包括，归属于同一个存储区域的各存储服务器中，与存储集群内的任一直接连接有存储服务器的网络设备均有至少有一个存储服务器直接连接。所述目标网络设备是存储集群中与读取设备的网络连接路径最短的网络设备，所述读取设备是待获取关联于数据读取命令的数据的设备。本公开中，网络设备可以是交换机，也可以是其他具备相应网络功能的设备，如路由器等。
33.根据网络连接关系划分存储区域，使得每个基层网络设备均直接连接有同一存储区域下的存储服务器，在外部设备获取数据时，通过链路路径最短的设备为其提供数据，尽可能地避免跨网络设备传输数据造成的网络带宽占用，改善网络带宽成为存储性能瓶颈的问题。
34.在一种实施方式中，所述获取存储集群内各存储服务器与各网络设备的网络连接关系，包括：接收存储服务器上报的网络连接链路信息，所述网络连接链路信息是存储服务器通过lldp链路层发现协议获取的；根据各存储服务器上报的网络连接链路信息获取存储集群内各存储服务器与各网络设备的网络连接关系。
35.在一种实施方式中，所述根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本，包括：归属于同一个存储区域的各存储服务器中，若与同一直接连接有存储服务器的网络设备有至少两个存储服务器直接连接，则在单次写入数据时，允许且仅允许所述至少两个存储服务器中的任一存储服务器通过该网络设备接收待存储数据，由接收到待存储数据的向所述至少两个存储服务器中的其他存储服务器传输待存储数据。
36.在一种实施方式中，响应于数据写入命令，由用于存储关联于该数据写入命令的数据的存储区域中，与写入设备的网络连接路径最短的存储服务器从写入设备接收待存储数据；所述写入设备是待发送关联于数据写入命令的待存储数据的设备；所述接收待存储数据的存储服务器包括缓存模块，该存储服务器还用于向缓存模块和同一存储区域中的其他存储服务器分发待存储数据，所述缓存模块用于缓存接收的待存储数据并在同一存储区域中的其他存储服务器均存储待存储数据完成后删除缓存的待存储数据。
37.在一种实施方式中，首先各存储服务器与交换机通过lldp相互发现，各存储服务器能够获取到所连交换机的相关网络连接链路信息，通过上报保存此信息，可以得知哪些存储服务器连接在同一台交换机上。
38.根据网络连接关系，将存储集群的存储服务器划分为不同的存储区域zone，同一份数据的不同副本，必须存储在同一个zone，同一个zone的各存储服务器，必须跨交换机，
从而使得在每个交换机直连的各存储服务器，都可以找到一个存储服务器存储有完整的数据副本。
39.在写入数据时，通过跨交换机存储数据副本可能会导致某一交换机下同一存储区域的存储服务器数量大于一个时，这些存储服务器相互传输数据引起的数据副本的最后一个分片返回速度比其他的副本慢一些，为了保障数据的完整性和写数据性能不降低，可以在存储服务器本地配置高性能的缓存介质，如存储级内存/nvme等，来额外保存一个数据副本，即如三数据副本写入的方案中，则实际先写入四个数据副本，在收到三个数据副本写入完成后，即可向用户返回写成功，等待第四个数据副本写入返回完成后，将本地缓存介质中的临时数据副本删除。
40.例如，一个zone的主副本在一个交换机，另外备用副本在另一个交换机内相连的存储服务器上，客户端写入请求，优先在收到写请求的本机写入主副本，为了减少跨交换机的写入流量，由主副本负责分，别同时向本地缓存介质、第一跨交换机存储节点写入，然后再由第一跨交换机存储节点负责将最后一个副本写入同一交换机直连的第二跨交换机存储节点
41.经过数据写入后，在任何一个交换机直连的存储服务器中都有文件的完整副本，这样在读取的时候，每个作为数据读取设备的客户端，都可以从自己相连的链路最短的交换机读取到数据，不产生跨交换机的流量，从而改善由于级联带宽有限而导致的读性能受限问题。
42.在一种实施方式中，本公开同时提供了一种存储管理装置，如图2，应用于分布式存储集群设备，所述装置包括：链路单元21，用于获取存储集群内各存储服务器与各网络设备的网络连接关系；管理单元22，用于根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本；所述预设规则包括，归属于同一个存储区域的各存储服务器中，与存储集群内的任一直接连接有存储服务器的网络设备均有至少有一个存储服务器直接连接；数据单元23，用于响应于数据读取命令，由存储有关联于数据读取命令的存储区域中，与目标网络设备的网络连接链路路径最短的存储服务器读取关联的数据并反馈；所述目标网络设备是存储集群中与读取设备的网络连接路径最短的网络设备，所述读取设备是待获取关联于数据读取命令的数据的设备。
43.在一种实施方式中，所述获取存储集群内各存储服务器与各网络设备的网络连接关系，包括：接收存储服务器上报的网络连接链路信息，所述网络连接链路信息是存储服务器通过lldp链路层发现协议获取的；根据各存储服务器上报的网络连接链路信息获取存储集群内各存储服务器与各网络设备的网络连接关系。
44.在一种实施方式中，所述根据网络连接关系，按照预设规则将存储集群内各存储服务器划分到各个存储区域，在归属于同一个存储区域的各存储服务器存储相同的数据副本，包括：归属于同一个存储区域的各存储服务器中，若与同一直接连接有存储服务器的网络设备有至少两个存储服务器直接连接，则在单次写入数据时，允许且仅允许所述至少两个存储服务器中的任一存储服务器通过该网络设备接收待存储数据，由接收到待存储数据的向所述至少两个存储服务器中的其他存储服务器传输待存储数据。
45.在一种实施方式中，数据单元还用于响应于数据写入命令，由用于存储关联于该
数据写入命令的数据的存储区域中，与写入设备的网络连接路径最短的存储服务器从写入设备接收待存储数据；所述写入设备是待发送关联于数据写入命令的待存储数据的设备；所述接收待存储数据的存储服务器包括缓存模块，该存储服务器还用于向缓存模块和同一存储区域中的其他存储服务器分发待存储数据，所述缓存模块用于缓存接收的待存储数据并在同一存储区域中的其他存储服务器均存储待存储数据完成后删除缓存的待存储数据。
46.装置实施方式与对应的方法实施方式相同或相似，在此不再赘述。
47.在一种实施方式中，本公开提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，处理器执行所述机器可执行指令以实现前述的存储管理方法，从硬件层面而言，硬件架构示意图可以参见图3所示。
48.在一种实施方式中，本公开提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现前述的存储管理方法。
49.这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
50.上述实施方式阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
51.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本公开时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
52.本领域内的技术人员应明白，本公开的实施方式可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施方式、完全软件实施方式、或结合软件和硬件方面的实施方式的形式。而且，本公开实施方式可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
53.本公开是参照根据本公开实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
54.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生
包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
55.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
56.本领域技术人员应明白，本公开的实施方式可提供为方法、系统或计算机程序产品。因此，本公开可以采用完全硬件实施方式、完全软件实施方式、或者结合软件和硬件方面的实施方式的形式。而且，本公开可以采用在一个或者多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
57.以上所述仅为本公开的实施方式而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。