适用于冷数据的微服务存储平台及其使用方法与流程

1.本发明涉及对象存储技术领域，尤其涉及一种适用于冷数据的微服务存储平台及其使用方法。


背景技术：

2.对象存储，也称为基于对象的存储，是一种数据的存储形式，其策略是将数据存储作为不同单元进行管理和操作，其中每个存储的数据单元称为对象。这些对象可以是任何类型的数据和任何大小的数据，常见的有pdf、音频、图像或视频文件。对象存储中，所有对象都存储在单个平面地址空间中，即单个存储池库中，而没有文件夹层次结构，不会与其他文件夹中的文件绑定到一起。与文件类型和块类型存储不同，对象存储会为对象添加全面的元数据。元数据有助于理解和分析大型文件，而无需直接处理文件中包含的内容，是对象存储成功的关键，它可以对存储池中数据的使用和功能进行深入分析。
3.对象存储具有出色的数据分析能力，它由元数据驱动，对每个数据片段进行级别的分类后，分析机会就大得多。可扩展性极高，可以永久持续地添加数据，没有限制。数据检索速度更快，由于对象存储的分类结构以及没有文件夹层次结构，因此可以更快地检索数据。成本降低，由于对象存储的横向扩展特性，因此能够以较低的成本存储所有数据。资源优化，由于对象存储没有归档层次结构，而且元数据可以完全自定义，因此限制比文件或块存储的要少得多。
4.通用的对象存储系统实现虽然种类繁多,但一般情况下用户的计算资源和存储资源在后端是混淆在一起的，并没有做有效的隔离措施。首先，由于用户的资源在存储上并没有做分离，这使得在用户级别进行的数据转冷操作，存在数据拷贝，并不方便、快速、有效。其次，即使用户存储资源在后端是分离的，数据存储资源的转冷，也会因为用户元数据等的计算资源的混淆而持续消耗存储系统资源，冷数据所在存储池不能完全释放，从而存储资源不能离线。因此现有的通用对象存储系统并不适用于提供针对冷数据的用户级别的对象存储服务。


技术实现要素：

5.针对现有对象存储系统无法提供针对冷数据的用户级别的对象存储服务的问题，本发明实施例提供一种适用于冷数据的微服务存储平台及其使用方法。
6.第一方面，本发明实施例提供一种适用于冷数据的微服务存储平台，包括：
7.web服务层，配置有虚拟ip，用于为用户指定数据服务层地址及唯一的数据访问端口，基于所述虚拟ip接收用户的访问；
8.数据服务层，配置有至少一个微服务组及至少一个存储空间，所述至少一个存储空间通过文件映射的方式被映射相应的微服务组；每个微服务组及相应的存储空间为一个用户单独所有，用户基于所述虚拟ip访问时通过指定的数据服务层地址及唯一的数据访问端口，进而访问自己的微服务组及存储空间。
9.在一些实施方式中，所述web服务层还用于：
10.在接收到用户的申请将存储空间中数据转为冷数据或热数据的调度请求时，向所述数据服务层发送调度请求，以使所述数据服务层将用户的存储空间中数据转为冷数据或热数据。
11.在一些实施方式中，所述微服务组包括容器组。
12.在一些实施方式中，所述存储空间包括磁盘阵列。
13.在一些实施方式中，所述web服务层还配置有保活组，用于实现虚拟ip作为用户访问的统一入口。
14.在一些实施方式中，同一所述虚拟ip能够被多个所述web服务层配置，同一时间的同一网络中仅一个虚拟ip能够被地址解析协议广播使用。
15.第二方面，本发明实施例提供一种所述适用于冷数据的微服务存储平台的使用方法，包括：
16.通过虚拟ip访问web服务层，发出新增用户的请求；
17.web服务层为新增用户指定数据服务层的地址和唯一的数据访问端口；
18.数据服务层为新增用户分配存储空间；
19.数据服务层为新增用户启动所述存储空间对应的微服务组。
20.在一些实施方式中，所述数据服务层为新增用户启动所述存储空间对应的微服务组之后，还包括：
21.数据服务层更新新增用户的相关信息，包括为新增用户指定的数据服务层的地址和唯一的数据访问端口。
22.第三方面，本发明实施例提供一种所述适用于冷数据的微服务存储平台的使用方法，包括：
23.通过虚拟ip及唯一的数据访问端口访问用户的微服务组；
24.通过微服务组操作用户的存储空间。
25.第四方面，本发明实施例提供一种所述适用于冷数据的微服务存储平台的使用方法，包括：
26.web服务层获取用户针对其存储空间中数据的冷热调度请求；
27.web服务层将所述冷热调度请求发送至用户的数据服务层的地址；
28.数据服务层根据所述冷热调度请求将用户的存储空间中数据整体转为冷数据或热数据。
29.与现有技术相比，本发明的一个或多个实施例至少具有如下有益效果：
30.本发明中，每个用户拥有唯一的微服务组、唯一的存储空间、唯一访问端口。微服务组通过文件映射的方式，将存储空间映射进微服务组，用户可以通过自有的唯一访问端口访问自己的微服务组，从而访问自己的存储空间。利用微服务搭建为用户提供完全独立的存储空间，使得用户的业务运行独立，存储资源隔离，减小了外部因素的干扰，并能根据用户的操作习惯对整个存储资源进行冷热的调度，当用户存储数据转冷，存储资源可以离线，计算资源和存储资源得到完全的释放。
附图说明
31.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。
32.图1是本发明实施例提供的一种适用于冷数据的微服务存储平台示意图；
33.图2是本发明实施例提供的一种适用于冷数据的微服务存储平台的流程图；
34.图3是本发明实施例提供的一种适用于冷数据的微服务存储平台的流程图；
35.图4是本发明实施例提供的一种适用于冷数据的微服务存储平台的流程图。
具体实施方式
36.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.maid(即massive arrays of idle disks)技术，是大规模非活动磁盘阵列存储。全球网络存储工业协会(storage networking industry association，snia)对maid的定义是：a storage system comprising an array of disk drives that are powered down individually or in groups when not required。maid storage systems reduce the power consumed by a storage array。
38.maid技术在磁带库工作模式的基础上提出和发展起来的。磁带库的工作原理是正常状态下所有的磁带都放置在磁带库的槽位中，需要某盘磁带时才将它放在磁带机中，然后进行数据读写。而在大部分时间，大多数磁带是处在非工作状态的。maid应用了同样的原理，只有需要时才将一部分磁盘开机运转，而其他磁盘通常处于断电状态，就像磁带库中的磁带一样。因此应用的maid技术的磁盘存储也可以称之为磁盘库。
39.maid极大地满足了目前流行的“绿色存储”所要求的绿色、环保和节能的特点，存储设备中的所有磁盘并不是每时每刻都处于active和power on状态，大部分硬盘处于power off状态，只有系统需要进行读写访问时，硬盘才会重新power on。maid存储中sata硬盘启动的时间大约为10秒。处于power on状态的硬盘经过一定空闲时间(时间段长度可根据系统的访问特点、频度来预先设定)后，根据策略重新下点，变成power off状态，以达到节点、环保、延长硬盘使用寿命的功能。
40.随着越来越多的软件项目因系统组件水平扩展，敏捷开发，持续集成，解耦等各种需求转向微服务架构，微服务极大地改变了软件的开发和交付模式。微服务是一种软件开发技术，是面向服务的体系结构架构样式的一种变体，它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通。每个服务都围绕着具体业务进行构建，并且能够独立地部署到生产环境、类生产环境等。另外，尽量避免统一的、集中式的服务管理机制。容器，就是一种常见的实现微服务的手段。它使用沙箱机制，让开发者可以打
包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的linux机器或windows机器上，也可以实现虚拟化。
41.本发明为了解决现有对象存储系统无法提供针对冷数据的用户级别的对象存储服务的问题，提供一种改变通用对象存储系统直接构建于机器操作系统之上，为用户提供统一使用入口的形式，结合微服务，用户计算资源、存储资源完全独立的，用户存储数据转冷后，磁盘可以完全离线的存储平台。
42.下面通过几个实施例来说明本发明的具体实施方式。
43.实施例一
44.图1示出一种适用于冷数据的微服务存储平台示意图，如图1所示，本实施例提供的适用于冷数据的微服务存储平台，包括：
45.web服务层，配置有虚拟ip，用于为用户指定数据服务层地址及唯一的数据访问端口，基于虚拟ip接收用户的访问；
46.数据服务层，配置有至少一个微服务组及至少一个存储空间，至少一个存储空间通过文件映射的方式被映射相应的微服务组；每个微服务组及相应的存储空间为一个用户单独所有，用户基于虚拟ip访问时通过指定的数据服务层地址及唯一的数据访问端口，进而访问自己的微服务组及存储空间。
47.本实施例的存储平台，用户的计算资源和存储资源可以实现有效的隔离措施，能在用户级别上进行数据转冷操作，数据拷贝十分方便、快速、有效。而且，由于用户存储资源的隔离，数据存储资源的转冷不会持续消耗存储系统资源，冷数据所在存储空间可以完全释放，从而存储资源能够离线，实现针对冷数据的用户级别的对象存储服务。
48.在一些实施方式中，微服务组包括容器组，用于进行用户存储业务，将用户的存储空间通过文件映射的方式映射到容器组，一组容器为一个用户所独有。
49.在一些实施方式中，存储空间实现为一个存储池，该存储池中包括磁盘阵列，磁盘阵列是以用户为单位的磁盘组，每一磁盘组为相应的用户提供存储空间。
50.在一些实施方式中，web服务层还配置有保活组，用于实现虚拟ip作为用户访问的统一入口。同一虚拟ip能够被多个web服务层配置，但同一时间的同一网络中仅一个虚拟ip能够被地址解析协议(address resolution protocol，arp)广播使用。
51.在一些实施方式中，web服务层还用于：
52.在接收到用户的申请将存储空间中数据转为冷数据或热数据的调度请求时，向所述数据服务层发送调度请求，以使数据服务层将用户的存储空间中数据转为冷数据或热数据。
53.为了提供一种用户级别适用于冷数据的微服务存储平台，尤其是解决常见的通用性对象存储平台对于用户的计算资源和存储资源混淆的问题，本实施例的存储平台，首先搭建专属于每个用户的微服务组(容器组)并提供完全独立的存储空间，其次是针对每个用户分配全局唯一端口的访问路径。
54.本实施例的存储平台中，每个用户拥有唯一的微服务组、唯一的存储空间、唯一访问端口。微服务组通过文件映射的方式，将存储空间映射进微服务组，用户可以通过自有的唯一访问端口访问自己的微服务组，从而访问自己的存储空间。
55.利用微服务搭建用户独有的容器组，提供完全独立的存储空间，使得用户的业务
运行独立，存储资源隔离，减小了外部因素的干扰，并能根据用户的操作习惯对整个存储资源进行冷热的调度。针对每个用户分配全局唯一端口的访问路径，能够消除传统提供统一入口造成的计算资源混淆、中心化相对较强的问题，使得用户通过独有的访问端口对存储资源进行操作，逻辑明了，访问简单，去中心化，提高了可靠性，并达到计算资源分离的目的，是一种用于冷数据的高可靠性且安全的微服务存储平台，使得用户资源完全独立，当用户存储数据转冷，存储资源可以离线，计算资源和存储资源得到完全的释放。
56.实施例二
57.本实施例提供一种前述实施例中的适用于冷数据的微服务存储平台的使用方法，如图2所示，至少包括步骤s201～步骤s204：
58.步骤s201、通过虚拟ip访问web服务层，发出新增用户的请求；
59.步骤s202、web服务层为新增用户指定数据服务层的地址和唯一的数据访问端口；
60.步骤s203、数据服务层为新增用户分配存储空间；
61.步骤s204、数据服务层为新增用户启动存储空间对应的微服务组。
62.在一些实施方式中，数据服务层为新增用户启动存储空间对应的微服务组之后，还包括：
63.步骤s205、数据服务层更新新增用户的相关信息，包括为新增用户指定的数据服务层的地址和唯一的数据访问端口。
64.本实施例是注册新用户的流程，用户通过虚拟ip访问web服务层，发出新增用户的请求，在请求新增的用户为已存在的注册用户时，请求失败，流程结束，而当请求新增的用户符合未注册用户时，允许其请求，由web服务层为新增用户指定数据服务层的地址和唯一的数据访问端口，进而由数据服务层为新增用户分配存储空间并启动存储空间对应的微服务组，使新增的用户可以基于虚拟ip访问时通过指定的数据服务层地址及唯一的数据访问端口，进而访问自己的微服务组及存储空间。
65.实施例三
66.本实施例提供一种前述实施例中适用于冷数据的微服务存储平台的使用方法，如图3所示，包括步骤s301～步骤s302：
67.步骤s301、通过虚拟ip及唯一的数据访问端口访问用户的微服务组；
68.步骤s302、通过微服务组操作用户的存储空间。
69.本实施例中，在用户未注册或其他非法权限的情况下，用户通过虚拟ip及自己独有的数据访问端口访问自己的微服务组时，无法通过微服务组操作用户的存储空间，而当用户已注册的情况下，通过虚拟ip及自己独有的数据访问端口访问主机的微服务组，可以通过微服务组操作自己独立的存储空间，使得用户的业务运行独立，存储资源隔离，减小了外部因素的干扰，并能根据用户的操作习惯对整个存储资源进行冷热的调度。
70.实施例四
71.本实施例提供一种前述实施例中适用于冷数据的微服务存储平台的使用方法，如图4所示，包括步骤s401～s403：
72.步骤s401、web服务层获取用户针对其存储空间中数据的冷热调度请求；
73.步骤s402、web服务层将冷热调度请求发送至用户的数据服务层的地址；
74.步骤s403、数据服务层根据冷热调度请求将用户的存储空间中数据整体转为冷数
据或热数据。
75.本实施例是用户存储空间的数据冷热调度流程，web服务层获取用户针对其存储空间中数据的冷热调度请求，并将冷热调度请求发送至用户的数据服务层的地址，数据服务层根据冷热调度请求将用户的存储空间中数据整体转为冷数据或热数据。
76.由于用户对存储空间的独占性，一个用户独占一组微服务，用户之间资源相互独立，所以用户存储资源转冷时，计算及存储资源能得到完全的释放，可以根据用户需求对自己的存储空间数据进行独立的冷热调度，减小了外部因素的干扰，快速地调节整个存储空间数据的冷热。
77.在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。
78.需要说明的是，在本文中，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
79.虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。