一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种存储管理方法、设备、系统和计算机可读存储介质与流程

2022-03-23 00:33:19 来源:中国专利 TAG:


1.本技术涉及数据存储技术领域,具体涉及一种存储管理方法、设备、系统和计算机可读存储介质。


背景技术:

2.smr(shingled magnetic recording,瓦楞式堆叠)磁盘仅支持从头到尾的顺序写入,且其具有整块删除的特点,当smr磁盘中的存储区中存储多个不同的数据文件时,如果某个数据文件过期也无法直接在存储区中单独删除该数据文件,只能在云端服务器中将对应的元数据删除,从而导致出现容量空洞,使得过期的数据文件的物理容量无法及时得到释放,持续占据smr磁盘的存储空间,大大降低smr磁盘的空间利用率。


技术实现要素:

3.本技术提供一种存储管理方法、设备、系统和计算机可读存储介质,能够释放存储空间,大大提升空间利用率。
4.为解决上述技术问题,本技术采用的技术方案是:提供一种基于smr磁盘的存储管理方法,该方法包括:获取smr磁盘中的空洞存储区列表,空洞存储区列表包括空洞存储区,空洞存储区存储有至少一个数据文件,空洞存储区为数据文件的元数据被删除的存储区;从预测迁移策略集中选取出当前迁移策略;基于当前迁移策略以及数据文件的留存期信息,将空洞存储区中的数据文件迁移至空存储区。
5.为解决上述技术问题,本技术采用的另一技术方案是:提供一种存储管理设备,存储管理设备包括互相连接的存储器和处理器,其中,所述存储器用于存储计算机程序,所述计算机程序在被所述处理器执行时,用于实现上述技术方案中的基于smr磁盘的存储管理方法。
6.为解决上述技术问题,本技术采用的另一技术方案是:提供一种存储管理系统,存储管理系统包括互相连接的存储管理设备和smr磁盘,存储管理设备用于对smr磁盘进行管理,其中,存储管理设备为上述技术方案中的存储管理设备,smr磁盘中的存储区用于存储数据文件。
7.为解决上述技术问题,本技术采用的又一技术方案是:提供一种计算机可读存储介质,其用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述技术方案中的基于smr磁盘的存储管理方法。
8.通过上述方案,本技术的有益效果是:先获取smr磁盘中的空洞存储区列表,然后从预先建立的预测迁移策略集中选取出当前迁移策略,再根据当前迁移策略以及数据文件的留存期信息,将空洞存储区中的数据文件迁移至空存储区,通过设置预测迁移策略集,能够根据当前应用环境选择出最适合的迁移策略,以便根据当前迁移策略释放出空洞存储区的存储空间,对外快速提供存储服务,大大增加存储空间的利用率;而且,由于提供了多种迁移策略,能够满足不同场景的应用需要,扩大适用性。
附图说明
9.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
10.图1是本技术提供的基于smr磁盘的存储管理方法一实施例的流程示意图;
11.图2是本技术提供的“4 1”的ec模式的示意图;
12.图3是本技术提供的存储区1的示意图;
13.图4是本技术提供的两个存储区组存储数据文件的示意图;
14.图5是本技术提供的写入数据文件的流程示意图;
15.图6是本技术提供的存储区存储多个不同数据文件的示意图;
16.图7是本技术提供的基于smr磁盘的存储管理方法另一实施例的流程示意图;
17.图8是本技术提供的迁移数据文件一实施例的流程示意图;
18.图9是本技术提供的第一迁移策略对应的流程示意图;
19.图10是本技术提供的第二迁移策略对应的流程示意图;
20.图11是本技术提供的存储管理设备一实施例的结构示意图;
21.图12是本技术提供的存储管理系统一实施例的结构示意图;
22.图13是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
23.下面结合附图和实施例,对本技术作进一步的详细描述。特别指出的是,以下实施例仅用于说明本技术,但不对本技术的范围进行限定。同样的,以下实施例仅为本技术的部分实施例而非全部实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
24.在本技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
25.需要说明的是,本技术中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.请参阅图1,图1是本技术提供的基于smr磁盘的存储管理方法一实施例的流程示意图,该方法包括:
27.步骤11:获取smr磁盘中的空洞存储区列表。
28.smr磁盘包括多个存储区(zone),多个存储区包括空洞存储区与空存储区,每个存储区用于存储至少一个数据文件,空洞存储区列表包括空洞存储区,空洞存储区为数据文件的元数据被删除的存储区,空洞存储区存储有至少一个数据文件;由于smr磁盘只支持存储区的整体删除,即只能删除整个存储区中的所有数据文件,无法将存储区中的某些数据文件单独删除,故在存储区中的某个数据文件过期时,无法实现与该过期的数据文件的元数据的同步删除,从而产生容量空洞的现象,生成空洞存储区。
29.具体地,smr磁盘中的存储区即为连续磁道构成的可连续写入的区域,可将从客户端获取的数据文件存入各个存储区中,存储区的数量与smr磁盘的实际内存大小有关,一个存储区的内存大小一般可为256mb,例如:smr磁盘的内存大小为18tb,则其便包含68664个存储区;进一步地,客户端包含但不限于相机等设备,在客户端将数据文件存入存储区中时,除了数据文件的详细信息(包括数据文件的名称、大小以及所属的用户信息等)外还可同时存入客户端的对象存储信息(bucket),每个客户端对应一个对象存储信息,从而能够通过该对象存储信息对应找到该客户端输入的数据文件。
30.在一具体的实施例中,可采用纠删码(erease code,ec)模式将数据文件存入smr磁盘中,ec模式即为:将n份原始数据,增加m份编码数据,从而通过“n m”份数据中的任意n份数据还原为原始数据,从而使得数据存储更加安全可靠;如图2所示,以“4 1”的ec模式(即n为4,m为1)为例进行说明,图2为“4 1”的ec模式下的数据文件的存储方式示意图,假如此时输入内存大小为256mb的数据文件,则此时可将256mb的数据文件等分成四份内存大小分别为64mb的数据文件,然后分别将每份数据文件存入对应的存储区1~4中,同时通过相应的ec算法基于数据文件生成对应的校验数据,并存储在相应的校验存储区(即存储区5)中;然后在输入下一数据文件时,可按照相同的ec模式将下一数据文件存入至图2所示的存储区组(即存储区1~5)中,直至存储区组中的剩余存储空间小于文件的最小内存大小(一般为4mb),才切换下一存储区组来进行存储,例如:存储区6~10,如图3所示最终存储区1可存储多个数据文件。可以理解地,n的数值可为4、5或6等,m可为1、2或3等,在此不做限定,可根据实际应用情况进行设置。
31.进一步地,在待存入的数据文件较大(如:超过1gb)时,四个存储区1~4的存储空间不足时,可分成多个存储区组来存储该数据文件,可先将数据文件等分成两份、三份或者三份以上,然后获取对应数量的存储区组,从而将每份数据文件按照对应的ec模式存入对应存储区组中;如图4所示,可将数据文件分成两个存储区组(即object 1~2)来存储,每个存储区组分别包含五个存储区,object 1包含zone 1~zone 4以及eczone,object2包含zone 1'~zone 4'以及eczone',其中eczone以及eczone'用来表示存储编码数据的存储区。
32.在另一具体的实施例中,服务器中可包含存储节点,存储节点用于存储数据文件,可通过客户端中的软件开发工具包(software development kit,sdk)将数据文件输入存储节点,从而利用存储节点存储数据文件,如图2所示的四份数据文件可分别通过存储节点1~4存入对应的存储区1~4中,在向存储区中存储数据文件时,还可利用存储节点向对应的存储区添加索引信息,索引信息包含该存储区当前写指针的位置以及存储区的剩余存储空间,在写入下个数据文件至该存储区时,可基于索引信息判断剩余存储空间大小是否满足存储条件时,然后在满足条件时将当前写指针的位置向后偏移,从而实现smr磁盘的顺序
写入。
33.进一步地,服务器中还可包含管理节点,管理节点用于管理存储节点,即对存储区中的数据文件进行管理,如图5所示,客户端可向管理节点获取所需的存储节点1~存储节点n,然后再将所要存储的数据文件存储至存储节点1~存储节点n中;数据文件的迁移以及删除都统一由管理节点控制,能够提高管理的可靠性、保证数据一致性;例如:在删除存储区中的所有数据文件时,可利用管理节点控制将写指针重置到初始化位置,以实现对存储区的回收。
34.步骤12:从预测迁移策略集中选取出当前迁移策略。
35.预测迁移策略集包括至少两种迁移策略,其为预先设置的迁移方案;可从预测迁移策略集中选取出当前迁移策略,以对空洞存储区中的存储空间进行迁移,从而释放空洞存储区的存储空间。
36.可以理解地,当前迁移策略可根据当前环境状况或用户应用需求等来选择,例如:在当前环境压力较大/用户急需内存空间时,可采用快速释放内存空间的迁移策略,从而达到及时释放内存空间的目的。
37.步骤13:基于当前迁移策略以及数据文件的留存期信息,将空洞存储区中的数据文件迁移至空存储区。
38.在存储数据文件时,同时还存储每个数据文件对应的留存期信息,可将留存期信息记录在对应的对象存储信息中,留存期信息可包含数据文件的存入时间以及留存期时间,留存期时间为数据文件的有效存储时间,一般以“小时”或“天”来衡量。可以理解地,留存期时间可根据当前应用场景自定义生成或者由用户根据当前应用需求进行设置,例如:可设置白天存储的数据文件的留存期时间为30天,夜晚存储的数据文件的留存期时间为15天;或者,在安防的存储场景下,视频录像的留存期时间可为90天,图片的留存期时间可为180天,在留存期时间到期后,该数据文件便失效,则应及时将该数据文件删除,以释放存储空间,便于新的数据文件的写入。
39.具体地,同一个存储区可包含多个不同的数据文件,多个数据文件的留存期时间可都不同,如图6所示,例如:一个空洞存储区中存储数据文件a~d,其各自对应的留存期时间分别为10天、5天、15天以及30天,当前状态为数据文件b已过期,由于无法在存储区中单独删除数据文件b,此时若想要释放该空洞存储区中存储空间,增加存储空间的利用率,则可基于当前迁移策略以及数据文件的留存期信息,将空洞存储区中的数据文件迁移至空存储区,从而使得当前的空洞存储区中的存储空间释放。进一步地,可将数据文件迁移至一个、两个或两个以上的空存储区,即可基于当前迁移策略,将所有数据文件都迁移至同一个空存储区中,或者将数据文件分别迁移至多个不同的空存储区中。由于在数据迁移时选择空存储区作为新的存储区,能够避免迁移后立即又出现2个留存期不同的存储区这种无效迁移动作。
40.本实施例提供的方案通过设置预测迁移策略集,并根据当前应用环境选择出最适合的迁移策略,便于后续根据当前迁移策略释放出空洞存储区的存储空间,对外快速提供存储服务,大大增加存储空间的利用率;而且,由于提供了多种迁移策略,能够满足不同场景的应用需要,提升适用性。
41.请参阅图7,图7是本技术提供的基于smr磁盘的存储管理方法另一实施例的流程
示意图,该方法包括:
42.步骤71:基于存储区的剩余存储空间,将所有存储区划分为可用存储区、不可用存储区以及空洞存储区。
43.smr磁盘包括空洞存储区、可用存储区与不可用存储区,可用存储区包括空存储区,可通过判断每个存储区的剩余存储空间的大小,来对所有存储区进行分类,并将可用存储区存入可用存储空间列表中,将不可用存储区存入不可用存储空间列表中,将空洞存储区存入空洞存储空间列表中,以便于对存储区的分类以及管理。
44.在一具体的实施例中,判断存储区的剩余存储空间是否小于预设存储空间,若存储区的剩余存储空间小于预设存储空间,则确定存储区为不可用存储区,并将不可用存储区存入不可用存储区列表;若存储区的剩余存储空间大于或等于预设存储空间,则确定存储区为可用存储区,并将可用存储区存入可用存储区列表。
45.预设存储空间可为数据文件的最小写入单元,即能写入的数据文件的最小内存大小,该最小写入单元可根据实际情况进行设置,一般可设置为4mb,即判断存储区的剩余存储空间是否小于4mb,如果存储区的剩余存储空间大于或等于4mb,则确定该存储区为可用存储区;可以理解地,在采用ec模式存储数据文件时,可用存储区的标准即为“n m”个存储区的剩余存储空间都大于或等于预设存储空间,从而能保证数据文件能够分布式平均存储在五个存储区中。
46.在其他具体的实施例中,还可对可用存储区列表进行遍历,以将可用存储区列表中剩余存储空间小于预设存储空间的可用存储区标记为不可用存储区,并添加至不可用存储区列表中,从而及时更新可用存储区列表以及不可用存储区列表;可以理解地,对可用存储区列表进行遍历的操作可定期执行,具体时间间隔可根据实际情况进行设置。
47.除了对存储区进行分类之外,还可对各个存储区中的数据文件进行留存期的管理,具体如下步骤72~74所示:
48.步骤72:从不可用存储区列表中获取一个不可用存储区。
49.步骤73:判断不可用存储区中数据文件的数量是否大于预设数值。
50.从不可用存储区列表中获取一个不可用存储区,判断不可用存储区中数据文件的数量是否大于预设数值,预设数值可为1,即判断不可用存储区中数据文件的数量是否大于1。
51.步骤74:若不可用存储区中数据文件的数量大于预设数值,则基于最大留存期时间,将不可用存储区标记为可用存储区/空洞存储区。
52.在不可用存储区中包含两个或者两个以上的数据文件时,获取所有数据文件中的最大留存期时间,最大留存期时间为不可用存储区中所有数据文件的留存期时间的最大值,例如:存储数据文件1~4,其各自对应的留存期时间分别为10天、5天、15天以及30天,则此时最大留存期时间即为30天,然后基于最大留存期时间,将不可用存储区标记为可用存储区/空洞存储区。
53.在一具体的实施例中,判断最大留存期时间是否小于时间差值,其中,时间差值为当前系统时间与最大留存期时间对应的数据文件的存入时间的差值,若最大留存期时间小于时间差值,说明存储区中的所有数据文件都已过期,则删除不可用存储区中的所有数据文件,并将不可用存储区记标记为可用存储区,存入可用存储区列表。
54.若最大留存期时间大于或等于时间差值,说明存储区中的数据文件并非全部过期,不能直接将所有数据文件都删除,则此时将每个数据文件的留存期时间与时间差值比较,将留存期时间大于时间差值的数据文件对应的元数据删除,即将过期的数据文件对应的元数据删除,从而得到空洞存储区,将该不可用存储区标记为空洞存储区,并存入空洞存储区列表中。
55.若不可用存储区中数据文件的数量等于1,则返回从不可用存储区列表中获取一个不可用存储区的步骤,直至对不可用存储区列表遍历完毕。具体地,在不可用存储区中数据文件的数量为1时,则在数据文件过期时可直接回收该不可用存储区,将该数据文件删除,不会出现容量空洞的情况,则此时可直接返回从不可用存储区列表中获取下一个不可用存储区,直至对不可用存储区列表遍历完毕,对不可用存储区列表中的所有不可用存储区进行留存期判断,将筛选的空洞存储区存入空洞存储区列表中,将释放存储空间后产生的可用存储区存入可用存储区列表中。
56.可以理解地,在不可用存储区中数据文件的数量等于1时,判断数据文件的留存期时间是否小于时间差值;若该数据文件的留存期时间小于时间差值,则删除数据文件,将不可用存储区中的写指针初始化重置,将不可用存储区标记为空存储区,并存入可用存储区列表。
57.经过上述步骤可对smr磁盘中的所有存储区进行分类以及管理,可能存在大量的空洞存储区占用存储空间,已过期的数据文件占据的存储空间无法释放,新的数据文件没有存储空间来写入,则此时可从smr磁盘中获取空洞存储区列表,然后从预测迁移策略集中选取出当前迁移策略,从而根据当前迁移策略以及数据文件的留存期信息,将空洞存储区中的数据文件迁移至空存储区,从而对空洞存储区进行存储空间的释放,具体步骤如图8所示:
58.步骤81:获取空洞存储区的数量。
59.步骤82:判断空洞存储区的数量与所有存储区的数量的比值是否大于预设比值。
60.将空洞存储区的数量与全部存储区的数量进行比值计算,可计算得到当前的空洞存储区在所有存储区的数量占比,从而通过比较当前的空洞存储区在所有存储区的数量占比与预设比值的大小,来判断空洞存储区的数量是否过多,是否需要对空洞存储区中的数据文件进行迁移;具体地,预设比值可根据实际应用需求进行设置,本实施例以预设比值为0.01为例进行说明,在其他实施例中,预设比值还可为0.02或0.03等,在此不作限定。
61.可定期对空洞存储区列表进行遍寻,获取空洞存储区的数量,来判断当前的空洞存储区的占比是否超过预设比值,时间间隔可根据实际情况进行设置,可间隔一天或两天执行一次遍寻,在此不作限定。
62.步骤83:若空洞存储区的数量与所有存储区的数量的比值大于预设比值,则从预测迁移策略集中选取出当前迁移策略。
63.在空洞存储区在所有存储区的数量占比大于0.01时,则说明当前的空洞存储区的数量较多,需要对空洞存储区中的数据文件进行迁移,则可从预测迁移策略集中选取出当前迁移策略,以释放空洞存储区占据的存储空间;可以理解地,如果空洞存储区的数量与所有存储区的数量的比值等于或小于预设比值,则再返回获取空洞存储区的数量的步骤,继续执行对空洞存储区的遍历,直至空洞存储区的数量与所有存储区的数量的比值大于预设
比值,从而执行对数据文件进行迁移的步骤。
64.步骤84:获取当前策略选择信息,并判断当前策略选择信息是否满足预设条件。
65.预测迁移策略集可包括第一迁移策略与第二迁移策略,可通过判断当前策略选择信息是否满足预设条件,决定选择第一迁移策略/第二迁移策略。
66.具体地,可判断当前策略选择信息是否包括与第一迁移策略对应的信息,若当前策略选择信息包括与第一迁移策略对应的信息,则确定当前策略选择信息满足预设条件;例如:当前策略选择信息可包含当前所需的迁移策略对应的标识信息,第一迁移策略对应的标识信息可为“1”,第二迁移策略对应的标识可为“2”,则可通过当前策略选择信息是否包含标识信息“1”,从而判断其是否满足预设条件。
67.当前策略选择信息中还可包含带宽值,该带宽值可为服务器运行的整体带宽值,其用于反应当前运行环境压力的大小,判断当前策略选择信息中的带宽值是否小于预设阈值,若当前策略选择信息中的带宽值小于预设阈值,则确定当前策略选择信息满足预设条件;具体地,在当前策略选择信息中的带宽值小于预设阈值时,说明当前运行环境压力较小,则此时可采用占用资源较多但二次迁移频率较小的迁移策略进行数据文件的迁移,即下述的第一迁移策略;可以理解地,预设阈值可根据实际网络情况以及应用环境进行设置,当前策略选择信息可由用户自定义设置或者由服务器根据当前应用环境自动生成。
68.步骤85:若当前策略选择信息满足预设条件,则确定当前迁移策略为第一迁移策略。
69.第一迁移策略可为将有效截止时间相同的数据文件迁移至相同的空存储区,在迁移时采用空存储区能够保证迁移后的存储区中包含的数据文件的有效截止时间相同,每个数据文件对应的留存期信息包括数据文件的存入时间以及数据文件的留存期时间,有效截止时间即为数据文件的存入时间与留存期时间之和,例如:数据文件的存入时间为2021/01/11 10:25:32,其留存期时间为1天,则对应的有效截止时间便为2021/01/12 10:25:32。
70.如图9所示,以空洞存储区包含四个数据文件file 1~4,且各自的留存期时间分别为30天、15天、5天以及40天为例进行说明,可以理解地,为了清楚表达,本举例用留存期时间来表示有效截止时间,即以数据文件的存入时间相同为例,实际情况下数据文件的存入时间不同,其中file 3为已过期的数据文件,将file 3对应的元数据删除,按照第一迁移策略将有效截止时间相同(本举例中的留存期时间)的数据文件迁移至相同的空存储区中,则分别获取三个不同的空存储区1~3,然后将留存期时间为30天的file 1存入空存储区1中,将留存期时间为15天的file 2存入空存储区2中,将留存期时间为40天的file 4存入空存储区3中,同样地,将其他空洞存储区中的留存期时间相同的数据文件同样存储在空存储区1~3中,直至空存储区中的存储空间小于预设存储空间,即无法存储新的数据文件。
71.可以理解地,迁移后的数据文件同样以与存入时相同的ec模式存储至空存储区中,例如:迁移前数据文件分布式存储在5个存储区中,在迁移后的数据文件仍分布式存储在其他5个空存储区中。
72.步骤86:若当前策略选择信息不满足预设条件,则确定当前迁移策略为第二迁移策略。
73.第二迁移策略为将空洞存储区中的所有数据文件迁移至同一个空存储区,迁移前的空洞存储区中的所有数据文件的排列顺序与迁移后的空存储区中的所有数据文件的排
列顺序相同;数据文件的排列顺序与存入时间有关,存入时间越小排列顺序越靠前,以存储区由上至下顺序存入数据文件为例,最先存入的数据文件位于存储区的最上方第一个位置,即排列顺序为1,下一个存入的数据文件依次存入存储区的下一个位置,即排列顺序为2,以此类推,则在迁移时同样按照存入时的排列顺序迁移到空存储区中的对应位置。
74.如图10所示,以与图9相同的空洞存储区为例进行说明,此时若采用第二迁移策略对数据文件进行迁移,可获取一个空存储区,然后将数据文件迁移至该空存储区中,原本的数据文件file 1、file 2、file 4的排列顺序为file 1、file 2、file 4,file 1位于存储区的最上端位置,则此时迁移至空存储区后,file 1仍位于存储区的最上端位置,数据文件file 1、file 2、file4的排列顺序为file 1、file 2、file 4,把原本位于存储区中间的数据文件file 3占用的存储空间释放,迁移后的空存储区的尾端位置还可存入新的数据文件。
75.可以理解地,在采用上述第一迁移策略/第二迁移策略将数据文件迁移完成后,可将空洞存储区的写指针初始化重置,将原本的空洞存储区的存储空间释放,从而得到新的空存储区,并存入可用存储空间列表中。
76.在一具体的实施例中,在采用第一迁移策略/第二迁移策略对数据文件进行迁移时,还可根据当前环境压力的大小,选择并行迁移或者串行迁移的方式对数据文件进行迁移;具体地,在当前环境压力较小时,可采用并行迁移的方法对数据文件进行迁移,以将空洞存储区中的所有数据文件同时迁移至空存储区,从而提高迁移的速度,大幅降低迁移的时长;在当前环境压力较大时,可采用串行迁移的方法对数据文件进行迁移,依次将空洞存储区中的数据文件迁移至空存储区,从而占用较少的系统资源,保证存储系统的稳定性。
77.本实施例对所有存储区分为可用存储区、不可用存储区以及空洞存储区,并定期对所有存储区中的数据文件的留存期时间进行管理,实现对所有存储区的精细化管理,极大地提升了存储系统的整体空间利用率。而且还提供了2种不同的迁移策略,利用迁移策略可将空洞存储区中的数据文件迁移至空存储区中,能够及时释放已过期数据文件所占用的存储空间,从而大大提升存储空间利用率;同时可基于当前应用环境选择不同的迁移策略,能够选择适用于当前环境资源的迁移策略,采用第一迁移策略可将有效截止时间相同的数据文件迁移至相同的空存储区,能够通过一次迁移,将迁移后的存储区中的数据文件的有效截止时间统一,从而保证迁移后在存储区中的数据文件过期时,可将整个存储区回收,实现批量删除,大大减少空洞存储区的数量,同时减少二次迁移的频率;还可采用第二迁移策略将空洞存储区中的所有数据文件迁移至同一个空存储区,能够实现快速的存储空间的释放,快速提供容量,保证了存储系统的稳定性。另外,在集群系统压力较小的应用场景中,选择并行迁移的方式,能够提高迁移的速度,大幅度降低迁移的时间;在集群系统压力较大的应用场景中时,选择串行迁移的方式,能够占用较少的系统资源,保证存储系统的稳定性。此外,提供数据迁移的比例和迁移频率都是可以动态调整的,可以满足数据迁移的及时性以及对环境资源的占用,在不影响上层业务规格写入的条件下,做到最快的数据迁移与空间释放。
78.请参阅图11,图11是本技术提供的存储管理设备一实施例的结构示意图,存储管理设备110包括互相连接的存储器111和处理器112,存储器111用于存储计算机程序,计算机程序在被处理器112执行时,用于实现上述实施例中的基于smr磁盘的存储管理方法。
79.请参阅图12,图12是本技术提供的存储管理系统一实施例的结构示意图,存储管理系统120包括互相连接的存储管理设备121和smr磁盘122,存储管理设备121用于对smr磁盘122进行管理,存储管理设备121为上述实施例中的存储管理设备,smr磁盘122中的存储区用于存储数据文件。
80.本实施例的方案的优势在于:
81.1)适用于存储领域,数据以不同的留存期写入smr磁盘的存储区中,满足了整块存储区顺序写入、整块存储区回收,整块存储区无法回收进行数据迁移后再进行数据回收,满足各种存储方案对容量实用性的要求,极大提升存储管理系统的整体空间利用率。
82.2)提供2种不同的迁移策略选择,可选择迁移后减少二次迁移频率,也可以选择迁移后快速对外提供服务,保证了系统的健壮性。
83.3)进行数据迁移的频率与触发比例均支持动态配置,通过2个配置动态完全兼容了上层业务的所有场景,提高了集群的可用性。
84.4)满足并发迁移与串行迁移,支持多文件快速迁移,快速提供服务,保证空间检测服务快速对外提供功能。
85.5)数据的前后迁移、删除统一由管理节点控制,能够以最高的可靠性保证数据的一致性。
86.请参阅图13,图13是本技术提供的计算机可读存储介质一实施例的结构示意图,计算机可读存储介质130用于存储计算机程序131,计算机程序131在被处理器执行时,用于实现上述实施例中的基于smr磁盘的存储管理方法。
87.计算机可读存储介质130可以是服务端、u盘、移动硬盘、只读存储器(rom,readonly memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
88.在本技术所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
89.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
90.另外,在本技术各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
91.以上所述仅为本技术的实施例,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献