一种文件系统碎片整理方法、装置及存储介质与流程

1.本技术涉及文件系统碎片整理领域，尤其涉及一种文件系统碎片整理方法、装置及存储介质。


背景技术：

2.存储系统在读写过程中不可避免的会产生碎片，碎片会随着存储系统业务容量的增加以及文件系统使用时间的增长而不停地增加。
3.对于存储系统的而言，对存储系统中磁盘进行顺序读写能保证文件系统的读写速度，而大量的文件系统碎片会带来离散io，在进行读写时磁头在离散io之间来回跳跃，导致文件系统的读写速度下降。现在已公开的有大量对碎片整理的技术，这些技术大多是检测到磁盘碎片化程度，当磁盘碎片化程度大于一定阈值后，触发磁盘碎片整理方法对相应的磁盘进行碎片整理，减少离散io，以达到降低文件碎片提高读写速度的目的。但是，现实应用过程中存在以下问题：磁盘碎片程度未到达阈值时，某些文件系统的读写速度因系统资源被占用太多导致已经不能满足业务需求，影响业务执行。现有方法对于这种问题无法解决。而且对于存储服务器这类大存储量，大数据通量的存储系统，大存储量和大数据通量会导致碎片整理任务量多，碎片整理任务同样会占用较多的系统资源，对系统的读写速度带来影响，需要根据存储系统中各个文件系统的响应时间来控制碎片整理任务的启动时间，避免碎片整理任务在资源占用多的时候启动影响文件系统响应时间，影响业务的正常进行。


技术实现要素：

4.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供的文件系统碎片整理方法、装置及存储介质。
5.第一方面本技术提供一种文件系统碎片整理方法，根据文件系统所实现的业务性能要求为文件系统配置优先级参数；为文件系统配置满足该文件系统中业务读写需求的最大响应时间阈值，为文件系统设定所允许的最大碎片化程度阈值；
6.记录文件系统的响应时间，判断文件系统的响应时间是否大于相应的所述最大响应时间阈值，
7.大于相应的所述最大响应时间阈值则检测该文件系统当前的碎片化程度是否大于相应的所述最大碎片化程度阈值，
8.大于相应的所述最大碎片化程度阈值则根据优先级参数判断文件系统是否为高优先级文件系统，
9.是高优先级文件系统则启动高优先级文件系统的碎片整理；
10.是低优先级文件系统则确保任一高优先级文件系统响应时间不超过相应的最大响应时间阈值的情况下，启动该低优先级文件系统的碎片整理任务。
11.更进一步地，所述优先级参数包括高优先级和低优先级；
12.优先级参数被配置为高优先级的文件系统为高优先级文件系统；
13.优先级参数被配置为低优先级的文件系统为低优先级文件系统。
14.更进一步地，确保任一高优先级文件系统响应时间不超过相应的最大响应时间阈值的情况下，启动该低优先级文件系统的碎片整理包括：
15.检测为低优先级文件系统后，周期性地记录全部高优先级文件系统的响应时间，判断是否存在高优先级文件系统的响应时间大于相应的最大响应时间阈值，是则不启动该低优先级文件系统的碎片整理，否则启动该低优先级文件系统的碎片整理任务。
16.更进一步地，在低优先级文件系统的碎片整理任务启动后，周期性地记录全部高优先级文件系统的响应时间，判断是否存在高优先级文件系统，该高优先级文件系统响应时间大于相应的最大响应时间阈值，是则减少低优先级文件系统的碎片整理任务的资源。
17.更进一步地，构建低优先级文件系统碎片任务队列，检测到有低优先级文件系统需要进行碎片整理时，构建低优先级文件系统的碎片整理任务并将低优先级文件系统的碎片整理任务添加到所述低优先级文件系统碎片任务队列中，不存在高优先级文件系统的响应时间大于相应的最大响应时间阈值时，从所述低优先级文件系统碎片任务队列获取低优先级文件系统的碎片整理任务启动。
18.更进一步地，最大响应时间阈值进一步分为最大读响应时间阈值和最大写响应时间阈值。
19.更进一步地，记录文件系统的读响应时间，记录文件的写响应时间；
20.分别判断文件系统的读响应时间是否大于相应的最大读响应时间阈值；判断文件系统的写响应时间是否大于相应的最大写响应时间阈值；
21.至少一项判断结果成立时，检测该文件系统当前的碎片化程度是否大于相应的所述最大碎片化程度阈值，
22.大于相应的所述最大碎片化程度阈值则根据优先级参数判断文件系统是否为高优先级文件系统，
23.如果是高优先级文件系统则启动高优先级文件系统的碎片整理；
24.如果是低优先级文件系统则确保任一高优先级文件系统读响应时间不超过相应的最大读响应时间阈值且任一高优先级文件系统写响应时间不超过相应的最大写响应时间阈值的情况下，启动该低优先级文件系统的碎片整理任务。
25.更进一步地，在低优先级文件系统的碎片整理任务启动后，周期性地记录全部高优先级文件系统的读响应时间和写响应时间，判断是否存在高优先级文件系统，该高优先级文件系统的读响应时间大于相应的最大读响应时间阈值或者该高先级文件系统的写响应时间大于相应的最大写响应时间阈值，是则减少低优先级文件系统的碎片整理任务的资源。
26.第二方面，本技术提供一种文件系统碎片整理装置，所述文件系统碎片整理装置包括参数配置模块，所述参数配置模块用于配置文件系统的优先级参数、最大响应时间阈值、最大碎片化程度阈值；
27.响应时间采集模块，所述响应时间采集模块用于采集文件系统的响应时间；
28.碎片化程度检测模块，所述碎片化程度检测模块用于检测响应时间大于最大响应时间阈值的文件系统的碎片化程度；
29.第一任务构建模块，所述第一任务构建模块用于创建碎片化程度大于最大碎片化程度阈值的高优先级文件系统的碎片整理任务；
30.第二任务构建模块，所述第二任务构建模块用于在确保高优先级文件系统响应时间小于最大响应时间阈值的情况下，创建碎片化程度大于最大碎片化程度阈值的低优先级文件系统的碎片整理任务；
31.资源配置模块，所述资源配置模块用于在低优先级文件系统碎片整理任务配置资源，确保任一高优先级文件系统响应时间小于最大响应时间阈值。
32.第三方面，本技术提供一种文件系统碎片整理存储介质，所述文件系统碎片整理存储介质存储至少一条指令，执行所述指令实现所述的文件系统碎片整理方法。
33.本技术实施例提供的上述技术方案与现有技术相比具有如下优点：
34.本技术提供的文件系统碎片整理方法会根据文件系统的响应时间、文件系统的碎片化程度、文件系统优先级参数动态调整碎片整理启动和碎片整理资源占用，利用碎片整理既能有效降低文件系统碎片化程度对业务性能的影响，又能避免碎片整理过程中资源分配不合理导致高优先级文件系统中业务性能得不到满足的问题。
35.本技术通过对比文件系统响应时间和设定的最大响应时间阈值判断文件系统的业务性能是否受到影响；业务性能受到两方面因素的影响：一是存储系统资源被占用过多导致业务性能受到影响，二是文件系统的碎片化程度。本技术在确定文件系统的业务性能受到影响后，通过检测文件系统的碎片化程度并与设定的最大碎片化程度阈值比较能够确定业务性能影响因素。
36.如果是受碎片化程度影响则本技术通过优先级参数确定收碎片化程度影响的文件系统是否为高优先级文件系统，如果是高优先级文件系统则创建该高优先级文件系统的碎片整理任务进行碎片整理使得高优先级文件系统的业务能尽快恢复。保证核心业务的性能受影响时间最短为用户提供最佳体验。如果是低优先级文件系统则确保全部高优先级文件系统的业务性能的情况下启动低优先级文件系统的碎片整理任务。在存储系统资源有限的情况下优先满足高优先级文件系统业务正常运行。
37.本技术还通过在低优先级文件系统碎片整理过程中监测高优先级文件系统的响应时间，判断高优先级文件系统业务性能是否被影响，如果被影响则减少分配给低优先级文件系统碎片整理任务的资源，使得高优先级文件系统业务能够分得更多资源以恢复业务性能。在存储系统资源有限的情况下优先满足高优先级文件系统业务正常运行。
38.无论是高优先级文件系统还是低优先级文件系统，如果文件系统的碎片化程度影响业务性能，经本技术处理后最终均能能实现文件系统的碎片整理。避免文件系统的碎片化影响文件系统的业务性能。
附图说明
39.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1为本技术实施例提供的一种文件系统碎片整理方法的流程图；
42.图2为本技术实施例提供的确保任一高优先级文件系统响应时间不超过相应的最大响应时间阈值的情况下，启动该低优先级文件系统的碎片整理的流程图；
43.图3为本技术实施例提供的确保满足高优先级文件系统的业务性能的基础上为低优先级文件系统分配资源的流程图；
44.图4为本技术实施例提供的另一种一种文件系统碎片整理方法的流程图；
45.图5为本技术实施例提供的确保任一高优先级文件系统读响应时间不超过相应的最大读响应时间阈值且任一高优先级文件系统写响应时间不超过相应的最大写响应时间阈值的情况下，启动该低优先级文件系统的碎片整理任务的流程图；
46.图6为本技术实施例提供的另一种确保满足高优先级文件系统的业务性能的基础上为低优先级文件系统分配资源的流程图。
具体实施方式
47.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
48.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
49.实施例1
50.本实施例提供一种文件系统碎片整理方法，实现本技术文件系统碎片整理方法需要先为文件系统配置如下参数：
51.(1)、根据每个文件系统所实现的业务性能要求为文件系统配置优先级参数；具体实施过程中，所述优先级参数包括高优先级和低优先级；为业务性能需要维持在高水平的文件系统配置高优先级的优先级参数；为业务性能不需要维持在高水平的文件系统配置低优先级的优先级参数。
52.优先级参数被配置为高优先级的文件系统为高优先级文件系统；
53.优先级参数被配置为低优先级的文件系统为低优先级文件系统。
54.(2)、为每个文件系统配置满足该文件系统中业务读写需求的最大响应时间阈值；具体实施过程中，所述最大响应时间阈值为业务性能被满足的极限时间。所述最大响应时间阈值用于衡量文件系统中的业务性能是否被满足。
55.(3)、为每个文件系统设定所允许的最大碎片化程度阈值；具体实施过程中，所述最大碎片化程度阈值为业务性能要求所能容忍的极限碎片化程度。所述最大碎片化程度阈值用于衡量影响文件系统的业务性能因素是否为文件系统碎片化程度。
56.参阅图1所示本实施例提供的文件系统碎片整理方法的流程包括：
57.s100，记录文件系统的响应时间，判断文件系统的响应时间是否大于相应的所述
最大响应时间阈值；大于相应的所述最大响应时间阈值则执行s200，否则继续执行s100。
58.具体实施过程中，周期性地记录全部文件系统的响应时间，对比每个文件系统的响应时间是否大于响应的所述最大响应时间阈值判断文件系统的业务性能是否受到影响。文件系统的业务性能的影响因素包括存储系统的资源配置以及文件系统本身的碎片化程度。存储系统的资源是有限的，如果存储系统中资源被碎片整理任务过多占用，分配给业务的资源就不足以满足业务性能需求。文件系统碎片会带来离散io，在进行读写时磁头在离散io之间来回跳跃，导致文件系统的读写速度下降。
59.s200，检测该文件系统当前的碎片化程度是否大于相应的所述最大碎片化程度阈值；具体实施过程中以文件系统的响应时间大于相应的最大响应时间阈值为触发条件唤醒文件系统碎片化检测程序，文件系统碎片化检测程序检测该文件的碎片化程度。通过步骤s200判断文件系统的业务性能是否受到文件系统碎片化程度的影响。
60.文件系统的业务性能受到文件系统碎片化程度的影响时，即文件系统的碎片化程度大于相应的所述最大碎片化程度阈值时则执行s300。
61.在确定文件系统的业务性能是受到碎片化程度的影响后，需要对文件系统进行碎片化整理，本技术根据不同的优先级参数为文件系统配置不同的碎片化整理启动策略。
62.s300，根据优先级参数判断文件系统是否为高优先级文件系统，如果是高优先级文件系统则执行s400，如果是低优先级文件系统则执行s500；
63.s400，启动高优先级文件系统的碎片整理；
64.s500，确保任一高优先级文件系统响应时间不超过相应的最大响应时间阈值的情况下，启动该低优先级文件系统的碎片整理任务。
65.参阅图2所示，确保任一高优先级文件系统响应时间不超过相应的最大响应时间阈值的情况下，启动该低优先级文件系统的碎片整理包括：
66.s501，周期性地记录全部高优先级文件系统的响应时间；
67.s502，判断是否存在高优先级文件系统的响应时间大于相应的最大响应时间阈值，是则执行s503，否则执行s504；
68.s503,不启动该低优先级文件系统的碎片整理，并执行s501；
69.s504，启动该低优先级文件系统的碎片整理任务。
70.具体实施过程中，构建低优先级文件系统碎片任务队列，通过链表的形成构建一个先进先出的低优先级文件系统碎片任务队列；步骤s300检测到有低优先级文件系统需要进行碎片整理时，构建低优先级文件系统的碎片整理任务并将低优先级文件系统的碎片整理任务添加到所述低优先级文件系统碎片任务队列中。
71.步骤s502不存在高优先级文件系统的响应时间大于相应的最大响应时间阈值时，从所述低优先级文件系统碎片任务队列获取低优先级文件系统的碎片整理任务并启动实现步骤s504。
72.本技术所述文件系统碎片整理方法的流程还包括动态调整低优先级文件系统碎片整理任务的资源配置的步骤，通过执行该步骤以避免高优先级文件系统受资源配置的限制导致业务性能不能满足的情况。
73.在低优先级文件系统的碎片整理任务启动后，执行步骤s600确保满足高优先级文件系统的业务性能的基础上为低优先级文件系统分配资源。
74.参阅图3所示，确保满足高优先级文件系统的业务性能的基础上为低优先级文件系统分配资源包括：
75.s601，调用s501中获取的高优先级文件系统的响应时间；
76.s602，判断是否存在高优先级文件系统，该高优先级文件系统响应时间大于相应的最大响应时间阈值，是则执行603，否则继续执行s601，s602。
77.s603，减少低优先级文件系统的碎片整理任务的资源。
78.实施例2
79.实施例2与实施例1的区别在于，最大响应时间阈值进一步分为最大读响应时间阈值和最大写响应时间阈值。一般文件系统的读写响应时间存在一定的差异性，本实施例考虑读写的差异性将最大响应时间阈值进一步细化成最大读响应时间阈值和最大写响应时间阈值。
80.参阅图4所示，本实施例的文件系统碎片整理方法过程包括：
81.s10，记录文件系统的读响应时间，记录文件的写响应时间；
82.s20，分别判断文件系统的读响应时间是否大于相应的最大读响应时间阈值；判断文件系统的写响应时间是否大于相应的最大写响应时间阈值；至少一项判断结果成立时，执行步骤s30，两项判断结果均不成立时，执行步骤s10和s20。
83.s30，检测该文件系统当前的碎片化程度是否大于相应的所述最大碎片化程度阈值，大于相应的所述最大碎片化程度阈值则执行步骤s40。
84.s40，根据优先级参数判断文件系统是否为高优先级文件系统，如果是高优先级文件系统则执行步骤s50，如果不是高优先级文件系统则执行步骤s60。
85.s50，启动高优先级文件系统的碎片整理。
86.s60，确保任一高优先级文件系统读响应时间不超过相应的最大读响应时间阈值且任一高优先级文件系统写响应时间不超过相应的最大写响应时间阈值的情况下，启动该低优先级文件系统的碎片整理任务。
87.参阅图5所示，确保任一高优先级文件系统读响应时间不超过相应的最大读响应时间阈值且任一高优先级文件系统写响应时间不超过相应的最大写响应时间阈值的情况下，启动该低优先级文件系统的碎片整理任务包括：
88.s61，周期性地记录全部高优先级文件系统的读响应时间和写响应时间；
89.s62，判断是否存在高优先级文件系统，该高优先级文件系统的读响应时间大于相应的最大读响应时间阈值或者该高优先级文件系统的写响应时间大于相应的最大写响应时间阈值，是则执行s63，否则执行s64；
90.s63，不启动该低优先级文件系统的碎片整理，并执行s61；
91.s64，启动该低优先级文件系统的碎片整理任务。
92.在低优先级文件系统的碎片整理任务启动后，执行步骤s70确保满足高优先级文件系统的业务性能的基础上为低优先级文件系统分配资源。
93.参阅图6所示，确保满足高优先级文件系统的业务性能的基础上为低优先级文件系统分配资源包括：
94.s71，调用s61中获取的全部高优先级文件系统的读响应时间和写响应时间，
95.s72，判断是否存在高优先级文件系统，该高优先级文件系统的读响应时间大于相
应的最大读响应时间阈值或者该高先级文件系统的写响应时间大于相应的最大写响应时间阈值，是则执行步骤s73；否则继续执行步骤s71和s72；
96.s73，减少低优先级文件系统的碎片整理任务的资源。
97.实施例3
98.本实施例提供一种文件系统碎片整理装置，包括参数配置模块、响应时间采集模块、碎片化程度检测模块、第一任务构建模块、第二任务构建模块以及资源配置模块。本实施例提供的文件系统碎片整理装置用于实现实施例1或实施例2所示的文件系统碎片整理方法。
99.在实现实施例1所示的文件系统碎片整理方法时：
100.所述参数配置模块配置文件系统的优先级参数、最大响应时间阈值、最大碎片化程度阈值；
101.所述响应时间采集模块采集文件系统的响应时间；
102.所述碎片化程度检测模块检测响应时间大于最大响应时间阈值的文件系统的碎片化程度；
103.所述第一任务构建模块创建碎片化程度大于最大碎片化程度阈值的高优先级文件系统的碎片整理任务；
104.所述第二任务构建模块在确保高优先级文件系统响应时间小于最大响应时间阈值的情况下，创建碎片化程度大于最大碎片化程度阈值的低优先级文件系统的碎片整理任务；
105.所述资源配置模块在低优先级文件系统碎片整理任务配置资源，确保任一高优先级文件系统响应时间小于最大响应时间阈值。
106.在实现实施例2所示的文件系统碎片整理方法时：
107.所述参数配置模块配置文件系统的优先级参数、最大读响应时间阈值、最大写响应时间阈值和最大碎片化程度阈值；
108.所述响应时间采集模块采集文件系统的读响应时间和写响应时间；
109.所述碎片化程度检测模块检测读响应时间大于最大读响应时间阈值或者写响应时间大于最大写响应时间阈值的文件系统的碎片化程度；
110.所述第一任务构建模块判断文件系统是否为高优先级文件系统，并创建碎片化程度大于最大碎片化程度阈值的高优先级文件系统的碎片整理任务；
111.所述第二任务构建模块在确保高优先级文件系统读响应时间小于最大读响应时间阈值且写响应时间小于最大写响应时间阈值的情况下，创建碎片化程度大于最大碎片化程度阈值的低优先级文件系统的碎片整理任务；
112.所述资源配置模块在低优先级文件系统碎片整理任务配置资源，确保任一高优先级文件系统读响应时间小于最大读响应时间阈值且写响应时间小于最大写响应时间阈值。
113.实施例4
114.本实施例提供一种文件系统碎片整理存储介质，所述文件系统碎片整理存储介质存储至少一条指令，执行所述指令实现实施例1或实施例2所述的文件系统碎片整理方法。
115.本技术提供的文件系统碎片整理方法会根据文件系统的响应时间、文件系统的碎片化程度、文件系统优先级参数动态调整碎片整理启动和碎片整理资源占用，利用碎片整
理既能有效降低文件系统碎片化程度对业务性能的影响，又能避免碎片整理过程中资源分配不合理导致高优先级文件系统中业务性能得不到满足的问题。
116.本技术通过对比文件系统响应时间和设定的最大响应时间阈值判断文件系统的业务性能是否受到影响；业务性能受到两方面因素的影响：一是存储系统资源被占用过多导致业务性能受到影响，二是文件系统的碎片化程度。本技术在确定文件系统的业务性能受到影响后，通过检测文件系统的碎片化程度并与设定的最大碎片化程度阈值比较能够确定业务性能影响因素。
117.如果是受碎片化程度影响则本技术通过优先级参数确定收碎片化程度影响的文件系统是否为高优先级文件系统，如果是高优先级文件系统则创建该高优先级文件系统的碎片整理任务进行碎片整理使得高优先级文件系统的业务能尽快恢复。保证核心业务的性能受影响时间最短为用户提供最佳体验。如果是低优先级文件系统则确保全部高优先级文件系统的业务性能的情况下启动低优先级文件系统的碎片整理任务。在存储系统资源有限的情况下优先满足高优先级文件系统业务正常运行。
118.本技术还通过在低优先级文件系统碎片整理过程中监测高优先级文件系统的响应时间，判断高优先级文件系统业务性能是否被影响，如果被影响则减少分配给低优先级文件系统碎片整理任务的资源，使得高优先级文件系统业务能够分得更多资源以恢复业务性能。在存储系统资源有限的情况下优先满足高优先级文件系统业务正常运行。
119.无论是高优先级文件系统还是低优先级文件系统，如果文件系统的碎片化程度影响业务性能，经本技术处理后最终均能能实现文件系统的碎片整理。避免文件系统的碎片化影响文件系统的业务性能。
120.在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
121.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
122.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
123.以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。