一种文件服务器清理方法、装置、设备及存储介质与流程

1.本发明涉及计算机技术领域，特别涉及一种文件服务器清理方法、装置、设备及存储介质。


背景技术：

2.文件服务器作为一种特殊的计算机，信息服务中其他节点可以通过网络访问该计算机，并检索文件数据，它具有更大的存储空间，具备完善的文件管理功能，对信息服务中业务用户提供完善的数据、文件和目录服务。文件服务器在网络上提供一个中心位置，可供用户存储文件并通过网络与其他用户共享文件，在某业务中，因为涉及的文件数量巨大，还会有更细致的分类，例如图片服务器、视频服务器等等。但是在巨量数据吞吐中，不免会产生错误，造成部分的文件成为失联数据，或者在服务运行中产生的缓存文件，成为文件服务器冗余文件，日积月累，这些失联文件和缓存数据会占据服务器空间，造成服务器空间的浪费。


技术实现要素：

3.有鉴于此，本发明的目的在于提供一种文件服务器清理方法、装置、设备及介质，能够精准的推荐文件服务器中不常用的文件，提高文件服务器的清理效率。其具体方案如下：
4.第一方面，本技术公开了一种文件服务器清理方法，包括：
5.扫描文件服务器以获取目标文件信息；
6.根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值；
7.根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。
8.可选的，所述扫描文件服务器以获取目标文件信息，包括：
9.通过预设交互接口获取所述客户端配置的扫描权限，并根据所述扫描权限从所述文件服务器中筛选出待扫描文件；
10.对所述待扫描文件进行扫描得到所述待扫描文件对应的文件信息，并将所述文件信息作为所述目标文件信息。
11.可选的，所述扫描文件服务器以获取目标文件信息之前，还包括：
12.监测当前是否符合扫描启动条件；
13.若当前满足所述扫描启动条件，则执行所述扫描文件服务器以获取目标文件信息的步骤。
14.可选的，所述监测当前是否符合扫描启动条件，包括：
15.监测当前是否接收到客户端发送的扫描请求，若接收到所述扫描请求则判定当前满足所述扫描启动条件；
16.和/或，根据预先配置的扫描周期监测当前是否处于扫描阶段，若当前处于扫描阶
段则判定当前满足所述扫描启动条件；
17.和/或，监测所述文件服务器的状态信息，当所述状态信息超出预先设置的文件服务器状态阈值时，判定当前满足所述扫描启动条件；其中，所述状态信息包括存储容量占比、存储容量增速、中央处理器温度、i/o吞吐量中的任意一项或多项。
18.可选的，所述扫描文件服务器以获取目标文件信息，包括：
19.扫描文件服务器获取文件的基本信息，并根据业务系统的运行日志获取每个文件的读写操作信息；
20.基于所述基本信息和所述读写操作信息得到所述目标文件信息。
21.可选的，所述根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，包括：
22.根据所述文件清理规则中的权重阈值，选取当前权重值小于所述权重阈值的文件作为所述待清理文件；
23.或，根据所述文件清理规则中的目标存储容量占比和所述文件服务器当前的已用容量占比，确定出待清理文件量，根据所述待清理文件量按照所述当前权重值从小到大的顺序筛选出相应数量的文件作为所述待清理文件。
24.可选的，所述根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值，包括：
25.根据所述目标文件信息中的每个文件的最近两次访问时间，计算出每个文件对应的最近访问时间差；
26.根据所述最近访问时间差，利用所述记忆遗忘曲线确定每个所述文件的当前重要程度；所述记忆遗忘曲线为以时间差为自变量，重要程度为因变量的幂函数；
27.根据所述当前重要程度和每个文件的历史权重值，确定出每个文件的当前权重值。
28.第二方面，本技术公开了一种文件服务器清理装置，包括：
29.扫描模块，用于扫描文件服务器以获取目标文件信息；
30.权重预测模块，用于根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值；
31.待清理文件确定模块，用于根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。
32.第三方面，本技术公开了一种电子设备，包括：
33.存储器，用于保存计算机程序；
34.处理器，用于执行所述计算机程序，以实现前述的文件服务器清理方法。
35.第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的文件服务器清理方法。
36.本技术中，通过扫描文件服务器以获取目标文件信息；根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值；根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。可见，利用记忆遗忘曲线模拟文件权重的衰减过程，并结合目标文件信息来
预测文件的当前权重，然后依据权重值向用户推荐需要清理的文件，可以精准的推荐文件服务器中不常用的文件，以提醒用户在文件服务器中存在长久不使用的文件，进而引导用户删除或者采取其他处理方式，不仅使用户更清楚文件服务器中文件现状，还可以对服务器里不常用的文件进行处理，提高了文件服务器的清理效率。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
38.图1为本技术提供的一种文件服务器清理方法流程图；
39.图2为本技术提供的一种具体的文件服务器清理方法流程图；
40.图3为本技术提供的一种文件服务器清理装置结构示意图；
41.图4为本技术提供的一种具体的文件服务器清理装置结构示意图；
42.图5为本技术提供的一种电子设备结构图。
具体实施方式
43.现有技术中，文件服务器面对巨量数据吞吐不免会产生错误，造成部分的文件成为失联数据，或者在服务运行中产生的缓存文件，成为文件服务器冗余文件，日积月累，这些失联文件和缓存数据会占据服务器空间，造成服务器空间的浪费。为克服上述技术问题，本技术提出一种文件服务器清理方法，能够精准的推荐文件服务器中不常用的文件，提高文件服务器的清理效率。
44.本技术实施例公开了一种文件服务器清理方法，参见图1所示，该方法可以包括以下步骤：
45.步骤s11：扫描文件服务器以获取目标文件信息。
46.本实施例中，首先扫描文件服务器以获取得到文件服务器内文件对应的目标文件信息，以将文件信息持久化，为后续操作提供数据支撑。
47.本实施例中，所述扫描文件服务器以获取目标文件信息，可以包括：扫描文件服务器获取文件的基本信息，并根据业务系统的运行日志获取每个文件的读写操作信息；基于所述基本信息和所述读写操作信息得到所述目标文件信息。其中，上述扫描得到的基本信息可以包括但不限于文件最近读时间、文件最近写时间、文件名、文件存储路径、文件md5、文件创建时间、文件类型、文件大小、文件用户标签、文件所属用户和文件所属组等；上述业务系统的运行日志内文件的读写操作信息包括文件每次被读或写的时间。
48.本实施例中，所述扫描文件服务器以获取目标文件信息，可以包括：通过预设交互接口获取所述客户端配置的扫描权限，并根据所述扫描权限从所述文件服务器中筛选出待扫描文件；对所述待扫描文件进行扫描得到所述待扫描文件对应的文件信息，并将所述文件信息作为所述目标文件信息。也就是说，通过预设交互接口获取客户端用户配置的扫描权限，得到授权后，将扫描权限范围内的空间浏览文件作为待扫描文件，然后只对待扫描文件进行扫描操作，由此可以进一步提高扫描效率。
49.步骤s12：根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值。
50.本实施例中，得到上述目标文件信息后，利用记忆遗忘曲线预测每个文件的当前权重值。可以理解的是，若假设文件被上传至文件服务器时初始权重值为1，随着业务系统运行，业务系统会读写其中一些文件，通过记录该文件的读写时间，若最近一次读写时间与文件创建时间的间隔时间差越短，那么该文件是经常被使用的文件，因此该文件在近期的权重较大，而一些文件从创建开始从未被读写访问，随着时间推移权重越小，由此可以将权重小的文件推荐给用户及时处理。
51.本实施例中，所述根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值，可以包括：根据所述目标文件信息中的每个文件的最近两次访问时间，计算出每个文件对应的最近访问时间差；根据所述最近访问时间差，利用所述记忆遗忘曲线确定每个所述文件的当前重要程度；所述记忆遗忘曲线为以时间差为自变量，重要程度为因变量的幂函数；根据所述当前重要程度和每个文件的历史权重值，确定出每个文件的当前权重值。即本实施例中具体基于最近两次访问时间的时间差进行预测，访问包括读操作和写操作，首先使用幂函数结合实验数据拟合得到上述记忆衰减曲线，例如曲线公式具体可以如下所示：
52.i
(t)
＝32.03t
‑
0.1236
；
53.其中，i
(t)
为经过时间差t后文件重要度的残存比例，也就是文件的当前重要程度；其中，t＝(t
c
‑
t
o
)，单位可以为天，t
c
为最近一次访问时间，t
o
为最近一次访问之前的一次访问的时间。确定出文件的当前重要程度后，结合文件的历史权重值确定出文件的当前权重值，权重计算公式具体可以如下所示：
54.w
i
＝w
′
i
*i
(t)
；
55.其中，w
i
为当前权重值，w
′
i
为最近一次的历史权重值，对于初次上传至文件服务器的文件的初始权重值为1。由此，可以根据文件的被访问频率及访问间隔准确预测出文件的当前权重值。
56.步骤s13：根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。
57.本实施例中，得到每个文件的当前权重值后，根据该权重值从所有文件中筛选出符合预设的文件清理规则的待清理文件，并根据上述待清理文件生成待清理文件列表发送给客户端。
58.本实施例中，所述根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，可以包括：根据所述文件清理规则中的权重阈值，选取当前权重值小于所述权重阈值的文件作为所述待清理文件。即将当前权重值小于权重阈值的文件均作为待清理文件，以清除文件服务器内长期不用的文件。
59.本实施例中，还可以根据所述文件清理规则中的目标存储容量占比和所述文件服务器当前的已用容量占比，确定出待清理文件量，根据所述待清理文件量按照所述当前权重值从小到大的顺序筛选出相应数量的文件作为所述待清理文件。即在清理掉一些不常使用的文件的同时，保持文件服务器的已用容量占比接近目标存储容量占比。
60.本实施例中，还可以将文件按照当前权重值排序后，依次选取权重值最小的文件，
直到选取的文件大小之和占文件服务器已使用容量的一定比例，如10％，然后根据选取出的多个文件生成待清理文件列表推荐给用户处理，由用户决定是否清理该文件。
61.由上可见，本实施例中通过扫描文件服务器以获取目标文件信息；根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值；根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。可见，利用记忆遗忘曲线模拟文件权重的衰减过程，并结合目标文件信息来预测文件的当前权重，然后依据权重值向用户推荐需要清理的文件，可以精准的推荐文件服务器中不常用的文件，以提醒用户在文件服务器中存在长久不使用的文件，进而引导用户删除或者采取其他处理方式，不仅使用户更清楚文件服务器中文件现状，还可以对服务器里不常用的文件进行处理，提高了文件服务器的清理效率。
62.本技术实施例公开了一种具体的文件服务器清理方法，参见图2所示，该方法可以包括以下步骤：
63.步骤s21：监测当前是否符合扫描启动条件。
64.本实施例中，首先监测当前是否符合扫描启动条件，即当前环境是否需要启动对文件服务器的扫描操作。
65.本实施例中，所述监测当前是否符合扫描启动条件，可以包括：监测当前是否接收到客户端发送的扫描请求，若接收到所述扫描请求则判定当前满足所述扫描启动条件；即通过交互接口接收到客户端用户发送的扫描请求后判定当前符合扫描启动条件，即可以立即执行对文件服务器的扫描操作。
66.本实施例中还可以根据预先配置的扫描周期监测当前是否处于扫描阶段，若当前处于扫描阶段则判定当前满足所述扫描启动条件；即通过交互接口接收的扫描周期，判断当前需要开启新一轮的扫描操作，则判定当前符合扫描启动条件，即可以立即执行对文件服务器的扫描操作。
67.本实施例中还可以监测所述文件服务器的状态信息，当所述状态信息超出预先设置的文件服务器状态阈值时，判定当前满足所述扫描启动条件；其中，所述状态信息包括存储容量占比、存储容量增速、中央处理器温度、i/o吞吐量中的任意一项或多项。本实施例中通过监测文件服务器的状态判断是否需要启动文件扫描，具体通过交互接口接收客户端用户发送的一些服务器状态的参数阈值，若当前服务器的状态信息超出预先设置的文件服务器状态的参数阈值时，则判定当前满足扫描启动条件，然后通过扫描文件服务器中的文件得到目标文件信息，以便进行权重预测。并且通过监测文件服务器，用户可以随时掌握服务器状态信息。当然，上述几种方式也可以任意组合实现全面的扫描监测策略。
68.步骤s22：若当前满足所述扫描启动条件，则扫描文件服务器以获取目标文件信息。
69.本实施例中，在当前满足扫描启动条件时，扫描文件服务器以获取目标文件信息。由此，可以根据实际使用情况智能启动文件扫描，然后计算各个文件的权重，以便根据计算结果向用户发出告警信息，生成文件删除建议。
70.步骤s23：根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值。
71.步骤s24：根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，
从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。
72.其中，关于上述步骤s23、步骤s24的具体过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
73.由上可见，本实施例中通过监测当前是否符合扫描启动条件，若当前满足所述扫描启动条件，则扫描文件服务器以获取目标文件信息。由此，可以根据实际使用情况智能启动文件扫描，然后计算各个文件的权重，以便根据计算结果向用户发出告警信息，生成文件删除建议，提高了文件服务器文件清理的效率和智能性。
74.相应的，本技术实施例还公开了一种文件服务器清理装置，参见图3所示，该装置包括：
75.扫描模块11，用于扫描文件服务器以获取目标文件信息；
76.权重预测模块12，用于根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值；
77.待清理文件确定模块13，用于根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。
78.由上可见，本实施例中通过扫描文件服务器以获取目标文件信息；根据所述目标文件信息，利用记忆遗忘曲线预测每个文件的当前权重值；根据每个所述文件对应的当前权重值并按照预先配置的文件清理规则，从所有所述文件中筛选出待清理文件，并生成待清理文件列表发送给客户端。可见，利用记忆遗忘曲线模拟文件权重的衰减过程，并结合目标文件信息来预测文件的当前权重，然后依据权重值向用户推荐需要清理的文件，可以精准的推荐文件服务器中不常用的文件，以提醒用户在文件服务器中存在长久不使用的文件，进而引导用户删除或者采取其他处理方式，不仅使用户更清楚文件服务器中文件现状，还可以对服务器里不常用的文件进行处理，提高了文件服务器的清理效率。
79.在一些具体实施例中，所述扫描模块11具体可以包括：
80.权限获取单元，用于通过预设交互接口获取所述客户端配置的扫描权限，并根据所述扫描权限从所述文件服务器中筛选出待扫描文件；
81.第一扫描单元，用于对所述待扫描文件进行扫描得到所述待扫描文件对应的文件信息，并将所述文件信息作为所述目标文件信息。
82.在一些具体实施例中，所述文件服务器清理装置具体可以包括：
83.监测模块，用于监测当前是否符合扫描启动条件；
84.启动执行单元，用于若当前满足所述扫描启动条件，则执行所述扫描文件服务器以获取目标文件信息的步骤。
85.在一些具体实施例中，所述监测模块具体可以包括：
86.第一监测子单元，用于监测当前是否接收到客户端发送的扫描请求，若接收到所述扫描请求则判定当前满足所述扫描启动条件；
87.第二监测子单元，用于根据预先配置的扫描周期监测当前是否处于扫描阶段，若当前处于扫描阶段则判定当前满足所述扫描启动条件；
88.第三监测子单元，用于监测所述文件服务器的状态信息，当所述状态信息超出预先设置的文件服务器状态阈值时，判定当前满足所述扫描启动条件；其中，所述状态信息包
括存储容量占比、存储容量增速、中央处理器温度、i/o吞吐量中的任意一项或多项。
89.例如图4所示，本实施例中通过监测文件服务器的状态判断是否需要启动文件扫描，具体通过用户交互模块的交互接口接收客户端用户发送的一些服务器状态的参数阈值，若当前服务器的状态信息超出预先设置的文件服务器状态的参数阈值时，则判定当前满足扫描启动条件，然后通过扫描模块扫描文件服务器中的文件，并将得到的目标文件信息存入数据库服务器，以便权重预测模块根据该数据库服务器内的数据进行权重预测。
90.在一些具体实施例中，所述扫描模块11具体可以包括：
91.信息获取单元，用于扫描文件服务器获取文件的基本信息，并根据业务系统的运行日志获取每个文件的读写操作信息；
92.目标文件信息确定单元，用于基于所述基本信息和所述读写操作信息得到所述目标文件信息。
93.在一些具体实施例中，所述待清理文件确定模块13具体可以包括：
94.第一待清理文件确定单元，用于根据所述文件清理规则中的权重阈值，选取当前权重值小于所述权重阈值的文件作为所述待清理文件；
95.第二待清理文件确定单元，用于根据所述文件清理规则中的目标存储容量占比和所述文件服务器当前的已用容量占比，确定出待清理文件量，根据所述待清理文件量按照所述当前权重值从小到大的顺序筛选出相应数量的文件作为所述待清理文件。
96.在一些具体实施例中，所述权重预测模块12具体可以包括：
97.时间差确定单元，用于根据所述目标文件信息中的每个文件的最近两次访问时间，计算出每个文件对应的最近访问时间差；
98.当前重要程度确定单元，用于根据所述最近访问时间差，利用所述记忆遗忘曲线确定每个所述文件的当前重要程度；所述记忆遗忘曲线为以时间差为自变量，重要程度为因变量的幂函数；
99.历史权重值确定单元，用于根据所述当前重要程度和每个文件的历史权重值，确定出每个文件的当前权重值。
100.进一步的，本技术实施例还公开了一种电子设备，参见图5所示，图中的内容不能被认为是对本技术的使用范围的任何限制。
101.图5为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的文件服务器清理方法中的相关步骤。
102.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
103.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括目标文件信息在内的数据223等，存储方式可以是短暂存储或者永久存储。
104.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的文件服务器清理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
105.进一步的，本技术实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的文件服务器清理方法步骤。
106.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
107.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
108.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
109.以上对本发明所提供的一种文件服务器清理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。