基于NFS的动态文件快速精准的还原处理方法与流程

基于nfs的动态文件快速精准的还原处理方法
技术领域
1.本发明属于数据还原技术领域，具体是基于nfs的动态文件快速精准的还原处理方法。


背景技术：

2.nfs就是network filesystem的缩写，它的最大功能就是可以通过网络让不同的机器，不同的操作系统彼此共享文件(sharefiles)——可以通过nfs挂载远程主机的目录，访问该目录就像访问本地目录一样，所以也可以简单的将它看作一个文件服务器(fileserver)，在进行文件操作的过程中往往使用者会因为一些原因造成文件数据的丢失，在这个网络数据时代，一些重要数据的丢失无疑是一种致命的失误。
3.针对上述情况，人们也研制出了对应的文件还原手段，现有的针对nfs文件还原技术，主要使用大缓存进行文件还原，申请足够大的缓存，并设置一个限制，超过设置的限制的文件丢弃，小于限制的文件，缓存文件，并在缓存中对文件的数据块进行排序，计算md5，还原文件，该处理手段过于简单且不完善，往往处理的不够精准与彻底，常常会出现文件的残留。
4.为了解决该问题，本专利提出了基于nfs的动态文件快速精准的还原处理方法。


技术实现要素：

5.本发明的目的是针对以上问题，本发明提供了基于nfs的动态文件快速精准的还原处理方法，具有对数据块实现类似滑动窗口一样的数据块缓存排序，只使用少量缓存，就可以还原任意大小的nfs传输的文件，减少了对内存的占用，提升了文件还原效率的优点。
6.为实现上述目的，本发明提供如下技术方案：基于nfs的动态文件快速精准的还原处理方法，具体操作步骤如下：
7.第一步，将需要处理的数据集中输入到待处理数据库；
8.第二步，随后将待处理数据库中的数据系统分配到各个分级处理程序中；
9.1)设定缓存大小；
10.2)标记要收的数据块号；
11.3)正式接受文件数据块，并进行数据块号是否为排序的判断：
12.否，返回到2)步骤重新操作，是，进入到下一阶段操作；
13.4)排序文件发送处理；
14.5)判断数据块是否为最后一块数据：
15.否，返回到2)步骤重新操作，是，进入到下一阶段操作；
16.第三步，操作结束处理完毕的数据被收集处理；
17.第四步，将第三步的处理结果汇总在一起比对分析，得出最终结果；
18.第五步，最终还原好的数据被输出处理；
19.虽然nfs数据块传输不是按照顺序传输的，但是乱序也存在一定范围，乱序范围不
会超过2m，设置一个2m的缓存，对已收到的数据块进行缓存和排序，当缓存的数据块顺序正确的时候，即可发送走，送给还原程序，并计算md5(update md5)，然后清理掉缓存的内容，用来接收新到的数据块，继续缓存和排序，直到文件接收完成。
20.作为本发明的一种优选技术方案，数据块号是将数据块进行了编号处理，且数据块又是由文件分解得到。
21.作为本发明的一种优选技术方案，数据块的内存值小于设定缓存值，能够进入到分级处理程序中操作处理,将一个庞大的文件分成若干小部分，采用类似于阶段式处理的手段，能够减少设备的工作负担，举一个例子来说，一个垃圾场的容量是固定的，直接一股脑对垃圾处理，往往会有相当一部分材料属于等待阶段，同时因为处理量过大的情况，很容易出现处理不干净的情况，本专利则是将垃圾场设置成多个区块，同步进行操作，材料等待的时间变化幅度不大，但是垃圾处理的效率与效果则是由大幅度地提升，同理到本专利的数据处理情况也是类似，为了解决数据等待的情况，我们增设了诸多分级处理程序同步进行操作，最大程度上减少了等待的时间，优化了工作的环境。
22.作为本发明的一种优选技术方案，nfs数据块传输采用的是乱序传输，该乱序传输的限定文件内存值小于设定缓存值。
23.作为本发明的一种优选技术方案，nfs文件还原主要操作区块分为客户处理端、网络信息端与系统服务端，该客户处理端分为企业与个人端口，个人端口与企业端口往往处理的数据量不同，因此需要配备的分级处理程序数量不一，分级处理程序的数量是浮动的，能够根据实际情况调整，基本上的数据调取参照图3即可。
24.与现有技术相比，本发明的有益效果如下：
25.1、本发明通过预先对文件数据进行块状化处理，随后设定对应的限定值，采用阶段式文件处理的手段，有效的规避了传统的集中处理情况，本专利实现了nfs协议基于流的文件还原流程，不需要缓存大量文件，只使用了2m大小的缓存，就完成了任意大小的nfs协议传输的文件的准确还原，另外为保证处理数据的快速，预先还设置有多个对接设备，将庞大的数据文件一分为多，同步加快其工作效率，最终在设置对应的汇总程序，预先处理好的部分文件会被拼接在一起，最终输出则是一个完整有效的还原文件。
附图说明
26.图1为本发明整体工作流程示意图；
27.图2为本发明分级处理程序工作示意图；
28.图3为本发明文件还原路径示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.如图1至图3所示，本发明提供基于nfs的动态文件快速精准的还原处理方法，具体操作步骤如下：
31.第一步，将需要处理的数据集中输入到待处理数据库；
32.第二步，随后将待处理数据库中的数据系统分配到各个分级处理程序中；
33.1)设定缓存大小；
34.2)标记要收的数据块号；
35.3)正式接受文件数据块，并进行数据块号是否为排序的判断：
36.否，返回到2)步骤重新操作，是，进入到下一阶段操作；
37.4)排序文件发送处理；
38.5)判断数据块是否为最后一块数据：
39.否，返回到2)步骤重新操作，是，进入到下一阶段操作；
40.第三步，操作结束处理完毕的数据被收集处理；
41.第四步，将第三步的处理结果汇总在一起比对分析，得出最终结果；
42.第五步，最终还原好的数据被输出处理；
43.虽然nfs数据块传输不是按照顺序传输的，但是乱序也存在一定范围，乱序范围不会超过2m，设置一个2m的缓存，对已收到的数据块进行缓存和排序，当缓存的数据块顺序正确的时候，即可发送走，送给还原程序，并计算md5(update md5)，然后清理掉缓存的内容，用来接收新到的数据块，继续缓存和排序，直到文件接收完成。
44.其中，数据块号是将数据块进行了编号处理，且数据块又是由文件分解得到。
45.其中，数据块的内存值小于设定缓存值，能够进入到分级处理程序中操作处理将一个庞大的文件分成若干小部分，采用类似于阶段式处理的手段，能够减少设备的工作负担，举一个例子来说，一个垃圾场的容量是固定的，直接一股脑对垃圾处理，往往会有相当一部分材料属于等待阶段，同时因为处理量过大的情况，很容易出现处理不干净的情况，本专利则是将垃圾场设置成多个区块，同步进行操作，材料等待的时间变化幅度不大，但是垃圾处理的效率与效果则是由大幅度地提升，同理到本专利的数据处理情况也是类似，为了解决数据等待的情况，我们增设了诸多分级处理程序同步进行操作，最大程度上减少了等待的时间，优化了工作的环境。
46.其中，nfs数据块传输采用的是乱序传输，该乱序传输的限定文件内存值小于设定缓存值。
47.其中，nfs文件还原主要操作区块分为客户处理端、网络信息端与系统服务端，该客户处理端分为企业与个人端口，个人端口与企业端口往往处理的数据量不同，因此需要配备的分级处理程序数量不一，分级处理程序的数量是浮动的，能够根据实际情况调整，基本上的数据调取参照图3即可。
48.实施例一
49.假如文件test.txt，大小为5m，传输时被分成，被分成1、2、3、4、5、6、7、8、9、10，每块0.5m，传输顺序2、3、1、5、4、6、8、7、10、9；
50.a、申请设定2m内存；
51.b、标记开始要接收的是数据块1，首先接收到数据块2，不是第一块数据，缓存；
52.接收到数据块3，不是第一块数据缓存；
53.接收到数据块1，是第一块数据，将缓存的数据块1 2 3按照顺序排序，更新md5值，发送，更新下一个要接收的数据块是4；
54.清空缓存，继续接收数据，缓存排序；
55.c、数据接收完成，md5值计算完成；
56.制作完毕后的数据，经过数据比对与汇总，最终以还原状态被输出。
57.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
58.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。