硬盘光盘数据互备系统及方法与流程

1.本发明属于计算机数据存储技术领域，具体涉及一种硬盘光盘数据互备系统及方法。


背景技术：

2.大数据时代数据是重要的生产要素，因此需要一种能够廉价、方便、可靠、可信地长期保存海量数据的存储设备、系统和机制。光盘是一种适合廉价长期可信存储数据的存储介质。在无需特殊保存环境要求的情况下，蓝光光盘能够可靠地保存数据长达50年，玻璃光盘能够保存数据超过数千年。光盘是由毫米级别的塑料片和微米级别的膜涂层构成，其基础材料成本较低，在大量生产的情况下，光盘的成本可以降到很低。目前常用的蓝光光盘的容量为25gb、50gb、100gb等。容量为500gb的蓝光光盘也在逐渐进入消费者市场。
3.当前单张光盘容量和性能仍然有限，远低于主流到磁盘和固态盘(统一简称为硬盘)。但是高性能硬盘具有五年左右的寿命，平时也会因为扇区失效导致部分数据丢失的可能。传统上可以通过磁盘阵列方法，在多个硬盘之间构建冗余组，保证在少量扇区或者硬盘失效时，能够保证数据可用性。但是当硬盘接近其寿命时，磁盘阵列内的硬盘可能会同时失效，导致数据不可恢复。
4.因此为了兼顾数据日常的存取性能和长期的可靠性，可以让硬盘和光盘相互备份。硬盘数据定期刻录到光盘上保证可靠性和可行性。硬盘仍然为前端应用提供在线存储服务，仅当硬盘数据丢失时，可以从光盘上恢复。更为重要的是，当硬盘需要换代时，可以把光盘数据整体恢复到新硬盘中，保证数据长期可信保存。
5.但是目前单张光盘容量远远小于硬盘，因此需要把硬盘上大的数据集合理地分割，从而刻录到一系列光盘上。在需要时，能够通过目录和文件名定位到物理光盘及其内部的位置。
6.为了更好地利用光盘在长期数据保存方面的优势，同时保证存储系统整体在线存储的性能，提出一种硬盘光盘数据互备系统及其方法。


技术实现要素：

7.本发明的目的在于提供一种硬盘光盘数据互备系统及方法，旨在用于充分利用光盘和硬盘寿命、数据失效和存取行为的差异，实现硬盘和光盘高效地互为数据备份，保证数据长期可靠、可信存储。
8.本发明是这样实现的：
9.一方面，本发明提供一种硬盘光盘数据互备系统，包括控制器、硬盘以及光盘组，所述硬盘为单个物理硬盘或由多个物理硬盘构成的磁盘阵列，所述光盘组包括多张光盘，所述硬盘与所述光盘组之间具有供二者相互读写数据的数据通道，所述硬盘上包含至少一个供用户在线进行读写的文件卷，每个所述文件卷包含一个文件目录树，所述文件目录树最上层具有唯一的根结点，其内部文件或者目录具有名称和从根开始的绝对路径，所述绝
对路径加上名称构成该文件或者目录的绝对名称，各绝对名称在所属文件卷内是唯一的；所述控制器用于将硬盘上的文件卷备份到光盘中，以及将光盘中的数据恢复到硬盘，在硬盘中重构完整的文件卷。
10.另一方面，本发明提供一种硬盘光盘数据互备方法，基于上述的硬盘光盘数据互备系统，该方法包括：
11.将硬盘文件卷中的数据备份到光盘中，备份过程中，根据光盘容量，依据文件卷分割策略把整个文件卷或者更新文件卷分成一个或者多个子文件卷，每个子文件卷刻录到一张光盘中；
12.当硬盘文件卷有文件不能访问时，从相应光盘中读取数据恢复至硬盘；
13.如果硬盘整体失效，在更换新硬盘之后，把全部光盘数据整体恢复到新硬盘中。
14.进一步地，所述将硬盘文件卷中的数据备份到光盘中具体包括：
15.定期扫描硬盘上的整个文件卷，确定未备份到光盘上的文件；然后对文件目录树进行深度优先遍历，逐个累计备份文件的大小，直到总容量达到光盘容量，则将这些文件预分配到一张光盘镜像中，每个文件根据其绝对路径在光盘镜像中创建或者更新其上层目录直到根目录，保证文件在硬盘文件卷中的路径和文件在光盘镜像中的路径相同，进而把文件拷贝到光盘镜像中，最后设置该光盘镜像为只读状态；然后重新从零开始累计剩余备份文件，直到所有待备份文件都分配到光盘镜像；重复上述过程，直到待备份文件目录树内的文件全部拷贝到光盘镜像之中；最后，把光盘镜像批量刻录到光盘中。
16.进一步地，该方法还包括：在每个硬盘文件的索引或者文件特定区域创建一个文件备份信息记录表，当一个硬盘文件分配到一个或者多个光盘镜像中后，在其文件备份信息记录表中记录相应备份文件的信息，把文件拷贝到光盘镜像中后，在相应的文件备份信息记录表中保存备份光盘的标识符。
17.进一步地，所述文件卷分割策略包括：
18.在把待备份的文件目录分配进光盘时，首先尽量把一个子目录内的所有文件分配到同一张光盘中，其次尽量把相应相邻子目录分配到一张光盘中，具体过程为：扫描所有待分配文件目录，以每个目录为单位统计其直接包含的文件总大小，但不包含其子目录的大小；然后根据深度优先从最深子目录开始统计子目录及其嵌套所含子目录的总大小，直到达到光盘容量大小，则分配这些子目录及其文件到一张光盘中；如果最上一层子目录文件不能全部放到同一张光盘中，则分割该子目录文件，按照容量优先，尽量把分配光盘装满。
19.进一步地，所述文件卷分割策略还包括：
20.按照子目录、文件为单位把文件分配到一张光盘之中，如果该张光盘仍有剩余空间，则把一个文件分为两部分，第一部分放到本张光盘之中，剩余部分放到下一个光盘中，并在绝对文件名称中增加特殊标记表示这两个文件属于同一文件不同部分；并在备份文件记录表中记录这种情况，并记录每个分割文件数据在原文件中数据部分的相对位置。
21.进一步地，所述从相应光盘中读取数据恢复至硬盘，具体包括：
22.如果知道失效文件的绝对名称，则在备份文件记录表中查找相应光盘和内部文件，把相应文件恢复到硬盘中；如果硬盘文件卷整体或者部分失效，则扫描所有相关光盘，逐一恢复每个文件及其相应的上层目录结构和文件，当发现有两个绝对名称相同的文件，则仅恢复最新的文件。
23.进一步地，所述把全部光盘数据整体恢复到新硬盘中具体包括：
24.逐一读取所有光盘，复制光盘内目录、文件到硬盘中，如果一个文件已经硬盘中存在，则分析文件名是否存在分割标记，如有则把分割的多个文件拼接为一个文件，如果没有分割标记，则根据光盘中文件创建的时间，仅保留最新版本文件。
25.进一步地，该方法还包括：
26.根据预先定义的容错方式，n个数据备份光盘构成一组，产生m个校验光盘，这n m个光盘构成一个光盘校验组，当数据光盘失效数量小于等于m时，所有数据仍然可以被访问。
27.进一步地，该方法还包括：
28.如果失效文件或者所在光盘不能被访问，则确定该光盘所在光盘校验组，从光盘校验组其他光盘中读取相应数据，通过解码恢复该文件或者该光盘数据。
29.与现有技术相比，本发明具有以下有益效果：
30.本发明提供的这种硬盘光盘数据互备系统及方法，充分考虑光盘和硬盘具有不同的寿命、数据失效和存取行为，实现硬盘和光盘高效地相互备份，兼顾数据日常的存取性能和长期的可靠性。硬盘数据定期刻录到光盘上保证可靠性和可行性，硬盘仍然为前端应用提供在线存储服务，仅当硬盘数据丢失时，可以从光盘上恢复；更为重要的是，当硬盘需要换代时，可以把光盘数据整体恢复到新硬盘中，保证数据长期可信保存。
附图说明
31.图1为本发明实施例提供的硬盘光盘数据互备系统的架构示意图；
32.图2为本发明实施例提供的硬盘光盘数据互备系统的文件备份信息记录表的示意图；
33.图3为本发明实施例提供的从硬盘备份数据到光盘的过程示意图；
34.图4为本发明实施例提供的文件卷分割策略流程图；
35.图5为本发明实施例提供的文件卷分割策略示意图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
37.如图1所示，本发明实施例提供一种硬盘光盘数据互备系统，包括控制器、硬盘以及光盘组，所述硬盘为单个物理硬盘或由多个物理硬盘构成的磁盘阵列，所述光盘组包括多张光盘，所述硬盘与所述光盘组之间具有供二者相互读写数据的数据通道，所述硬盘上包含至少一个供用户在线进行读写的文件卷，每个所述文件卷包含一个文件目录树，所述文件目录树最上层具有唯一的根结点，其内部文件或者目录具有名称和从根开始的绝对路径，所述绝对路径加上名称构成该文件或者目录的绝对名称，各绝对名称在所属文件卷内是唯一的；所述控制器用于将硬盘上的文件卷备份到光盘中，以及将光盘中的数据恢复到硬盘，在硬盘中重构完整的文件卷。
38.所述光盘中文件卷是从文件卷，仅在需要时才被访问。所有光盘文件目录合并后与硬盘中的文件卷是一致的。
39.优选地，所述硬盘文件卷中的文件和目录通过两个阶段备份到一组光盘，首先把文件预分配到光盘镜像中，之后把已准备好的光盘镜像批量刻录到物理光盘中。在预分配过程中，把待备份文件和目录以完整性和空间局域性优先策略分配到一张光盘镜像中，待一张光盘镜像装满之后；然后把剩余文件和目录分配到下一张光盘镜像，直到所有备份文件和目录都分配到光盘镜像。待一组光盘镜像准备好后，再批量刻录到物理光盘中，其物理光盘的标识符就是相应光盘镜像的标识符。
40.如图2所示，进一步优选地，每个硬盘文件的索引或者文件特定区域包含一个文件备份信息记录表。这个记录表可以保存文件头部区域中的保留位置。一个硬盘文件分配到一个或者多个光盘镜像中后，在该文件记录表会记录相应光盘备份文件的信息。把光盘镜像刻录到光盘中后，在该文件备份信息记录表中保存备份光盘的标识符。
41.当文件卷的总容量小于单张光盘时，把文件卷的内容全部存储到一张光盘中，文件卷在硬盘和光盘的内容是完全一致的，当文件卷的总容量大于单张光盘时，把文件卷的内容分割存储到多张光盘中。
42.本发明实施例还提供一种硬盘光盘数据互备方法，基于上述实施例的硬盘光盘数据互备系统，该方法包括：
43.将硬盘文件卷中的数据备份到光盘中，备份过程中，根据光盘容量，依据文件卷分割策略把整个文件卷或者更新文件卷分成一个或者多个子文件卷，每个子文件卷刻录到一张光盘中；
44.当硬盘文件卷有文件不能访问时，从相应光盘中读取数据恢复至硬盘；
45.如果硬盘整体失效，在更换新硬盘之后，把全部光盘数据整体恢复到新硬盘中。
46.如图3所示，所述将硬盘文件卷中的数据备份到光盘中具体包括：
47.定期扫描硬盘上的整个文件卷，确定未备份到光盘上的文件；然后对文件目录树进行深度优先遍历，逐个累计备份文件的大小，直到总容量达到光盘容量，则将这些文件预分配到到一张光盘镜像中，每个文件根据其绝对路径在光盘镜像中创建或者更新其上层目录直到根目录，保证文件在硬盘文件卷中的路径和文件在光盘镜像中的路径相同，进而把文件拷贝到光盘镜像中，最后设置该光盘镜像为只读状态；然后重新从零开始累计剩余备份文件，直到所有待备份文件都分配到光盘镜像；重复上述过程，直到待备份文件目录树内的文件全部拷贝到光盘镜像之中；最后，把光盘镜像批量刻录到光盘中。
48.优选地，该方法还包括：在每个硬盘文件特定区域创建一个文件备份信息记录表，当一个硬盘文件分配到一个或者多个光盘镜像中后，在其文件备份信息记录表中记录相应备份文件的信息，把文件拷贝到光盘镜像中后，在相应的文件备份信息记录表中保存备份光盘的标识符。
49.如图4所示，进一步地，所述文件卷分割策略包括：
50.在把待备份的文件目录分配进光盘时，首先尽量把一个子目录内的所有文件分配到同一张光盘中，其次尽量把相应相邻子目录分配到一张光盘中，具体过程为：扫描所有待分配文件目录，以每个目录为单位统计其直接包含的文件总大小，但不包含其子目录的大小；然后根据深度优先从最深子目录开始统计子目录及其嵌套所含子目录的总大小，直到
达到光盘容量大小，则分配这些子目录及其文件到一张光盘中；如果最上一层子目录文件不能全部放到同一张光盘中，则分割该子目录文件，按照容量优先，尽量把分配光盘装满。例如，如图5所示：在本实施例中，文件c与文件a，b位于同一子目录下，被分配在不同光盘中。
51.优选地，所述文件卷分割策略还包括：
52.按照子目录、文件为单位把文件分配到一张光盘之中，如果该张光盘仍有剩余空间，则把一个文件分为两部分，第一部分放到本张光盘之中，剩余部分放到下一个光盘中，并在绝对文件名称中增加特殊标记表示这两个文件属于同一文件不同部分；并在备份文件记录表中记录这种情况，例如，在图5所示实施例中，设置光盘容量为100gb，光盘2中文件c及其子目录大小为90gb，则需要将文件d分成两部分，其中10gb分配在光盘2中，而剩余部分分配在光盘3中，两部分均带有完整目录信息。并记录每个分割文件数据在原文件中数据部分的相对位置，例如光盘2中文件为原文件前10gb，而光盘3中文件为原文件后90gb。
53.文件卷分割策略大大提高了光盘存储空间的利用率，提升了光盘硬盘互备系统在复杂情景下的适应性与性能。
54.进一步地，所述从相应光盘中读取数据恢复至硬盘，具体包括：
55.如果知道失效文件的绝对名称，则在备份文件记录表中查找相应光盘和内部文件，把相应文件恢复到硬盘中；如果硬盘文件卷整体或者部分失效，则扫描所有相关光盘，逐一恢复每个文件及其相应的上层目录结构和文件，当发现有两个绝对名称相同的文件，则仅恢复最新的文件。
56.进一步地，所述把全部光盘数据整体恢复到新硬盘中具体包括：
57.逐一读取所有光盘，复制光盘内目录、文件到硬盘中，如果一个文件已经硬盘中存在，则分析文件名是否存在分割标记，如有则把分割的多个文件拼接为一个文件，如果没有分割标记，则根据光盘中文件创建的时间，仅保留最新版本文件。
58.优选地，该方法还包括：
59.根据预先定义的容错方式，n个数据备份光盘构成一组，产生m个校验光盘，这n m个光盘构成一个光盘校验组，当数据光盘失效数量小于等于m时，所有数据仍然可以被访问；其中，校验光盘产生过程为，当n个数据光盘已经准备好后，根据每个光盘内部相同偏移的数据块产生相应校验块，存储到校验光盘相应的偏移数据块中。
60.进一步优选地，如果光盘中失效文件或者失效文件所在光盘不能被访问，则确定该光盘所在光盘校验组，从光盘校验组其他光盘中读取相应数据，通过解码恢复该文件或者该光盘数据。
61.综上所述，本发明实施例提供的这种硬盘光盘数据互备系统及方法，充分考虑光盘和硬盘具有不同的寿命、数据失效和存取行为，实现硬盘和光盘高效地相互备份，兼顾数据日常的存取性能和长期的可靠性。硬盘数据定期刻录到光盘上保证可靠性和可行性。硬盘仍然为前端应用提供在线存储服务，仅当硬盘数据丢失时，可以从光盘上恢复；更为重要的是，当硬盘需要换代时，可以把光盘数据整体恢复到新硬盘中，保证数据长期可信保存。
62.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。