一种文件数据备份方法、系统及存储介质与流程

技术特征：
1.一种文件数据备份方法，其特征在于，包括步骤：进程创建步骤，创建位于数据来源端的第一进程和位于数据处理储存端的第二进程，两者并行处理数据；目标元数据打包发送步骤，所述第一进程创建预设大小的内存缓冲区，通过所述内存缓冲区打包目标元数据，并将目标元数据包发给第二进程；目标文件信息获取发送步骤，所述第二进程通过所述目标元数据包获取目标文件信息，并将所述目标文件信息发给第一进程；目标文件数据读取步骤，根据所述目标文件信息，所述第一进程通过目标元数据包读取目标文件数据，再将所述目标文件数据发给第二进程。2.根据权利要求1所述的文件数据备份方法，其特征在于，所述目标元数据打包发送步骤，包括：内存缓冲区创建步骤，创建内存缓冲区，其中所述内存缓冲区大小为m，目标元数据大小为n，m与n的关系满足：m≧n；目标元数据写入步骤，将目标元数据写入所述内存缓冲区；第一判断步骤，判断写入目标元数据后的所述内存缓冲区是否产生溢出；若是，则将所述内存缓冲区内的目标元数据打包发给第二进程，并创建一个新的内存缓冲区；若否，则允许所述目标元数据写入所述内存缓冲区；第二判断步骤，判断全部的目标元数据是否被发送到第二进程，若是，则将所述内存缓冲区内的目标元数据打包发给第二进程；若否，则重复目标元数据写入步骤和第一判断步骤，直至遍历完全部目标目录及其下的所有子文件。3.根据权利要求2所述的文件数据备份方法，其特征在于，所述内存缓冲区大小为2-10兆。4.根据权利要求2所述的文件数据备份方法，其特征在于，在所述进程创建步骤中，所述第一进程包括元数据扫描线程和元数据管理发送线程；在所述目标元数据打包发送步骤中，所述元数据扫描线程用于执行内存缓冲区创建步骤和目标元数据写入步骤；所述元数据管理发送线程用于执行第一判断步骤和第二判断步骤。5.根据权利要求1所述的文件数据备份方法，其特征在于，在所述进程创建步骤中，所述第二进程包括元数据接收处理线程和若干文件数据读取线程；目标文件信息获取发送步骤，包括：目标元数据包分组处理步骤，所述元数据接收处理线程接收并分组处理所述目标元数据包，再将分组处理后的目标元数据包发给文件数据读取线程；目标文件信息获取发送步骤，所述文件数据读取线程通过所述分组处理后的目标元数据包获取目标文件信息，并将所述目标文件信息发给第一进程。6.根据权利要求1至5任一项所述的文件数据备份方法，其特征在于，在所述进程创建步骤中，所述第一进程还包括若干文件数据传输线程；目标文件数据读取步骤，包括：接收步骤，所述文件数据传输线程接收所述目标文件信息；解析读取步骤，根据所述目标文件信息，所述文件数据传输线程解析所述目标元数据
包，并根据解析结果，读取目标文件数据；第三判断步骤，所述文件数据传输线程判断所述目标文件数据的大小是否满足预设的发送阈值，若是，则将所述目标文件数据发送给所述第二进程；若否，则将所述目标文件数据加入到打包队列，直至所述打包队列内的文件数据大小满足所述发送阈值，再将所述打包队列内的文件数据打包发送给所述第二进程。7.一种文件数据备份系统，其特征在于，所述系统包括：进程创建模块，用于创建位于数据来源端的第一进程和位于数据处理储存端的第二进程，两者并行处理数据；目标元数据打包发送模块，用于所述第一进程创建预设大小的内存缓冲区，通过所述内存缓冲区打包目标元数据，并将目标元数据包发给第二进程；目标文件信息获取发送模块，用于所述第二进程通过所述目标元数据包获取目标文件信息，并将所述目标文件信息发给第一进程；目标文件数据读取模块，用于根据所述目标文件信息，所述第一进程通过目标元数据包读取目标文件数据，再将所述目标文件数据发给第二进程。8.根据权利要求7所述文件数据备份系统，其特征在于，所述目标元数据打包发送模块，包括：内存缓冲区创建单元，用于创建内存缓冲区，其中所述内存缓冲区大小为m，目标元数据大小为n，m与n的关系满足：m≧n；目标元数据写入单元，用于将目标元数据写入所述内存缓冲区；第一判断单元，用于判断写入目标元数据后的所述内存缓冲区是否产生溢出；若是，则将所述内存缓冲区内的目标元数据打包发给第二进程，并创建一个新的内存缓冲区；若否，则允许所述目标元数据写入所述内存缓冲区；第二判断单元，用于判断全部的目标元数据是否被发送到第二进程，若是，则将所述内存缓冲区内的目标元数据打包发给第二进程；若否，则重复目标元数据写入单元和第一判断单元，直至遍历完全部目标目录及其下的所有子文件。9.根据权利要求7所述的文件数据备份系统，其特征在于，在所述进程创建模块中，所述第一进程还包括若干文件数据传输线程；目标文件数据读取模块，包括：接收单元，用于所述文件数据传输线程接收所述目标文件信息；解析读取单元，用于根据所述目标文件信息，所述文件数据传输线程解析所述目标元数据包，并根据解析结果，读取目标文件数据；第三判断单元，用于所述文件数据传输线程判断所述目标文件数据的大小是否满足预设的发送阈值，若是，则将所述目标文件数据发送给所述第二进程；若否，则将所述目标文件数据加入到打包队列，直至所述打包队列内的文件数据大小满足所述发送阈值，再将所述打包队列内的文件数据打包发送给所述第二进程。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任一所述的文件数据备份方法。

技术总结
本发明涉及一种文件数据备份方法、系统及存储介质，属于计算机数据处理领域。所述方法包括：进程创建步骤；目标元数据打包发送步骤；目标文件信息获取发送步骤；目标文件数据读取步骤。所述系统包括：进程创建模块；目标元数据打包发送模块；目标文件信息获取发送模块；目标文件数据读取模块。本发明通过创建有内存缓冲区的第一进程和第二进程，使元数据扫描传输与文件数据备份能够同时进行，整个处理过程稳定，传输可靠，备份时间短，备份效率高。备份效率高。备份效率高。


技术研发人员：黄传波 王元 彭超 谢俊峰
受保护的技术使用者：成都云祺科技有限公司
技术研发日：2022.03.03
技术公布日：2022/4/12