一种海量小文件读写方法、系统、电子设备及存储介质与流程

技术特征：
1.一种海量小文件读写方法，其特征在于，所述方法应用于基于fuse的分布式云存储系统，其中，所述基于fuse的分布式云存储系统至少包括分布式云存储系统、外挂存储系统；所述方法包括：获取小文件；基于所述小文件确定待合并文件列表；根据所述待合并文件列表将所述小文件的数据信息缓存至聚合文件；其中，所述聚合文件是以大文件形式在云存储系统中创建的云存储文件；基于所述聚合文件设置键值对，并将所述键值对缓存至外挂存储系统；基于所述键值对读取并下载所述小文件。2.根据权利要求1所述的方法，其特征在于，所述根据所述待合并文件列表将所述小文件的数据信息缓存至聚合文件，包括：检索所述待合并文件列表，将检索获取的小文件缓存至第一缓存容器中；以大文件形式在所述云存储系统中创建聚合文件；将所述第一缓存容器中小文件的数据信息缓存至聚合文件。3.根据权利要求2所述的方法，其特征在于，所述将所述第一缓存容器中的所述小文件的数据信息缓存至聚合文件，包括：若所述第一缓存容器中的所述小文件的数据信息成功写入聚合文件，则在第二缓存容器中缓存该小文件对应的小文件名；若所述第一缓存容器中的所述小文件的数据信息没有写入聚合文件，则在第三缓存容器中缓存该小文件对应的小文件名。4.根据权利要求3所述的方法，其特征在于，在完成聚合文件的缓存后，还包括：根据第二缓存容器的缓存信息删除所述待合并文件列表及其对应的元数据信息。5.根据权利要求2所述的方法，其特征在于，在将所述第一缓存容器中的所述小文件的数据信息缓存至聚合文件后，还包括：当聚合文件的大小达到预设阈值时，关闭该聚合文件；在所述云存储系统中以大文件形式新建聚合文件并以所述新建聚合文件缓存剩余的所述小文件的数据信息。6.根据权利要求1所述的方法，其特征在于，所述基于所述聚合文件设置键值对，并将所述键值对缓存至外挂存储系统，包括：将聚合文件的存储目录设置为key值，以及将聚合文件中的小文件索引信息设置为value值；将所述key值和所述value值缓存至外挂存储系统中。7.根据权利要求6所述的方法，其特征在于，所述基于所述键值对读取并下载所述小文件，包括：响应于用户检索请求，检索数据库获取对应的数据库文件列表以及依据所述key值检索外挂存储系统获取对应的小文件列表；将所述数据库文件列表和所述小文件列表整合并去除聚合文件后返回用户；用户基于所述value值从云存储系统中读取小文件的数据信息。
8.根据权利要求1所述的方法，其特征在于，当需要删除缓存的小文件时，所述方法还包括：获取删除文件在聚合文件中的占比；若所述占比达到占比阈值时，对所述聚合文件中未删除的小文件重新生成新的聚合文件，并删除原聚合文件。9.根据权利要求8所述的方法，其特征在于，所述若所述占比达到占比阈值时，对所述聚合文件中未删除的小文件重新生成新的聚合文件，并删除原聚合文件，包括：获取删除文件累积的所述占比；若所述占比达到占比阈值，则检索外挂存储系统获取原聚合文件中未被删除的小文件，并以此生成聚合子文件；删除原聚合文件。10.根据权利要求1所述的方法，其特征在于，所述获取小文件，包括：将写入文件以大文件形式缓存至云存储系统；获取所述写入文件大小；若所述写入文件小于预设的文件大小阈值，则记为小文件。11.根据权利要求1所述的方法，其特征在于，所述基于所述小文件确定待合并文件列表，包括：获取小文件对应的小文件名；基于所述小文件名确定待合并文件列表。12.一种海量小文件读写系统，其特征在于，所述系统包括：获取模块，用于获取小文件；确定模块，基于所述小文件确定待合并文件列表；第一缓存模块，用于根据所述待合并文件列表将所述小文件的数据信息缓存至聚合文件；其中，所述聚合文件是以大文件形式在云存储系统中创建的云存储文件；第二缓存模块，基于所述聚合文件设置键值对，并将所述键值对缓存至外挂存储系统；读取模块，基于所述键值对读取并下载所述小文件。13.一种电子设备，其特征在于，所述电子设备包括：存储器以及与所述存储器耦接的处理器，所述存储器存储有至少一计算机程序，所述至少一计算机程序被所述处理器加载并执行时，用于实现权利要求1-11任一项所述的方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一段程序，所述至少一段程序被处理器加载并执行时，用于实现权利要求1-11任一项所述的方法。

技术总结
本发明公开了一种海量小文件读写方法、系统、电子设备及存储介质，其中，该方法包括：获取小文件；基于所述小文件确定待合并文件列表；根据所述待合并文件列表将所述小文件的数据信息缓存至聚合文件；其中，所述聚合文件是以大文件形式在云存储系统中创建的云存储文件；基于所述聚合文件设置键值对，并将所述键值对缓存至外挂存储系统；基于所述键值对读取并下载所述小文件。通过上述方案，在获取小文件后，将小文件以大文件的形式进行存储，并在外挂存储系统中设定相应的键值对，依据键值对进行小文件的读写，可实现海量小文件快速读写，提升海量小文件读写效率。提升海量小文件读写效率。提升海量小文件读写效率。


技术研发人员：罗心 李冬伟 江文龙 周明伟
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：2022.08.26
技术公布日：2022/12/16