数据处理方法、系统、电子设备、存储介质及程序产品与流程

本技术涉及数据处理，尤其涉及数据处理的方法、系统、电子设备、存储介质及程序产品。

背景技术：

1、电子设备，其上配置的应用程序的数据交互与文件管理功能等均依赖于文件系统实现。文件系统，不仅定义数据的存储格式与目录结构，还通过元数据实现对文件的快速定位与高效管理。文件系统对元数据的管理依赖系统缓存。当请求的元数据无法在系统缓存中命中时，会直接导致文件系统的数据访问性能下降。

技术实现思路

1、为克服相关技术中文件系统数据访问性能差的技术问题，本技术提供一种数据处理方法、系统、电子设备、存储介质及程序产品。

2、根据本技术实施例的第一方面，提供一种数据处理方法，数据处理方法包括：响应于触发系统缓存回收事件，将系统缓存中满足数据压缩条件的目标元数据进行压缩，得到目标元数据对应的压缩元数据；将目标元数据对应的压缩元数据存入压缩缓存，压缩缓存为设置于系统缓存与存储介质之间的独立缓存。

3、在一些可能的实施方式中，将系统缓存中满足数据压缩条件的目标元数据进行压缩，包括：根据系统缓存中与系统缓存回收事件对应的元数据，确定系统缓存回收事件对应的元数据为满足数据压缩条件的目标元数据；响应于系统缓存回收事件对应的元数据为满足数据压缩条件的目标元数据，将目标元数据压缩得到目标元数据对应的压缩元数据。

4、在一些可能的实施方式中，确定系统缓存回收事件对应的元数据为满足数据压缩条件的目标元数据，包括：根据系统缓存回收事件对应的元数据的属性信息和/或内存状态信息，确定系统缓存中满足数据压缩条件的目标元数据；其中，属性信息包括元数据的数据大小、数据类型和访问频次中的至少一个；内存状态信息包括压缩缓存的剩余存储空间。

5、在一些可能的实施方式中，满足数据压缩条件，包括以下至少一项：压缩缓存的剩余存储空间大于容量阈值；系统缓存回收事件对应的元数据的数据大小处于预设的压缩大小区间内；系统缓存回收事件对应的元数据的处于预设的访问频次区间内；系统缓存回收事件对应的元数据的数据类型属于预设的可压缩数据类型。

6、在一些可能的实施方式中，触发系统缓存回收事件，包括：响应于元数据读取请求，在系统缓存中查找元数据读取请求对应的元数据；响应于系统缓存中未查找到元数据读取请求对应的元数据，确定满足系统缓存回收事件的触发条件；响应于满足系统缓存回收事件的触发条件，触发系统缓存回收事件。

7、在一些可能的实施方式中，将目标元数据对应的压缩元数据存入压缩缓存，包括：响应于压缩缓存的剩余存储空间大于容量阈值，将目标元数据对应的压缩元数据存入压缩缓存；响应于压缩缓存的剩余存储空间小于或等于容量阈值，删除压缩缓存中至少一个原有压缩数据，并将目标元数据对应的压缩元数据存入压缩缓存。

8、在一些可能的实施方式中，还包括：响应于元数据读取请求，在系统缓存中查找元数据读取请求对应的元数据；响应于系统缓存中未查找到元数据读取请求对应的元数据，在压缩缓存中查找元数据读取请求对应的压缩元数据；响应于压缩缓存中未查找到元数据读取请求对应的压缩元数据，在存储介质中读取元数据读取请求对应的元数据。

9、在一些可能的实施方式中，还包括：响应于压缩缓存中查找到元数据读取请求对应的压缩元数据，将元数据读取请求对应的压缩元数据解压，获取元数据读取请求对应的元数据信息。

10、在一些可能的实施方式中，还包括：响应于将元数据读取请求对应的压缩元数据解压完成，响应于元数据读取请求对应的压缩元数据满足删除条件，在压缩缓存中删除元数据读取请求对应的压缩元数据。

11、在一些可能的实施方式中，响应于元数据读取请求，在系统缓存中查找元数据读取请求对应的元数据，包括：响应于元数据读取请求，获取元数据读取请求对应的元数据标记信息；元数据标记信息包括索引节点编号、目录项标识、文件或目录的路径哈希值中的至少一种；根据标记信息，在系统缓存中查找元数据读取请求对应的元数据。

12、在一些可能的实施方式中，方法还包括：响应于将目标元数据对应的压缩元数据存入压缩缓存，基于压缩元数据的访问频率更新压缩缓存记录；响应于系统启动或文件系统挂载，根据压缩缓存记录，将访问频次高于预设频次阈值的压缩元数据解压后加载至系统缓存。

13、在一些可能的实施方式中，系统缓存回收事件，包括以下至少一项：系统内存剩余存储空间小于或等于容量阈值；系统下发主动内存回收指令；文件关闭。

14、根据本技术实施例的第二方面，提供一种数据处理系统，该数据处理系统包括：元数据压缩模块和元数据存储模块；元数据压缩模块被配置为响应于触发系统缓存回收事件，将系统缓存中满足数据压缩条件的目标元数据进行压缩，得到目标元数据对应的压缩元数据；元数据存储模块被配置为将目标元数据对应的压缩元数据存入压缩缓存，压缩缓存为设置于系统缓存与存储介质之间的独立缓存。

15、在一些可能的实施方式中，该数据处理系统还包括：压缩决策模块：压缩决策模块被配置为根据系统缓存中与系统缓存回收事件对应的元数据，确定系统缓存回收事件对应的元数据为满足数据压缩条件的目标元数据；元数据压缩模块被配置为响应于系统缓存回收事件对应的元数据为满足数据压缩条件的目标元数据，将目标元数据压缩得到目标元数据对应的压缩元数据。

16、在一些可能的实施方式中，压缩决策模块被配置为：根据系统缓存回收事件对应的元数据的属性信息和系统的内存状态信息，确定系统缓存中满足数据压缩条件的目标元数据；其中，属性信息包括元数据的数据大小、数据类型和访问频次中的至少一个；内存状态信息包括压缩缓存的剩余存储空间。

17、在一些可能的实施方式中，元数据读取模块：元数据读取模块被配置为响应于元数据读取请求，在系统缓存中查找元数据读取请求对应的元数据；响应于系统缓存中未查找到元数据读取请求对应的元数据，在压缩缓存中查找元数据读取请求对应的压缩元数据；响应于压缩缓存中未查找到元数据读取请求对应的压缩元数据，在存储介质中读取元数据读取请求对应的元数据。

18、在一些可能的实施方式中，元数据读取模块被配置为：响应于元数据读取请求，获取元数据读取请求对应的元数据标记信息；元数据标记信息包括索引节点编号、目录项标识、文件或目录的路径哈希值中的至少一种；根据标记信息，在系统缓存中查找元数据读取请求对应的元数据。

19、根据本技术实施例的第三方面，提供一种电子设备，电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

20、根据本技术实施例的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行第一方面中任一项所述的方法。

21、根据本技术实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机指令用于使计算机执行第一方面中任一项所述的方法。

22、本技术实施例提供的数据处理方法具有以下有益效果：通过在系统缓存空间系统缓存回收事件触发时，对满足数据压缩条件的目标元数据执行压缩操作，并存入压缩缓存，能够将将系统缓存中原有的部分元数据存入压缩缓存。其中，压缩条件作为筛选规则，可以精准保留符合条件的高价值（比如，访问频次高）的目标元数据。也就是说，不符合压缩条件的元数据不会被存入压缩缓存。这样，将高价值的目标元数据存入压缩缓存，既可以实现高价值元数据留存的优化目标，又可以避免低价值数据（比如，访问频次低）占用缓存资源。响应上层文件访问请求时，在系统缓存中未命中的情况下，还可以在压缩缓存中继续查找，避免系统缓存未命中，只能在存储介质中查找，查找速度显著加快。同时，无需频繁从存储介质（磁盘/闪存）读取，大幅减少了低速i/o交互的开销。可知，本技术以较小的内存消耗为代价，提升元数据缓存命中率，减少磁盘访问开销，优化文件系统在内存受限设备上的运行性能，进而提升文件系统数据访问性能。

23、以及，压缩缓存作为系统缓存和存储介质之间的独立缓存层级，形成系统缓存和压缩缓存的两级缓存结构，以及，形成系统缓存、压缩缓存和存储介质之间三级访问路。这样，元数据查找时无需遍历多余缓存层，大幅减少了层级跳转的时间开销。缓存访问路径短、层级少，能够加快元数据查找，快速响应上层文件访问请求，提升数据访问性能。

24、另外，原始目标元数据经压缩后，体积大幅缩减，相同内存空间下，压缩缓存可存储更多高价值元数据，单条元数据的内存占用成本显著降低。同时，系统缓存因回收了被压缩的元数据空间，可重新分配给新的元数据（如实时访问的文件元数据），避免了内存资源的浪费，实现了较高的内存利用率。

25、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。