分布式文件系统元数据缓存方法、装置、终端及存储介质与流程

技术特征：
1.一种分布式文件系统元数据缓存方法，其特征在于，包括以下步骤：配置三级缓存；当有新的元数据缓存时，将该新的元数据插入一级缓存队列；当一级缓存队列内的缓存量大于其缓存量阈值时，取出一级缓存队列内缓存时间最久的元数据直到一级缓存队列内的缓存量小于其缓存量阈值，取出的元数据作为待移动元数据；待移动元数据中将要被读取的元数据移动到二级缓存队列，其他元数据移动到三级缓存队列；当二级缓存队列内的缓存量大于其缓存量阈值时，将二级缓存队列内缓存时间最久的元数据移动到三级缓存队列直到二级缓存队列的缓存量小于其缓存量阈值；当三级缓存队列内的缓存量大于其缓存量阈值时，将三级缓存队列内缓存时间最久的元数据淘汰直到三级缓存队列的缓存量小于其缓存量阈值。2.根据权利要求1所述的分布式文件系统元数据缓存方法，其特征在于，待移动元数据中将要被读取的元数据移动到二级缓存队列，其他元数据移动到三级缓存队列，具体包括：判断待移动元数据对应的文件是否被读写使用过或单独检索过；若是，则将待移动元数据移动到二级缓存队列；否则移动到三级缓存队列。3.根据权利要求2所述的分布式文件系统元数据缓存方法，其特征在于，当有新的元数据缓存时，将该新的元数据插入一级缓存队列，具体包括：当有新的元数据缓存时，将该新的元数据插入一级缓存队列头部。4.根据权利要求3所述的分布式文件系统元数据缓存方法，其特征在于，当有新的元数据缓存时，将该新的元数据插入一级缓存队列，具体还包括：当有新的元数据缓存时，判断该新的元数据是否已缓存在一级缓存队列、二级缓存队列或三级缓存队列内；若是，则将已缓存的元数据取出插入到一级缓存队列头部。5.根据权利要求4所述的分布式文件系统元数据缓存方法，其特征在于，当二级缓存队列内的缓存量大于其缓存量阈值时，将二级缓存队列内缓存时间最久的元数据移动到三级缓存队列直到二级缓存队列的缓存量小于其缓存量阈值，具体为：当二级缓存队列内的缓存量大于其缓存量阈值时，将二级缓存队列内尾部的元数据移动到三级缓存队列头部直到二级缓存队列的缓存量小于其缓存量阈值；当三级缓存队列内的缓存量大于其缓存量阈值时，将三级缓存队列内缓存时间最久的元数据淘汰直到三级缓存队列的缓存量小于其缓存量阈值，具体为：当三级缓存队列内的缓存量大于其缓存量阈值时，将三级缓存队列内尾部元数据淘汰直到三级缓存队列的缓存量小于其缓存量阈值。6.根据权利要求1
‑
5任一项所述的分布式文件系统元数据缓存方法，其特征在于，该方法还包括根据以下公式计算各级缓存队列的缓存量阈值：k=k1 k2；n=k1 k3；m=k1*g1 （k1 k2）*g2；其中，k为分布式文件系统节点单位时间内最大文件读写访问量，n为场景中单目录最
大文件量，m为分布式文件系统节点内存量，g1为一级缓存队列大小，g2为二级缓存队列大小，k1为一级缓存队列缓存量阈值，k2为二级缓存队列缓存量阈值，k3为三级缓存队列缓存量阈值。7.一种分布式文件系统元数据缓存装置，其特征在于，包括，缓存配置模块：配置三级缓存；新元数据插入模块：当有新的元数据缓存时，将该新的元数据插入一级缓存队列；一级缓存队列淘汰模块：当一级缓存队列内的缓存量大于其缓存量阈值时，取出一级缓存队列内缓存时间最久的元数据直到一级缓存队列内的缓存量小于其缓存量阈值，取出的元数据作为待移动元数据；待移动元数据中将要被读取的元数据移动到二级缓存队列，其他元数据移动到三级缓存队列；二级缓存队列淘汰模块：当二级缓存队列内的缓存量大于其缓存量阈值时，将二级缓存队列内缓存时间最久的元数据移动到三级缓存队列直到二级缓存队列的缓存量小于其缓存量阈值；三级缓存队列淘汰模块：当三级缓存队列内的缓存量大于其缓存量阈值时，将三级缓存队列内缓存时间最久的元数据淘汰直到三级缓存队列的缓存量小于其缓存量阈值。8.根据权利要求7所述的分布式文件系统元数据缓存装置，其特征在于，该包括缓存量阈值配置模块；所述缓存量阈值配置模块根据以下公式计算各级缓存队列的缓存量阈值：k=k1 k2；n=k1 k3；m=k1*g1 （k1 k2）*g2；其中，k为分布式文件系统节点单位时间内最大文件读写访问量，n为场景中单目录最大文件量，m为分布式文件系统节点内存量，g1为一级缓存队列大小，g2为二级缓存队列大小，k1为一级缓存队列缓存量阈值，k2为二级缓存队列缓存量阈值，k3为三级缓存队列缓存量阈值。9.一种终端，其特征在于，包括：处理器；用于存储处理器的执行指令的存储器；其中，所述处理器被配置为执行权利要求1
‑
6任一项所述的方法。10.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1
‑
6中任一项所述的方法。

技术总结
本发明公开一种分布式文件系统元数据缓存方法、装置、终端及存储介质，设计三级缓存机制，进行挑选缓存，将将要被使用的元数据放置在一、二级缓存队列，使用率低的元数据放置在三级缓存队列，淘汰时从三级缓存队列的缓存时间最久的元数据进行淘汰，从而保留将要被使用的元数据，保证元数据的命中率，减少内存占用，缩短元数据访问IO路径，降低网络通信压力，磁盘访问IO压力，并设置合理的缓存量阈值，在内存可控的基础上有效实现元数据缓存性能的最优化。优化。优化。


技术研发人员：王帅阳 李文鹏 李旭东
受保护的技术使用者：济南浪潮数据技术有限公司
技术研发日：2021.07.30
技术公布日：2021/11/23