一种分布式存储系统的元数据同步方法、系统及设备与流程

技术特征：
1.一种分布式存储系统的元数据同步方法，其特征在于，所述方法包括：通过共识协议集群确定元数据服务主节点和元数据服务从节点；在发生元数据变更时，利用所述元数据服务主节点将元数据变更操作封装成变更操作日志；将所述变更操作日志按序写入所述共识协议集群的segment；在写入成功后，将所述变更操作日志及其对应的元数据更新到元数据主节点的本地存储引擎中；当所述共识协议集群中有新的segment被创建或间隔预设时长时，按照预设同步规则将所述变更操作日志及其对应的元数据同步到所述元数据服务从节点的本地存储引擎中。2.根据权利要求1所述的方法，其特征在于，所述通过共识协议集群确定元数据服务主节点和元数据服务从节点，包括：在共识协议集群的同一个目录中为每个元数据服务节点创建一个node，并按照创建时间排序；将排在首位的node对应的元数据服务节点确定为元数据服务主节点，其他的则确定为元数据服务从节点。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：当所述元数据服务主节点发生故障或网络分区时，删除代表所述元数据服务主节点的node；将当前排在首位的node对应的元数据服务节点确定为新的元数据服务主节点。4.根据权利要求1所述的方法，其特征在于，所述预设同步规则为：在元数据服务从节点的本地存储引擎中获取最新的变更操作日志序号；从共识协议集群中拉去所有的segment信息；根据所述segment内部第一个变更操作日志的序号将所有的segment进行排序；找到第一个不小于所述最新的变更操作日志序号的segment；判断该segment是否是最后一个，且该segment的第一个日志的序号大于所述最新的变更操作日志序号；若是，则将该segment的上一个segment作为目标segment；若否，则将该segment作为目标segment；从目标segment开始，同步所有segment的变更操作日志。5.根据权利要求1所述的方法，其特征在于，在按照预设同步规则将所述变更操作日志及其对应的元数据同步到所述元数据服务从节点的本地存储引擎中后，所述方法还包括：通过排在首位的node对应的元数据服务从节点对共识协议集群中已经同步到各元数据服务从节点的变更操作日志进行回收处理。6.根据权利要求5所述的方法，其特征在于，所述排在首位的node对应的元数据服务从节点会定时执行变更操作日志回收操作。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：当有新的元数据服务节点加入共识协议集群时，从其他元数据服务节点的本地存储引擎中同步全量元数据。8.一种分布式存储系统的元数据同步系统，其特征在于，所述系统包括：
确定单元，用于通过共识协议集群确定元数据服务主节点和元数据服务从节点；封装单元，用于在发生元数据变更时，利用所述元数据服务主节点将元数据变更操作封装成变更操作日志；写入单元，用于将所述变更操作日志按序写入所述共识协议集群的segment；更新单元，用于在写入成功后，将所述变更操作日志及其对应的元数据更新到元数据主节点的本地存储引擎中；同步单元，用于当所述共识协议集群中有新的segment被创建或间隔预设时长时，按照预设同步规则将所述变更操作日志及其对应的元数据同步到所述元数据服务从节点的本地存储引擎中。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。

技术总结
本申请提供了一种分布式存储系统的元数据同步方法、系统及设备，本申请通过共识协议集群确定元数据服务主节点和元数据服务从节点；在发生元数据变更时，利用元数据服务主节点将元数据变更操作封装成变更操作日志；将变更操作日志按序写入共识协议集群的segment；在写入成功后，将变更操作日志及其对应的元数据更新到元数据主节点的本地存储引擎中；当共识协议集群中有新的segment被创建或间隔预设时长时，按照预设同步规则将变更操作日志及其对应的元数据同步到元数据服务从节点的本地存储引擎中。本申请元数据服务可以直接从本地存储引擎读取元数据，不需要经过网络调用和共识过程，降低了延时，提高了同步效率。提高了同步效率。提高了同步效率。


技术研发人员：罗杰彬 徐文豪 王弘毅 张凯
受保护的技术使用者：北京志凌海纳科技有限公司
技术研发日：2022.04.22
技术公布日：2023/1/13