一种一主多从的集群间数据实时同步的方法和系统与流程

技术特征：
1.一种一主多从的集群间数据实时同步的方法，其特征在于，所述方法包括一主多从的集群间元数据同步和一主多从的集群间属性数据同步；所述一主多从的集群间元数据同步包括：主集群节点为元数据管理节点，在主集群上启动元监听器节点，以接收所述元数据管理节点对应数据分片中的领导者副本所发送的同步信息；若所述同步信息为预写式日志，则执行第一同步预处理，若所述同步信息为快照数据，则执行第二同步预处理；定期遍历图空间目录下的元监听器节点信息，通过所述元监听器节点将所述同步预处理后的数据发送到各个从集群的管道节点上；通过所述管道节点将所述数据处理后发送到对应从集群的元数据管理节点。2.根据权利要求1所述的方法，其特征在于，所述一主多从的集群间属性数据同步包括：主集群节点为存储节点，在主集群上启动存储监听器节点，创建学习者副本并加入所述存储节点的数据分片所在的raft组中；基于raft的一致性原理，将所述数据分片的领导者副本中存储的预写式日志，传输到所述学习者副本；定期遍历所述学习者副本下的存储监听器节点信息，通过所述存储监听器节点将日志发送到各个从集群的管道节点上；通过所述管道节点将所述数据处理后发送到对应从集群的存储节点。3.根据权利要求1所述的方法，其特征在于，若所述同步信息为预写式日志，则执行第一同步预处理包括：若所述同步信息为预写式日志，则先分析得到所述预写式日志对应的图空间id，再根据所述图空间id将所述预写式日志写入对应图空间的预写式日志文件中。4.根据权利要求1所述的方法，其特征在于，若所述同步信息为快照数据，则执行第二同步预处理包括：若所述同步信息为快照数据，则先清空各个图空间的预写式日志文件，分析所述快照数据得到对应的图空间id，再根据所述图空间id将所述快照数据写入对应图空间的预写式日志文件中。5.根据权利要求2所述的方法，其特征在于，通过所述存储监听器节点将所述日志发送到各个从集群的管道节点上包括：判断当前同步的日志是否在所述学习者副本的预写式日志文件中；若是，则通过所述存储监听器节点直接读取所述预写式日志，并发送到从集群的管道节点上；若否，则通过所述存储监听器节点拉取所述领导者副本的快照数据，并发送到从集群的管道节点上。6.根据权利要求1或2所述的方法，其特征在于，在通过所述管道节点将所述数据处理后发送到对应从集群节点之前，所述方法还包括：通过所述管道节点接收所述数据，根据所述从集群上要同步的图空间id和日志id，判断所述数据的接收是否合法。
7.根据权利要求1或2所述的方法，其特征在于，通过所述管道节点将所述数据处理后发送到对应从集群节点包括：通过所述管道节点遍历得到所述从集群上要同步的图空间目录，所述图空间目录中每个图空间生成一个任务放到任务管理队列中；在任务的执行中，根据所述任务对应的数据分片的信息，生成多个子任务，其中，一个数据分片对应一个子任务；根据并行度，并行执行所述子任务，直到所述任务管理队列中的任务全部执行完成，即将所述数据发送到从集群对应节点。8.根据权利要求1所述的方法，其特征在于，图空间为主集群与从集群间数据同步的基本单位，需要进行数据同步的图空间在所述主集群中可读可写，在所述从集群中只读。9.根据权利要求1所述的方法，其特征在于，元数据管理节点的数据分片中存储着图空间的元数据；存储节点的数据分片中存储着图空间的属性数据。10.一种一主多从的集群间数据实时同步的系统，其特征在于，所述系统应用于权利要求1至9任一项所述的方法，所述系统包括主集群模块和从集群模块；所述主集群模块，用于当主集群节点为元数据管理节点时，在主集群上启动元监听器节点，以接收所述元数据管理节点对应数据分片中的领导者副本所发送的同步信息；若所述同步信息为预写式日志，则执行第一同步预处理，若所述同步信息为快照数据，则执行第二同步预处理；所述主集群模块，用于定期遍历图空间目录下的元监听器节点信息，通过所述元监听器节点将所述同步预处理后的数据发送到各个从集群的管道节点上；所述从集群模块，用于通过所述管道节点将所述数据处理后发送到对应从集群节点。

技术总结
本申请涉及一主多从的集群间数据实时同步的方法和系统，其中，该方法包括一主多从的集群间元数据同步和一主多从的集群间属性数据同步；通过元监听器节点和/或存储监听器节点，将主集群上要同步的数据发送到各个从集群的管道节点上；再通过管道节点将数据处理后发送到对应从集群节点，完成一主多从的集群间数据同步。通过本申请，解决了如何在图数据库中进行一主多从的实时数据同步的问题，实现了图数据库中实时变化的关系网络数据在一主多从的集群间实时同步，有效地保证了数据的一致性。性。性。


技术研发人员：岳通 王玉珏 吴敏 叶小萌
受保护的技术使用者：杭州欧若数网科技有限公司
技术研发日：2022.11.28
技术公布日：2022/12/30