一种分布式图数据的数据局部性度量方法和系统与流程

技术特征：
1.一种分布式图数据的数据局部性度量方法，其特征在于，所述方法包括：对图数据库中各个图分区的图数据进行数据局部性计算，得到连通分量信息，其中，所述连通分量信息包括连通分量id；在所述图数据库中存储的图数据发生变动的情况下，根据所述变动的图数据实时计算更新对应图分区的连通分量信息。2.根据权利要求1所述的方法，其特征在于，在所述图数据库中存储的图数据发生变动的情况下，根据所述变动的图数据实时计算更新对应图分区的连通分量信息包括：在对所述图数据库中存储的边数据进行删除的情况下，根据所述边数据两端的节点信息进行实时判断，是否需要计算更新对应图分区的连通分量信息。3.根据权利要求2所述的方法，其特征在于，根据所述边数据的两端节点的信息进行实时判断，是否需要计算更新对应图分区的连通分量信息包括：根据所述边数据两端的节点信息进行实时判断；若所述两端节点仅通过所述边数据进行连通，则计算更新对应图分区的连通分量信息；若所述两端节点还通过其他边数据进行连通，则无需计算更新对应图分区的连通分量信息。4.根据权利要求1所述的方法，其特征在于，在所述图数据库中存储的图数据发生变动的情况下，根据所述变动的图数据实时计算更新对应图分区的连通分量信息还包括：在对所述图数据库进行边数据写入的情况下，实时判断所述边数据的两端节点是否在同一图分区中；若是，则获取所述边数据的两端节点所属的连通分量id，根据所述连通分量id判断是否需要计算更新对应图分区的连通分量信息；若否，则无需计算更新对应图分区的连通分量信息。5.根据权利要求4所述的方法，其特征在于，根据所述连通分量id判断是否需要计算更新对应图分区的连通分量信息包括：若所述两端节点的连通分量id相同，则无需计算更新对应图分区的连通分量信息；若所述两端节点的连通分量id不相同，则计算更新对应图分区的连通分量信息。6.根据权利要求1所述的方法，其特征在于，所述连通分量信息还包括图分区中连通分量的个数和连通分量中的节点数，所述方法还包括：根据图分区中连通分量的个数、连通分量中的节点数，衡量对应图分区的数据局部性，若所述图分区的数据局部性存在不均衡，则将所述图分区内的图数据进行切分和迁移，或将不同图分区中的连通分量进行合并。7.根据权利要求1所述的方法，其特征在于，对图数据库中各个图分区的图数据进行数据局部性计算包括：图数据库中各个图分区互相之间无需通信、并发地进行各自数据局部性的计算。8.根据权利要求1所述的方法，其特征在于，对图数据库中各个图分区的图数据进行数据局部性计算包括：通过预设社区发现算法，对图数据库中各个图分区的图数据进行数据局部性计算，其中，所述预设社区发现算法包括连通分量算法、标签传播算法和模块度算法。
9.根据权利要求1所述的方法，其特征在于，在对图数据库中各个图分区的图数据进行数据局部性计算之前，所述方法包括：手动触发数据局部性计算的任务；或者，通过定时任务以周期性地启动数据局部性计算的任务。10.一种分布式图数据的数据局部性度量系统，其特征在于，所述系统包括全局更新模块和实时更新模块；所述全局更新模块，用于对图数据库中各个图分区的图数据进行数据局部性计算，得到连通分量信息，其中，所述连通分量信息包括连通分量id；所述实时更新模块，用于在所述图数据库中存储的图数据发生变动的情况下，根据所述变动的图数据实时计算更新对应图分区的连通分量信息。

技术总结
本申请涉及一种分布式图数据的数据局部性度量方法和系统，其中，该方法包括：对图数据库中各个图分区的图数据进行数据局部性计算，得到连通分量信息，其中，连通分量信息包括连通分量ID；在图数据库中存储的图数据发生变动的情况下，根据变动的图数据实时计算更新对应图分区的连通分量信息；以连通分量作为数据局部性的指标，并针对数据批量入库和实时入库，设计两种对应的数据局部性度量方式。通过本申请，解决了如何度量图数据库中图数据的数据局部性的问题，实现了分布式图数据库中对图分区数据局部性的实时精准度量，进而可以基于该数据局部性，实现图分区之间数据的负载均衡和局部性均衡。部性均衡。部性均衡。


技术研发人员：王昌圆 吴敏 叶小萌
受保护的技术使用者：杭州欧若数网科技有限公司
技术研发日：2022.12.15
技术公布日：2023/1/13