一种内存图与持久化图双层同步的知识图谱存储方法与流程

摘要: 本发明涉及知识图谱存储与查询,尤其涉及一种内存图与持久化图双层同步的知识图谱存储方法。背景技术:1、知识图谱以图结构组织实体及其相互关系,是支撑智能问答、故障诊...
一种内存图与持久化图双层同步的知识图谱存储方法与流程

本发明涉及知识图谱存储与查询,尤其涉及一种内存图与持久化图双层同步的知识图谱存储方法。

背景技术:

1、知识图谱以图结构组织实体及其相互关系,是支撑智能问答、故障诊断、决策辅助等上层应用的基础设施。随着轨道交通等领域数字化转型的深入,知识图谱的规模与复杂度持续增长,对其存储系统提出了越来越高的要求:一方面需要支持本体模式层与实例层的可靠持久化存储,另一方面需满足子图提取、最短路径、社区发现等复杂图查询的毫秒级响应。

2、现有知识图谱存储主要分为两类:一是以neo4j、janusgraph为代表的图数据库,图查询性能优异但运维复杂、部署门槛高,在轨道交通等工业场景中应用受限;二是关系型数据库,持久化可靠但图遍历查询需执行大量表连接,n跳邻居或最短路径等查询响应缓慢,难以满足实时性要求。虽然现有混合存储方案尝试结合两者优势,但存在内存图与持久化层同步机制缺失、冷启动全量重建效率低、并发读写缺乏线程安全保障等问题。

技术实现思路

1、为了弥补以上不足,本发明提供了一种内存图与持久化图双层同步的知识图谱存储方法,旨在改善现有技术难以兼顾持久化可靠性与高性能图查询,且双层存储同步效率低、冷启动重建缓慢、并发安全不足的缺陷。

2、为实现上述目的,本发明提供了如下技术方案:

3、一种内存图与持久化图双层同步的知识图谱存储方法,包括:

4、建立基于非易失性数据库的持久化层与基于图引擎的内存层,所述内存层包含模式图和实例图,所述模式图用于约束所述实例图的构建与更新;

5、根据数据加载条件,从所述持久化层读取全量模式层数据构建模式图,再基于该模式图的约束读取全量实例层数据构建实例图;

6、响应于内存图变更请求,提取变更要素并依据所述模式图进行逻辑校验,确定待更新的内存图元素;

7、将变更请求写入持久化层并提交事务,在事务提交成功后更新内存层,若更新失败则执行所述内存层的重建,暂停响应外部请求直至重建完成;

8、响应于图查询指令,将所述指令解析为针对所述内存层的图算法操作序列,在所述内存层中执行所述图算法操作,并返回检索结果。

9、进一步地,所述持久化层为支持事务及预写日志机制的关系型数据库,所述内存层为内存常驻的有向图数据结构引擎。

10、进一步地,所述数据加载条件包括数据加载触发事件,所述触发事件为系统启动或重建指令触发的条件。

11、进一步地,所述基于该模式图的约束读取全量实例层数据构建实例图具体包括:

12、从持久化层读取模式层数据构建模式图,所述模式图包含元素类型标识及连接约束规则;

13、在所述模式图构建完成后,依据模式图的元素类型标识和连接约束规则,校验每个实例元素及元素间关系的合法性,通过后加载至实例图。

14、进一步地,所述内存图变更请求包括以下原子操作中的至少一种:

15、实例节点增加、实例节点删除、实例边增加、实例边删除、模式节点增加、模式节点删除、模式边增加、模式边删除操作。

16、进一步地,所述逻辑校验的步骤包括:

17、校验变更请求中的节点或边类型是否存在于所述模式图中;

18、校验变更请求中边所连接的源节点与目标节点,是否符合所述模式图定义的连接约束规则;

19、校验变更请求中的属性字段是否满足所述模式图定义的属性约束。

20、进一步地,所述更新内存层具体包括:

21、采用增量更新方式将通过校验的变更数据同步至所述实例图的内存数据结构中;

22、若内存更新失败,则通过可重入互斥锁阻塞外部读写指令,清空内存数据并执行内存层重建,待重建完成并与持久化层一致后恢复查询服务。

23、进一步地,所述可重入互斥锁机制包括:以子图分支为粒度获取写锁,仅锁定当前变更所影响的图区域,并允许对未锁定区域的并发读操作。

24、进一步地,将所述指令解析为针对所述内存层的图算法操作序列具体包括:

25、通过链式查询构建器接收声明式查询条件链,将所述条件链逐级解析为类型过滤、属性过滤、图遍历、条件过滤及字段投影的组合操作序列。

26、进一步地,所述计算机程序或指令被处理器执行时实现上述的知识图谱存储方法。

27、本发明具有如下有益效果:

28、1.本发明中,通过构建持久化层与内存层的双层存储架构,内存层包含模式图和实例图,由模式图提供对实例图的类型与连接约束,冷启动时按模式层先于实例层的顺序分层加载,在加载过程中依据模式图中的元素类型标识和连接约束规则进行合法性校验,过滤类型不匹配或连接非法的数据,保证内存层仅承载符合本体定义的合法数据。

29、2.本发明中,通过对内存图变更请求,依据模式图进行类型存在性、连接约束及属性约束的三维度校验,拦截非法变更;通过先持久化后内存的原子更新顺序,配合可重入互斥锁机制,确保变更操作仅在持久化层事务提交成功后才能更新内存层;针对持久化失败与内存更新失败分别采取不更新与触发全量重建的恢复策略,保证双层存储状态满足一致性不变式。

30、3.本发明中,通过链式查询构建器将声明式查询条件解析为类型过滤、属性过滤、图遍历、条件过滤及字段投影的组合操作序列,由内存层有向图引擎直接执行图算法操作,避免关系型数据库的多表连接与i/o开销,使复杂图查询的响应时间达到毫秒级。

1.一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,包括:

2.根据权利要求1所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,所述持久化层为支持事务及预写日志机制的关系型数据库,所述内存层为内存常驻的有向图数据结构引擎。

3.根据权利要求1所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,所述数据加载条件包括数据加载触发事件,所述触发事件为系统启动或重建指令触发的条件。

4.根据权利要求1所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,所述基于该模式图的约束读取全量实例层数据构建实例图具体包括:

5.根据权利要求1所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,所述内存图变更请求包括以下原子操作中的至少一种:

6.根据权利要求1所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,所述逻辑校验的步骤包括:

7.根据权利要求1所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,所述更新内存层具体包括:

8.根据权利要求7所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,所述可重入互斥锁机制包括:以子图分支为粒度获取写锁,仅锁定当前变更所影响的图区域,并允许对未锁定区域的并发读操作。

9.根据权利要求1所述的一种内存图与持久化图双层同步的知识图谱存储方法,其特征在于,将所述指令解析为针对所述内存层的图算法操作序列具体包括:

10.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现如权利要求1-9中任一项所述的知识图谱存储方法。