分布式数据库中的一致性变化数据捕获的制作方法

摘要: 本公开涉及计算机程序和系统领域,并且更具体地涉及一种用于在具有一致性读取隔离和最终一致性的分布式多主acid数据库中捕获数据变化的计算机实现的方法。背景技术:1...
分布式数据库中的一致性变化数据捕获的制作方法

本公开涉及计算机程序和系统领域,并且更具体地涉及一种用于在具有一致性读取隔离和最终一致性的分布式多主acid数据库中捕获数据变化的计算机实现的方法。

背景技术:

1、内存数据库是专门构建的数据库,与将数据存储在磁盘或固态硬盘上的数据库不同,其主要依赖于存储器(例如,在随机存取存储器中)进行数据存储。在此类的数据库中,rdf(资源描述框架)图数据库由于其数据建模和数据存储的高度灵活性而特别受关注。

2、数据库是为搜索和检索而组织的任何数据(即,信息)集合。它被设计用于处理大量数据,并允许有效的存储、检索和操纵。当存储在存储器上时,数据库允许计算机进行快速搜索和检索。

3、rdf图是用于存储和检索这些图的传统数据模型。rdf规范已经由万维网联盟(w3c)发布,用于将信息表示为图,参见例如在以下发布的rdf 1.1概念和抽象语法:https://www.w3.org/tr/rdf11-concepts/。

4、rdf图的核心结构是由主语、谓语和宾语组成的rdf三元组。这样的rdf三元组集合称为rdf图。rdf图可以被可视化为节点和有向弧图,其中每个三元组表示为节点-弧-节点链接。例如,rdf三元组可以具有作为主语和宾语的两个节点以及连接它们的弧,即谓语。可以向rdf三元组添加图标签以获得rdf四元组。有关rdf的更多信息可以参见:https://www.w3.org/tr/rdf11-concepts/#data-model。

5、rdf应用程序(例如,计算机辅助设计、计算机辅助工程、产品生命周期管理)通常需要大量的rdf四元组来存储和操作。rdf图已经增长到数十亿个四元组(例如,uniprot1000亿个三元组、wikidata 170亿个三元组、3ds siem高达5000亿个三元组),从而影响读取和写入性能。存储装置的总拥有成本(tco)也可能受到影响。tco是与在其整个生命周期内拥有和操作存储装置相关联的所有成本的总和。该总和可以包括初始成本、实施成本、运行成本和任何生命周期终止成本。

6、数据存储方面对于本地或分布式数据库是共同点。分布式数据库是一种数据存储在不同物理位置的数据库,这些物理位置可以通过网络连接的不同计算机或服务器(即,节点)。例如,参见https://en.wikipedia.org/wiki/distributed_database。

7、分布式数据库可以包括两层:计算层和存储层。计算层和存储层可以分离,以提高分布式系统的可扩展性和高可用性。

8、可扩展性是数据库通过添加资源(诸如更多计算能力、物理节点等)来处理增加的工作负载的属性。软件系统的一个定义指定这可以通过向系统添加资源来完成。在https://en.wikipedia.org/wiki/scalability中提供了关于可扩展性的更多信息。

9、高可用性是数据库确保在一定水平的运行性能(通常是正常运行时间)持续高于正常时期的属性。因此,高可用性确保数据库保持一定水平的运行性能,即,即使在硬件故障、网络问题或其他中断的情况下,它也保持可访问和运行。在https://en.wikipedia.org/wiki/high_availability中提供了关于高可用性的更多信息。

10、数据库系统可以分为三类:oltp、olap和htap(例如参见https://en.wikipedia.org/wiki/online_transaction_processing)。“在线事务处理(oltp)是一种在面向事务的应用程序中使用的数据库系统,例如许多操作系统。在线是指这样的系统预期响应用户请求并实时处理它们(处理事务)。[…]oltp通常与在线分析处理(olap)相反,在线分析处理(olap)的特征通常是以较少的量进行复杂得多的查询,目的是商业智能或报告而不是处理事务。尽管oltp系统处理各种类型的查询(读取、插入、更新和删除),但是olap通常针对只读进行优化,并且甚至可能不支持其他类型的查询。”最近,术语htap用于创建两者的混合体(https://en.wikipedia.org/wiki/hybrid_transactional/analytical_processing)。

11、一些rdf应用程序需要htap工作负载。在htap工作负载中,在本机图数据库上执行oltp请求,并且在分析引擎(例如,netvibes,https://www.3ds.com/fr/products/netvibes/3dexperience-netvibes)上或在具有专用数据结构的读取副本上执行olap请求,以为用于读取密集型搜索查询提供在专用节点上的不同路径。因此,为olap工作负载提供一致的数据副本,同时保持分布式数据库的可扩展性和高可用性非常重要。

12、分析引擎是有助于基于数据之间的含义和关系来组织和检索信息的数据结构。分析引擎利用语义索引和图论的原理来创建互连节点(例如,表示实体或概念)和边(例如,表示关系)的网络。分析引擎通常称为下游应用程序,即,分析引擎是由第三方使用的数据结构。

13、分布式数据库中的事务遵守acid属性。acid属性-acid代表原子性、一致性、隔离性、耐久性-是数据库事务的属性集合,旨在保证数据在错误、电源故障和其他意外情况下的有效性。acid属性使得例如能够开始事务,并且在该事务期间,所有查询都看到数据的相同版本,即使数据在一个或多个分区中并发地更新。例如,acid属性在以下讨论:https://en.wikipedia.org/wiki/acid。

14、在分布式数据库领域中,可能需要使用具有或不具有提取-转换-加载(etl)过程的变化数据捕获(cdc)设计模式将数据修改和数据变化传播到一个或多个下游应用程序;例如参见https://en.wikipedia.org/wiki/extract,_transform,_load。

15、cdc是用于识别(即,捕获)和跟踪数据库内的数据变化的技术。该技术使得能够识别和捕获插入、更新和删除,从而记录这些变化并使其可用于进一步处理(例如,下游应用程序)。cdc可以由用于识别和跟踪已经变化的数据(例如,“增量”)的软件设计模式集合来执行,使得可以使用变化数据采取动作;例如参见https://en.wikipedia.org/wiki/change_data_capture。

16、例如,考虑由频繁更新的知识图组成的rdf分布式数据库,在其上需要创建具有分析查询的控制面板以给出知识图的合成视图。可以进行etl过程以从知识图中提取数据的相关子集,将其转换为适合于控制面板的辅助数据(例如,表格),然后将该数据加载到控制面板中。一旦完成,知识图上的新修改应该应用于现有的辅助数据(例如,下游应用程序),而不是从头开始重新计算所有数据。这正是具有对分布式数据库所做修改的cdc有用的地方。

17、在这种情况下,需要一种改进的计算机实现的方法,用于在具有一致性读取隔离和最终一致性的分布式多主acid数据库中捕获数据变化。

技术实现思路

1、因此,提供了一种用于在具有一致性读取隔离和最终一致性的分布式多主acid数据库中捕获数据变化的计算机实现的方法,称为“捕获方法”。数据库包括用于执行事务的节点,每个节点维护用于为每个已执行的事务生成逻辑时间戳的相应的逻辑时钟。该捕获方法包括获取所述数据库,所述数据库包括用于存储已捕获的数据变化的数据结构。该捕获方法包括,对于由节点执行的每个事务,并且在提交已执行的事务之前,日志记录一个或多个已捕获的数据变化,每个已捕获的数据变化包括已执行的事务的逻辑时间戳和一个或多个物理修改,从而在数据结构中存储所述已执行的事务的一个或多个所述物理修改的部分因果排序日志。

2、捕获方法可以包括以下中的一个或多个:

3、-为每个已执行的事务生成的逻辑时间戳提供已执行的事务的部分因果排序;

4、-为每个已执行的事务生成的逻辑时间戳包括:

5、--已执行的事务的唯一标识符,所述唯一标识符(i)指示在所述数据库的哪个节点上执行事务,以及(ii)对在所述节点上已经执行了多少事务(包括已执行的事务)进行计数;以及

6、--所述已执行的事务的向量时间戳,表示该已执行的事务与所述数据库的所述节点已执行的事务的因果关系,所述向量时间戳具有用于所述数据库的每个相应节点的分量,每个分量对在与该已执行的事务有因果关系的所述相应节点上已经执行多少事务进行计数;

7、-所述计数在每个事务执行时递增;

8、-一个或多个所述物理修改包括确定性操作和非上下文操作;

9、-所述数据库是用于存储rdf数据的rdf图数据库,对所述rdf数据的确定性操作和非上下文操作包括分别向rdf图添加rdf三元组和/或从rdf图删除rdf三元组;和/或

10、-所述数据库是关系数据库,对所述关系数据库的所述确定性操作和非上下文操作包括分别向表格中添加行和/或从表格中删除行。

11、还提供了一种用于根据捕获方法生成已捕获的数据变化的计算机实现的方法,并且称为“生成方法”。该生成方法包括获取一个或多个物理修改的日志。生成方法包括构建表示所获取的部分因果排序日志的一个或多个物理修改之间的因果关系的因果树,所述因果树的每个节点表示所述部分因果排序日志的一个或多个物理修改。生成方法包括添加与所述因果树的一个或多个叶相关的收敛叶,所述收敛叶是所述因果树的一个或多个叶的子节点,所述收敛叶导致收敛物理修改,所述收敛物理修改是由所述因果树中所有路径的收敛产生的所述物理修改。

12、生成方法可以包括以下中的一个或多个:

13、-添加收敛叶还包括:

14、--初始化所述因果树的叶列表;

15、--根据以下规则遍历所述因果树的每个节点:

16、---如果所述因果树中遍历到的节点是所述因果树的根,初始化物理修改列表并将相应的一个或多个物理修改添加到所述物理修改列表;

17、---如果所述因果树中遍历到的节点不是所述因果树的叶,将相应的一个或多个所述物理修改添加到所述物理修改列表;

18、---如果所述因果树中遍历到的节点是所述因果树的叶,将相应的一个或多个所述物理修改添加到所述物理修改列表,并将所述因果树中的该节点添加到所述因果树的所述叶列表;

19、--输出所述因果树的所述叶列表;以及

20、--输出所述物理修改列表;和/或

21、-压缩输出的所述物理修改列表,其中压缩包括移除操作,所述移除操作的组合不导致修改。

22、本技术还提供了一种计算机程序,其包括指令,当由计算机系统执行时,使得计算机执行捕获方法和/或生成方法。

23、还提供了一种计算机可读存储介质,计算机可读存储介质上记录有计算机程序。

24、本公开还提供了一种系统,其包括耦合到存储器的处理器,所述存储器上记录有所述计算机程序。