用于特征数据表的分支冲突检测方法、装置、设备和介质与流程

摘要: 本公开涉及计算机,尤其涉及数据库、数据管理与人工智能,能够用于生成式搜索、文档智能编辑、智能助手、虚拟助手、智能电商等应用场景,具体涉及一种用于特征数据表的分支...
用于特征数据表的分支冲突检测方法、装置、设备和介质与流程

本公开涉及计算机,尤其涉及数据库、数据管理与人工智能,能够用于生成式搜索、文档智能编辑、智能助手、虚拟助手、智能电商等应用场景,具体涉及一种用于特征数据表的分支冲突检测方法、用于特征数据表的分支冲突检测装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术:

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括自然语言处理技术、计算机视觉技术、语音识别技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本公开提供了一种用于特征数据表的分支冲突检测方法、用于特征数据表的分支冲突检测装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面,提供了一种用于特征数据表的分支冲突检测方法。对特征数据表的写入操作生成对应的快照,并且在该写入操作增加或删除特征数据表的列的情况下,所生成的快照的元数据包括列变更信息,列变更信息指示该写入操作所增加或删除的列。该方法包括:确定特征数据表的第一分支和第二分支的最新共同快照;将第一分支中位于最新共同快照之后的快照确定为第一变更快照序列,将第二分支中位于最新共同快照之后的快照确定为第二变更快照序列;基于第一变更快照序列和第二变更快照序列各自包括的列变更信息,确定是否存在表结构冲突列,表结构冲突列为在最新共同快照对应的表中存在、在一个分支中存在且在另一个分支中不存在的列;以及响应于确定存在表结构冲突列,确定第一分支和第二分支之间存在冲突。

3、根据本公开的另一方面,提供了一种用于特征数据表的分支冲突检测装置。对特征数据表的写入操作生成对应的快照,并且在该写入操作增加或删除特征数据表的列的情况下,所生成的快照的元数据包括列变更信息,列变更信息指示该写入操作所增加或删除的列。该装置包括:快照确定单元,被配置为确定特征数据表的第一分支和第二分支的最新共同快照;序列确定单元,被配置为将第一分支中位于最新共同快照之后的快照确定为第一变更快照序列,将第二分支中位于最新共同快照之后的快照确定为第二变更快照序列;冲突列确定单元,被配置为基于第一变更快照序列和第二变更快照序列各自包括的列变更信息,确定是否存在表结构冲突列,表结构冲突列为在最新共同快照对应的表中存在、在一个分支中存在且在另一个分支中不存在的列;以及冲突确定单元,被配置为响应于确定存在表结构冲突列,确定第一分支和第二分支之间存在冲突。

4、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中存储器存储有可被至少一个处理器执行的指令,这些指令被至少一个处理器执行,以使至少一个处理器能够执行上述方法。

5、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行上述方法。

6、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,其中,计算机程序在被处理器执行时实现上述方法。

7、根据本公开的一个或多个实施例,本公开在对特征数据表执行写入操作时生成对应的快照,并在快照的元数据中记录指示该写入操作所增加或删除的列的列变更信息。进行冲突检测时,基于两个分支各自的变更快照序列所包括的列变更信息判定分支间的冲突,无需读取特征数据表的数据文件,读取的数据量与数据文件的规模无关,缩短了检测耗时,降低了资源占用。此外,以最新共同快照对应的表为基准确定表结构冲突列,实现了对表结构变化引发的冲突的检测。

8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种用于特征数据表的分支冲突检测方法,其中,对所述特征数据表的写入操作生成对应的快照,并且在该写入操作增加或删除所述特征数据表的列的情况下,所生成的快照的元数据包括列变更信息,所述列变更信息指示该写入操作所增加或删除的列,所述方法包括:

2. 根据权利要求1所述的方法,其中,所生成的快照的元数据还包括指示上一次写入操作生成的快照的父快照标识,其中,确定所述特征数据表的第一分支和第二分支的最新共同快照包括:

3.根据权利要求1或2所述的方法,其中,所述基于所述第一变更快照序列和所述第二变更快照序列各自包括的列变更信息,确定是否存在表结构冲突列,包括:

4.根据权利要求3所述的方法,还包括:

5. 根据权利要求1或2所述的方法,其中,在所述写入操作为通过执行特征算子计算所述特征数据表中的至少一个列的情况下,所生成的快照的元数据还包括算子标识和算子版本,所述算子标识指示所执行的特征算子,所述算子版本指示所执行的特征算子的版本,所述方法还包括:

6.根据权利要求5所述的方法,其中,响应于确定不存在表结构冲突列,基于所述第一变更快照序列和所述第二变更快照序列各自包括的算子标识和算子版本,确定是否存在列级冲突列包括:

7. 根据权利要求5所述的方法,其中,在所述写入操作增加所述特征数据表的行的情况下,所生成的快照的元数据还包括基数估计摘要,所述基数估计摘要根据该写入操作所增加的行的主键生成,所述方法还包括:

8.根据权利要求7所述的方法,其中,确定所述交集规模估计值包括:

9.根据权利要求7所述的方法,其中,基于所述交集规模估计值,确定所述第一分支和所述第二分支之间是否存在行级冲突包括:

10.根据权利要求7所述的方法,其中,基于所述交集规模估计值,确定所述第一分支和所述第二分支之间是否存在行级冲突包括:

11.一种用于特征数据表的分支冲突检测装置,其中,对所述特征数据表的写入操作生成对应的快照,并且在该写入操作增加或删除所述特征数据表的列的情况下,所生成的快照的元数据包括列变更信息,所述列变更信息指示该写入操作所增加或删除的列,所述装置包括:

12. 一种电子设备,其特征在于,所述电子设备包括:

13.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行根据权利要求1至10中任一项所述的方法。

14.一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被处理器执行时实现权利要求1至10中任一项所述的方法。