一种数据库标量向量融合索引管理方法、设备及介质与流程

摘要: 本申请涉及数据库向量检索,尤其涉及一种数据库标量向量融合索引管理方法、设备及介质。背景技术:1、随着大语言模型与多模态应用普及,高维向量相似度检索成为数据库核心...
一种数据库标量向量融合索引管理方法、设备及介质与流程

本申请涉及数据库向量检索,尤其涉及一种数据库标量向量融合索引管理方法、设备及介质。

背景技术:

1、随着大语言模型与多模态应用普及,高维向量相似度检索成为数据库核心能力。

2、现有技术为pg vector的hnsw索引,其复用postgresql 8kb页,将向量、邻居列表与元组头封装为变长index tuple,混合查询采用后过滤或预过滤。

3、缺点在于变长元组使向量起始地址无法按32/64字节对齐;标量属性未内联于索引页;高维节点接近整页;标量过滤与向量检索串行解耦。

4、因此导致距离计算只能使用非对齐simd加载,吞吐率低;后过滤先算距离再回表验证,产生无效i/o与浮点计算;预过滤依赖独立标量索引并跳过邻居节点,破坏hnsw图连通性,高选择性下召回率下降;高维页内仅存单节点,批量预取与页内局部性丧失,i/o次数激增。

技术实现思路

1、为了解决上述背景技术中存在的技术问题,本申请实施例提供一种数据库标量向量融合索引管理方法、设备及介质,该方法包括:构建预设容量的融合索引物理页,将所述融合索引物理页的存储空间划分为标量属性摘要轨、边缘拓扑轨和语义计算轨;在构建融合索引物理页时,为每个索引节点生成节点级标量属性位图,将同一索引物理页内所有节点级标量属性位图聚合为页级标量属性位图,存储于所述标量属性摘要轨,将每个索引节点的邻接元组标识存储于所述边缘拓扑轨,将每个索引节点的向量数据存储于所述语义计算轨;当接收到携带标量过滤条件的向量查询请求时,将所述标量过滤条件编译为与所述页级标量属性位图位宽一致的查询掩码;读取所述融合索引物理页的标量属性摘要轨,将所述页级标量属性位图与所述查询掩码执行单指令多数据流位运算,并根据单指令多数据流位运算结果,返回最终查询结果。

2、一个示例中,根据单指令多数据流位运算结果,返回最终查询结果,具体包括:当单指令多数据流位运算结果为零时,直接阻断对所述融合索引物理页的边缘拓扑轨和语义计算轨的读取操作;当单指令多数据流位运算结果不为零时,加载所述融合索引物理页的边缘拓扑轨和语义计算轨,执行层次导航小世界索引遍历与向量距离计算,返回最终查询结果。

3、一个示例中,加载所述融合索引物理页的边缘拓扑轨和语义计算轨,执行层次导航小世界索引遍历与向量距离计算,返回最终查询结果,具体包括:加载边缘拓扑轨以及语义计算轨,对各索引节点执行节点级标量条件校验,过滤掉假阳性节点;对校验通过的索引节点开展层次导航小世界索引遍历以及向量距离计算,以维护候选优先队列;从所述候选优先队列中输出最终查询结果。

4、一个示例中,当接收到携带标量过滤条件的向量查询请求时,将所述标量过滤条件编译为与所述页级标量属性位图位宽一致的查询掩码,具体包括:解析向量查询请求中的标量过滤条件,根据预设的位段编码规则,将布尔枚举类条件映射至第一位段,将离散标识类条件映射至第二位段,将连续数值范围条件映射至第三位段,将多值标签匹配条件映射至第四位段;将各个位段映射得到的二进制片段进行组合,生成和页级标量属性位图位宽相同的查询掩码。

5、一个示例中,在构建融合索引物理页时,为每个索引节点生成节点级标量属性位图,将同一索引物理页内所有节点级标量属性位图聚合为页级标量属性位图,具体包括:依据预先设定的位段编码规则,解析每个索引节点对应的标量字段数据,生成对应索引节点的节点级标量属性位图;针对空值标量字段,将所述空值标量字段对应的位图位段全部置零;将同一融合索引物理页内全部索引节点的节点级标量属性位图逐位执行按位或运算,运算所得结果作为页级标量属性位图。

6、一个示例中,将所述页级标量属性位图与所述查询掩码执行单指令多数据流位运算,具体包括:将页级标量属性位图以及查询掩码载入中央处理器向量寄存器,以对页级标量属性位图以及查询掩码执行按位与运算。

7、一个示例中,加载所述融合索引物理页的边缘拓扑轨和语义计算轨之后,所述方法还包括:若为高维向量场景,单张融合索引物理页仅存放一个索引节点,向量数据以缓存行对齐方式直接完成单指令多数据流加载;若为低维向量场景,单张融合索引物理页存放多个索引节点,借助单指令多数据流指令完成页内多索引节点的批量过滤处理。

8、另一方面,本申请实施例提供了一种数据库标量向量融合索引管理系统,其特征在于,包括:物理页构建模块,用于构建预设容量的融合索引物理页,并将融合索引物理页的存储空间划分为标量属性摘要轨、边缘拓扑轨和语义计算轨;索引构建处理模块,用于在构建融合索引物理页时,为每个索引节点生成节点级标量属性位图,将同一索引物理页内所有节点级标量属性位图聚合为页级标量属性位图并存储至标量属性摘要轨,将各索引节点的邻接元组标识存储至边缘拓扑轨,将各索引节点的向量数据存储至语义计算轨;查询掩码编译模块,用于接收到携带标量过滤条件的向量查询请求时,将标量过滤条件编译为与页级标量属性位图位宽一致的查询掩码;查询执行处理模块,用于读取融合索引物理页的标量属性摘要轨,将页级标量属性位图与查询掩码执行单指令多数据流位运算,依据位运算结果完成页级准入判断,并基于准入判断结果执行后续读取、索引遍历与向量距离计算,输出最终查询结果。

9、另一方面,本申请实施例提供了一种数据库标量向量融合索引管理设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述任一项的一种数据库标量向量融合索引管理方法。

10、另一方面,本申请实施例提供了一种数据库标量向量融合索引管理非易失性计算机存储介质,存储有计算机可执行指令,计算机可执行指令能够执行上述任一项的一种数据库标量向量融合索引管理方法。

11、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:

12、本申请通过融合索引物理页三轨存储架构,将标量属性摘要独立存储,查询时仅读取摘要部分即可借助单指令多数据流位运算完成页级准入判定,能够直接阻断不满足条件页面的向量与拓扑数据读取,大幅减少无效i/o访问与冗余向量距离计算,提升混合查询处理效率;本申请无需依赖外部独立标量索引,避免破坏分层可导航小世界图的连通性,维持高选择性查询下的召回率,还降低了附加索引带来的存储与维护开销,缓冲区结合门控判定结果进行调度,进一步提升数据库缓冲区的有效数据利用率。

1.一种数据库标量向量融合索引管理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,根据单指令多数据流位运算结果,返回最终查询结果,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述加载所述融合索引物理页的边缘拓扑轨和语义计算轨,执行层次导航小世界索引遍历与向量距离计算,返回最终查询结果,具体包括:

4.根据权利要求1所述的方法,其特征在于,所述当接收到携带标量过滤条件的向量查询请求时,将所述标量过滤条件编译为与所述页级标量属性位图位宽一致的查询掩码,具体包括:

5.根据权利要求1所述的方法,其特征在于,所述在构建融合索引物理页时,为每个索引节点生成节点级标量属性位图,将同一索引物理页内所有节点级标量属性位图聚合为页级标量属性位图,具体包括:

6.根据权利要求1所述的方法,其特征在于,所述将所述页级标量属性位图与所述查询掩码执行单指令多数据流位运算,具体包括:

7.根据权利要求2所述的方法,其特征在于,加载所述融合索引物理页的边缘拓扑轨和语义计算轨之后,所述方法还包括:

8.一种数据库标量向量融合索引管理系统,其特征在于,包括:

9.一种数据库标量向量融合索引管理设备,其特征在于,包括:

10.一种数据库标量向量融合索引管理存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令能够执行上述权利要求1-7任一项所述的一种数据库标量向量融合索引管理方法。