一种多模态数据混合查询优化器及方法与流程

摘要: 本发明涉及ai原生数据库和查询优化器,具体涉及一种多模态数据混合查询优化器及方法。背景技术:1、随着大模型知识库、多模态检索、智能语义分析业务落地,现代数据库从...
一种多模态数据混合查询优化器及方法与流程

本发明涉及ai原生数据库和查询优化器,具体涉及一种多模态数据混合查询优化器及方法。

背景技术:

1、随着大模型知识库、多模态检索、智能语义分析业务落地,现代数据库从纯结构化事务查询演进为结构化条件加高维向量相似度混合查询模式。华腾数据库支持同一数据表内同时存储结构化业务字段与高维向量,支持标准结构化查询语言扩展向量检索语法,实现一条查询语句完成业务条件筛选与语义相似度排序的联合查询。

2、当前行业通用混合查询执行范式为先执行全量表向量检索、后执行结构化条件过滤,即优先遍历向量索引产出相似向量候选集,再对候选结果进行结构化条件二次过滤,但仅能适配简单检索场景,在企业级真实业务中存在严重性能缺陷与检索精度缺陷,无法适配大规模知识库、多维度权限过滤、多条件业务筛选的生产场景,难以满足政企金融军工领域的高并发稳定检索要求,已成为人工智能原生数据库混合查询发展的核心性能瓶颈。

技术实现思路

1、本发明的目的在于提供一种整个过程消除无效向量计算、避免候选集击穿、复用结构化索引优势,实现混合查询性能最优、结果精准可控的多模态数据混合查询优化器。

2、本发明的具体技术方案在于:

3、一种多模态数据混合查询优化方法,包括以下步骤:

4、s1、接收包含结构化过滤条件与向量相似度检索逻辑的混合sql查询语句,通过查询优化器进行语法解析与算子拆解,分别得到结构化过滤算子与ann向量检索算子;

5、s2、基于目标数据表的统计信息,计算结构化过滤条件的选择性与预估命中行数,通过混合代价模型动态判定混合查询的最优执行策略;

6、s3、当判定结构化条件选择性高于预设阈值时,优先通过结构化索引完成全量数据的预裁剪,生成满足所有过滤条件的有效数据位图集合;

7、s4、将结构化过滤约束与有效数据位图共同下推至ann向量索引扫描层级,在向量索引遍历过程中实时匹配结构化条件,直接跳过不满足条件的无效向量数据,不执行对应的向量距离计算;

8、s5、仅对预筛选后的有效向量子集执行高维向量相似度计算与近邻排序,生成精准的top-k检索结果;

9、s6、当判定无结构化过滤条件或结构化条件选择性低于预设阈值时,自动回退先执行全量ann向量检索、后执行结构化条件过滤的执行模式,实现两种执行策略的自适应动态切换。

10、优选地,步骤s3中的结构化索引预裁剪支持b+树索引、位图索引、分区裁剪、时间索引中的一种或多种联合执行,通过索引筛选生成唯一的有效行id位图集合,并以位图集合约束后续ann向量检索的数据范围。

11、优选地,步骤s4中支持下推的结构化过滤条件包括租户隔离条件、密级权限条件、状态筛选条件、时间窗口条件以及多字段组合的复杂结构化条件,可在索引遍历阶段直接裁汰不满足权限与合规要求的数据,适配涉密政务类检索场景。

12、优选地,确定执行策略后,对结构化过滤算子、向量距离计算算子与排序算子进行内核级融合,构建一体化混合查询执行流水线,消除中间结果落地与冗余内存拷贝,实现结构化过滤、向量计算、排序分页的一体化并行执行。

13、优选地,步骤s2中的混合代价模型以条件选择性、数据基数、向量维度、分区分布、索引命中率作为评估维度,基于多维统计结果判定执行策略的优先级。

14、一种多模态数据混合查询优化器,包括混合算子拆解模块、混合代价评估模块、结构化预裁剪模块、ann过滤下推重写模块以及自适应执行调度模块;

15、所述混合算子拆解模块,用于对混合查询语句进行解析,拆分出结构化过滤算子与向量检索算子;

16、所述混合代价评估模块,用于计算结构化过滤条件的选择性,并基于混合代价模型评估输出最优执行路径决策;

17、所述结构化预裁剪模块,用于通过结构化索引快速筛选有效数据,生成对应有效数据位图集合;

18、所述ann过滤下推重写模块,用于将结构化过滤约束与有效数据位图下压至向量索引扫描层,重写生成带过滤约束的ann检索执行计划;

19、所述自适应执行调度模块,用于控制两种执行策略的无感动态切换,并调度混合查询的流水线一体化执行流程。

20、一种计算机可读存储介质,所述存储介质中存储有计算机可执行程序,所述程序被处理器执行时,实现所述的多模态数据混合查询优化方法。

21、一种湖仓一体ai分布式数据库系统,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序时,实现所述的多模态数据混合查询优化方法。

22、本发明的有益效果在于:

23、本发明从执行范式层面解决了行业先检索后过滤模式的固有缺陷,且首创前置过滤下推架构,消除无效向量计算与候选集击穿问题,混合查询结果准确率完全对齐业务预期,避免出现结果不足或为空的情况,保障检索结果精准可控。

24、本发明可大幅缩减向量计算规模,显著降低查询时延,减少算力空耗,有效提升高并发混合查询的吞吐能力,以及充分复用成熟关系型数据库索引能力,实现结构化精准筛选与智能语义检索的内核级算子融合。

25、而且本发明采用自适应双执行策略,可自动适配各类业务检索场景,无需人工调参、无需sql改造,兼容性强、运维成本低,同时支持权限、密级等条件下推过滤,适配涉密合规检索要求,通过内核级算子融合保障混合负载下数据库运行平稳。

26、上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,并可依照说明书的内容予以实施,以下以本发明的较佳实施例并配合附图详细说明如后。

1.一种多模态数据混合查询优化方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的多模态数据混合查询优化方法,其特征在于,步骤s3中的结构化索引预裁剪支持b+树索引、位图索引、分区裁剪、时间索引中的一种或多种联合执行,通过索引筛选生成唯一的有效行id位图集合,并以位图集合约束后续ann向量检索的数据范围。

3.根据权利要求1所述的多模态数据混合查询优化方法,其特征在于,步骤s4中支持下推的结构化过滤条件包括租户隔离条件、密级权限条件、状态筛选条件、时间窗口条件以及多字段组合的复杂结构化条件,可在索引遍历阶段直接裁汰不满足权限与合规要求的数据,适配涉密政务类检索场景。

4.根据权利要求1所述的多模态数据混合查询优化方法,其特征在于,确定执行策略后,对结构化过滤算子、向量距离计算算子与排序算子进行内核级融合,构建一体化混合查询执行流水线,消除中间结果落地与冗余内存拷贝,实现结构化过滤、向量计算、排序分页的一体化并行执行。

5.根据权利要求1所述的多模态数据混合查询优化方法,其特征在于,步骤s2中的混合代价模型以条件选择性、数据基数、向量维度、分区分布、索引命中率作为评估维度,基于多维统计结果判定执行策略的优先级。

6.一种多模态数据混合查询优化器,其特征在于,包括混合算子拆解模块、混合代价评估模块、结构化预裁剪模块、ann过滤下推重写模块以及自适应执行调度模块;

7.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机可执行程序,所述程序被处理器执行时,实现权利要求1至5中任一项所述的多模态数据混合查询优化方法。

8.一种湖仓一体ai分布式数据库系统,其特征在于,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至5中任一项所述的多模态数据混合查询优化方法。