基于行列混合存储与向量化执行的数据查询加速方法与流程

摘要: 本发明涉及数据库查询处理,具体涉及一种基于行列混合存储与向量化执行的数据查询加速方法。背景技术:1、在行列混合存储数据库系统中,活跃数据分区采用行存储格式,历史...
基于行列混合存储与向量化执行的数据查询加速方法与流程

本发明涉及数据库查询处理,具体涉及一种基于行列混合存储与向量化执行的数据查询加速方法。

背景技术:

1、在行列混合存储数据库系统中,活跃数据分区采用行存储格式,历史归档数据分区采用列存储格式,查询优化器需同时访问两类存储格式的分区数据以完成混合查询。现有技术通常采用静态谓词下推策略处理跨分区查询请求,并以固定向量化批次大小统一驱动执行引擎。然而,静态谓词下推策略未考虑跨分区数据密度差异对谓词选择率的实际影响,同一范围谓词在行存储分区与列存储分区中的命中数据量存在显著差异,导致存储层过滤后仍有大量数据被加载至内存;行存储分区因持续写入导致主键索引存在碎片化现象,在高碎片率条件下强制使用索引下推反而引入额外的随机i/o开销;固定的向量化批次大小无法适应行列两类分区的数据密度差异,导致跨格式混合查询的执行效率不稳定。

技术实现思路

1、本发明提供基于行列混合存储与向量化执行的数据查询加速方法,解决相关技术中跨行列混合存储分区的查询缺乏统一谓词下推策略、向量化批次参数无法适配不同分区数据密度、局部聚合结果合并效率低的技术问题。

2、本发明公开了一种基于行列混合存储与向量化执行的数据查询加速方法,包括以下步骤:

3、获取跨行列混合存储分区的数据查询请求,解析查询中的范围谓词、等值谓词和聚合函数,提取谓词边界值、目标列标识以及涉及的分区范围信息,生成混合查询谓词描述信息;

4、读取目标数据表各分区的存储状态元数据,所述存储状态元数据包括列存储分区的各列最小值、最大值、空值率和数据压缩比率,以及行存储分区的数据条目密度值和主键索引碎片率;

5、将混合查询谓词描述信息与各分区存储状态元数据进行关联计算,估算各分区的有效选择率和索引访问代价值;

6、基于有效选择率和索引访问代价值生成分区自适应谓词下推策略:对列存储分区,将范围谓词下推至存储层,利用各列最小值和最大值裁剪不相关的数据块;

7、对行存储分区,将主键索引碎片率与预设碎片率阈值进行比较,当主键索引碎片率低于预设碎片率阈值时,将范围谓词转换为主键范围扫描谓词下推至索引层;

8、当主键索引碎片率高于预设碎片率阈值时,生成块级位图过滤器并标记为内存层顺序扫描谓词;

9、根据各分区的数据条目密度值动态计算差异化向量化批次配置参数;

10、按照分区自适应谓词下推策略执行存储层数据加载,将有效数据按差异化向量化批次配置参数加载至列式内存缓冲区;

11、对各向量化批次执行内存层谓词过滤和局部聚合计算,将各分区局部聚合中间结果按分组键对齐合并,输出最终查询结果。

12、进一步地,所述有效选择率的估算方式为:对列存储分区,利用各列最小值和最大值确定范围谓词与各数据块的覆盖比例,以覆盖比例作为该分区的有效选择率估计值;对行存储分区,基于数据条目密度值与谓词边界值所覆盖的键值范围,计算预估命中条目数与分区总条目数的比值,作为有效选择率估计值;所述索引访问代价值基于主键索引碎片率与预估命中条目数的乘积进行估算。

13、进一步地,所述块级位图过滤器的生成方式为:遍历行存储分区的数据块索引,对每个数据块记录目标列的最小值与最大值,将与范围谓词边界值不相交的数据块对应的位图位标记为零,与范围谓词边界值相交的数据块对应的位图位标记为一;数据加载阶段仅读取位图位为一的数据块,跳过位图位为零的数据块。

14、进一步地,所述差异化向量化批次配置参数的计算方式为:

15、;

16、其中,为分区的向量化批次大小参数,为分配给该分区的内存缓冲区容量上限,为分区的数据条目密度值,为单条数据记录的平均字节宽度;对高密度行存储分区分配较小的以控制单批次内存缓冲区占用量,对低密度列存储分区分配较大的以提高simd指令在连续内存访问中的利用率。

17、进一步地,行存储分区的有效数据行转换为列式内存布局的方式为:对每个有效数据行,按目标列标识提取对应列的字段值,将同一列的所有字段值连续写入对应列的内存缓冲区,形成列向量;所述转换在数据从磁盘加载至内存的过程中逐批完成。

18、进一步地,所述局部聚合计算采用simd向量化指令对列向量中的连续数据元素并行处理;各分区局部聚合中间结果的合并阶段,依据分组键的哈希值将来自不同分区的中间结果映射至同一聚合槽位,执行增量累加,输出各分组键对应的全局聚合值。

19、本发明公开了一种基于行列混合存储与向量化执行的数据查询加速系统,包括:

20、谓词解析模块,用于获取跨行列混合存储分区的数据查询请求,解析范围谓词、等值谓词和聚合函数,生成混合查询谓词描述信息;

21、元数据关联模块,用于读取目标数据表各分区的存储状态元数据,将混合查询谓词描述信息与各分区存储状态元数据进行关联计算,估算各分区的有效选择率和索引访问代价值;

22、策略生成模块,用于基于有效选择率和索引访问代价值生成分区自适应谓词下推策略,对列存储分区执行列统计元数据裁剪,对行存储分区依据主键索引碎片率与预设碎片率阈值的比较结果切换索引扫描或位图预筛选路径;

23、批次配置模块,用于根据各分区的数据条目密度值动态计算差异化向量化批次配置参数;

24、数据加载模块,用于按照分区自适应谓词下推策略执行存储层数据加载,将有效数据加载至列式内存缓冲区并形成差异化大小的向量化批次;

25、聚合计算模块,用于对各向量化批次执行内存层谓词过滤和局部聚合计算,并将各分区局部聚合中间结果按分组键对齐合并,输出最终查询结果。

26、进一步地,所述策略生成模块还用于:当行存储分区的主键索引碎片率高于预设碎片率阈值时,遍历行存储分区的数据块索引,对每个数据块记录目标列的最小值与最大值,生成块级位图过滤器,并将范围谓词标记为内存层顺序扫描谓词。

27、进一步地,所述批次配置模块依据公式计算各分区的向量化批次大小参数,其中为分配给分区的内存缓冲区容量上限,为分区的数据条目密度值,为单条数据记录的平均字节宽度。

28、进一步地,所述聚合计算模块采用simd向量化指令对列向量中的连续数据元素并行处理,并依据分组键的哈希值将来自不同分区的局部聚合中间结果映射至同一聚合槽位执行增量累加。

29、本发明的有益效果在于:

30、本发明通过估算各分区有效选择率和索引访问代价值并生成分区自适应谓词下推策略,解决了静态谓词下推策略在跨分区数据密度差异条件下过滤效果不稳定的技术问题,取得了减少存储层无效数据加载量、降低碎片化索引引发的随机i/o开销的技术效果;通过基于各分区数据条目密度值动态计算差异化向量化批次配置参数,解决了固定批次大小导致行列混合查询中向量化执行资源分配失衡的技术问题,取得了使向量化执行引擎在处理混合格式数据时保持稳定执行效率的技术效果。

1.一种基于行列混合存储与向量化执行的数据查询加速方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于行列混合存储与向量化执行的数据查询加速方法,其中,所述有效选择率的估算方式为:对列存储分区,利用各列最小值和最大值确定范围谓词与各数据块的覆盖比例,以覆盖比例作为该分区的有效选择率估计值;对行存储分区,基于数据条目密度值与谓词边界值所覆盖的键值范围,计算预估命中条目数与分区总条目数的比值,作为有效选择率估计值;所述索引访问代价值基于主键索引碎片率与预估命中条目数的乘积进行估算。

3.根据权利要求1所述的基于行列混合存储与向量化执行的数据查询加速方法,其中,所述块级位图过滤器的生成方式为:遍历行存储分区的数据块索引,对每个数据块记录目标列的最小值与最大值,将与范围谓词边界值不相交的数据块对应的位图位标记为零,与范围谓词边界值相交的数据块对应的位图位标记为一;数据加载阶段仅读取位图位为一的数据块,跳过位图位为零的数据块。

4.根据权利要求1所述的基于行列混合存储与向量化执行的数据查询加速方法,其中,所述差异化向量化批次配置参数的计算方式为:

5.根据权利要求1所述的基于行列混合存储与向量化执行的数据查询加速方法,其中,行存储分区的有效数据行转换为列式内存布局的方式为:对每个有效数据行,按目标列标识提取对应列的字段值,将同一列的所有字段值连续写入对应列的内存缓冲区,形成列向量;所述转换在数据从磁盘加载至内存的过程中逐批完成。

6.根据权利要求1所述的基于行列混合存储与向量化执行的数据查询加速方法,其中,所述局部聚合计算采用simd向量化指令对列向量中的连续数据元素并行处理;各分区局部聚合中间结果的合并阶段,依据分组键的哈希值将来自不同分区的中间结果映射至同一聚合槽位,执行增量累加,输出各分组键对应的全局聚合值。

7.一种基于行列混合存储与向量化执行的数据查询加速系统,其特征在于,包括:

8.根据权利要求7所述的基于行列混合存储与向量化执行的数据查询加速系统,其中,所述策略生成模块还用于:当行存储分区的主键索引碎片率高于预设碎片率阈值时,遍历行存储分区的数据块索引,对每个数据块记录目标列的最小值与最大值,生成块级位图过滤器,并将范围谓词标记为内存层顺序扫描谓词。

9.根据权利要求7所述的基于行列混合存储与向量化执行的数据查询加速系统,其中,所述批次配置模块依据公式计算各分区的向量化批次大小参数,其中为分配给分区的内存缓冲区容量上限,为分区的数据条目密度值,为单条数据记录的平均字节宽度。

10.根据权利要求7所述的基于行列混合存储与向量化执行的数据查询加速系统,其中,所述聚合计算模块采用simd向量化指令对列向量中的连续数据元素并行处理,并依据分组键的哈希值将来自不同分区的局部聚合中间结果映射至同一聚合槽位执行增量累加。