一种基于Iceberg的分桶感知查询处理方法、系统、设备及介质与流程
本技术涉及分布式数据库查询优化,尤其是涉及一种基于iceberg的分桶感知查询处理方法、系统、设备及介质。
背景技术:
1、目前,在iceberg的大规模数据分析场景中,分布式执行引擎在处理join、聚合或集合运算时,通常会引入大量的数据洗牌(shuffle)操作,这会造成显著的网络带宽消耗和计算开销。
2、现有的执行引擎虽然能够支持基于bucket的数据分布,但在面对iceberg表的复杂分桶定义如多分桶列组合以及分区演进场景时,往往无法在优化器阶段有效识别底层的数据分布特性。当查询包含多层子查询嵌套或复杂的谓词过滤时,原本的分桶分布信息容易在算子推导过程中丢失,导致执行引擎无法生成无需shuffle的本地化执行计划,因此存在改善空间。
技术实现思路
1、为了减少分布式查询过程中的数据洗牌开销并提升iceberg的分析处理能力,本技术提供一种基于iceberg的分桶感知查询处理方法、系统、设备及介质。
2、本技术的上述发明目的一是通过以下技术方案得以实现的:
3、一种基于iceberg的分桶感知查询处理方法,所述分桶感知查询处理方法包括:
4、获取iceberg表的元数据,识别所述元数据中定义的分桶分区规则,并基于所述分桶分区规则为查询计划中的扫描算子构建分桶属性,以得到携带所述分桶属性的查询计划树;
5、在对所述查询计划树进行遍历推导的过程中,将所述分桶属性
6、从所述扫描算子出发沿所述查询计划树的分支路径向上层算子传递,并根据各层算子的语义判定所述分桶属性在所述上层算子的保留状态,以得到所述查询计划树中目标算子的有效分桶属性;
7、获取所述目标算子的连接键,根据所述连接键与所述有效分桶属性的匹配状态,确定针对所述目标算子的分布决策策略,并基于所述分布决策策略对所述目标算子进行改写;
8、根据所述元数据中的数据文件分区信息,将待扫描的数据文件按照分桶组合值进行分组,以生成带有稳定分桶标识的各个扫描单元;
9、通过利用稳定映射算法,根据所述稳定分桶标识,将各所述扫描单元及对应的改写后算子实例投递至匹配的目标执行节点,以使同一分桶的数据在所述目标执行节点上实现本地化计算。
10、通过采用上述技术方案,通过获取iceberg元数据并识别分桶分区规则以构建扫描算子的分桶属性,能够建立逻辑查询计划与底层存储分布之间的语义关联,从而使优化器从查询源头即可感知数据的物理布局,通过在查询计划树中进行分桶属性传递并根据算子语义判定保留状态,能够实现分布特征在算子链路上的动态审计,从而确保在复杂嵌套查询中依然能维护分布信息的真实性,避免了优化机会的丢失,通过根据连接键与属性匹配状态确定分布决策策略并进行计划改写,能够对物理执行拓扑进行按需重构,从而通过消除或缩减重分布算子来显著降低洗牌开销,通过对数据文件按分桶组合值分组生成稳定分桶标识并利用稳定映射算法进行投递,能够实现计算任务向数据存储位置的精准靠拢,从而在保障任务并行度的前提下实现本地化计算,有利于提高了分布式系统的计算局部性与数据缓存利用率。
11、本技术在一较佳示例中可以进一步配置为:所述基于所述分桶分区规则为查询计划中的扫描算子构建分桶属性,具体包括:
12、解析所述元数据以获取当前快照对应的分区规范信息,从所述分区规范信息中识别变换类型为桶变换的分区字段,并提取所述分区字段对应的分桶列信息、桶数以及桶变换函数;
13、遍历所述iceberg表的清单文件,以获取所述清单文件记录的各数据文件的分区信息列表,并从所述分区信息列表对应的分区结构体中,分别提取各分桶字段对应的具体分桶值,以得到每一所述数据文件对应的分桶组合值;
14、将所述分桶组合值、所述分桶列信息、所述桶数以及所述桶变换函数,封装生成所述扫描算子的分桶属性;
15、将所述分桶属性关联至所述查询计划树中的扫描算子节点,以得到携带所述分桶属性的查询计划树。
16、通过采用上述技术方案,通过解析元数据分区规范并遍历清单文件以提取各数据文件的具体分桶值和分桶组合值,能够捕捉数据文件在物理存储层面的高精度分布坐标,从而为实现多列组合分桶场景下的精细化局部性对齐提供了完备的元数据支撑。
17、本技术在一较佳示例中可以进一步配置为:所述根据各层算子的语义判定所述分桶属性在所述上层算子的保留状态,以得到所述查询计划树中目标算子的有效分桶属性,具体包括:
18、当所述分桶属性沿所述查询计划树向上传递至中间算子时,识别所述中间算子针对所述分桶列信息的操作类型;
19、若所述操作类型为分布保持操作,则判定所述分桶属性在所述中间算子的上层算子中处于保留状态,并将所述分桶属性透传至后续算子,其中,所述分布保持操作包括过滤操作、投影操作以及重命名操作中的至少一种;
20、若所述操作类型为分布破坏操作,则判定所述分桶属性在所述上层算子中处于失效状态,并清除当前分支路径下的分桶属性;其中,所述分布破坏操作包括对所述分桶列信息进行函数计算操作或类型转换操作;
21、通过对所述查询计划树中从所述扫描算子到所述目标算子之间的各层算子重复执行上述判定步骤,将传递至所述目标算子的分桶属性,确定为所述目标算子的有效分桶属性。
22、通过采用上述技术方案,通过识别算子操作类型并执行分布保持或分布破坏的分类判定,能够基于算子的计算实质动态评估物理分布规律的存续状态,从而确保传递至目标重分布算子的分桶属性具备极高的可靠性,避免了因数据语义变换导致的错误执行改写。
23、本技术在一较佳示例中可以进一步配置为:所述根据所述连接键与所述有效分桶属性的匹配状态,确定针对所述目标算子的分布决策策略,具体包括:
24、将所述连接键与各所述分支路径上传递得到的有效分桶属性进行一致性校验;
25、在所有分支路径均具备有效分桶属性的情况下,若各所述有效分桶属性对应的桶数和桶变换函数均一致,且所述目标算子的连接键与各所述分支路径中对应的分桶列信息完全匹配,则确定所述分布决策策略为全分桶感知分布;
26、在存在部分分支路径具备所述有效分桶属性和/或各所述分支路径之间的桶数不一致的情况下,若所述目标算子的连接键中包含与各所述分支路径对应的分桶列信息,则确定针对所述目标算子的分布决策策略为部分分桶感知分布;
27、在所有分支路径均不具备有效分桶属性和/或所述目标算子的连接键中未包含与各所述分支路径对应的分桶列信息的情况下,则确定针对所述目标算子的分布决策策略为非分桶感知分布。
28、通过采用上述技术方案,通过执行一致性校验并根据匹配程度确定全感知、部分感知或非感知的分布决策策略,能够为不同对齐程度的查询请求提供差异化的优化路径,从而确保执行引擎能根据实际环境最大化地压榨系统处理效能。
29、本技术在一较佳示例中可以进一步配置为:所述基于所述分布决策策略对所述目标算子进行改写,具体包括:
30、若所述分布决策策略为全分桶感知分布,则移除各所述分支路径中原有的哈希交换算子,并将所述目标算子改写为本地化分桶连接算子;
31、若所述分布决策策略为部分分桶感知分布,则保留具备有效分桶属性的所述部分分支路径的本地扫描执行方式,并在未具备有效分桶属性的剩余分支路径中插入定向交换算子,以使所述未具备有效分桶属性的分支路径的数据流按照具备有效分桶属性的分支路径对应的桶规则进行路由分发;
32、若所述分布决策策略为非分桶感知分布,则为各所述分支路径分别插入哈希交换算子,以通过数据重分布完成所述目标算子的计算。
33、通过采用上述技术方案,通过在不同决策策略下执行移除原有哈希交换算子或插入定向交换算子的物理改写,能够灵活调整各分支路径的数据流向,从而在理想条件下实现零网络洗牌,在次优条件下通过单侧定向发送显著优化网络拥塞。
34、本技术在一较佳示例中可以进一步配置为:所述根据所述元数据中的数据文件分区信息,将待扫描的数据文件按照分桶组合值进行分组,以生成带有稳定分桶标识的各个扫描单元,具体包括:
35、获取各所述数据文件的分桶组合值,并根据所述分桶组合值将具备相同分桶组合值的数据文件归类为对应的分桶数据组;
36、根据所述分桶分区规则的分区规范标识以及每一所述分桶数据组对应的分桶组合值进行组合哈希计算,以生成对应的稳定分桶标识;
37、对每一所述分桶数据组中的数据文件进行任务切分处理,以生成多个所述扫描单元,并将所述稳定分桶标识关联至所述扫描单元的执行元信息中。
38、通过采用上述技术方案,通过引入分区规范标识并结合分桶组合值生成稳定分桶标识,能够有效应对存储侧的分区演进及规则变更,从而确保不同版本规范下的分桶数据具有唯一且不冲突的身份特征,保障了历史数据分析时调度的准确性。
39、本技术在一较佳示例中可以进一步配置为:所述通过利用稳定映射算法,根据所述稳定分桶标识,将各所述扫描单元及对应的改写后算子实例投递至匹配的目标执行节点,具体包括:
40、获取当前存活的执行节点集合,并利用所述稳定映射算法分别计算每一所述稳定分桶标识与所述执行节点集合中各执行节点之间的权重得分;
41、根据所述权重得分计算结果,从所述各执行节点中确定与所述稳定分桶标识相匹配的目标执行节点;
42、将携带相同稳定分桶标识的各所述扫描单元及对应的算子实例投递至所述目标执行节点。
43、通过采用上述技术方案,通过利用会合哈希算法计算分配权重得分并确定目标执行节点,能够实现分桶任务与计算实例之间的强确定性映射,从而在集群节点发生变动时最小化任务迁移量,在保障负载均衡的同时极大收敛了数据访问的物理边界,提升了热点数据的缓存命中率。
44、本技术的上述发明目的二是通过以下技术方案得以实现的:
45、一种基于iceberg的分桶感知查询处理系统,所述分桶感知查询处理系统包括:
46、分桶属性构建模块,用于获取iceberg表的元数据,识别所述元数据中定义的分桶分区规则,并基于所述分桶分区规则为查询计划中的扫描算子构建分桶属性,以得到携带所述分桶属性的查询计划树;
47、分桶属性推导模块,用于在对所述查询计划树进行遍历推导的过程中,将所述分桶属性从所述扫描算子出发沿所述查询计划树的分支路径向上层算子传递,并根据各层算子的语义判定所述分桶属性在所述上层算子的保留状态,以得到所述查询计划树中目标算子的有效分桶属性;
48、决策策略改写模块,用于获取所述目标算子的连接键,根据所述连接键与所述有效分桶属性的匹配状态,确定针对所述目标算子的分布决策策略,并基于所述分布决策策略对所述目标算子进行改写;
49、扫描单元分组模块,用于根据所述元数据中的数据文件分区信息,将待扫描的数据文件按照分桶组合值进行分组,以生成带有稳定分桶标识的各个扫描单元;
50、稳定映射调度模块,用于通过利用稳定映射算法,根据所述稳定分桶标识,将各所述扫描单元及对应的改写后算子实例投递至匹配的目标执行节点,以使同一分桶的数据在所述目标执行节点上实现本地化计算。
51、通过采用上述技术方案,通过获取iceberg元数据并识别分桶分区规则以构建扫描算子的分桶属性,能够建立逻辑查询计划与底层存储分布之间的语义关联,从而使优化器从查询源头即可感知数据的物理布局,通过在查询计划树中进行分桶属性传递并根据算子语义判定保留状态,能够实现分布特征在算子链路上的动态审计,从而确保在复杂嵌套查询中依然能维护分布信息的真实性,避免了优化机会的丢失,通过根据连接键与属性匹配状态确定分布决策策略并进行计划改写,能够对物理执行拓扑进行按需重构,从而通过消除或缩减重分布算子来显著降低洗牌开销,通过对数据文件按分桶组合值分组生成稳定分桶标识并利用稳定映射算法进行投递,能够实现计算任务向数据存储位置的精准靠拢,从而在保障任务并行度的前提下实现本地化计算,有利于提高了分布式系统的计算局部性与数据缓存利用率。
52、本技术的上述目的三是通过以下技术方案得以实现的:
53、一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于iceberg的分桶感知查询处理方法的步骤。
54、本技术的上述目的四是通过以下技术方案得以实现的:
55、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述一种基于iceberg的分桶感知查询处理方法的步骤。
56、综上所述,本技术包括以下至少一种有益技术效果:
57、1、通过获取iceberg元数据并识别分桶分区规则以构建扫描算子的分桶属性,能够建立逻辑查询计划与底层存储分布之间的语义关联,从而使优化器从查询源头即可感知数据的物理布局,通过在查询计划树中进行分桶属性传递并根据算子语义判定保留状态,能够实现分布特征在算子链路上的动态审计,从而确保在复杂嵌套查询中依然能维护分布信息的真实性,避免了优化机会的丢失,通过根据连接键与属性匹配状态确定分布决策策略并进行计划改写,能够对物理执行拓扑进行按需重构,从而通过消除或缩减重分布算子来显著降低洗牌开销,通过对数据文件按分桶组合值分组生成稳定分桶标识并利用稳定映射算法进行投递,能够实现计算任务向数据存储位置的精准靠拢,从而在保障任务并行度的前提下实现本地化计算,有利于提高了分布式系统的计算局部性与数据缓存利用率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com