表关联算法选择方法、装置、设备及存储介质与流程
本申请涉及数据库,尤其涉及一种表关联算法选择方法、装置、设备及存储介质。
背景技术:
1、在关系型数据库中,sql查询优化器负责将sql语句转换为高效的执行计划。对于多表关联操作(join操作),优化器通常需要在三种表关联算法中选择,该三种表关联算法如:hash join(哈希关联)算法、merge join(归并关联)算法和nested loop join(嵌套循环关联)算法。
2、目前,传统的优化器(cbo)主要依靠表的统计信息(如行数、列宽、数据分布直方图)来计算每种表关联算法的执行代价(cost),并选择代价最低的表关联算法。
3、但是,第一,传统优化器在做表关联算法选择时,通常只关注参与关联的两张表的统计信息,忽略了join操作的上游算子(如数据过滤、数据分组)对数据量的剧烈影响;例如,一个100万行的表经过where条件过滤后可能只剩100行,如果优化器不知该信息,可能会错误地选择不适合小数据量的表关联算法。第二,在分布式环境下,表数据分布在不同的节点上,跨节点数据传输(网络开销)对表关联算法的选择也会影响,但传统方法未考虑跨节点数据传输所带来的影响,导致估算代价与实际运行时间偏差巨大。综上可见,传统的表关联算法选择方法的表关联算法选择准确率不佳。
技术实现思路
1、为了便于提升表关联算法选择准确率,本申请提供一种表关联算法选择方法、装置、设备及存储介质。
2、第一方面,本申请提供一种表关联算法选择方法,包括:
3、基于获取的表关联sql语句生成执行计划树,并确定所述表关联sql语句对应的join操作表集;
4、计算所述执行计划树中目标join节点对应的非join父节点数据瘦身特征,确定所述join操作表集中各join操作表分别对应的网络传输开销特征;
5、基于所述非join父节点数据瘦身特征与各所述网络传输开销特征得到融合向量,基于预设的算法概率推理模型处理所述融合向量得到表关联算法概率分布;
6、确定所述表关联算法概率分布中最大概率对应的表关联算法,得到期望表关联算法。
7、第二方面,本申请提供一种表关联算法选择装置,包括:
8、数据准备模块,用于基于获取的表关联sql语句生成执行计划树,并确定所述表关联sql语句对应的join操作表集;
9、特征计算模块,用于计算所述执行计划树中目标join节点对应的非join父节点数据瘦身特征,确定所述join操作表集中各join操作表分别对应的网络传输开销特征;
10、分布计算模块,用于基于所述非join父节点数据瘦身特征与各所述网络传输开销特征得到融合向量,基于预设的算法概率推理模型处理所述融合向量得到表关联算法概率分布;
11、算法选择模块,用于确定所述表关联算法概率分布中最大概率对应的表关联算法,得到期望表关联算法。
12、第三方面,本申请提供了一种电子设备,电子设备包括存储器和处理器,所述存储器存储有计算机程序,处理器执行该计算机程序时实现上述的方法中的步骤。
13、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的方法中的步骤。
14、第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述任一方法实施例中的步骤。
15、上述表关联算法选择方法、装置、设备及存储介质,通过基于获取的表关联sql语句生成执行计划树,并确定所述表关联sql语句对应的join操作表集;计算所述执行计划树中目标join节点对应的非join父节点数据瘦身特征,确定所述join操作表集中各join操作表分别对应的网络传输开销特征;基于所述非join父节点数据瘦身特征与各所述网络传输开销特征得到融合向量,基于预设的算法概率推理模型处理所述融合向量得到表关联算法概率分布;确定所述表关联算法概率分布中最大概率对应的表关联算法,得到期望表关联算法。通过上述实施,计算出的上游算子缩小比例可表征原始表数据经上游算子处理后数据量的缩小程度,缩小程度越高说明对表关联算法的数据量处理能力要求越低;上述计算出的网络传输开销特征用于表征当表关联sql语句涉及的表关联操作涉及表数据在不同的数据节点传输时所带来的网络开销程度,网络开销程度越高说明对表关联算法的网络开销应对能力要求越高;使用算法概率推理模型处理融合上游算子缩小比例可表征与网络传输开销特征的融合特征,可使该算法概率推理模型从多种表关联算法中推理出最适合处理表关联sql语句对应的表关联操作的期望表关联算法,也即表关联算法概率分布中最大概率对应的表关联算法;算法概率推理模型计算出的表关联算法在表关联算法概率分布中概率越大,则说明该表关联算法的数据量处理能力越适配原始表数据经上游算子处理后数据量,网络开销应对能力越适配表关联操作涉及表数据在不同的数据节点传输时所带来的网络开销;如此,通过算法概率推理模型所确定出的期望表关联算法也即最适合表关联操作当前实际情况的表关联算法,从而使得本申请方法便于提升表关联算法选择准确率。
16、应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
1.一种表关联算法选择方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述计算所述执行计划树中目标join节点对应的非join父节点数据瘦身特征,包括:
3.根据权利要求1所述的方法,其特征在于,所述确定所述join操作表集中各join操作表分别对应的网络传输开销特征,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于所述非join父节点数据瘦身特征与各所述网络传输开销特征得到融合向量,包括:
5.根据权利要求1所述的方法,其特征在于,还包括:
6.根据权利要求5所述的方法,其特征在于,还包括:
7.一种表关联算法选择装置,其特征在于,所述装置包括:
8.一种电子设备,其特征在于,所述电子设备包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的表关联算法选择方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-6中任一项所述的方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com