一种基于分位数边界的数据库查询优化方法、装置和系统
本技术属于数据库查询,更具体地,涉及一种基于分位数边界的数据库查询优化方法、装置和系统。
背景技术:
1、在关系型数据库查询优化领域,基于机器学习的优化器增强技术(learnedoptimizer enhancer)已被广泛应用,这类技术通过模型评估多个候选执行计划并选出最优解,以弥补传统基于启发式规则和简单代价模型的不足。然而,针对此类技术的自动化测试与实际应用仍存在以下痛点。
2、当前这类机器学习增强的查询优化技术,在自动化测试与实际落地过程中,核心技术痛点集中体现为数据库查询优化方法的准确性与鲁棒性较差。传统的代价估计模型多为点预测架构,仅输出单一的预估代价取值,完全缺失对预测结果不确定性的量化表征。当面对多表关联层数较多的复杂查询,或是数据分布与训练集差异较大的分布外数据场景时,模型预测值与查询真实执行表现可能发生严重偏离,这种系统性偏差会直接传导至后续的计划择优环节,最终导致模型推荐的执行计划实跑耗时显著劣于数据库原生优化器的基准方案。同时,现有的配套限制策略缺乏可靠的安全兜底机制,防劣化闸门仅基于点预测值的相对改进比例进行决策,当模型因预测失真“强烈看好”某劣质计划时,极易穿透预设的阈值防线,无法从根本上保证“不劣于原生优化器”的安全底线。
3、因此,针对该技术领域的核心改进需求,行业亟须进一步研究数据库查询优化方法,在充分保留机器学习优化器技术潜力的基础上,从代价估计的底层逻辑层面跳出传统点预测架构的局限,新增预测不确定性的量化表征环节,从根源上解决当前技术体系存在的准确性与鲁棒性较差的问题。
技术实现思路
1、针对现有技术的以上缺陷或改进需求,本技术提供了一种基于分位数边界的数据库查询优化方法、装置和系统,用于解决现有数据库查询优化方法的准确性与鲁棒性较差的技术问题。
2、为实现上述目的,按照本技术的一个方面,提供了一种基于分位数边界的数据库查询优化方法,包括:
3、s1:生成输入的查询结构文本对应的候选执行计划集合,所述候选执行计划集合包含原生执行计划以及至少一个经过连接顺序干预的探索执行计划;
4、s2:提取所述候选执行计划集合的结构化拓扑特征,并将所述结构化拓扑特征批量输入至不确定性量化预估模型中进行特征映射得到所述候选执行计划集合中各个执行计划对应的预测代价置信区间,所述预测代价置信区间至少包括表征最好预期的下分位数与表征最差预期的上分位数;
5、s3:基于所述原生执行计划的预测代价置信区间与各个所述探索执行计划的预测代价置信区间之间的重叠区间,对所述候选执行计划集合中各个所述探索执行计划执行防劣化边界判定;
6、s4:当且仅当存在至少一个所述探索执行计划通过所述防劣化边界判定时,将对应的所述探索执行计划的提示信息作为最终推荐方案;否则,强制回退并将所述原生执行计划的提示信息作为最终推荐方案。
7、进一步地,所述s3包括:s31:若当前的所述探索执行计划的上分位数小于所述原生执行计划的下分位数,则判定当前的所述探索执行计划通过防劣化边界判定。
8、进一步地,所述s3中s31之前还包括:对所述候选执行计划集合中各个所述探索执行计划按照点预估代价进行排序,基于排序结果进行依次对各所述探索执行计划执行s31;所述点预估代价为其对应的预测代价置信区间中下分位数与上分位数的均值。
9、进一步地,所述s3还包括:s32:若当前的所述探索执行计划的上分位数超过所述原生执行计划的下分位数,则计算当前的所述探索执行计划与所述原生执行计划在置信区间均值处的改进比例得分;若当前的所述探索执行计划对应的改进比例得分高于预设的防劣化安全阈值,则视为当前的所述探索执行计划通过防劣化边界判定。
10、进一步地,所述计算当前的所述探索执行计划与所述原生执行计划在置信区间均值处的改进比例得分,包括:
11、利用公式score=(cpg-cath)/cpg计算当前的所述探索执行计划对应的改进比例得分score;其中,cpg为所述原生执行计划的预测代价置信区间的均值,cath为当前的所述探索执行计划的预测代价置信区间的均值
12、进一步地,所述不确定性量化预估模型的输出层:先获取执行计划对应的预测代价置信区间的低分位数和预测代价置信区间的宽度;随后采用softplus激活函数确保输出结果大于零;再利用公式计算所述候选执行计划集合中各个执行计划对应的预测代价置信区间的两个分位数边界对。
13、进一步地,所述不确定性量化预估模型以复用树形神经网络作为骨干网络,将传统点预测的单输出层重构为二维输出层。
14、按照本技术的另一方面,提供了一种基于分位数边界的数据库查询优化装置,包括:
15、候选计划枚举模块,用于生成输入的查询结构文本对应的候选执行计划集合,所述候选执行计划集合包含原生执行计划以及至少一个经过连接顺序干预的探索执行计划;
16、不确定性量化预估模块,用于提取所述候选执行计划集合的结构化拓扑特征,并将所述结构化拓扑特征批量输入至不确定性量化预估模型中进行特征映射得到所述候选执行计划集合中各个执行计划对应的预测代价置信区间,所述预测代价置信区间至少包括表征最好预期的下分位数与表征最差预期的上分位数;
17、防劣化决策闸门模块,用于基于所述原生执行计划的预测代价置信区间与各个所述探索执行计划的预测代价置信区间之间的重叠区间,对所述候选执行计划集合中各个所述探索执行计划执行防劣化边界判定;
18、建议编排核心,用于当且仅当存在至少一个所述探索执行计划通过所述防劣化边界判定时,将对应的所述探索执行计划的提示信息作为最终推荐方案;否则,强制回退并将所述原生执行计划的提示信息作为最终推荐方案。
19、按照本技术的另一方面,提供了一种基于分位数边界的数据库查询优化系统,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述的基于分位数边界的数据库查询优化方法的步骤。
20、按照本技术的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述的基于分位数边界的数据库查询优化方法的步骤。
21、总体而言,通过本技术所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
22、(1)本发明提供一种基于分位数边界的数据库查询优化方法,其将所述候选执行计划集合的结构化拓扑特征输入至不确定性量化预估模型中进行特征映射得到所述候选执行计划集合中各个执行计划对应的预测代价置信区间;如此设计,通过引入不确定性量化机制,结合严格的区间边界判定逻辑,从而为构建防劣化的查询优化决策方案奠定基础。基于所述预测代价置信区间对各个所述探索执行计划执行防劣化边界判定,当且仅当存在至少一个探索执行计划通过防劣化边界判定时,将对应的探索执行计划的提示信息作为最终推荐方案。如此设计,本发明从根本上隔绝了置信区间重叠导致的模型误判风险 ,确保任何场景下的查询耗时均不劣于原生优化器。
23、(2)本方案若当前的所述探索执行计划的上分位数小于所述原生执行计划的下分位数,则判定当前的所述探索执行计划通过防劣化边界判定;如此设计,考虑到在预测代价存在不确定性的情况下,仅比较点预估值容易误选存在劣化风险的执行计划,好处在于,只有当探索执行计划在保守估计下仍优于原生执行计划时才允许通过,实现了对执行计划切换风险的前置约束。
24、(3)本方案对所述候选执行计划集合中各个所述探索执行计划按照点预估代价进行排序,基于排序结果进行依次对各所述探索执行计划执行防劣化边界判定;如此设计,考虑到候选执行计划数量较多时逐一无序判定会增加筛选开销,好处在于,优先检查预估代价更低、收益可能更高的探索执行计划,实现了候选执行计划的有序筛选和判定效率提升。
25、(4)本方案若当前的所述探索执行计划的上分位数超过所述原生执行计划的下分位数,进一步地判断若当前的所述探索执行计划对应的改进比例得分高于预设的防劣化安全阈值,则视为当前的所述探索执行计划通过防劣化边界判定。如此设计,考虑到置信区间未完全分离时仍可能存在收益显著的探索执行计划,好处在于,在保持安全阈值约束的同时避免过度保守,实现了防劣化控制与执行计划探索收益之间的平衡。
26、(5)本方案利用公式score=(cpg-cath)/cpgl计算当前的所述探索执行计划对应的改进比例得分score;如此设计,考虑到不同查询或任务对应的原生执行代价量级不同,直接使用代价差值不便于统一比较,好处在于,将探索执行计划相对于原生执行计划的改进幅度归一化,实现了跨执行场景可比较的收益评价。
27、(6)本方案所述不确定性量化预估模型通过公式计算所述候选执行计划集合中各个执行计划对应的预测代价置信区间的两个分位数边界对;如此设计,考虑到直接同时预测上下边界可能出现上边界小于下边界的异常结果,好处在于,通过非负区间宽度约束保证分位数边界关系稳定,实现了预测代价置信区间的有效构造。
28、(7)本方案所述不确定性量化预估模型以复用树形神经网络作为骨干网络,将传统点预测的单输出层重构为二维输出层;如此设计,考虑到执行计划通常具有树形结构,重新设计特征提取网络会增加训练成本并破坏原有结构表达能力,好处在于,在保留树形计划结构表征能力的基础上同时输出代价下分位数和区间宽度,实现了点代价预估向不确定性量化预估的扩展。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com