模型的训练样本构建方法、装置、设备、存储介质和计算机程序产品与流程
本技术涉及人工智能,特别是涉及一种模型的训练样本构建方法、装置、设备、存储介质和计算机程序产品。
背景技术:
1、在查询优化领域,传统基于代价的优化器(cost-based optimizer, cbo)长期以来是数据库的核心组件,由于统计信息的不精准会直接导致代价估算偏差,进而选择非最优执行计划,或在面对复杂查询时,其枚举空间会指数级膨胀,既无法高效遍历所有可能计划,也难以应对灵活多变的查询模式与数据场景,这些问题长期制约着数据库的查询执行效率。
2、目前,随着大语言模型的迅速发展,能够通过离线模型微调以及提示词优化来定义优化问题,并在线通过检索增强生成技术持续学习高质量查询优化能力。然而,云数据库提供商需长期处理来自不同集群、实例及用户的慢查询问题,通过大语言模型仍然强依赖于原本数据库优化器给出的统计信息或者是优化器推荐的执行计划,使得大模型的能力受限于优化器的能力。由此大模型所输出的查询计划依旧会存在准确性低的问题。因此,如何提升推理查询的准确性是继续亟需解决的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种提升推理查询的准确性的模型的训练样本构建方法、装置、设备、存储介质和计算机程序产品。
2、第一方面,本技术提供了一种模型的训练样本构建方法。所述方法包括:
3、通过预训练所得到的初始推理模型,对查询问题样本进行节点推理得到多个叶子节点;
4、针对至少一个叶子节点进行节点扩展得到多个扩展节点,并针对多个扩展节点进行推理模拟直至得到终止节点;
5、基于终止节点回溯至与查询问题样本匹配的根节点得到推理思维链,并通过重复执行节点推理、节点扩展、推理模拟与回溯得到多条推理思维链;
6、根据查询问题样本以及多条推理思维链构建训练样本,其中,训练样本,用于对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
7、在其中一个实施例中,针对多个扩展节点进行推理模拟直至得到终止节点,包括:针对多个扩展节点进行推理模拟得到多个推理节点;在推理节点所执行的推理模拟行为为预设行为的情况下,停止推理模拟,并将多个推理节点中所执行的推理模拟行为为预设行为的推理节点选择为终止节点。
8、第二方面,本技术提供了一种推理模型的训练方法。所述方法包括:
9、获取通过第一方面所提供的模型的训练样本构建方法所构建的训练样本;
10、基于训练样本通过初始推理模型得到预测查询计划;
11、按照预测查询计划与训练样本构建第一模型损失,并通过第一模型损失对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
12、第三方面,本技术提供了一种问题推理的方法。所述方法包括:
13、获取查询问题,并基于通过第一方面所提供的模型的训练样本构建方法所得到的目标推理模型对查询问题进行节点推理得到叶子节点;
14、针对叶子节点进行节点扩展得到扩展节点,并针对扩展节点进行推理模拟直至得到终止节点;
15、基于终止节点依次回溯至与查询问题匹配的根节点,得到与查询问题对应的查询计划。
16、第四方面,本技术还提供了一种模型的训练样本构建装置。所述装置包括:
17、节点推理模块,用于通过预训练所得到的初始推理模型,对查询问题样本进行节点推理得到多个叶子节点;
18、节点扩展与模拟模块,用于针对至少一个叶子节点进行节点扩展得到多个扩展节点,并针对多个扩展节点进行推理模拟直至得到终止节点;
19、节点回溯模块,用于基于终止节点回溯至与查询问题样本匹配的根节点得到推理思维链,并通过重复执行节点推理、节点扩展、推理模拟与回溯得到多条推理思维链;
20、训练样本构建模块,用于根据查询问题样本以及多条推理思维链构建训练样本,其中,训练样本,用于对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
21、第五方面,本技术还提供了一种推理模型的训练装置。所述装置包括:
22、训练样本获取模块,用于获取通过第一方面所提供的模型的训练样本构建方法所构建的训练样本;
23、推理预测模块,用于基于训练样本通过初始推理模型得到预测查询计划;
24、模型训练模块,用于按照预测查询计划与训练样本构建第一模型损失,并通过第一模型损失对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
25、第六方面,本技术还提供了一种问题推理装置。所述装置包括:
26、节点推理模块,用于获取查询问题,并基于通过第二方面所提供的推理模型的训练方法所得到的目标推理模型对查询问题进行节点推理得到叶子节点;
27、节点扩展模块,用于针对叶子节点进行节点扩展得到扩展节点,并针对扩展节点进行推理模拟直至得到终止节点;
28、问题推理模块,用于基于终止节点依次回溯至与查询问题匹配的根节点,得到与查询问题对应的查询计划。
29、第七方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
30、通过预训练所得到的初始推理模型,对查询问题样本进行节点推理得到多个叶子节点;
31、针对至少一个叶子节点进行节点扩展得到多个扩展节点,并针对多个扩展节点进行推理模拟直至得到终止节点;
32、基于终止节点回溯至与查询问题样本匹配的根节点得到推理思维链,并通过重复执行节点推理、节点扩展、推理模拟与回溯得到多条推理思维链;
33、根据查询问题样本以及多条推理思维链构建训练样本,其中,训练样本,用于对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
34、第八方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
35、获取通过第一方面所提供的模型的训练样本构建方法所构建的训练样本;
36、基于训练样本通过初始推理模型得到预测查询计划;
37、按照预测查询计划与训练样本构建第一模型损失,并通过第一模型损失对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
38、第九方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
39、获取查询问题,并基于通过第二方面所提供的推理模型的训练方法所得到的目标推理模型对查询问题进行节点推理得到叶子节点;
40、针对叶子节点进行节点扩展得到扩展节点,并针对扩展节点进行推理模拟直至得到终止节点;
41、基于终止节点依次回溯至与查询问题匹配的根节点,得到与查询问题对应的查询计划。
42、第十方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
43、通过预训练所得到的初始推理模型,对查询问题样本进行节点推理得到多个叶子节点;
44、针对至少一个叶子节点进行节点扩展得到多个扩展节点,并针对多个扩展节点进行推理模拟直至得到终止节点;
45、基于终止节点回溯至与查询问题样本匹配的根节点得到推理思维链,并通过重复执行节点推理、节点扩展、推理模拟与回溯得到多条推理思维链;
46、根据查询问题样本以及多条推理思维链构建训练样本,其中,训练样本,用于对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
47、第十一方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
48、获取通过第一方面所提供的模型的训练样本构建方法所构建的训练样本;
49、基于训练样本通过初始推理模型得到预测查询计划;
50、按照预测查询计划与训练样本构建第一模型损失,并通过第一模型损失对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
51、第十二方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
52、获取查询问题,并基于通过第二方面所提供的推理模型的训练方法所得到的目标推理模型对查询问题进行节点推理得到叶子节点;
53、针对叶子节点进行节点扩展得到扩展节点,并针对扩展节点进行推理模拟直至得到终止节点;
54、基于终止节点依次回溯至与查询问题匹配的根节点,得到与查询问题对应的查询计划。
55、第十三方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
56、通过预训练所得到的初始推理模型,对查询问题样本进行节点推理得到多个叶子节点;
57、针对至少一个叶子节点进行节点扩展得到多个扩展节点,并针对多个扩展节点进行推理模拟直至得到终止节点;
58、基于终止节点回溯至与查询问题样本匹配的根节点得到推理思维链,并通过重复执行节点推理、节点扩展、推理模拟与回溯得到多条推理思维链;
59、根据查询问题样本以及多条推理思维链构建训练样本,其中,训练样本,用于对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
60、第十四方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
61、获取通过第一方面所提供的模型的训练样本构建方法所构建的训练样本;
62、基于训练样本通过初始推理模型得到预测查询计划;
63、按照预测查询计划与训练样本构建第一模型损失,并通过第一模型损失对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。
64、第十五方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
65、获取查询问题,并基于通过第二方面所提供的推理模型的训练方法所得到的目标推理模型对查询问题进行节点推理得到叶子节点;
66、针对叶子节点进行节点扩展得到扩展节点,并针对扩展节点进行推理模拟直至得到终止节点;
67、基于终止节点依次回溯至与查询问题匹配的根节点,得到与查询问题对应的查询计划。
68、上述模型的训练样本构建方法、装置、计算机设备、存储介质和计算机程序产品,通过预训练所得到的初始推理模型,对查询问题样本进行节点推理得到多个叶子节点;针对至少一个叶子节点进行节点扩展得到多个扩展节点,并针对多个扩展节点进行推理模拟直至得到终止节点;基于终止节点回溯至与查询问题样本匹配的根节点得到推理思维链,并通过重复执行节点推理、节点扩展、推理模拟与回溯得到多条推理思维链;根据查询问题样本以及多条推理思维链构建训练样本,其中,训练样本,用于对初始推理模型进行模型微调,得到目标推理模型;目标推理模型用于基于查询问题进行问题推理得到对应的查询计划。通过对查询问题样本进行节点推理能够从根节点开始逐步选择符合查询问题需求的叶子节点,并针对叶子节点进行节点扩展以保证节点探索完整度,从而通过终止节点至根节点进行回溯得到所需的多条推理思维链,由此能够逐步通过高价值节点聚焦更为优化的推理思维链,由此通过推理思维链与查询问题样本构建训练样对初始推理模型进行模型微调,以使得初始推理模型能够从更为优化的推理思维链中学习到如何更为准确且高效的得到推理节点与推理路径,那么训练所得到的目标推理模型所输出的查询计划更符合查询问题的问题需求,以模型的提升查询性能,从而提升基于目标推理模型进行推理查询的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com