大模型的学习优化方法、装置、设备、介质及程序产品与流程
本申请属于人工智能领域,尤其涉及一种大模型的学习优化方法、装置、设备、介质及程序产品。
背景技术:
1、随着人工智能(artificial intelligence,ai)技术的发展,大语言模型(largelanguage model,llm)(为了便于描述,后文中称大语言模型为大模型)取得了突破性进展,可应用于多种场景中,如,智能客服场景、数据查询分析场景、知识库检索管理场景等。在一些垂直领域的应用中,如自然语言转结构化查询语言(natural language to structuredquery language,nl2sql)、数据分析等任务场景下,可预先人工标注问答对(即qa对)样本,通过在提供给大模型的提示词中设置预先人工标注的问答对样本的方式来引导大模型输出答案。但人工标注问答对样本效率低下,使得提示词中的问答对样本实时性较差,与大模型任务处理分布趋势不符,导致用户与大模型交互得到的答案的准确性下降。
技术实现思路
1、本申请实施例提供一种大模型的学习优化方法、装置、设备、介质及程序产品,能够提高用户与大模型交互得到的sql结果的准确率。
2、第一方面,本申请实施例提供一种大模型的学习优化方法,包括:接收用户输入的自然语言查询信息;从样本库中获取参考样本,根据自然语言查询信息和参考样本,构建提示词输入第一大模型,得到第一大模型输出的第一sql结果,参考样本中样本的分配比例基于样本库中不同类别的样本的学习权重确定;对第一sql结果进行多维度校验,根据得到的校验结果,对包括第一sql结果和自然语言查询信息的样本进行分类,并按类别存入样本库中对应的样本集合,样本的类别包括正确类别和错误类别,错误类别包括至少一个错误子类;基于样本库中各类别样本的特征信息,确定不同类别样本的学习权重。
3、第二方面,本申请实施例提供一种大模型的学习优化装置,包括:接收模块,用于接收用户输入的自然语言查询信息;sql结果生成模块,用于从样本库中获取参考样本,根据自然语言查询信息和参考样本,构建提示词输入第一大模型,得到第一大模型输出的第一sql结果,参考样本中样本的分配比例基于样本库中不同类别的样本的学习权重确定;分类归集模块,用于对第一sql结果进行多维度校验,根据得到的校验结果,对包括第一sql结果和自然语言查询信息的样本进行分类,并按类别存入样本库中对应的样本集合,样本的类别包括正确类别和错误类别,错误类别包括至少一个错误子类;学习权重确定模块,用于基于样本库中各类别样本的特征信息,确定不同类别样本的学习权重。
4、第三方面,本申请实施例提供一种电子设备,包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现第一方面的大模型的学习优化方法。
5、第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面的大模型的学习优化方法。
6、第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现第一方面的大模型的学习优化方法。
7、本申请实施例提供一种大模型的学习优化方法、装置、设备、介质及程序产品,可基于样本库中不同类别的样本的学习权重从样本库中选取参考样本,根据参考样本和用户输入的自然语言查询信息构建提示词,将提示词输第一大模型,得到第一大模型输出的第一sql结果,将第一sql结果和自然语言查询信息作为样本,及时将该样本按照第一sql结果经多维度校验确定的类别存入样本库中对应的样本集合,以在后续第一大模型执行任务时能够参考最新的样本,样本库中样本的更新带动样本的学习权重的更新,从而基于样本库中样本的学习权重,调节构建提示词所需的参考样本中不同类别样本的分配比例,使得提示词中的样本与大模型任务处理的分布趋势相符,提高用户与大模型交互得到的sql结果的准确率。
1.一种大模型的学习优化方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述从样本库中获取参考样本,包括:
3.根据权利要求2所述的方法,其特征在于,所述按照错误子类的样本的采样概率,从所述样本库中的错误子类对应的样本集合中选取样本作为所述参考样本,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于所述样本库中各类别样本的特征信息,确定不同类别样本的学习权重,包括:
5.根据权利要求1所述的方法,其特征在于,多维度校验包括以下至少两个维度的校验:
6.根据权利要求1所述的方法,其特征在于,还包括:
7.根据权利要求1所述的方法,其特征在于,还包括:
8.一种大模型的学习优化装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:处理器以及存储有计算机程序指令的存储器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1至7中任意一项所述的大模型的学习优化方法。
11.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的大模型的学习优化方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com