用于训练大语言模型的方法和设备以及计算机装置与流程

摘要: 本申请涉及模型训练领域,且尤其涉及一种用于训练大语言模型的方法和设备、计算机装置以及存储介质。背景技术:1、在自然语言处理(nlp)领域中,大语言模型(llm)...
用于训练大语言模型的方法和设备以及计算机装置与流程

本申请涉及模型训练领域,且尤其涉及一种用于训练大语言模型的方法和设备、计算机装置以及存储介质。

背景技术:

1、在自然语言处理(nlp)领域中,大语言模型(llm)已在各项任务中取得了显著成就。然而,在具体领域或任务中,llm的性能可能并不令人满意。通常,在具体领域中,进一步训练需要大量数据。接着,使用大量经标记数据来执行监督微调(sft)。尽管模型可通过使用相对较小的经标记数据集执行微调,但通常难以实现与使用完整数据集的sft的性能水平相当的性能水平。

技术实现思路

1、提供本 技术实现要素: 来以简化形式介绍一些所选择概念,这些概念将在以下具体实施方案中进一步描述。本发明内容既不旨在识别所要求保护主题的任何关键特征或必要特征,也不旨在帮助确定所要求保护主题的范围。

2、基于此,本申请公开了一种用于训练大语言模型的方法,其包含:解析用于训练大语言模型的文本的段落;根据所述段落形成具有注释描述的问题、答案和参考组;召回和排序所述问题、答案和参考组,且选择子样本中满足预设条件的所述问题、答案和参考组;及通过使用所述子样本的所述问题、答案和参考组来训练所述大语言模型。

3、在上文描述的模式下,所述大语言模型可通过使用极少训练样本进行训练,从而降低硬件成本和时间成本,且提高所述大语言模型的训练效率。

4、此外,召回所述问题、答案和参考组包含:获取所述问题、答案和参考组中的问题部分的句子向量;根据所述句子向量将所述问题、答案和参考组分类为多个聚类;及从所述多个聚类中筛选出预设数量的问题、答案和参考组。

5、在上文描述的模式下,可确保样本的多样性,且随后可通过丰富样本更准确且有效地训练大语言模型。

6、此外,排序所述问题、答案和参考组包含:对于每一问题、答案和参考组,计算所述问题、答案和参考组中的答案部分的第一困惑度以及基于所述问题、答案和参考组中的问题部分和参考部分的关于答案的第二困惑度;及根据所述第一困惑度与所述第二困惑度的比率来排序所述问题、答案和参考组。

7、在上文描述的模式下,可获取样本的质量排名,且在后续样本训练期间,可根据所述排名选择所需样本作为用于大语言模型的训练子集。

8、此外,选择子样本中满足预设条件的问题、答案和参考组包含:选择具有相对较高排名的问题、答案和参考组作为子样本的问题、答案和参考组。

9、在上文描述的模式下,可确保样本的高质量,获取那些高质量样本,且可通过在后续样本训练期间使用少量样本获取具有相等性能的大语言模型。

10、此外,本申请公开了一种用于训练大语言模型的设备,其包含:

11、段落解析模块,其被配置成解析用于训练大语言模型的文本的段落;

12、参考生成模块,其被配置成根据所述段落形成具有注释描述的问题、答案和参考组;

13、召回和排序模块,其被配置成召回和排序问题、答案和参考组,且选择子样本中满足预设条件的问题、答案和参考组;及

14、模型训练模块,其被配置成通过使用子样本的问题、答案和参考组来训练大语言模型。

15、本申请进一步提供一种计算机装置,其包含存储器和处理器。存储器存储计算机程序。处理器在执行计算机程序时实施上文描述的方法。

16、本申请进一步提供一种计算机可读存储介质,其中存储有计算机程序。计算机程序在由处理器执行时实施上文描述的方法。

17、本申请进一步提供一种计算机程序产品。计算机程序产品有形地存储于计算机可读介质中,且包含计算机可执行指令。计算机可执行指令在被执行时使至少一个处理器执行上文描述的方法。

1.一种用于训练大语言模型的方法,其包括:

2.根据权利要求1所述的方法,其中所述召回所述问题、答案和参考组包括:

3.根据权利要求1所述的方法,其中所述排序所述问题、答案和参考组包括:

4.根据权利要求1所述的方法,其中所述选择子样本中满足预设条件的所述问题、答案和参考组包括:

5.一种用于训练大语言模型的设备(200),其包括:

6.根据权利要求5所述的设备(200),其中所述召回和排序模块(203)进一步被配置成:

7.根据权利要求5所述的设备(200),其中所述召回和排序模块(203)进一步被配置成:

8.根据权利要求5所述的设备(200),其中所述召回和排序模块(203)进一步被配置成:

9.一种计算机装置,其包括存储器和处理器,所述存储器存储计算机程序,其中所述处理器在执行所述计算机程序时实施根据权利要求1至4中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其中存储有计算机程序,其中所述计算机程序在由处理器执行时实施根据权利要求1至4中任一项所述的方法的步骤。

11.一种计算机程序产品,所述计算机程序产品有形地存储于计算机可读介质中且包括计算机可执行指令,且所述计算机可执行指令在执行时使至少一个处理器执行根据权利要求1至4中任一项所述的方法。