基于杠杆分数对预训练数据进行选择的数据选择方法及装置与流程

摘要: 本公开涉及大语言模型,具体涉及一种基于杠杆分数对预训练数据进行选择的数据选择方法及装置。背景技术:1、大语言模型的预训练效果高度依赖训练语料的组成与分布。当前大...
基于杠杆分数对预训练数据进行选择的数据选择方法及装置与流程

本公开涉及大语言模型,具体涉及一种基于杠杆分数对预训练数据进行选择的数据选择方法及装置。

背景技术:

1、大语言模型的预训练效果高度依赖训练语料的组成与分布。当前大规模预训练语料大多取自 commoncrawl 网页语料、github 代码语料等开源数据源,原始语料需经过去重、规则过滤、质量打分等预处理步骤后才可用于模型训练。面对大语言模型预训练阶段算力消耗巨大且数据密集的挑战,为降低训练成本和提高样本利用效率,业界通常在固定数据预算下,从海量候选语料中筛选部分样本作为预训练数据。现有数据筛选方案主要分为两大类:质量过滤方案和多样化数据选择方案。

2、质量过滤方案是目前较常见的数据选择方案,该方案训练 fasttext 等轻量分类器或质量评分模型,以高质量参考样本为基准,将与高质量参考样本相近的文本保留下来。例如 dclm-fasttext方法可根据指令问答风格、高质量社区问答等正样本对网页文本进行质量评分。该方法在通用文本理解任务上表现较好,但也存在缺陷:参考正样本的语义分布无法覆盖全部行业、领域和主题,选取出的数据在表征空间中容易向参考数据所在的语义区域聚集,从而导致选取出的数据在表征空间中集中于少数方向。这种现象称为维度坍缩或领域覆盖不足,即选取出的数据虽具有较高的表面质量,但可能系统性地排除代码、专业技术文本或其他未被参考数据覆盖的有价值内容。

3、实验验证表明,仅采用质量过滤方案时,例如采用 dclm-fasttext 方法进行网页文本的质量过滤时所得到的数据集来训练模型,该模型在通用文本任务上的性能优异,但在代码相关的评测中,模型的效果显著劣化,说明单一质量过滤方案可能会削弱模型的跨领域能力。

4、现有的多样化数据选择方案主要包括领域配比、属性均衡、基于密度或聚类的覆盖采样、以及直接优化协方差谱分布的 disf 方法等。其中领域配比、属性均衡、基于密度或聚类的覆盖采样均依靠间接指标衡量多样性,无法保证被选样本在高维表征空间中张成足够丰富的几何方向;disf 方法虽可直接抑制维度坍缩,但在每一轮样本选择的迭代过程中均需要针对海量候选样本重复计算协方差和相关矩阵,计算开销极大,难以适用于网页级、代码级的大规模语料筛选场景。

技术实现思路

1、针对相关技术中的至少一个问题,本公开的目的在于提供一种能够直接量化样本对数据集几何多样性的贡献、并基于样本对数据集几何多样性的贡献对大规模候选数据进行高效数据选择的数据选择方法,以在固定训练预算下提升大语言模型的预训练数据的领域覆盖、表征多样性和下游任务稳定性。

2、为实现上述目的,本公开的一个方面提供一种基于杠杆分数对预训练数据进行选择的数据选择方法,包括:

3、s101:将一批次的候选语料的中的每个语料样本编码为多维向量;

4、s102:从该批次的候选语料中初始选择一个或多个语料样本,作为已选样本集;

5、s103:根据所述已选样本集中的语料样本的多维向量,确定所述已选样本集的样本矩阵;

6、s104:根据所述已选样本集的样本矩阵以及所述已选样本集中的语料样本的数量,确定正则化gram 矩阵;

7、s105:基于所述正则化gram矩阵,获得该批次的候选语料中未进入所述已选样本集的每个候选样本的杠杆分数;和

8、s106:根据所述杠杆分数,从该批次的候选语料中选择一个或多个语料样本,增加到所述已选样本集中。

9、可选地,所述数据选择方法还包括:

10、迭代执行所述步骤s103-s106,直至所述已选样本集中的语料样本数量达到阈值。

11、可选地,所述数据选择方法还包括:

12、获取候选语料集合;

13、将该候选语料集合分为多个批次的候选语料;和

14、对每个批次的候选语料,执行上述步骤s101-s106,以确定每个批次的候选语料的已选样本集。

15、可选地,所述数据选择方法还包括:合并所述多个批次的候选语料的已选样本集,作为预训练样本集。

16、可选地,所述步骤s101包括:

17、利用嵌入模型将一批次的候选语料的中的每个语料样本编码为多维向量;和

18、对每个多维向量进行单位范数归一化处理。

19、可选地,所述步骤s102包括:从该批次的候选语料中随机地或者按照预设规则初始选择一个或多个语料样本,作为已选样本集。

20、可选地,所述步骤s103包括:通过以下方式确定所述已选样本集的样本矩阵,所述样本矩阵包括行,其中为所述已选样本集中的语料样本的数量,所述样本矩阵中的每一行对应于所述已选样本集中的其中一个语料样本的多维向量。

21、可选地,所述步骤s104包括:通过以下方式构造所述正则化gram矩阵g:,其中, 为正则化参数,为单位矩阵。

22、可选地,其中所述步骤s105包括:通过以下方式计算每个候选样本的杠杆分数:,其中是每个候选样本的多维向量。

23、可选地,所述步骤s105包括:通过以下方式确定该批次的候选语料中每个候选样本的杠杆分数:对所述正则化gram矩阵g进行 cholesky分解,  ,对于每个候选样本,求解,并计算,作为每个候选样本的杠杆分数,其中是每个候选样本的多维向量。

24、可选地,所述步骤s106包括:根据所述杠杆分数,按照从大到小的方式从该批次的候选语料中选择尚未加入所述已选样本集中的一个或多个语料样本,增加到所述已选样本集。

25、可选地,所述候选语料包括经去重与启发式清洗处理后的网页文本、源代码、技术文档中的至少一种或多种混合语料。

26、可选地,所述嵌入模型包括文本嵌入模型、代码嵌入模型、多语种嵌入模型以及经任务适配的语义表示模型中的任意一种。

27、本公开的另一个方面提供一种基于杠杆分数对预训练数据进行选择的数据选择装置,包括:

28、表征生成模块,配置成将一批次的候选语料的中的每个语料样本编码为多维向量;

29、批处理初始化模块,配置成从该批次的候选语料中初始选择一个或多个语料样本,作为已选样本集;

30、矩阵维护模块,配置成根据所述已选样本集中的语料样本的多维向量,确定所述已选样本集的样本矩阵,并根据所述已选样本集的样本矩阵以及所述已选样本集中的语料样本的数量,确定正则化 gram 矩阵;

31、杠杆分数确定模块,配置成基于所述正则化gram矩阵,确定该批次的候选语料中未进入所述已选样本集的每个候选样本的杠杆分数;和

32、样本选择模块,配置成根据所述杠杆分数,从该批次的候选语料中选择一个或多个语料样本,添加到所述已选样本集中。

33、可选地,所述批处理初始化模块、矩阵维护模块、杠杆分数确定模块和样本选择模块迭代循环工作,直至所述已选样本集中的语料样本数量达到阈值。

34、可选地,所述表征生成模块还配置成获取候选语料集合,并且将该候选语料集合分为多个批次的候选语料;

35、其中对于每个批次的候选语料,所述表征生成模块配置成将该批次的候选语料的中的每个语料样本编码为多维向量;所述批处理初始化配置成从该批次的候选语料中初始选择一个或多个语料样本,作为已选样本集;所述矩阵维护模块配置成根据所述已选样本集,确定所述已选样本集的样本矩阵,并根据所述已选样本集的样本矩阵以及所述已选样本集中的语料样本的数量,确定正则化 gram 矩阵;所述杠杆分数确定模块配置成基于所述正则化gram矩阵,确定该批次的候选语料中每个候选样本的杠杆分数;所述样本选择模块配置成根据所述杠杆分数,从该批次的候选语料中选择一个或多个语料样本,增加到所述已选样本集中。

36、可选地,所述样本选择模块配置成合并所述多个批次的候选语料的已选样本集,作为训练样本集。

37、可选地,所述表征生成模块配置成:

38、利用嵌入模型将一批次的候选语料的中的每个语料样本编码为多维向量;和

39、对每个多维向量进行单位范数归一化处理。

40、可选地,所述批处理初始化模块配置成:从该批次的候选语料中随机地或者按照预设规则初始选择一个或多个语料样本,进入已选样本集。

41、可选地,所述矩阵维护模块配置成:通过以下方式确定所述已选样本集的样本矩阵x,所述样本矩阵包括n行,其中n为所述已选样本集中的语料样本的数量,所述样本矩阵中的每一行对应于所述已选样本集中的其中一个语料样本的多维向量。

42、可选地,所述矩阵维护模块配置成:通过以下方式构造所述正则化 gram 矩阵g:,其中, 为正则化参数,为单位矩阵。

43、可选地,所述杠杆分数确定模块配置成:通过以下方式计算每个候选样本的杠杆分数:,其中是每个候选样本的多维向量。

44、可选地,所述杠杆分数确定模块配置成:通过以下方式确定该批次的候选语料中每个候选样本的杠杆分数:对所述正则化gram矩阵g进行 cholesky分解,  ,对于每个候选样本,求解,并计算,作为每个候选样本的杠杆分数,其中是每个候选样本的多维向量。

45、可选地,所述样本选择模块配置成:根据所述杠杆分数,按照从大到小的方式从该批次的候选语料中选择尚未加入所述已选样本集中的一个或多个语料样本,增加到所述已选样本集中。

46、本公开的又一方面提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述数据选择方法。

47、本公开实施例中,以当前已选数据在表征空间中张成的子空间体积作为数据多样性的几何指标,并以单个候选样本相对于已选样本集的杠杆分数来度量该单个样本加入已选样本集后对子空间体积的相对扩张量,即该单个样本对已选样本数据集的几何多样性的贡献;按照杠杆分数从高到低迭代选择样本,从而实现高效的数据多样化采样。进一步,在每次迭代中仅需针对一个共享的正则化 gram 矩阵计算候选样本的杠杆分数,已选样本更新后,只需增量更新特征协方差或 gram 相关量,因此显著降低重复协方差计算开销,适于对 commoncrawl 网页语料、starcoderdata 代码语料等大规模候选数据进行高效的数据选择,能够在固定训练预算下提升大语言模型的预训练数据的领域覆盖、表征多样性和下游任务稳定性。