一种基于训练状态感知的数据选择方法及装置与流程

摘要: 本发明涉及数据处理,尤其涉及一种基于训练状态感知的数据选择方法及装置。背景技术:1、大语言模型的预训练通常需要处理数万亿词元规模的语料数据,训练成本极为高昂。在...
一种基于训练状态感知的数据选择方法及装置与流程

本发明涉及数据处理,尤其涉及一种基于训练状态感知的数据选择方法及装置。

背景技术:

1、大语言模型的预训练通常需要处理数万亿词元规模的语料数据,训练成本极为高昂。在计算资源有限的条件下,如何从海量原始数据中筛选出最具训练价值的子集,成为提升模型性能和训练效率的关键问题。数据选择技术旨在从原始语料中挑选高质量、高多样性的训练样本,使得模型在较短的训练预算内达到甚至超越全量数据训练的效果。

2、在数据选择的评价维度中,数据质量和数据多样性是两个核心指标。数据质量关注单条样本的信息密度、语言规范性和知识含量,而数据多样性关注所选子集在语义空间中的分布均匀性,避免所选数据集中在某个狭窄的语义区域。理想的数据选择方案应在质量与多样性之间取得平衡,使所选子集既包含高质量样本,又覆盖广泛的语义空间,从而支撑模型在多种下游任务上的泛化能力。特别是在小语种及方言大模型的训练中,如宁波方言大模型,早期通常需要海量多样的语音及其转写语料来建立发音和词汇的基础表征,用于支撑自动语音识别模型(automatic speech recognition,asr)和文本到语音 / 语音合成模型(text-to-speech,tts)训练,后期则需要高质量、经过严格提炼清洗的平行语料来精调翻译智能体,从而全面支撑模型在多种下游任务上的泛化能力。

3、然而,数据质量和数据多样性之间天然存在此消彼长的权衡关系:过度追求质量往往导致所选数据集中于特定领域,如百科全书、书籍,造成特征空间的维度坍缩;过度追求多样性则可能引入大量低质量噪声数据,降低训练效率。如何在预训练的不同阶段动态调节这一权衡,使数据选择策略始终匹配模型当前的能力发展需求,是当前亟需解决的技术问题。

技术实现思路

1、为了解决上述技术问题,本发明提出一种基于训练状态感知的数据选择方法(以下简称aqds,adaptive quality-diversity selection),能够克服现有静态方法的局限性,显著提升数据选择与训练阶段的适配精度,降低维度坍缩风险,优化训练资源的整体利用效率,并增强数据选择策略在不同模型规模和训练时长下的鲁棒性与可迁移性。

2、为了达到上述目的,本发明的技术方案如下:

3、一种基于训练状态感知的数据选择方法,包括如下步骤:

4、实时监测目标模型训练过程中的多维信号,将所述多维信号输入至分类模型,获得训练阶段的分类结果,所述训练阶段包括探索期、模式获取期和精炼期,所述多维信号包括损失曲线特征、梯度统计特征以及维度坍缩指标;

5、根据所述训练阶段的分类结果,动态调整数据质量与数据多样性之间的权衡系数;

6、在每个调节周期对所述权衡系数邻域内均匀采样,获得若干候选参数;利用代理模型模拟不同候选参数设置对后续训练性能的预期影响,当预期影响超过预设调整触发阈值时进行权衡系数更新,否则权衡系数不变;

7、利用确定的权衡系数计算候选数据的综合选择得分,并依据所述综合选择得分筛选目标模型的预训练数据子集进行训练。

8、优选地,所述分类模型采用三层全连接网络。

9、优选地,所述损失曲线特征包括损失的一阶变化率和损失的二阶变化率;所述梯度统计特征包括梯度范数和梯度范数分布统计量;所述维度坍缩指标通过计算当前批次数据特征协方差矩阵的有效秩得到。

10、优选地,根据所述训练阶段的分类结果,动态调整数据质量与数据多样性之间的权衡系数,包括:

11、确定当前训练阶段的基础权重,并根据分类置信度对各阶段的基础权重进行加权插值,获得初始权衡系数;

12、对所述初始权衡系数进行平滑处理,获得平滑后的权衡系数。

13、优选地,还包括:

14、计算梯度范数的梯度趋势指标;

15、基于所述梯度趋势指标对平滑后的权衡系数施加修正项,获得修正后的权衡系数。

16、优选地,所述调节周期为每800至1200个训练步执行一次。

17、优选地,利用代理模型模拟不同候选参数设置对后续训练性能的预期影响,当预期影响超过预设调整触发阈值时进行权衡系数更新,否则权衡系数不变,包括:

18、依次获取代理模型模拟每个候选参数设置所对应的损失变化量和坍缩风险得分;

19、基于所述损失变化量和坍缩风险得分,确定每个候选参数的前瞻评分;

20、选择所述前瞻评分最高所对应的候选参数作为推荐值;判断推荐值与当前使用的权衡系数间偏差是否超过预设调整触发阈值,若是,则将推荐值作为下一周期的权衡系数;否则保持当前权衡参数不变。

21、优选地,所述代理模型与目标模型的架构相同,且所述代理模型比目标模型的规模小。

22、优选地,所述综合选择得分,如下:

23、,其中,为候选数据样本在当前训练步的综合选择得分;为样本的质量得分,为样本相对于已选集合的多样性增益,为确定的权衡系数。

24、基于上述内容,本发明还公开了一种基于训练状态感知的数据选择装置,包括:

25、训练状态分类器,用于实时监测目标模型训练过程中的多维信号,将所述多维信号输入至分类模型,获得训练阶段的分类结果,所述训练阶段包括探索期、模式获取期和精炼期,所述多维信号包括损失曲线特征、梯度统计特征以及维度坍缩指标;

26、自适应权重调度器,用于根据所述训练阶段的分类结果,动态调整数据质量与数据多样性之间的权衡系数;

27、前瞻优化器,用于在每个调节周期对所述权衡系数邻域内均匀采样,获得若干候选参数;利用代理模型模拟不同候选参数设置对后续训练性能的预期影响,当预期影响超过预设调整触发阈值时进行权衡系数更新,否则权衡系数不变;

28、数据选择模块,用于利用确定的权衡系数计算候选数据的综合选择得分,并依据所述综合选择得分筛选目标模型的预训练数据子集进行训练。

29、基于上述技术方案,本发明的有益效果是:

30、1)显著提升下游任务的综合准确率:本发明通过训练状态分类器、自适应权重调度器和前瞻优化器三模块协同工作,使数据选择策略精确匹配模型不同训练阶段的能力发展需求,有效提升了训练数据的使用效率。本发明方法aqds在tinyllama架构上,仅使用slimpajama数据集1.5%的数据,9项下游任务的平均准确率达到43.6%,相比disf的42.3%提升了1.3个百分点,相比仅质量筛选的41.2%提升了2.4个百分点;

31、2)有效抑制特征空间的维度坍缩:本发明通过训练状态分类器实时监测维度坍缩指标,并经由自适应权重调度器在坍缩风险增大时自动降低质量权重、提高多样性权重,从选择策略层面预防维度坍缩的发生。aqds在精炼期的有效秩达到134.5,而全阶段使用固定=0.5的静态方法仅为105.2,提升幅度达27.9%,表明阶段化的自适应权衡策略有效维持了特征空间的表达能力;

32、3)实现随训练阶段变化的自适应参数调节:本发明通过状态分类器和自适应权重调度器,使质量权重从探索期的0.22平滑过渡到精炼期的0.79。该调节过程伴随着有效秩由86.3提升至134.5。

33、4)降低大规模语言模型的训练数据需求:本发明通过自适应质量-多样性权衡机制,使所选数据子集在质量和多样性之间始终处于最优平衡状态,从而以更少的数据达到更高的模型性能。aqds仅使用1.5%的训练数据即可在平均准确率上达到43.6%,超过使用全量数据的42.8%,表明本发明能够在大幅减少训练数据量的前提下实现性能提升,有效降低训练成本。

34、5)平滑的权衡系数过渡机制保障训练稳定性:本发明通过指数移动平均平滑机制和梯度趋势微调机制,确保质量-多样性权衡系数在训练过程中平滑过渡。从探索期到模式获取期再到精炼期,权衡系数从0.22平滑过渡至0.51再至0.79。

35、6)便于采用统一参数实施部署:本发明的核心参数具有明确的物理含义和稳定的默认值,实际部署时无需针对每个训练任务进行大量调参。平滑系数、调整阈值和代理模型规模等参数共同构成了可直接复用的实施边界。