一种深度学习模型训练用数据筛选方法与流程

摘要: 本发明涉及深度学习数据处理,具体为一种深度学习模型训练用数据筛选方法。背景技术:1、随着深度学习技术在计算机视觉、自然语言处理、多模态理解等领域的广泛应用,训练...
一种深度学习模型训练用数据筛选方法与流程

本发明涉及深度学习数据处理,具体为一种深度学习模型训练用数据筛选方法。

背景技术:

1、随着深度学习技术在计算机视觉、自然语言处理、多模态理解等领域的广泛应用,训练数据的规模、质量与分布特征直接决定模型的收敛速度、泛化性能及鲁棒性。在海量原始数据采集过程中,不可避免地存在缺失、重复、噪声、标注错误、语义冗余及跨模态错配等问题,因此训练数据筛选已成为深度学习模型训练流程中不可或缺的关键环节,其核心目标是剔除低价值、有害及冗余样本,在降低训练成本的同时提升模型最终效果。

2、当前深度学习训练数据筛选技术主要依托基础规则过滤、统计分布分析、智能算法评估等方式实现。在基础规则筛选层面,现有方法通常通过设定人工阈值剔除缺失值超标、格式异常、分辨率过低或完全重复的样本,采用哈希、simhash 等算法完成重复数据检测,该类方式实现简单、执行高效,但依赖人工经验设定规则,泛化性差,易误筛稀有边缘样本,且无法识别语义层面的冗余数据。在统计分布优化层面,现有技术多采用聚类、分层抽样等方式均衡类别分布,通过 kl 散度、最大均值差异实现数据分布对齐,此类方法能够在一定程度上提升样本多样性,缓解类别不平衡问题,但在高维海量数据场景下计算复杂度急剧上升,难以兼顾样本质量与分布多样性,二者存在天然冲突。

3、在智能算法筛选领域,现有技术引入主动学习、样本影响力评分、预测强度评估等方式量化样本价值,通过选取高影响力样本提升数据效率;部分方案针对多模态数据采用clip 相似度等指标完成图文对齐过滤,剔除明显错配样本。然而,现有智能筛选方法普遍存在计算开销过大的问题,样本梯度影响力计算需多次反向传播,难以适配亿级海量数据场景;同时,现有筛选策略多为静态执行,筛选规则与阈值在模型训练前预先设定,无法根据模型预热、稳定、收敛等不同训练阶段动态调整,样本难度与模型学习状态不匹配,易导致模型收敛缓慢或过拟合。

4、此外,现有数据筛选技术普遍存在多维目标协同能力不足的缺陷,大多仅围绕数据质量或样本价值单一维度优化,忽视公平性、隐私安全与计算效率等关键约束,易加剧数据偏见、引发隐私泄露风险,难以满足医疗、金融等领域的合规性需求;多模态数据筛选仅依赖单一相似度指标,跨模态语义对齐精度有限,音视频同步性、关键帧完整性等维度缺乏有效评估手段;同时,现有筛选流程与模型训练相互割裂,无闭环反馈机制,筛选策略无法依据模型实时性能迭代优化,自动化与任务自适应程度较低,人工干预成本高,跨任务泛化能力薄弱。

5、综上所述,现有深度学习训练数据筛选技术难以同时实现质量保障、多样性均衡、高价值选取、计算高效、公平合规与动态适配的协同优化,无法满足大规模深度学习模型尤其是多模态大模型训练过程中对高质量、高效率、高安全性数据筛选的实际需求,因此亟需一种能够实现多维目标优化、动态自适应调控、轻量化高效执行且兼顾隐私公平的数据筛选方法。

技术实现思路

1、针对现有技术的不足,本发明提供了一种深度学习模型训练用数据筛选方法。

2、为实现上述目的,本发明提供如下技术方案:一种深度学习模型训练用数据筛选方法,包括以下步骤:

3、对采集的原始数据执行基础规则过滤,剔除缺失值占比超50%的样本、完全重复样本及格式异常数据;

4、基于统计分布分析实现数据多样性优化,通过minibatchkmeans聚类及分层抽样保证类别均衡;

5、采用智能算法筛选高价值样本,结合预测强度与影响力评分量化样本贡献;

6、引入质量、多样性、价值、公平性、计算效率多维指标,通过加权组合实现多目标协同优化;

7、建立训练、筛选闭环反馈机制,根据模型损失分布动态调整各维度筛选阈值。

8、优选的,所述多维指标量化包括:

9、质量维度采用困惑度、清晰度、标注一致性作为量化指标,设定质量得分最低阈值为0.7;

10、多样性维度通过特征聚类熵、类别覆盖度计算,保证长尾样本占比不低于15%;

11、价值维度基于梯度影响力与信息增益建模,保留top30%高价值样本;

12、各维度采用自适应权重分配,随训练epoch动态调整权重系数。

13、优选的,所述多目标协同优化通过子模函数实现,具体包括:

14、构建包含质量收益、多样性收益、覆盖收益的复合子模目标函数;

15、采用稀疏子模优化算法降低计算复杂度,将时间复杂度从o(n²)降至o(nlogn);

16、通过贪心算法迭代选择边际增益最大的样本,形成帕累托最优样本集。

17、优选的,所述动态调整筛选策略包括:

18、预热期提高易样本筛选权重,选取预测置信度高于0.8的样本加速收敛;

19、稳定期增加难样本占比,筛选预测误差在0.3~0.7区间的边缘样本;

20、收敛期强化多样性筛选,通过核相似度计算剔除冗余样本,保留语义独特性样本。

21、优选的,所述智能算法筛选还包括轻量化优化:

22、采用clip无监督表征替代轻量模型训练,直接计算样本预测强度;

23、通过近似梯度计算替代完整梯度反传,降低70%计算资源消耗;

24、基于核相似度锚定预测误差,实现增量式筛选,无需重复评估全量数据。

25、优选的,针对多模态数据,还包括跨模态对齐筛选步骤:

26、图文数据采用clip余弦相似度与sieve方法联合评估,剔除相似度低于0.5的错配样本;

27、音视频数据检测帧间运动一致性与音画同步度,保留关键帧完整性达90%以上的样本;

28、采用模态无关表征将多模态数据映射至统一向量空间,实现跨模态质量统一评分。

29、优选的,所述多维优化还包括公平性约束:

30、识别性别、种族等敏感属性,计算各群体样本分布均衡度;

31、在子模优化中加入公平性约束项,保证敏感属性群体覆盖率差异不超过10%;

32、剔除高偏见样本,通过群体代表性偏差指标过滤偏差得分超阈值的样本。

33、优选的,还包括隐私与安全筛选步骤:

34、采用隐私风险评分模型量化样本隐私泄露风险,剔除风险得分高于0.6的样本;

35、通过关键词黑名单与上下文理解结合的方式,识别有害内容,过滤准确率不低于95%;

36、平衡隐私保护与数据效用,在隐私约束下最大化样本信息增益。

37、优选的,所述闭环反馈机制包括:

38、训练过程中实时计算样本影响力得分,剔除对模型性能贡献为负的样本;

39、每迭代5个epoch校验筛选后数据分布,通过kl散度保证与目标分布差异小于0.2;

40、基于模型验证集性能反馈,动态调整多维筛选指标的权重与阈值。

41、优选的,还包括llm驱动的自动化筛选模块:

42、利用预训练大语言模型理解任务需求,自动生成适配的筛选规则集;

43、通过强化学习优化规则参数,以模型性能提升作为反馈信号迭代更新规则;

44、实现筛选规则生成、样本评估、策略优化的全流程自动化,无需人工干预。

45、与现有技术相比,本发明提供了一种深度学习模型训练用数据筛选方法,具备以下有益效果:

46、1、该深度学习模型训练用数据筛选方法,本发明在现有基础规则过滤与统计筛选技术上,融合多维指标与多目标优化,同时保障数据质量、样本多样性与训练价值,解决了传统筛选单一目标优化导致的模型过拟合、泛化能力差的问题。

47、2、该深度学习模型训练用数据筛选方法,采用稀疏子模优化、近似梯度计算、增量式筛选等轻量化手段,大幅降低筛选算法复杂度与计算资源消耗,可适配千万级至亿级大规模数据筛选场景,提升数据处理效率。

48、3、该深度学习模型训练用数据筛选方法,按照模型训练预热期、稳定期、收敛期分阶段动态调整筛选策略,使样本难度与模型学习状态匹配,加快模型收敛速度,同时提升最终训练精度。

49、4、该深度学习模型训练用数据筛选方法,针对多模态数据设计统一向量空间评分与跨模态对齐筛选逻辑,有效剔除图文、音视频错配样本,提升多模态模型训练的对齐效果与语义理解能力。

50、5、该深度学习模型训练用数据筛选方法,融入公平性约束与隐私安全筛选机制,平衡数据训练效用与合规性需求,降低模型偏见与隐私泄露风险,适配医疗、金融等高敏感领域。

51、6、该深度学习模型训练用数据筛选方法,构建训练、、、筛选闭环反馈机制,并结合大语言模型实现自动化规则生成与迭代优化,减少人工干预成本,提升筛选策略的任务自适应能力。

52、7、该深度学习模型训练用数据筛选方法,通过分层筛选与帕累托最优样本选取,在缩减训练数据量的同时保留核心有效信息,显著降低模型训练的存储与计算开销,提升深度学习训练的整体资源利用率。