一种基于大数据的优质语料数据筛选方法、平台及系统与流程

本发明涉及大数据处理与自然语言处理，特别涉及一种基于大数据的优质语料数据筛选方法、平台及系统。

背景技术：

1、大语言模型的训练效果对语料质量具有高度敏感性，从海量多源原始数据中筛选出高质量语料子集，是模型训练流程中决定最终性能的关键前置环节。在分布式多节点采集场景下，由于不同数据源的语料质量存在动态波动，且下游训练任务对语料的类型偏好、质量要求存在显著差异，语料筛选的复杂度大幅提升。

2、当前产业界的主流技术方案可分为两类。第一类为固定阈值筛选方案，即预先设定一组统一的质量阈值与维度权重，对所有采集节点的语料执行标准化过滤。这类方案实现简单、计算开销低，但无法适配数据源质量的动态变化，且采用全局统一的维度权重，无法适配不同质量层级数据源的维度重要性差异，容易出现高质量数据源过度筛选、低质量数据源筛选不足的失衡问题。

3、第二类为反馈式动态调节方案，即在过滤完成后，根据实际输出的语料质量反向微调筛选阈值。这类方案部分解决了固定阈值的适配性问题，但本质属于事后补救式调节，存在明显的滞后性；且阈值调整采用固定比例系数，未结合质量分布的局部特性，校正精度不可控；同时对下游训练需求的适配粒度较粗，通常仅通过档位切换调整整体筛选严格程度，无法实现维度间与质量层级间的精细化权重调节。

4、在分布式采集调度层面，现有方案多采用简单轮询或随机分配策略，未充分考虑不同节点的能力差异、采集范围重叠与实时负载约束，容易造成数据源资源争抢、节点能力与任务类型不匹配、高负载下系统稳定性不足的问题，导致整体采集效能偏低。

5、综上，现有技术存在三方面核心局限：一是筛选边界的动态适配能力不足，事后调节存在滞后性，且校正精度受分布位置影响不可控；二是需求适配粒度粗糙，全局单一权重无法兼顾维度交互效应与质量分层差异；三是分布式调度效能偏低，资源冲突、能力错配与负载约束缺失并存。

6、本发明的目的在于针对现有技术的不足，提供一种基于大数据的优质语料数据筛选方法、平台及系统，解决动态适配滞后、需求适配粒度粗、分布式调度效能低的问题，实现语料质量稳定、分层适配精准、采集效能提升的综合技术效果。

技术实现思路

1、本发明提供一种基于大数据的优质语料数据筛选方法、平台及系统，用以解决上述提出的技术问题。

2、本发明提供一种基于大数据的优质语料数据筛选方法，包括：

3、s1：对所有分布式语料采集节点的全量语料数据源的特征分布进行统计计算，生成全局质量分布，同时，基于每个采集节点绑定的数据源子集生成本地质量分布；构建涵盖四个预设维度的全局统一权重矩阵，其中，所述预设维度包含字段完备度维度、语义自洽性维度、来源公信力维度及冗余噪声控制维度；

4、s2：遍历全部预设的语料质量筛选阈值档位，在每一语料质量筛选阈值档位下，将下游大语言模型训练的需求特征与所述权重矩阵执行线性交互与非线性关联的双重融合，生成质量分层级的维度权重系数，结合档位基准阈值向量生成对应档位的初始语料筛选判定边界；

5、s3：按照所述四个预设维度对每个分布式语料采集节点的初始语料集合中每条初始语料进行分析，得到对应语料的实际质量轮廓，并与期望质量轮廓对比分析，识别偏差维度、偏差方向、偏差程度与偏差变化趋势，生成对应节点的语料质量偏离模式，其中，期望质量轮廓包含四个预设维度各自的质量目标水平与容许质量波动范围；

6、s4：将所述语料质量偏离模式与预设的语料筛选边界调控经验规则进行匹配，结合分布灵敏度系数修正后，输出对应节点各维度独立的筛选边界反馈校正信号，同时，基于节点本地质量分布的历史变化模式与边界预测补偿量的映射关系，结合分布灵敏度系数对各节点本地质量分布进行趋势分析，输出每个节点各维度独立的筛选边界趋势预测补偿信号；

7、s5：对每个维度独立合并筛选边界反馈校正信号与筛选边界趋势预测补偿信号，对各档位的初始语料筛选判定边界分别执行自适应处理，得到对应节点在各档位的最优语料筛选决策向量；

8、s6：根据对应节点各档位的最优语料筛选决策向量，生成多维语料采集控制指令集下发至相应节点，在节点负载约束下动态调整语料采集频率、触发异构语料清洗操作并阻断低质数据源，结合质量分层级的维度权重系数执行分层筛选，输出筛选后的优质目标语料子集。

9、优选的，构建涵盖四个预设维度的权重矩阵，包括：

10、基于语料数据源的字段缺失率与预设字段完备度基准阈值的差值，对预设的完备度基准权重值进行反向缩放，经值域截断约束后得到字段完备度维度权重值；

11、提取语料数据源的语义矛盾度与逻辑断层占比参数，输入预设的语义质量分段衰减函数，得到语义自洽性维度的第一初始权重值，结合语料数据源的领域匹配度对所述第一初始权重值进行修正，得到语义自洽性维度权重值；

12、基于语料数据源的主体资质等级、历史合规记录与信息溯源层级进行加权评分得到公信力指数，经极差归一化映射得到第二初始权重值，结合语料数据源的信息发布链路长度进行二次加权修正，得到来源公信力维度权重值；

13、统计语料数据源的重复语料占比与无效噪声占比，加权求和计算得到综合冗余度，对综合冗余度进行归一化处理后，以1减去归一化结果得到第三初始权重值，得到冗余噪声控制维度权重值；

14、将字段完备度维度权重值、语义自洽性维度权重值、来源公信力维度权重值、冗余噪声控制维度权重值分别映射至权重矩阵的对应维度通道，构建得到全局统一的权重矩阵。

15、优选的，对各档位的初始语料筛选判定边界分别执行自适应处理，得到对应节点在各档位的最优语料筛选决策向量，包括：

16、s51：为每一预设维度分别配置一级容许幅度系数与二级容许幅度系数，将各维度边界调节基准值与对应一级容许幅度系数按照乘法运算生成一级边界迁移容许区间，将预设的维度质量偏差基准值与对应二级容许幅度系数按乘法运算生成二级边界迁移容许区间，其中，所述各维度边界调节基准值为当前档位的初始语料筛选判定边界中对应维度的边界值，所述维度质量偏差基准值为最近k个评估周期内对应节点的实际质量轮廓与期望质量轮廓在各维度上的平均绝对偏差值；

17、s52：对每个维度独立配置反馈信号权重与预测信号权重，将对应维度经分布灵敏度系数修正后的筛选边界反馈校正信号与筛选边界趋势预测补偿信号执行加权融合，生成该维度的边界迁移校正量，所有维度拼接形成一级边界迁移校正向量；

18、将所述一级边界迁移校正向量以相对百分比乘法方式叠加至当前档位的初始语料筛选判定边界，得到一级迁移边界参数集合，并逐一比对所述一级迁移边界参数集合中各维度参数与对应维度的一级边界迁移容许区间，若全部维度参数均落入对应一级边界迁移容许区间范围内，则将该一级迁移边界参数集合标记为候选迁移边界集合并留存，否则，对越界维度独立调整其双信号权重配比，若经预设最大迭代次数的调节后仍无法使全部维度参数落入容许区间，则取使越界维度参数总偏差最小的权重配比对应的一级迁移边界参数集作为候选迁移边界集合；

19、s53：基于节点本地质量分布的经验分布执行蒙特卡洛采样生成模拟语料样本，向模拟语料的四维质量得分中引入预设的语料质量波动扰动因子，模拟真实场景下语料质量的随机波动，再以候选迁移边界集合为筛选阈值执行模拟筛选，模拟全量语料筛选过程，输出该二级校验边界集合对应的语料质量偏差模拟值与筛选通过率模拟值，得到稳态有效边界集合；

20、s54：将所述稳态有效边界集合的各维度参数逐一映射转换为可执行的语料筛选判定阈值、预设维度权重系数与清洗触发条件参数，拼接生成对应节点当前档位的最优语料筛选决策向量。

21、优选的，生成对应档位的初始语料筛选判定边界，包括：

22、s21：提取下游大语言模型训练需求中的训练需求强度特征与训练需求精度特征；

23、依据第一预设映射规则，在当前语料质量筛选阈值档位下，计算非线性关联融合分量配额与线性交互融合分量配额；

24、s22：对非线性关联融合分量所覆盖的四个预设维度，依据第二预设映射规则，按维度重要性等级分别计算各维度的预设维度激活系数；

25、s23：将权重矩阵按照维度两两组合拆解为6组二维质量权重子平面；

26、对每组二维质量权重子平面，先按照该子平面对应两个维度的预设维度权重系数加权综合得分对所有数据源行升序排列，再执行等距网格化分块处理，网格分块尺寸依据该子平面的行列维数动态确定，取行列维数的最大公约数或最接近的整数约数作为分块尺度参数，形成若干尺寸一致的质量权重分块单元；

27、对每个分块单元，分别计算两个维度各自的单元内权重均值，得到分块维度权重向量；

28、将下游大语言模型训练需求特征向量按照维度层级拆分，根据各质量权重分块单元所映射的维度组合，从需求特征向量中提取对应维度的特征值经归一化量化后构成需求特征子块，使得每组需求特征子块与对应二维质量权重子平面内的所有质量权重分块单元建立空间映射关系；

29、s24：基于所述空间映射关系，以分配后的线性交互融合分量配额、非线性关联融合分量配额为分块融合系数，逐块计算对应质量权重分块单元与需求特征子块的融合结果，生成分块级二维重要性系数向量；将所有分块级二维重要性系数向量按维度聚合，得到质量分层级的维度权重系数；将质量分层级的维度权重系数与档位基准阈值向量按维度相乘，生成各质量分层对应的初始筛选阈值，拼接得到当前语料质量筛选阈值档位对应的初始语料筛选判定边界。

30、优选的，输出筛选后的优质目标语料子集，包括：

31、s61：将全部处于空闲状态的分布式语料采集节点按照预设节点轮询调度序列排序，取序列首位的空闲语料采集节点作为当前任务执行节点；

32、根据待执行语料采集任务所要求的语料质量筛选阈值档位，从对应节点的各档位最优语料筛选决策向量中调取匹配的档位决策向量，结合当前节点的去重处理能力系数对冗余噪声控制维度阈值进行修正，得到实际冗余阈值；

33、将语料采集覆盖范围、语料数据类型属性均落入当前任务执行节点作业适配域内的待执行语料采集任务，纳入当前节点对应的候选采集任务子集；

34、s62：逐一校验候选采集任务子集中各待执行语料采集任务的语料采集数据源范围，与其余处于采集工作状态的语料采集节点的当前采集数据源范围是否存在采集范围重叠区域；

35、若采集范围重叠区域的数据源占比超过预设采集范围冲突阈值，则将对应待执行语料采集任务从候选采集任务子集中移除；

36、s63：若经二次过滤后的候选采集任务子集非空，先对各候选语料采集任务执行语料任务类型匹配判定，划分为标准结构化语料采集任务与非结构化泛源语料采集任务两类；

37、调取当前任务执行节点的节点历史采集上下文数据，分别对两类语料采集任务计算语料采集执行效能评分；

38、选取效能评分最高的候选语料采集任务作为最优采集任务，分配至当前任务执行节点；

39、若候选采集任务子集为空，则将当前任务执行节点移至空闲节点轮询序列的末尾，同时累计该节点的空轮次数，若该节点连续空轮次数超过预设上限，则暂挂该节点等待新任务入库，顺位取下一空闲语料采集节点重复执行s61；

40、s64：将已分配的最优采集任务从全局待执行语料采集任务集合中移除，将当前任务执行节点的工作状态由空闲变更为采集工作中，并移出空闲节点轮询序列；

41、取空闲节点轮询序列的下一空闲语料采集节点作为新的当前任务执行节点，重复执行s61至s63，直至全局待执行语料采集任务集合为空或所有节点均已遍历且无可分配任务；

42、s65：对分配至各语料采集节点的语料采集任务，根据任务类型匹配对应的语料采集控制参数模板，以单位时间合格语料产出效率最大化为目标，结合节点实时负载约束计算最优采集频率；

43、结合最优语料筛选决策向量中的清洗触发条件参数与低质阻断规则，生成多维语料采集控制指令并下发至相应节点；

44、各节点依据指令执行语料采集、异构语料清洗与低质数据源阻断操作，结合质量分层级的维度权重系数执行分层筛选与综合排序，统一输出筛选后的优质目标语料子集。

45、优选的，所述语料采集执行效能评分采用归一化加权方式计算得到。

46、优选的，生成分块级二维重要性系数向量，包括：

47、s241：依据各质量权重分块单元所映射的语料预设维度属性层级，将全部质量权重分块单元划分为核心预设维度分块与辅助预设维度分块两类，其中，包含语义自洽性维度或来源公信力维度的质量权重分块单元标记为核心预设维度分块，仅包含字段完备度维度与冗余噪声控制维度的质量权重分块单元标记为辅助预设维度分块；

48、s242：对核心预设维度分块，以线性交互融合分量配额为系数，对分块维度权重向量中对应维度的权重均值执行线性加权，得到各维度的线性分量；

49、以非线性关联融合分量配额与对应维度预设维度激活系数的乘积为系数，对需求特征子块中各维度特征量化值执行非线性加权，得到各维度的非线性分量；

50、将线性分量与非线性分量按照维度分别求和并叠加预设维度基准偏移修正量，得到该分块的分块初选二维重要性系数向量，所述特征量化值为需求特征子块中各维度特征值经min-max归一化至[0,1]区间后的标准化数值，其中，所述预设维度基准偏移修正量为经归一化缩放至与加权求和结果同量纲的常数修正项；

51、对辅助预设维度分块，以线性交互融合分量配额为主导线性映射系数，将分块维度权重向量中各维度的权重均值与需求特征子块中对应维度的特征量化值逐一执行元素乘法，得到线性映射二维向量；

52、以非线性关联融合分量配额与对应维度的预设维度激活系数的乘积作为幅值微调系数，对线性映射二维向量按维度执行乘法幅值修正，得到该分块的分块初选二维重要性系数向量；

53、s243：对每一分块的分块初选二维重要性系数向量，计算其与所属二维质量权重子平面内全局平均重要性系数的相对偏差；

54、若相对偏差超出合理性阈值，则标记为异常分块并采用子平面全局均值结合分块属性权重执行插值修正；

55、若相对偏差未超出阈值，则直接保留分块初选二维重要性系数向量；

56、s244：将全部质量权重分块单元对应的分块修正后重要性系数向量，经值域截断约束处理，输出得到各分块对应的分块级二维重要性系数向量。

57、优选的，一种基于大数据的优质语料数据筛选平台，部署执行任一所述的基于大数据的优质语料数据筛选方法，实现分布式节点动态采集与分层优质语料输出。

58、优选的，一种基于大数据的优质语料数据筛选系统，包含调度服务、采集节点集群、存储模块，调度服务运行执行任一所述的基于大数据的优质语料数据筛选方法。

59、与现有技术相比，本发明具有以下有益效果：

60、1、双环调控结合分布灵敏度修正，显著提升动态适配精度。采用反馈校正与趋势预测补偿的双环控制机制，反馈环修正已出现的偏差，预测环预判波动趋势并提前补偿，同时引入分布灵敏度系数对两类校正信号进行修正，匹配不同阈值位置下的分布特性，解决了固定比例校正精度不可控的问题，有效降低输出质量的波动幅度。

61、2、二维分块融合实现质量分层与维度交互的双重精细化适配。通过维度两两组合构建二维子平面，精准捕捉不同维度组合下的交互效应，按照质量水平对数据源排序分块，输出分层级的维度权重系数，使不同质量层级的数据源对应差异化的权重策略，避免全局单一权重的一刀切问题，在同等质量水平下有效提升语料利用率。

62、3、负载感知的多级调度优化分布式采集效能。采用轮询保公平+冲突防争抢+效能提效率的三级调度策略，结合负载调节系数动态优化采集频率，兼顾产出效率与系统稳定性，同时，实现任务类型与节点能力的精准匹配，可显著提升整体采集效能。

63、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

64、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。