大模型动态评测场景下的样本生成与评估方法及系统

本发明涉及大语言模型评测，尤其涉及大模型动态评测场景下的样本生成与评估方法及系统。

背景技术：

1、大语言模型的能力评测长期依赖固定题库式的静态基准。静态基准一经公开，其题目与答案便会随网络语料被采集进入后续模型的训练集，形成数据污染；被污染后的基准分数只能反映模型对题面的记忆，无法反映真实能力，且分数虚高的程度随模型迭代而不断放大。为此，业界转向动态评测：不再固定题库，而是在评测时即时生成新的评测样本。

2、动态评测把评测的可信度转移到了“出题”这一环节上，由此产生四个必须同时成立的前提其一，但现有技术均未能妥善解决：（1）种子样本在领域与任务两个方向上分布不均，导致跨模型比较缺乏共同基底。公开数据源在领域与任务的交叉位置上天然分布不均，某些交叉位置样本极少甚至完全空缺。（2）自由生成或简单换词改写二者难以兼得。仅作同义词替换则生成样本与种子词面高度重合，被测模型仍可凭记忆作答；若授权模型自由重构，则生成样本极易偏离原考察点，导致难度与类别不可控。（3）生成样本的质量缺少可重复的自动判定。单阶段直接打分的分值随批次与评审模型漂移，跨批次不可比；正确性评审若以种子内容为参照，会把“与种子一致”误判为正确，反而奖励换词式改写；单一多样性指标无法区分“表层多样但考察点跑偏”与“考察点保持且表层偏离”这两种本质不同的结果。（4）多模型交叉互评方案排序度量的仍是作答表现，动态数据生成方案评估的是数据集整体质量，二者均未给出各候选模型出题能力的统一可比度量与选型结论。

3、鉴于此，特提出本发明。

技术实现思路

1、为至少解决以上任一个技术问题，而提供大模型动态评测场景下的样本生成与评估方法及系统。

2、与现有技术相比，本发明具有以下有益效果：

3、本发明以“领域×任务”二维矩阵为底座，逐格统计样本量并与目标规模比较以判定稀缺格子，再经十字邻域约束定向取材与三源混合示例组驱动增强，使各候选模型在完全相同的领域×任务覆盖规模上被比较；入库后的增强样本触发格子规模重新统计，形成“判定→增补→校验→回流”的闭环，直至全部格子达标。空格子以领域规格文本与任务规格文本的嵌入替代质心参与相似度计算，确保无样本位置亦可获得取材方向。由此解决了种子样本分布不均导致的跨模型比较失基问题。

4、本发明通过显式拆分为授权自由度与强制锚点的双约束改写协议，并配套对抗记忆污染声明、结构保持要求与生成端自校验指令，使生成模型在明确知晓“可变”与“不可变”边界的前提下执行改写。变量扰动导致答案变化时，因评审侧忽略种子内容，不再被误判为错误，评审信号与改写目标方向一致。由此解决了自由生成不可控、换词改写无效果的问题。

5、本发明中连贯性分析采用自适应维度分解→强制映射固化锚定量表的两级结构，第一级按样本自身特点分析，第二级以硬上限、起评门限与判别问句将分值固定在同一把尺子上，与人工标注一致率显著高于单阶段直接打分，且更换分析模型后排行相关性接近1。正确性验证以独立性护栏与焦点护栏消除与种子一致即正确的系统性偏置。四象限多样性将内部/外部与词面/语义并置为二维判定平面，并按生成样本—其种子配对计算外部偏离，可区分“表层多样但考察点跑偏”与“考察点保持且表层偏离”。配对同步剔除保证各分支对比基数严格一致，配合确定性解码使全流程结论可复现。由此解决了单阶段打分漂移、正确性判定偏置与单一多样性指标误判的问题。

6、本发明首次将生成合格评测样本的能力作为跨模型可比选型的对象。输入为种子样本与生成协议，输出为对所生成样本自身质量的判定与跨模型可比排行，按模型、领域、任务三个维度聚合，给出总排行、分领域与分任务排行及选型配置数据，可直接用于工程选型。

1.大模型动态评测场景下的样本生成与评估方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述数据集级质心嵌入为格子内全部样本嵌入的均值，或为格子内样本对相似度均值的等价表示；所述混合示例组由目标格子自身样本、同任务异领域格子样本、同领域异任务格子样本按预设条数配比构成；所述温度的系数可调，以在集中于最相似来源与趋于均匀采样之间连续调节；当所述目标格子的样本量为零时，以该格子对应的领域规格文本与任务规格文本的嵌入替代其质心嵌入参与相似度计算。

3.如权利要求1所述的方法，其特征在于，所述反复制约束包括：不得复制示例的题干、不得沿用示例的领域背景、不得改变目标任务的考察形式；每条参考示例均附带其自身的领域—任务元标注。

4.如权利要求1所述的方法，其特征在于，所述变换自由度至少包括情境重构、变量扰动与呈现格式变换，所述锚点至少包括核心逻辑不变、难度锚定与类别一致；所述改写提示中还包含对抗记忆污染声明、结构保持要求与生成端自校验指令。

5.如权利要求1所述的方法，其特征在于，所述标签忠实性校验的判定分两段执行，第一段为不调用模型的硬检，第二段为以领域规格文本与任务规格文本为依据、逐条给出是否判定并回引样本原文片段的语义判定，所述语义判定包括领域忠实、任务忠实与非来源格子归属三条，三条同时成立方判为通过。

6.如权利要求1所述的方法，其特征在于，所述连贯性分析的第一级由所述连贯性分析模型自适应确定3至4个评价维度并逐维给出子分，第二级将逐维子分与预设锚定量表的档位阈值进行匹配运算，且两级之间按下列规则强制绑定：只能在五档中择一落档，档内取值由第一级子分整体高低决定，各档的硬上限与起评门限的效力高于第一级子分，相邻档位歧义以固定判别问句裁决。

7.如权利要求1所述的方法，其特征在于，所述正确性验证模型按下列之一实施忽略所述种子样本的内容：所述正确性验证模型的输入上下文中仅写入动态评测样本的文本而不写入种子样本的文本，种子样本的标识仅以配对键形式保留于记录侧；或种子样本的文本以仅供参考标注随附于正确性验证模型的输入上下文中，但同时施加忽略种子样本内容的指令、给出与种子样本不一致仍应判为正确的反向判据示例、并将问答抽取限定为仅从动态评测样本中抽取；所述正确性判定结果为二值结论；在动态评测样本未显式区分问题与答案时，先抽取问答对再执行所述正确性验证。

8.如权利要求1所述的方法，其特征在于，所述内部词面多样性为生成集合内部不重复二元词组占比，所述内部语义多样性为生成集合嵌入相似度核矩阵归一化特征值的熵指数，所述外部词面偏离为动态评测样本与其种子样本之间bleu-4分数的均值，所述外部语义偏离为动态评测样本与其种子样本之间嵌入余弦距离的均值。

9.如权利要求1所述的方法，其特征在于，所述哨兵标记为固定标记串，所述正则容错提取包括对多余空白、大小写差异、附加说明文字与标记重复的容错处理；所述同步剔除按样本标识在全部参与对比的分支中一并执行，使各分支的对比基数一致；所述结构化校验通过后的入库动作触发对应格子样本量重新统计，并以全部格子达到目标规模或达到迭代上限为终止条件，形成迭代增补闭环；所述质量评估结论包括各候选大语言模型在连贯性、正确性与多样性上的量化表现，所述选型配置数据包括总体最优的出题模型、各领域与各任务上的最优出题模型，以及当连贯性与多样性两项互为取舍时的权衡参数。

10.大模型动态评测场景下的样本生成与评估系统，其特征在于，包括：