一种面向多领域大模型的可重组基准评测方法与流程

摘要: 本发明属于人工智能模型评测与软件验证,涉及一种面向多领域大模型的可重组基准评测方法。背景技术:1、随着大模型基准评测任务覆盖的领域和答案形式不断增加,评测过程通...
一种面向多领域大模型的可重组基准评测方法与流程

本发明属于人工智能模型评测与软件验证,涉及一种面向多领域大模型的可重组基准评测方法。

背景技术:

1、随着大模型基准评测任务覆盖的领域和答案形式不断增加,评测过程通常需要通过答案提取、答案预处理、答案映射及评分等多个处理环节,将大模型输出转换为可供任务判定和结果汇总的数据。为适应不同领域任务,相关处理组件可能被替换、重新组合或调整执行顺序。由于不同任务对允许输出形式、必须区分要素及受保护字符序列具有不同要求,重组后的处理组件链即使能够完成运行,也可能将语义等价的答案错误区分、将语义非等价的答案错误合并,或者改变具有领域含义的受保护字符序列,进而影响评测结果。

2、现有评测过程通常根据处理组件链能否正常执行或者最终评分结果判断重组配置是否可用,难以在排除大模型推理差异的情况下,单独确定评测处理组件对任务答案关系的影响;当答案关系在多个处理环节中发生改变时,也难以根据最终结果确定首次引起关系变化的处理组件。由此,存在异常评测结果进入任务汇总并影响综合评测结果的风险。

技术实现思路

1、为解决背景技术中存在的问题,本发明提出了一种面向多领域大模型的可重组基准评测方法。

2、为了实现上述目的,本发明采用的技术方案如下:一种面向多领域大模型的可重组基准评测方法,包括:

3、获取多领域大模型基准中目标评测任务的输出约束、领域字符规则和已通过所述目标评测任务基线验证的原生组件链,按重组配置组合处理组件形成候选组件链;

4、根据所述输出约束和领域字符规则形成具有预定关系的关系锚点集,所述关系锚点集包括语义等价答案对、语义非等价答案对和领域字符保持样本;

5、在不触发待评测大模型推理的情况下,将同一锚点答案从模型输出接口分别输入所述原生组件链和候选组件链,记录各处理组件执行前后的阶段输出;

6、根据两条组件链的阶段输出与所述预定关系的对应情况,确定各锚点关系为保持、破坏或无法判定状态;

7、任一锚点关系为破坏状态时,按候选组件链的处理顺序,将该关系在执行前保持且执行后首次被破坏的处理组件确定为目标组件;

8、各锚点关系均为保持状态时,开放候选组件链至评测结果汇总接口的数据通路;任一锚点关系为破坏或无法判定状态时,阻断所述数据通路。

9、进一步地,所述处理组件包括答案提取组件、答案预处理组件、答案映射组件和评分组件中的至少两种;

10、所述阶段输出包括与各处理组件对应的组件标识、组件输入、组件输出和处理顺序,并与对应的锚点答案关联。

11、进一步地,所述语义等价答案对的形成包括:

12、从目标评测任务的参考答案中选取待变换答案;

13、从所述输出约束中提取允许的等价变换规则;

14、按照所述等价变换规则处理所述待变换答案,形成变换答案;

15、将所述待变换答案和变换答案组成语义等价答案对,并将二者应获得相同任务判定的关系确定为所述语义等价答案对的预定关系。

16、进一步地,所述语义非等价答案对的形成包括:

17、从目标评测任务的参考答案中选取待变更答案;

18、从所述输出约束中确定影响任务判定的必须区分要素;

19、在保持答案输出格式的条件下改变所述必须区分要素,形成变更答案;

20、将所述待变更答案和变更答案组成语义非等价答案对,并将二者应获得可区分任务判定的关系确定为所述语义非等价答案对的预定关系。

21、进一步地,所述领域字符保持样本的形成及判断包括:

22、根据所述领域字符规则,从目标评测任务的参考答案中确定受保护字符序列;

23、将包含所述受保护字符序列的参考答案作为领域字符保持样本;

24、沿候选组件链比较各处理组件执行前后的阶段输出中所述受保护字符序列的保持情况;

25、当所述受保护字符序列被删除、替换或重排,且所述变化不属于所述领域字符规则允许的变换时,确定领域字符保持关系为破坏状态。

26、进一步地,所述基线验证包括:

27、在获取所述原生组件链之前,根据目标评测任务的输出约束和领域字符规则形成基线锚点集,所述基线锚点集包括语义等价答案对、语义非等价答案对和领域字符保持样本;

28、将目标评测任务当前采用的处理组件序列确定为待验证组件链;

29、将所述基线锚点集中的锚点答案从模型输出接口输入所述待验证组件链,并记录各处理组件执行前后的阶段输出;

30、根据所述阶段输出,分别判断语义等价答案对是否形成相同任务判定、语义非等价答案对是否形成可区分任务判定以及领域字符保持样本是否保持所述领域字符规则规定的受保护字符序列;

31、三项判断均成立时,将所述待验证组件链确定为原生组件链;

32、任一判断不成立时,不将所述待验证组件链确定为原生组件链,并停止候选组件链验证;

33、任一判断无法作出时,不将所述待验证组件链确定为原生组件链,将当前目标评测任务标记为无法判定状态,并停止候选组件链验证。

34、进一步地,所述目标组件的确定包括:

35、按照候选组件链的处理顺序,根据各处理组件执行前后的阶段输出,分别确定同一锚点关系在各处理组件执行前后的状态;

36、从候选组件链的入口开始,依次确定所述锚点关系由保持状态变为破坏状态的位置;

37、将所述位置对应的处理组件确定为目标组件,并将造成所述状态变化的锚点答案与所述目标组件关联。

38、进一步地,在确定目标组件后,还包括:

39、将造成锚点关系破坏的锚点答案确定为失败锚点;

40、从所述阶段输出中提取所述失败锚点在目标组件执行前形成的阶段输出,作为重测输入;

41、获取待替换处理组件,根据所述目标组件在候选组件链中的处理位置和所述待替换处理组件更新原重组配置,形成更新后的重组配置;

42、按照所述更新后的重组配置替换所述目标组件;

43、将所述重测输入写入替换后的目标组件输入端,并执行替换后的目标组件及其后续处理组件;

44、全部失败锚点对应的锚点关系均恢复为保持状态时,重新执行候选组件链的准入判断;

45、任一失败锚点对应的锚点关系仍为破坏状态或无法判定状态时,保持候选组件链至评测结果汇总接口的数据通路处于阻断状态。

46、进一步地,所述无法判定状态的处理包括:

47、确定无法判定状态由锚点答案的预定关系不明确、关键处理组件的阶段输出缺失或候选组件链中存在不能根据相同输入取得可复核结果的处理组件中的至少一种情况引起;

48、根据引起无法判定状态的情况,执行预定关系依据补充、阶段输出补充记录或人工复核;

49、在完成对应处理并能够确定各锚点关系的状态前,保持候选组件链至评测结果汇总接口的数据通路处于阻断状态。

50、进一步地,在目标评测任务的正式基准评测过程中,还包括:

51、获取关系锚点集未覆盖的目标输出形式,并暂停所述目标输出形式对应的评测结果汇总;

52、根据所述输出约束和领域字符规则,判断所述目标输出形式是否能够形成语义等价关系、语义非等价关系或领域字符保持关系;

53、能够形成任一所述关系时,根据所述目标输出形式形成补充关系锚点,在不触发待评测大模型推理的情况下,将所述补充关系锚点中的锚点答案从模型输出接口分别输入原生组件链和候选组件链,并根据两条组件链的阶段输出与所述补充关系锚点的预定关系的对应情况,重新确定候选组件链的准入状态;

54、无法形成任一所述关系时,将所述目标输出形式标记为无法判定,并禁止所述目标输出形式对应的评测结果进入汇总。

55、与现有技术相比,本发明具有以下有益效果:将具有预定关系的同一锚点答案从模型输出接口分别输入经基线验证的原生组件链和候选组件链,且不重新触发待评测大模型推理,使两条组件链在相同答案输入条件下进行处理,从而能够减少模型推理结果变化对组件链验证过程的干扰,并将验证对象限定于模型输出接口之后的评测处理过程。

56、通过语义等价答案对、语义非等价答案对和领域字符保持样本验证候选组件链对不同任务答案关系的保持情况,并根据各处理组件执行前后的阶段输出定位关系首次发生破坏的目标组件;同时,利用保持、破坏和无法判定三种状态控制候选组件链至评测结果汇总接口的数据通路,使关系异常或依据不足的评测结果不进入汇总,并为目标组件替换及局部重测提供可追溯的阶段数据。