一种基于分歧类型感知的主观题评分方法

本发明涉及教学，尤其涉及一种基于分歧类型感知的主观题评分方法。

背景技术：

1、现有的评分技术有单ai模型评分，rubric评分框架和多模型集成：

2、（1）单ai模型评分：这类方法本质上是把主观题评分当作一个文本理解与判别任务，直接用大模型（如 deepseek或 qwen系列模型）对答案进行打分或生成评分理由。单ai模型评分主要来自自然语言处理（nlp）和教育测评领域里的“自动作文评分（aes）”，早期依赖特征工程（词汇、句法、长度等）+机器学习，后来逐步过渡到基于深度学习（bert类模型）再到大语言模型的端到端评分。这一类的核心问题是：模型如何理解“答案质量”，以及如何控制评分稳定性与偏差。

3、（2）rubric评分框架。rubric评分框架并不是一个模型，而是一种结构化评分方法，把评分标准拆解为多个维度（比如内容完整性、逻辑性、表达清晰度等），每个维度有明确的等级描述。ai在这里的作用，是按照rubric逐项判断并给出分值。rubric评分框架一方面来自教育评估理论（rubric、分层评分、标准参照评价），另一方面结合了nlp中的信息抽取、语义匹配和文本分类技术。相比“直接打总分”，rubric的优势在于可解释性更强，也更容易做过程记录，但难点在于如何让模型稳定地对齐各个评分维度的标准。

4、（3）多模型集成。这类方法不依赖单一模型，而是组合多个异构模型，通过加权、投票或仲裁机制输出最终分数。传统 ensemble 的技术背景源于统计学习理论，它将模型间分歧视为需要被平均消除的随机误差（variance/noise），而不是需要被分析利用的认知差异或推理信号。

5、单ai模型评分端到端评分最大的挑战在于“黑盒属性”与“鲁棒性不足”，具体表现为：评分偏见与“幻觉”：大模型容易受到表面特征的干扰。例如，模型可能更倾向于给篇幅较长、使用了高级词汇或排版漂亮的答案打高分（即长度偏见），而忽略了核心知识点的缺失。缺乏确定性的评分锚定：缺乏刚性的比对标准。同一个模型在面对微小的输入扰动（如标点符号改变、换行符差异）时，可能会给出不同的分数，导致评分一致性难以达到教育测量学的高标准。可解释性极差（黑盒问题）：模型直接输出一个总分和一段看似通顺的理由。这种理由往往是“生成式”的，而不是基于严格逻辑推导出来的，无法真正让人信服，更无法为学生提供精准的诊断性反馈。

6、rubric（量规）评分框架的问题：虽然rubric提高了可解释性，但其核心问题在于“维度割裂”与“对齐成本极高”：维度间的“光环效应”与语义重叠：在实际操作中，rubric的各个维度（如内容、逻辑、表达）很难做到完全正交。模型在处理时，往往会受到某一维度的强烈影响，导致其他维度的评分被“同化”（例如，因为表达流畅，模型在内容完整性上也给了解释不通的高分）。容易累计误差，当任务被拆解为n个维度后，模型需要进行 n 次判断。如果模型在某个子维度上理解产生偏差，这种微小的扰动在最后的总分合成（加权求和）时会被放大或扭曲：让大模型精准理解“什么是3分的逻辑”和“什么是4分的逻辑”需要极其精细的prompt工程或微调。不同尺寸或不同厂商的模型对同一套 rubric 描述的文本语义理解偏差很大，迁移性较差。

7、多模型集成评分（传统ensemble）的问题：传统集成方法（如加权平均、投票）将多模型组合，但其核心问题在于“抹杀推理信号”与“计算成本高昂”：简单平均抹杀了深层认知差异：传统集成将模型间的分歧视为“随机噪声”，试图通过多模型平均来消除。但主观题评分不是简单的数值回归，分歧往往代表了答案本身的歧义性或复杂性。简单粗暴的平均或投票，实际上抹杀了不同模型在不同维度上的独特推理信号（推理坍塌）。无法解决“系统性偏差”：如果底层使用的多个异构模型（如deepseek、qwen、glm）在训练数据上具有相似的分布或共同的局限性（例如都容易受长度偏见影响），那么集成方法非但不能消除误差，反而会加剧这种系统性共性偏差。

技术实现思路

1、本发明解决的技术问题是：现有技术中，主观题自动评分技术中评分分歧处理自动化程度不足、分歧类型识别精度低、触发阈值静态固化以及仲裁结果置信度评估缺失的技术问题。

2、为解决上述技术问题，本发明提供如下技术方案：一种基于分歧类型感知的主观题评分方法，包括：

3、步骤s1，将评分任务输入分别提交至第一评分模型和第二评分模型，所述第一评分模型和第二评分模型分别输出评分结果；

4、步骤s2，计算所述评分结果在各维度上的分歧度量，并按预设权重组合得到综合分歧得分，若综合分歧得分大于当前难度对应的触发阈值θd，则进入步骤s3，若综合分歧得分小于或等于当前难度对应的触发阈值θd，则进入步骤s4；

5、步骤s3，对所述综合分歧得分按照分类类型进行分类；

6、步骤s4，依据所述分类类型，从预先配置的类型策略映射表中选取对应的执行策略，连同第一评分模型和第二评分模型的评分结果、推理链以及分歧摘要一起作为上下文，提交至仲裁模型；

7、步骤s5，所述触发阈值θd按题目难度等级自适应更新：

8、步骤s6，所述仲裁模型依据所选仲裁策略生成最终评分和自评置信度；

9、步骤s7，根据所述自评置信度，按本轮分歧得分进行自我检验，得到最终置信度，根据所述最终置信度进行最终评分输出。

10、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述评分结果包括总分、评分细则中各维度分值和评分推理链；

11、所述评分任务包括题目内容、考生答案、标准答案、评分细则、知识点列表和题目难度等级。

12、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述分歧度量包括总分归一化差、评分细则中各维度分差的均方根和知识点集合之间的不相似度。

13、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：计算所述分歧度量包括：

14、步骤s21，将所述第一评分模型和第二评分模型的总分之差的绝对值除题目满分，得到总分归一化差；

15、步骤s22，计算评分细则中各维度分差的均方根，其数学表达式为：

16、；

17、其中，为各维度分差的均方根，为评分细则中第k个维度的满分，为第一评分模型输出的评分结果，为第二评分模型输出的评分结果，为第一评分模型在第k维度的评分结果，为第二评分模型在第k维度的评分结果；

18、步骤s23，将所述第一评分模型标记为已覆盖的知识点记作集合，将所述第二评分模型标记为已覆盖的知识点记作集合，用1减去和集合的交集除以和集合并集，得到知识点集合之间的不相似度；

19、步骤s24，将总分归一化差、评分细则中各维度分差的均方根和知识点集合之间的不相似度加权求和得到综合分歧得分，其数学表达式为：

20、；

21、其中，为权重组合。

22、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述步骤s3中，所述分类类型包括语义等价分歧t1、知识点覆盖分歧t2、逻辑完整性分歧t3、表达规范性分歧t4和综合型分歧t5。

23、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述步骤s3包括：

24、步骤s31，从所述第一评分模型和第二评分模型的评分结果中提取五元特征向量f作为规则引擎的输入，其数学表达式为：

25、；

26、其中，为第一评分模型和第二评分模型推理链的文本相似度差异指标，为第一评分模型和第二评分模型自评置信度之差，规则引擎按在各分支自上而下匹配，首条命中即输出对应的分类类型，其数学表达式为：

27、；

28、其中，为评分细则中知识点覆盖在评分数组中的下标，为评分细则中逻辑完整性在评分数组中的下标，为表达规范性在评分数组中的下标，argmax为函数算子，argmax表示给定以自变量k为输入的函数f(k)，arg max f(k)输出使f(k)取得最大值的k本身，而maxf(k)输出的是该最大值本身，方括号内的|r(k)r(k)|为被求函数，自变量k在评分细则的各维度下标集合{1,2, …,k}上遍历，arg max|r(k)r(k)|为给出第一评分模型和第二评分模型分差最大的评分细则维度下标，从而把分类类型定位到具体的评分维度上，所述规则引擎从t5分支开始向上扫描，首条命中即返回对应分类类型并跳出，其中阈值与、在规则引擎初始化时给定。

29、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述步骤s4中，所述类型执行策略映射表的仲裁策略包括：

30、针对语义等价分歧t1，所述仲裁模型的执行策略为：执行语义释义等价性分析，忽略表达差异，聚焦语义核心；

31、针对知识点覆盖分歧t2，所述仲裁模型的执行策略为：执行知识点逐项核查，以输入中知识点列表为基准进行逐一比对；

32、针对逻辑完整性分歧t3，所述仲裁模型的执行策略为：执行论证结构分析，评估答案的因果链、递进关系和结论合理性；

33、针对表达规范性分歧t4，所述仲裁模型的执行策略为：执行语言质量评估，聚焦逻辑清晰度、学科术语准确性。

34、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述步骤s5中，触发阈值θd按题目难度等级自适应更新包括：

35、按所述语义等价分歧t1至表达规范性分歧t4的执行策略组合执行，每个分类类型只触发其对应的执行策略，针对综合型分歧t5，按历史仲裁结果对所述触发阈值θd自适应更新，仲裁改善率的数学表达式为：

36、；

37、；

38、其中，表示难度等级，，取最近个评分样本组成历史窗口，为难度为的历史样本集合，θ为衡量阈值，表示样本i在该衡量阈值θ下被判定为触发仲裁，为仲裁评分相对直接融合的质量提升量，按照更新规则对所述触发阈值θd进行更新，所述更新规则包括：

39、每累积n个新样本后，从允许区间[]中选取使有效率最大的触发阈值θd，作为本轮的目标阈值，用指数移动平均做一次平滑，其数学表达式为：

40、；

41、将下一轮评分在步骤s2中使用的触发阈值θd取为(1λ)倍的上一轮触发阈值θd与λ倍的目标阈值之和，其中平滑系数λ∈(0,1)。

42、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述最终评分包括总分、多维度分值、仲裁置信度和分歧处理说明。

43、作为本发明所述的基于分歧类型感知的主观题评分方法的一种优选方案，其中：所述步骤s7中，根据所述自评置信度，按本轮的分歧得分对其做一次折扣，得到最终置信度，其数学表达式为：

44、；

45、其中，为最终置信度，为仲裁模型自评置信度，为分歧惩罚系数，为折扣强度，若最终置信度小于人工复核阈值时，将本次的最终评分送人工复核；

46、若最终置信度大于或等于人工复核阈值时，将步骤s6中的最终评分作为最终评分输出。

47、本发明的有益效果：（1）分歧检测从单一维度扩展到总分、rubric维度、知识点三个维度，通过对总分归一化差、维度均方根分差和知识点jaccard不相似度加权求和，可以识别出"总分相近但实质判断不同"的样本，避免了传统ensemble方法将模型间分歧当作随机噪声、用简单平均消除的做法所造成的推理信号丢失，通过三模型评分机制产生评分结果，并计算多维度分歧度量进行综合评估，能够精确量化评分分歧的程度。当分歧程度超过阈值时，系统自动对分歧进行分类识别，并根据分类类型选取对应的仲裁策略，实现了分歧处理的自动化与针对性。同时，触发阈值能够根据题目难度等级自适应更新，使系统能够适应不同难度题目的评分需求。最终通过置信度检验机制，确保评分结果的可靠性。该方法有效提升了主观题自动评分的准确性、一致性和可解释性，降低了人工干预的需求。

48、（2）通过规则引擎将分歧归类为语义等价（t1）、知识点覆盖（t2）、逻辑完整性（t3）、表达规范性（t4）和综合型（t5）共五类，并依据类型-策略映射表向仲裁模型注入专项指令，使仲裁模型只在与分歧真正相关的维度上重新评估，避免了rubric方法中常见的维度光环效应和多维度误差累积，使得仲裁过程与分歧成因精确对齐。

49、（3）触发阈值随题目难度和历史样本动态调整，能够按难度等级维护各自的阈值，基于仲裁有效率指标和指数移动平均规则定期更新，避免了一刀切阈值在简单题上过度调用仲裁、在困难题上漏判分歧的问题，同时使阈值能够随评分数据自我修正。

50、（4）仲裁模型的自评置信度先按本轮综合分歧得分进行折扣，分歧越大、折扣越多，配合人工复核阈值筛选出真正不可自动定稿的样本，缓解了大语言模型自评偏乐观的问题，使人工复核资源集中在系统确实不确定的答案上。

51、（5）每份答案的三维分歧得分、所判定的分歧类型、所选用的仲裁指令、仲裁推理链以及置信度折扣过程均以结构化字段记录，可针对学生答案给出指向具体知识点和评分维度的诊断性反馈，评分过程具备可解释性和可追溯性，弥补了单ai模型评分黑盒输出难以让人信服、rubric方法可解释性受语义对齐影响的不足。

52、（6）综合分歧得分不超过触发阈值时直接按加权融合输出，超过阈值时才调用仲裁模型，最终置信度仍低于人工复核阈值时再转人工。三段处理通道按样本的实际难度分流，避免了对所有样本一律调用仲裁模型或一律人工复核所带来的算力和人力浪费，系统资源分配更加合理。