一种基于大语言模型的智能作业批改方法

摘要: 本发明涉及智能作业批改,具体涉及一种基于大语言模型的智能作业批改方法。背景技术:1、随着人工智能技术的深度普及,智能作业批改技术已逐步替代传统人工批改、传统机器...
一种基于大语言模型的智能作业批改方法

本发明涉及智能作业批改,具体涉及一种基于大语言模型的智能作业批改方法。

背景技术:

1、随着人工智能技术的深度普及,智能作业批改技术已逐步替代传统人工批改、传统机器规则批改模式,但目前智能作业批改技术在实际应用中仍存在以下不足:

2、(1)现有智能批改技术普遍直接对全部答卷进行处理,缺乏样本筛选机制和边界信息保留机制,该类方案在作业批改过程中,对所有答卷样本无差别处理,未对答卷样本的代表性、典型性进行甄别与筛选,大量无效、同质化、低参考价值的答卷样本会占用模型运算资源,同时关键的批改边界信息易在全量处理过程中丢失,直接导致评分细则的生成过程冗余度高、针对性弱,极大降低了评分细则的生成效率,难以快速适配不同批次、不同质量的作业批改场景;

3、(2)当前主流批改方案多采用一次性固化生成评分细则的模式,完成初始评分细则生成及作业批改后,无法基于实际批改结果对评分细则进行自主迭代优化,评分规则始终保持初始状态,无法适配多样化的学生答题情况;

4、少数具备迭代优化能力的方案也仅依托简单的数值误差计算方式完成模型参数微调,仅能实现表层数据偏差的修正,缺乏语义化误差评估体系与ai推理驱动的优化机制,难以保证评分精度,其简单的数值误差计算仅能捕捉批改结果的量化偏差,无法挖掘评分误差产生的深层语义原因、答题逻辑偏差及规则适配漏洞,导致评分细则迭代优化不精准、不彻底,长期使用下评分误差持续累积,作业批改的整体精度无法得到有效保障;

5、(3)现有技术严重依赖评分规则的人工预定义,不具备自主解析描述性参考答案、自动提取评分核心要点的能力;在作业批改前,必须依靠人工针对不同学科、不同题型逐一梳理、预定义全套评分规则。面对教学场景中大规模、大批量的作业批改需求,人工预置规则的模式工作量较大、落地效率低;同时,人工预定义的规则无法灵活适配不同学科特性、不同题型的答题逻辑与评分标准,难以根据场景需求自适应优化批改逻辑,导致系统通用性、拓展性较差,无法适配规模化、多元化的作业批改场景;

6、(4)现有智能批改技术缺乏完善的评分一致性保障机制,批改过程存在明显的黑箱特性:现有方案主要单纯依赖大语言模型的自主生成能力完成批改打分,整个评分推理过程无标准化约束、无一致性校验机制,模型的生成随机性较强,针对同质化答题内容易出现前后评分标准不一、打分偏差浮动较大的问题,其评分一致性、稳定性难以把控;同时,整个批改推理过程可解释性差,形成典型的技术黑箱,无法追溯评分偏差的产生环节,也无法针对性优化批改逻辑,降低了智能作业批改结果的可信度与实用性;

7、综上所述,当前智能作业批改技术普遍存在评分细则生成效率低、迭代优化能力弱、评分精度不足、人工依赖度高、通用性差、评分一致性无保障且过程可解释性差等诸多技术短板,难以满足现阶段大规模、高精度、智能化、通用化的作业批改需求。

技术实现思路

1、为了克服现有技术存在的缺陷与不足,本发明提供一种基于大语言模型的智能作业批改方法,本发明从语义、字数、分数多维度筛选代表性答卷与边界样本对,结合优化提示词自动从非结构化参考答案提取评分要点、生成评分细则,再通过大语言模型做语义化误差分析,挖掘误差根源并迭代更新细则,持续提升评分精度,评分时严格依托评分细则,结合大模型语义理解能力统一判别不同表述的合规答案,既能依托高代表性样本提升细则生成效率、增强细则区分度,又能凭借语义化误差优化提升迭代效率与评分精准度,同时消除评分黑箱,保障评分一致,可高效处理大批量答卷,适配各类学科与题型的评分场景。

2、为了达到上述目的,本发明采用以下技术方案:

3、本发明提供一种基于大语言模型的智能作业批改方法,包括下述步骤:

4、接收题目描述、参考答案以及答卷集合;

5、构建每份答卷的词袋向量,对所有答卷的词袋向量进行聚类,计算每份答卷的文字特征值,筛选得到文字特征代表样本;

6、构建每份答卷的语义向量,对所有答卷的语义向量进行聚类,计算每份答卷的语义特征值,筛选得到语义特征代表样本;

7、根据答卷的字数分布划分多个字数区间,计算每份答卷字数在对应字数区间正态分布下的概率密度函数值,筛选得到字数特征代表样本;

8、根据答卷的分数分布划分多个分数区间,计算每份答卷分数在对应分数区间正态分布下的概率密度函数值,筛选得到分数特征代表样本;

9、根据特征值排序循环选取每种特征的代表样本,构建代表性答卷集;

10、基于的预设的综合相似度阈值及分数差异阈值选取边界样本对;

11、基于边界样本对的信息构建用于生成评分细则的提示词,基于大语言模型生成评分细则,根据评分结果与标准分数的差距优化评分细则,得到最终的评分细则;

12、获取待批改的学生答卷,基于最终评分细则构建批改提示词,基于大语言模型进行批改,根据评分细则和学生答卷生成评分结果,解析及验证评分结果,得到作业批改结果。

13、作为优选的技术方案,构建每份答卷的词袋向量,对所有答卷的词袋向量进行聚类,计算每份答卷的文字特征值,筛选文字特征代表样本,具体包括:

14、对所有答卷的词袋向量进行聚类,将每份答卷作为独立簇,计算两个簇之间的余弦相似度,当判定余弦相似度大于预设的相似度阈值时合并簇,得到类别数;

15、计算每份答卷与类内其他答卷的平均iou指标作为其文字特征值;

16、对于每个类别构建用于评估样本代表性的提示词,经大语言模型得到代表性评分;

17、基于文字特征值和代表性评分加权计算得到融合后的文字特征值;

18、基于融合后的文字特征值对所有答卷进行排序,筛选得到文字特征代表样本。

19、作为优选的技术方案,计算每份答卷与类内其他答卷的平均iou指标作为其文字特征值,表示为:

20、;

21、;

22、其中,和分别为答卷和答卷的词集合,表示集合的元素个数,表示第个类别,表示文字特征值,表示平均iou指标;

23、基于文字特征值和代表性评分加权计算得到融合后的文字特征值,表示为:

24、;

25、其中,和为权重系数,表示代表性评分,表示融合后的文字特征值。

26、作为优选的技术方案,构建每份答卷的语义向量,对所有答卷的语义向量进行聚类,计算每份答卷的语义特征值,筛选得到语义特征代表样本,具体包括:

27、对所有答卷的语义向量进行聚类,将每份答卷作为独立簇,计算两个簇之间的语义向量相似度,当判定语义向量相似度大于预设的相似度阈值时合并簇,得到类别数;

28、计算每份答卷与类内其他答卷的平均语义向量相似度作为语义特征值;

29、基于语义特征值对所有答卷进行排序,筛选得到语义特征代表样本。

30、作为优选的技术方案,计算每份答卷与类内其他答卷的平均语义向量相似度作为语义特征值,表示为:

31、;

32、;

33、其中,表示语义特征值,表示平均语义向量相似度,表示第个类别,表示语义向量和语义向量的余弦相似度。

34、作为优选的技术方案,计算每份答卷字数在对应字数区间正态分布下的概率密度函数值,作为字数特征值,表示为:

35、;

36、;

37、;

38、其中,表示字数特征值,、表示字数区间内答卷字数的均值、标准差,为字数区间内的答卷数量,表示字数区间内第i份答卷,表示第i份答卷的字数;

39、根据字数特征值对所有答卷进行排序,筛选得到字数特征代表样本。

40、作为优选的技术方案,计算每份答卷分数在对应分数区间正态分布下的概率密度函数值,作为分数特征值,表示为:

41、;

42、;

43、;

44、其中,表示分数特征值,、表示分数区间内答卷分数的均值、标准差,为分数区间内的答卷数量,表示分数区间内第i份答卷,表示第i份答卷的分数;

45、根据分数特征值对所有答卷进行排序,筛选得到分数特征代表样本。

46、作为优选的技术方案,根据特征值排序循环选取每种特征的代表样本,构建代表性答卷集,具体包括:

47、计算每个分数区间选取的样本数量,采用按比例分配策略,表示为:

48、;

49、其中,为分数区间内的答卷数量,为总答卷数,表示预设的代表样本数阈值;

50、获取每种特征的所有类别集合,按照特征值从高到低的顺序遍历每种特征类内的样本,选取样本添加到代表性答卷集直至达到代表样本数阈值。

51、作为优选的技术方案,基于预设的综合相似度阈值及分数差异阈值选取边界样本对,具体包括:

52、计算代表性答卷集中每对样本的综合相似度,表示为:

53、;

54、其中,、、分别表示答卷和答卷的综合相似度、文本相似度、语义相似度,和为权重系数;

55、预设综合相似度阈值及分数差异阈值,将识别出的边界样本对添加到边界样本对列表中,若边界样本对的数量超过预设的数量阈值,则按相似度从高到低选择边界样本添加;

56、对于每个边界样本对记录其差异特征。

57、作为优选的技术方案,根据评分结果与标准分数的差距优化评分细则,得到最终的评分细则,具体包括:

58、获取代表性答卷的标准分数,根据当前评分细则对代表性答卷进行评分,得到预测分数;

59、构建用于语义化误差评估的提示词,输入到大语言模型中获取语义化的误差报告;

60、根据误差报告构建根因分析提示词,输入到大语言模型中获取根因分析结果,根据根因分析结果生成优化优先级列表,按影响程度排序需修改的评分细则条款;

61、根据根因分析结果构建优化建议生成提示词,输入到大语言模型中获取优化建议;

62、根据优化建议构建细则更新提示词,输入到大语言模型中获取更新后的评分细则;

63、记录迭代的修改历史,计算数值误差并判断是否达到预设的收敛阈值,若满足则判定为数值收敛,构建语义收敛判断提示词并输入大语言模型,判断评分质量是否达到预设条件要求,满足收敛条件或最大迭代次数时停止迭代,输出最终评分细则。

64、本发明与现有技术相比,具有如下优点和有益效果:

65、(1)现有技术直接对全部答卷进行处理,未考虑样本代表性,缺乏样本筛选机制,导致评分细则生成效率低下,而本发明通过多维度特征筛选得到为文字特征代表样本、语义特征代表样本、字数特征代表样本和分数特征代表样本,确保样本在内容多样性、语义多样性、字数代表性、分数覆盖等方面具有充分的代表性,并且基于分数感知的多样化样本选择得到代表性答卷集和边界样本对列表,从海量答卷中筛选出最具代表性的样本,大幅提高了评分细则生成效率,且边界样本对为评分细则生成提供区分信号,提升了评分细则的区分能力。

66、(2)现有技术采用一次性生成评分细则的方式,无法根据评分结果自动优化评分细则,即使有迭代优化,也仅采用简单的数值误差计算和参数调整,难以保证评分精度,而本发明通过大语言模型生成结构化误差报告、推理误差根本原因、生成语义化优化建议并更新评分细则,其通过语义化误差评估迭代优化评分细则的方式实现了评分精度的持续提升,语义化误差评估用文字描述替代数值误差,比纯数值误差评估的优化效率更高,能够捕捉误差的深层原因,误差分析更加精确。

67、(3)现有技术依赖评分规则的人工预定义,而本发明基于提示词优化和边界样本对信息自动生成评分细则,从非结构化参考答案中自动提取评分要点,识别参考答案语义并生成边界案例处理规则,降低了人工标注成本,提升了评分细则的生成效率。

68、(4)现有技术主要依赖模型的生成能力,缺乏对评分一致性的保障机制,评分过程存在黑箱特性,而本发明在严格遵循评分规则的同时,利用大语言模型的语义理解能力灵活处理表述多样但语义正确的答案,实现精准且一致的评分,能够高效处理大规模数据,且不依赖于特定的题型或学科,能够适应不同的评分需求。