一种融合规则与大模型的智能阅卷与认知诊断一体化方法

摘要: 本发明涉及计算机辅助教育,特别涉及一种融合规则与大模型的智能阅卷与认知诊断一体化方法。背景技术:1、在教育信息化进程中,自动阅卷与学情分析是提升教学效率、实现个...
一种融合规则与大模型的智能阅卷与认知诊断一体化方法

本发明涉及计算机辅助教育,特别涉及一种融合规则与大模型的智能阅卷与认知诊断一体化方法。

背景技术:

1、在教育信息化进程中,自动阅卷与学情分析是提升教学效率、实现个性化学习的关键环节。现有技术方案通常采用以下两种路径之一:

2、其一,基于确定性规则的阅卷系统。此类系统通过字符串精确匹配或正则表达式对客观题(如选择题、判断题)进行批改,速度快、成本低,但存在以下固有局限:无法处理主观题或需要语义理解的复杂题型;其学情分析也仅停留在统计得分率、错题分布等浅层指标,无法诊断学生深层的知识薄弱点。

3、其二,基于大语言模型(llm)的端到端阅卷方案。此类方案将所有题型(包括客观题和主观题)的答案统一交由llm进行语义评判,虽然具备处理主观题的能力,但存在以下缺陷:(1)成本开销高:对简单客观题调用llm造成了不必要的计算开销和api调用成本;(2)批改稳定性差:llm输出的不稳定性可能导致对客观题的误判;(3)诊断深度不足:其分析结果通常为笼统的评语,缺乏对知识点掌握情况的量化诊断。

4、此外,现有题库构建方式高度依赖人工录入或特定格式的结构化文档,无法自动处理教师常用的word、pdf或图片等多源异构文档,导致题库建设效率低下,成为智能阅卷系统落地的瓶颈。

5、因此,亟需一种能够自动解析多源题库文档、高效且精准地混合批改各类题型、并基于批改结果进行深层认知诊断的技术方案,以解决现有技术中阅卷系统无法兼顾成本、效率与诊断深度的问题。

技术实现思路

1、本发明旨在解决现有方法存在的规则阅卷无法处理主观题且学情分析停留在浅层指标、大语言模型端到端阅卷成本开销高且输出不稳定导致误判及诊断深度不足、以及题库构建高度依赖人工录入而无法自动处理多源异构文档的问题,提供一种融合规则与大模型的智能阅卷与认知诊断一体化方法。

2、第一方面,本发明提供了一种融合规则与大模型的智能阅卷与认知诊断一体化方法,包括如下步骤:

3、获取多源题库文档,判断文档类型并解析得到文本内容,结合正则表达式与多模态大语言模型,将所述文本内容结构化提取为包含预设字段的题目对象,构建结构化题库;

4、获取学生作答文档并解析得到作答文本,根据所述结构化题库中各题目的题目类型,将所述学生作答文档中的各题分流至选择题通道、填空题通道及主观题通道中的一个通道;

5、在所述选择题通道中,基于学生答案与标准答案进行字符串比较以得到选择题批改结果;在所述填空题通道中,基于学生答案与标准答案,通过莱文斯坦距离的模糊子串匹配算法进行批改以得到填空题批改结果;在所述主观题通道中,调用大语言模型对学生答案进行语义批改得到初步批改结果,并基于独立的大语言模型对所述初步批改结果进行二次校验以得到主观题批改结果;

6、基于各所述批改结果与预设的题目-知识点关联关系,构建用于认知诊断的题目-知识点关联矩阵与学生作答结果矩阵;采用期望最大化算法,基于所述题目-知识点关联矩阵与学生作答结果矩阵迭代估计dina模型的参数,得到学生对各知识点的掌握概率;

7、筛选所述掌握概率低于预设阈值的知识点以生成薄弱知识点列表,并调用大语言模型,将所述薄弱知识点列表、各所述掌握概率及各题得分详情输入给大语言模型,生成学情分析报告。

8、作为本技术第一方面的一种可选实施方式,所述构建结构化题库,包括:

9、获取题库文件并通过文件属性判断文档类型,针对不同文档类型调用对应的解析方式进行处理,其中,对于文本文档类型的题库文件,直接提取文本内容;对于图片类型的题库文件,生成图片资源标识;当处理结果为图片资源标识,则调用所述多模态大语言模型将图片中的文字内容提取为文本内容;

10、采用正则表达式对文本内容进行题号识别并分割出独立的题目文本块;

11、将每个题目文本块及关联的图片url发送给大语言模型,通过提示词要求其将题目信息提取为包含预设字段的json对象;将所生成的json对象插入到数据库中以构建结构化题库。

12、作为本技术第一方面的一种可选实施方式,所述得到选择题批改结果,包括:

13、对学生答案与标准答案进行字符串全等比较,根据比较结果输出正误判定及得分;其中,当所述学生答案与标准答案全等时判定为正确并给予满分,否则判定为错误并将得分置为零。

14、作为本技术第一方面的一种可选实施方式,所述得到填空题批改结果,包括:

15、对所述学生答案与标准答案分别进行分词处理,去除停用词,得到各自对应的词序列;将所述学生答案的词序列中的关键词基于滑动窗口方式匹配所述标准答案的词序列,计算各匹配窗口内的莱文斯坦距离并归一化为相似度;

16、当所述相似度不低于预设的相似度阈值时,判定关键词匹配成功,并按匹配成功的关键词数与标准答案总关键词数之比乘以满分值来计算得分;其中,所述相似度阈值基于验证集数据通过参数优化方式确定。

17、作为本技术第一方面的一种可选实施方式,所述调用大语言模型对学生答案进行语义批改得到初步批改结果,包括:

18、获取所述学生答案与所述标准答案的语义向量,以及基于题目考察知识点集合生成的、反映学生答案中知识点命中情况的知识点覆盖向量,并将所述语义向量、知识点覆盖向量及题目id上传至云端大语言模型;

19、由所述云端大语言模型基于所述语义向量计算学生答案与标准答案的语义相似度,并基于所述知识点覆盖向量分析学生对各考察知识点的覆盖程度,结合语义相似度、知识点覆盖度及逻辑连贯性从关键知识点覆盖、逻辑推理过程及结论正确性三个层次完成语义检测与评分;

20、其中,若存在所述大语言模型调用超时、返回格式非法中的至少一种情形,则触发重试机制,重试次数达到预设次数后仍未成功,则标记为待人工复核。

21、作为本技术第一方面的一种可选实施方式,所述方法还包括跨通道信息共享步骤:

22、创建表征学生作答状态的状态向量;在完成所述选择题通道与所述填空题通道的批改后,依据各题批改结果对所述状态向量中对应知识点的权重进行实时更新,其中,选择题答错时对应知识点的权重按预设权重值增加,填空题根据得分率线性调整权重;

23、选取所述状态向量中权重最高的预设数量个知识点及其对应的错误类型,注入至所述主观题通道的提示词中,引导大语言模型重点关注学生答案中与该知识点相关的错误类型。

24、作为本技术第一方面的一种可选实施方式,所述基于独立的大语言模型对所述初步批改结果进行二次校验,包括:

25、调用独立于批改所用大语言模型的另外一个大语言模型,对所述初步批改结果进行复核,将所述语义向量、知识点覆盖向量、题目id及初步批改结果作为输入,并根据输出的校验结论对所述初步批改结果进行确认或更新;

26、其中,调用大语言模型失败时保留所述初步批改结果;当两次评分的差值超过题目满分的预设比例时,将对应题目标记为争议题并推送至人工复核队列。

27、作为本技术第一方面的一种可选实施方式,所述构建用于认知诊断的题目-知识点关联矩阵与学生作答结果矩阵,包括:

28、所述题目-知识点关联矩阵的元素表征题目与知识点的考察关系,若第道题目考察了第个知识点则对应元素值取1,否则取0;所述学生作答结果矩阵的元素表征学生作答结果,若第名学生答对第道题目则对应元素值取1,否则取0。

29、作为本技术第一方面的一种可选实施方式,所述采用期望最大化算法,迭代估计dina模型的参数,得到学生对各知识点的掌握概率,包括:

30、随机初始化学生对各知识点的边际掌握概率以及各题目的失误率和猜测率,并基于所述边际掌握概率构造各掌握模式的先验概率;

31、执行期望步:在给定当前参数估计、题目-知识点关联矩阵以及所述学生作答结果矩阵的情况下,基于dina模型确定的作答概率与所述各掌握模式的先验概率,计算学生在各掌握模式下的后验概率;其中,所述作答概率根据所述题目-知识点关联矩阵确定的学生在所述掌握模式下是否具备题目所需知识点,分别由所述失误率及所述猜测率确定;

32、执行最大化步:基于所述后验概率重新估计所述失误率、猜测率及边际掌握概率;

33、迭代执行所述期望步与所述最大化步直至满足预设收敛条件,输出学生对各知识点的掌握概率。

34、作为本技术第一方面的一种可选实施方式,所述生成学情分析报告,包括:

35、将掌握概率低于所述预设阈值的知识点筛选出来形成所述薄弱知识点列表;其中,所述预设阈值基于验证集数据的真实考试成绩,通过受试者工作特征曲线中约登指数最大值对应的掌握概率确定;

36、将所述薄弱知识点列表、各所述掌握概率及各题得分详情输入大语言模型,生成包含总体评价、薄弱环节分析及学习路径建议的学情分析报告。

37、第二方面,本技术提供了一种融合规则与大模型的智能阅卷与认知诊断一体化系统,包括:

38、题库构建模块,用于获取多源题库文档,判断文档类型并解析得到文本内容,结合正则表达式与多模态大语言模型,将所述文本内容结构化提取为包含预设字段的题目对象,构建结构化题库;

39、作答分流模块,用于获取学生作答文档并解析得到作答文本,根据所述结构化题库中各题目的题目类型,将所述学生作答文档中的各题分流至选择题通道、填空题通道及主观题通道中的一个通道;

40、混合批改模块,用于在所述选择题通道中,基于学生答案与标准答案进行字符串比较以得到选择题批改结果;在所述填空题通道中,基于学生答案与标准答案,通过莱文斯坦距离的模糊子串匹配算法进行批改以得到填空题批改结果;在所述主观题通道中,调用大语言模型对学生答案进行语义批改得到初步批改结果,并基于独立的大语言模型对所述初步批改结果进行二次校验以得到主观题批改结果;

41、认知诊断模块,用于基于各所述批改结果与预设的题目-知识点关联关系,构建用于认知诊断的题目-知识点关联矩阵与学生作答结果矩阵;采用期望最大化算法,基于所述题目-知识点关联矩阵与学生作答结果矩阵迭代估计dina模型的参数,得到学生对各知识点的掌握概率;

42、学情分析模块,用于筛选所述掌握概率低于预设阈值的知识点以生成薄弱知识点列表,并调用大语言模型,将所述薄弱知识点列表、各所述掌握概率及各题得分详情输入给大语言模型,生成学情分析报告。

43、第三方面,本技术提供了一种电子设备,所述电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

44、第四方面,本技术提供了一种可读存储介质,可读存储介质上存储有程序或指令,程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

45、与现有技术相比,本发明提出了一种融合规则与大模型的智能阅卷与认知诊断一体化方法,具有以下有益效果;

46、1.通过构建“代码规则+大语言模型”的混合批改引擎,根据题库中题目的类型将题目分流至选择题通道、填空题通道或主观题通道,将客观题交由确定性规则处理,仅对主观题调用大语言模型,在保证批改准确率的同时,显著降低了计算开销与api调用成本,有效克服了现有llm端到端方案成本开销高的缺陷。

47、2.通过引入认知诊断模型(dina模型)与期望最大化(em)算法,基于批改结果与预设的题目-知识点关联关系构建q矩阵与r矩阵,迭代估计模型参数,将批改结果从简单的对错判断提升为对学生知识点掌握概率的量化估计,并通过筛选掌握概率低于预设阈值的知识点生成薄弱知识点列表,能够精准定位学生的知识薄弱点,解决了现有方案诊断深度不足、仅停留在浅层统计指标的问题。

48、3.通过“批改-检验”的双重大语言模型协作机制,在调用大语言模型完成初次批改后,立即触发一个独立的llm实例以“阅卷质检员”的角色对批改结果进行二次校验,有效抑制了大语言模型幻觉导致的误判,提升了主观题批改的可靠性。

49、4.通过多源题库文档的自动解析与结构化流程,自动判断文档类型并解析为文本内容,通过正则表达式与多模态大语言模型相结合的方式,将文本内容结构化提取为包含预设字段的题目对象并持久化存储,打通了从word、pdf、图片等非结构化文档到结构化知识库的全自动链路,解决了现有题库构建高度依赖人工录入、建设效率低下的落地瓶颈问题。

50、5.通过跨通道的信息共享机制,将选择题和填空题的批改结果作为上下文信息实时输入至主观题批改的llm提示词中——系统维护一个基于已批改客观题结果动态更新的“学生知识状态向量”,并将该向量中权重最高的前3个知识点及其错误模式注入提示词,引导llm重点关注学生答案中相关的逻辑错误,使得三个批改通道不再是独立工作的简单拼凑,而是形成了一个协同增强的批改闭环,提升了批改的针对性和准确性。