一种状态驱动的5E教材的可解释评价系统
本发明涉及教材智能评估,尤其涉及一种状态驱动的5e教材的可解释评价系统。
背景技术:
1、5e教学模式包含excitation(激发兴趣并提出问题)、exploration(运用第一性原理探索问题本质)、enhancement(学习求解问题所必需的知识与能力)、execution(实际动手解决问题)及evaluation(评价与反思)五个阶段的教学内容,其具有明确的阶段划分和逻辑递进关系,各阶段不仅承担不同的教学功能,而且后续阶段需要围绕前序阶段提出的问题、目标和任务展开。
2、目前,针对结构化文本自动评价任务,特别是基于大语言模型的自动评价任务,现有技术主要包括直接评分方法(direct assessment methods)、基于推理链的评价方法(chain-of-thought-based evaluation methods)、基于智能体的评价方法(agent-basedevaluation methods)以及分解式评价方法(decomposed/hierarchical evaluationmethods)四类。其中,分解式评价方法和基于智能体的评价方法比较适用于多阶段分析。分解式评价方法通过对文本进行结构拆分,将整体评价任务划分为多个子任务,再分别进行分析和评价。基于智能体的评价方法将评价任务拆分为多个分析步骤,并利用规划、推理、记忆和反思等机制完成复杂评价任务。
3、但是,现有教育评价系统大多关注知识正确性、语言质量、教学设计质量或学习效果评价,评价对象通常为单一章节、课程设计或教学活动,对5e教学模式中特有的阶段递进关系、阶段目标一致性以及跨阶段逻辑衔接缺乏专门建模机制。基于智能体的评价方法以及分解式评价方法虽然能够在一定程度上完成文本自动评价任务,但在面向5e教材时,存在以下不足:
4、(1)缺少结构化状态管理机制。现有方法多采用单轮推理或多轮自然语言交互,中间分析结果以自然语言形式记录传递,各步骤之间缺少统一的结构化状态表示,难以共享已获得的分析结论,容易出现重复分析、信息遗漏及推理漂移。
5、(2)缺少跨结构单元逻辑关系建模能力。现有方法主要关注单个结构单元自身内容质量,较少分析单元之间的逻辑依赖与目标继承关系,难以发现文本中存在的逻辑断裂、目标偏移和内容脱节等问题。
6、(3)缺少可解释评价机制。现有方法多以生成评分结果为主要目标,评价理由通常在评分后生成,缺少与原始文本内容的明确对应关系和统一的证据抽取与组织机制,导致评价结果的可追溯性不足。
7、(4)缺少评价结果自检与补充发现机制。现有方法围绕预定义维度进行评分,但在实际评价中,文本可能存在未被评价维度覆盖的缺陷,如表达歧义、内容重复、目标表述不清晰等,现有技术难以在完成维度评分后进行补充性全面检查,容易遗漏影响文本质量的重要问题。
8、(5)难以适应具有阶段依赖关系的结构化文本评价任务。对于具有明确阶段递进关系的结构化文本,现有技术缺少针对阶段目标继承、功能协同及逻辑闭环的专门分析机制,难以全面评价此类文本的整体结构质量。
技术实现思路
1、本发明旨在解决上述问题。为此,本发明提供一种状态驱动的5e教材的可解释评价系统,构建跨阶段问题链连续性检测机制,对5e教材不同阶段之间的问题承接关系进行分析,并将发现的逻辑断裂引入综合评分过程,提高综合评分结果与实际教学质量之间的一致性。
2、本发明提供一种状态驱动的5e教材的可解释评价系统,采用的技术方案如下:包括:
3、教材评价数据构建模块,用于获取教材,按照章节、阶段对教材的内容进行划分,添加属性标注,构建得到评价输入对象;
4、文本解析模块,用于根据各阶段的预设的解析目标对评价输入对象进行语义分析,识别出关键教学要素,并为关键教学要素对应的评价输入对象的文本内容建立索引,得到解析结果;
5、阶段目标分析模块,用于基于预设的阶段目标,对解析结果、评价输入对象进行教学目标匹配分析,得到阶段目标分析结果;
6、逻辑断裂检测模块,用于根据解析结果、阶段目标分析结果,分析阶段间的问题链连续性,得到逻辑断裂结果;
7、逻辑断裂检测模块对前置阶段与当前阶段之间的问题链连续性进行分析,得到逻辑断裂结果;
8、其中,问题链连续性分析为分析阶段间的承接关系,检测当前阶段是否有效承接前一阶段形成的关键成果;其包括核心问题一致性分析、认知对象一致性分析、问题推进关系分析和推理承接关系分析;
9、证据抽取模块,用于基于预设的评价维度,根据解析结果和阶段目标分析结果从评价输入对象中抽取证据,构建显式证据链,得到证据池;
10、缺陷检测模块,用于根据解析结果、阶段目标分析结果、评价输入对象、逻辑断裂结果、证据池确定评价覆盖范围,在评价覆盖范围之外,对教材的内容进行缺陷补充分析,生成缺陷描述;
11、维度评分模块,用于基于与评价维度对应的预设的评分规则,根据证据池、阶段目标分析结果、逻辑断裂结果、缺陷描述进行评分,生成维度评分结果;
12、结果汇总模块,用于根据维度评分结果、逻辑断裂结果、缺陷描述,生成教材综合评价报告。
13、进一步的,教材评价数据构建模块按照章节对教材的内容进行划分,对每个章节的内容,按照5e教材的5个教学阶段进行阶段划分,得到各阶段的不同教材内容片段;添加属性标注,得到评价输入对象;其中,属性标注包括:阶段标签、学科标签、学段标签。
14、进一步的,对于每个阶段的评价输入对象,文本解析模块根据评价输入对象的阶段标签确定解析目标;结合解析目标,对评价输入对象的教材内容片段进行语义分析,识别出关键教学要素;为关键教学要素对应的教材内容片段建立索引;根据关键教学要素及其对应的教材内容片段索引生成解析结果。
15、进一步的,每个阶段目标包括一个或多个目标项,目标项对应当前阶段的教学行为或学习活动;
16、将阶段目标、解析结果、评价输入对象输入大语言模型,大语言模型针对每个目标项分别输出:目标名称、达成状态、支撑依据、达成原因或缺失原因。
17、进一步的,证据抽取模块根据评价维度,从解析结果中定位对应关键教学要素,结合阶段目标分析结果中的关键教学要素的达成状态,从教材内容片段中提取得到证据内容;汇总所有阶段所有评价维度的所有证据内容,建立证据内容与评价维度的对应关系,构建得到证据池。
18、进一步的,对于每个评价维度,维度评分模块将阶段目标分析结果与关键子点、非关键子点进行逐子点匹配;再结合逻辑断裂结果、缺陷描述,进行评价维度达成判断,得到评价维度达成状态;对评价维度达成状态执行分档匹配,生成维度评分,得到维度评分结果,维度评分结果包括维度评分及对应的评分依据;
19、其中,关键子点关注当前维度对应的教学功能是否得到有效实现。
20、进一步的,结果汇总模块根据维度评分结果和预设的权重,计算每个阶段的阶段得分,并根据逻辑断裂结果、缺陷描述对阶段得分进行修正,得到每个阶段的综合得分;根据综合得分、维度评分结果、逻辑断裂结果、缺陷描述,生成教材综合评价报告。
21、进一步的,逻辑断裂检测模块根据逻辑断裂结果划分得到逻辑断裂等级;
22、结果汇总模块根据逻辑断裂等级得到逻辑连续性惩罚系数,并对阶段得分进行修正;对于首次检测到的阶段间逻辑断裂的阶段,根据逻辑断裂等级确定对应的逻辑连续性惩罚系数;对于连续出现逻辑断裂的后续阶段,对逻辑连续性惩罚系数的值进行递进修正,减小其值。
23、进一步的,还包括:评价状态对象模块,用于构建统一的评价状态对象,评价状态对象存储评价输入对象、解析结果、阶段目标分析结果、逻辑断裂结果、证据池、缺陷描述、维度评分结果,以及预设的解析目标、阶段目标、评价维度和评分规则。
24、本发明实施例中的上述一个或多个技术方案,至少具有如下技术效果之一:
25、(1)本发明通过构建文本解析、阶段目标分析、逻辑断裂检测、证据抽取和缺陷检测等多级分析过程,在评分前形成结构化评价状态,并基于统一评分规则生成评价结果,从而降低评价过程中的主观性和随机性,提高教材评价结果的准确性和一致性。
26、(2)本发明通过建立证据抽取机制和缺陷归因机制,将评价结论与教材原文内容建立对应关系,并能够明确指出缺陷位置、缺陷表现及其影响原因,使评价结果均具有对应证据支撑,从而提高评价结果的可解释性和可追溯性,便于教材编写人员进行针对性修改。
27、(3)本发明通过构建跨阶段问题链连续性检测机制,对5e教材不同阶段之间的问题承接关系进行分析,能够发现问题目标偏移、认知对象转换以及问题解决链中断等情况,从而实现对教材整体教学逻辑质量的评价,提高评价结果对教材整体设计质量的反映能力。
28、(4)本发明在完成既有评价维度分析后,进一步开展补充缺陷检测,能够发现未被现有评价维度覆盖但可能影响教学效果、阶段功能实现或读者理解的重要问题,从而提高教材质量问题的发现能力,降低漏检风险。
29、(5)本发明将阶段间逻辑连续性检测结果引入综合评分过程,通过逻辑断裂惩罚机制对问题解决链中断情况进行量化修正,使最终评分不仅反映局部内容质量,还能够反映教材整体教学流程的完整程度,从而提高综合评分结果与实际教学质量之间的一致性。
30、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com