一种基于大语言模型的德育素养智能评测方法及系统
本发明涉及教育评估与人工智能,具体涉及一种基于大语言模型的德育素养智能评测方法及系统。
背景技术:
1、德育素养评测是高等教育中的重要环节。传统的德育评测方法主要依赖固定题目的问卷调查,存在以下技术问题。
2、首先,题目数量和内容固定,无法根据被测者的个人情况和实际表现进行动态调整。对于答题表现正常的评测对象导致冗余评测,对于答题存在异常的评测对象又无法充分评测其真实水平,评测效率低下。
3、其次,传统方法使用固定题目集,无法针对不同被测者的薄弱维度进行深入评测,评测针对性不足。
4、此外,传统评测一般采用简单的线性映射转换分数,未考虑心理学因素,中等表现者容易被打击积极性,优秀表现者缺乏提升空间的激励,用户体验较差。
5、随着大语言模型技术的快速发展,其强大的语义理解、模式识别和内容生成能力为德育评测提供了新的技术路径,但目前尚无将大语言模型系统性应用于德育评测全流程的技术方案。
6、因此,如何充分利用大语言模型技术实现数据智能标注、异常深度识别、个性化题目生成和智能评测解读,是本领域技术人员亟需解决的技术问题。
技术实现思路
1、本发明的目的在于提供一种基于大语言模型的德育素养智能评测方法及系统,以解决上述背景技术中提出的技术问题。
2、为实现上述目的,本发明提供如下技术方案。
3、一种基于大语言模型的德育素养智能评测方法,包括以下步骤:
4、s1 智能题库构建:收集互联网德育类案例与热点关键词,利用大语言模型批量生成初始题目,并通过多轮迭代优化与自动标注,构建ai增强标注题库;
5、具体的,
6、构建基础种子库:从互联网采集德育教育相关的案例、政策文件及社会热点关键词,形成基础种子数据;
7、大语言模型生成与迭代:利用大语言模型将基础种子库数据批量生成候选题。对候选题目进行人工辅助的迭代校验,识别并剔除语义重复、逻辑冲突或不符合价值观的题目。对不合格题目进行重新生成,直至各测试维度下有足够数量的合格题目。
8、全自动多维度标注:利用大语言模型对合格题目进行多维度自动标注,形成题目库d。标注内容包括维度归属、反向计分标识、期望答案范围及置信度等级。最终题库中的题目包含的信息包括:题目id、题目内容、维度归属、反向计分标识、期望答案范围、置信度等级。
9、其中,所述维度归属包括国家安全意识、职业道德、社会责任感、法律法规意识四个维度。
10、所述利用大模型自动标注期望答案范围和置信度等级的过程为:
11、① 构建包含德育评测专业知识的提示词,将题目内容、维度归属、反向计分标识输入大语言模型;
12、② 大语言模型基于德育教育理论和价值导向,预测正常评测对象的合理答案区间作为期望答案范围;
13、③ 大语言模型评估期望答案范围的可靠程度,输出high、medium、low三个置信度等级;
14、④ 审核大语言模型标注结果,必要时进行人工修正。
15、s2首轮测评:从ai增强标注题库中选择预设数量的基准题目n(例如8题)进行基础测评,确保各个评测维度中题目数量相等,随后收集评测对象答案;
16、s3双层异常检测:对前8题答案进行异常值评估,包括基于置信度阈值的统计异常检测和基于大语言模型的ai模式识别,两层检测异步并行执行,计算综合风险等级;
17、具体的,
18、第一层数值偏差检测:根据题目的置信度等级动态调整异常判断阈值,高置信度题目采用偏离1分为异常,中等置信度题目采用偏离1.5分为异常,低置信度题目采用偏离2分为异常;
19、第二层ai模式识别:将答题数据和题目信息组织成结构化上下文,提交给大语言模型,识别答题模式类型包括一致性回答、极端回答、随机回答,计算一致性分数和逻辑连贯性分数;
20、两层检测采用异步并行执行架构,融合两层检测结果计算综合风险分数。
21、s4自适应加试题目生成:根据综合风险等级动态评估后续题目数量k;针对出现异常的维度调用大语言模型,使用该维度专用提示词模板生成个性化题目;
22、具体的,
23、① 根据综合风险等级动态计算后续题目数量k;具体的,建立风险等级与题目数量的映射关系:风险等级越高,生成的题目数量k越多。
24、② 针对每个出现异常的维度,调用大语言模型,使用该维度专用的提示词模板生成个性化题目,所述维度专用提示词模板包含争议性要求、场景具体化要求、价值冲突要求;
25、③ 对生成的题目进行验证,若验证失败或大语言模型服务不可用,则从所述题库d中选择备用题目
26、s5综合评分与推荐:综合前8题和后续k题的答案,使用非线性s型变换公式计算各维度得分和综合得分,并利用大语言模型生成个性化学习推荐;
27、具体的,
28、对所有反向计分题目的答案进行转换:;
29、计算每个维度的平均分数,使用非线性s型变换公式将维度平均分映射到百分制分数,变换公式具体如下:
30、
31、
32、
33、其中:
34、(1)式中,表示该维度的原始平均分;表示中心点参数(对应实施例中的center,取值3.2);表示陡峭程度参数(对应实施例中的steepness,取值1.8);
35、(2)式为sigmoid激活函数,为自然常数;
36、(3)式中,为最终映射得分;为设定的最低分(取值35),为设定的最高分(取值98)
37、生成雷达图数据展示各维度得分;
38、调用大语言模型,基于最弱维度生成个性化学习推荐。
39、此外,本发明还提供了一种基于大语言模型的德育素养智能评测系统,该系统包括:题库管理模块,用于构建和管理ai增强标注题库,所述题库管理模块配置有大语言模型生成接口与迭代校验逻辑,能够基于互联网模板自动生成题目并进行多轮清洗与全维度自动标注; 答题采集模块,用于向评测对象展示题目并采集答题数据,支持李克特量表输入及快捷键响应; 异常检测模块,采用双层异步并行架构,包括用于执行基于规则的数值偏差检测的数据偏差检测单元,以及用于识别答题模式与逻辑一致性的ai分析单元; 风险评估模块,用于融合双层检测结果计算综合风险分数,并据此划分风险等级; 题目生成模块,用于根据风险等级动态确定后续题目数量,并调用大语言模型基于维度专用模板生成个性化题目; 评分计算模块,用于对反向计分题目进行归一化处理,并利用非线性s型变换算法计算各维度得分; ai服务接口模块,作为系统与大语言模型通信的统一网关,负责请求封装、速率限制及超时重试; 个性化推荐模块,用于根据评测结果调用大语言模型生成针对性的学习建议。
40、一种电子设备,包括至少一个处理器和与所述处理器通信连接的存储器,所述存储器存储有可被所述处理器执行的指令,所述指令被执行时实现上述方法。
41、一种存储有计算机指令的计算机可读存储介质,所述计算机指令用于使计算机执行上述方法。
42、与现有技术相比,本发明具有以下有益效果。
43、充分利用大语言模型实现全流程智能化, 通过在数据标注及异常识别环节引入大语言模型,降低了人工标注的依赖度,提高了异常数据的识别覆盖率。
44、实现动态自适应评测,采用8加n动态出题模式,对答题正常的评测对象减少题目,对答题异常的评测对象增加题目,在保持评测准确性的同时显著提升了评测效率。
45、双层异常检测提升准确性,结合基于置信度阈值的数值偏差检测和大语言模型的模式识别,形成事前标注加事后验证的双重机制,异常识别准确率显著提升。
46、个性化题目生成针对性强,利用大语言模型和维度专用提示词模板动态生成针对薄弱维度的个性化题目,评测针对性明显增强。
47、非线性评分优化用户体验,采用s型sigmoid变换在不同分数段提供差异化激励,避免了简单线性映射的弊端。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com