基于多维加权评分与多层级可信度的学习评估方法及系统与流程
本发明涉及教育信息化,特别地,涉及人工智能和教育测量学;具体而言,涉及一种基于多维加权评分与多层级可信度的学习评估方法及系统。
背景技术:
1、传统教育测评体系长期以阶段性卷面考试分数作为学生学习状态判定的唯一核心依据,考试分数属于结果滞后型指标,无法实时捕捉学生学习习惯、学习动力、专注力、情绪波动、学习方法缺陷、家庭环境干扰等过程性影响要素。
2、伴随人工智能在教育产业政策落地与自适应学习技术迭代,市面上陆续涌现多款国内外自适应测评产品,当前全球自适应学习技术主要分为三类技术路线:
3、第一类以欧美传统自适应算法为代表,依托知识点错题数据构建知识图谱,仅聚焦学科知识点对错数据,忽略了非智力因素(动力、情绪、专注力)对学习结果的影响;
4、第二类以国内头部ai教育产品为代表,结合校内考试数据+日常作业错题实现学情分析,评分逻辑采用得分简单累加、算术平均的基础计算方式,不区分学生胡乱作答、超时作答、仓促蒙题等无效异常答卷数据,异常作答数据直接纳入评分计算造成诊断失真;
5、第三类为小型本地化测评系统,采用心理量表、简易计分模式,仅能输出单项得分,缺少多维度交叉关联分析,无法挖掘多因素耦合形成的隐性学习病因。
6、然而,现有商用化测评产品在数据筛选、量化评分、结果可信度管控、病因溯源、模型自主优化等环节仍存在技术弱点,具体表现为以下问题:
7、1、学情评估高度依赖主观经验,缺少标准化量化模型:传统线下学情评估、现有简易线上测评工具均无统一量化计算标准。教师依靠课堂表现、单次测验成绩主观定性学生“偏科、厌学、专注力差”,同类分数、同类课堂表现的学生,不同教师得出的问题诊断结论差异极大,相似外在学习表现(如成绩下滑)背后可对应知识漏洞、学习动力不足、情绪问题、专注力缺陷数十种不同内在根因,现有技术无法通过标准化数学模型区分表象一致但致病根源不同的学习问题,诊断同质化严重,个性化指导缺少量化数据支撑。
8、2、测评指标重结果、轻过程,过程性指标无系统化采集与量化:考试分数属于阶段性滞后指标,学生出现学习问题后,往往经过1~2个月周期才会在考试成绩中体现,错失最佳干预窗口期。学习动机、作答习惯、做题节奏、临场应试心态、日常自律水平、情绪变化等过程性指标可提前预警学习风险,但现有产品仅采集题目正误单一数据,未系统性设计过程数据采集字段与配套量化计算公式,海量过程性测评数据闲置,无法转化为诊断依据。
9、3、诊断结果无可信度评估机制,劣质数据直接输出错误结论:现有测评软件输出诊断报告时,默认所有答卷数据真实有效,不校验数据本身质量。学生存在随意乱填问卷、疲劳作答、受家长陪同干扰刻意美化作答结果(社会期许偏差)、测评设备故障、测评环境嘈杂分心等多种数据失真场景,失真数据代入评分模型后生成错误诊断结论,但是系统无任何可信度判定与拦截,错误干预方案直接被家长、教师采信,造成辅导资源错配。少数产品仅采用abc(高、中、低)三级定性分级标注可信度,无连续数值量化模型,分级边界模糊,实操落地不能准确区分可信度细微差异。
10、4、算法模型静态固化,缺少闭环自进化优化架构:市面现有测评算法参数全部为出厂固定配置,上线后无法依托实测使用数据自主优化调整。随着不同地区学段、生源特征变化,固定参数算法会持续出现诊断漂移、病因匹配准确率逐年下降等问题,只能依靠研发人员人工线下迭代更新版本,更新周期长、人力成本高,不能实现系统自动持续优化。
11、国内先后出台多版《“人工智能+教育”行动计划》,政策明确提出加快智能化学情诊断工具落地、推动过程性学业评价替代唯分数评价体系、依托人工智能技术实现因材施教的教育改革目标。传统人工学情评估模式依靠任课教师长期授课经验主观判断学生问题,受教师个人专业水平、授课精力、学生在校表现观察范围限制,难以实现全维度、大批量学生精细化评估。
技术实现思路
1、鉴于此,本发明的目的在于开发一种基于多维加权评分与多层级可信度的学习评估方法及系统,针对现有学情评估依赖教师主观经验、成绩指标滞后、缺少过程性数据量化、诊断结果缺少可信度校验、算法静态固化无法自主迭代优化升级等行业现存问题,结合现代教育测量学理论、贝叶斯概率统计、非线性加权数学模型、多维度特征矩阵匹配算法,构建双算法架构,实现全链路标准化、自动化、可量化的个性化学习智能诊断;提供多维加权诊断评分模型mdw-dsm,通过作答质量函数过滤异常作答数据、一致性修正系数校验答案逻辑矛盾、知识缺口放大系数突出重度学习弱点,解决传统算术平均计分无法区分无效作答、忽略逻辑矛盾、轻重问题评分同质化等问题;在mdw-dsm基础上拓展跨维病因矩阵匹配算法、概率迭代病因鉴别算法,摆脱单一维度得分阈值判定病因的落后方式,基于多维度得分组合特征精准定位显性与隐性学习病因;构建mbl-bc多层级偏见校正置信度评估模型,五层全维度风险检测结合乘积概率公式实现0-1连续数值可信度量化,根据可信度阈值分级管控诊断报告输出,拦截低可信度错误诊断结果;构建包含近似贝叶斯参数平滑、滑动窗口准确率监控的自进化闭环系统,实现全系统算法随实测数据自主迭代优化,提高诊断精度。
2、本发明提供一种基于多维加权评分与多层级可信度的学习评估方法,包括:构建前后联动的多维加权诊断评分模型mdw-dsm、多层级偏见校正置信度评估模型mbl-bc;mdw-dsm模型向下对接原始测评作答数据,向上衍生两个从属扩展算法:跨维病因匹配算法、概率迭代式病因鉴别算法;mbl-bc模型接收所述mdw-dsm模型输出的全维度标准化评分数据与原始测评元数据,完成诊断可信度量化分级。
3、进一步地,所述多维加权诊断评分模型(mdw-dsm)完成原始作答数据向标准化维度得分转换,包含协同配合的三项技术要素,表达式为:
4、s_k=([σw_ki·f(x_ki,t_ki)]/[σw_ki])·θ_k·γ_k;
5、其中,s_k代表第k个学习维度最终标准化评分;w_ki代表第k维度下第i道试题的固定权重系数;
6、本发明中k=10,对应十个学习维度的标准化评分d1~d10,各维度定义如下:
7、d1(学习动机):学习内在驱动力,通过成就目标导向、兴趣度、主动性等指标测评;
8、d2(自我调节):学习计划与执行能力,通过时间管理、目标设定、自我监控等指标测评;
9、d3(数字行为):数字设备使用习惯,通过手机/平板使用模式、屏幕时间管理等指标测评;
10、d4(家庭环境):家庭学习支持度,通过家长参与程度、学习氛围、家庭资源投入等指标测评;
11、d5(学习策略):学习方法选择与运用,通过预习复习策略、笔记方法、记忆技巧等指标测评;
12、d6(学习习惯):日常学习规律性,通过作息时间、作业完成习惯、课堂听讲习惯等指标测评;
13、d7(考试心态):应试心理状态,通过考试焦虑水平、自信心、压力应对等指标测评;
14、d8(注意力):专注力水平,通过课堂专注度、作业专注时长、抗干扰能力等指标测评;
15、d9(社交学习):同伴互助效果,通过合作学习意愿、讨论参与度、同伴关系质量等指标测评;
16、d10(学科态度):各科偏好与投入度,通过文理科倾向、学科兴趣分布、偏科程度等指标测评。
17、其中,d4(家庭环境)维度的家庭学习支持度,通过家长参与程度、学习氛围、家庭资源投入、亲子沟通频率、家庭教育理念一致性等指标进行量化测评。该维度反映学生所处家庭环境对其学习过程的促进或干扰程度,是跨维病因匹配中的关键环境变量,与多类学习病因(如学习动力不足、注意力缺陷、考试焦虑等)存在显著关联,在维度-病因关联矩阵w_jk中具有较高的关联权重。d4维度的测评数据来源于学生问卷中关于家庭学习条件、家长辅导频率、家庭学习氛围感知等题目的作答结果,经mdw-dsm模型运算后输出标准化评分(0~10分制)。
18、所述三项技术要素分别为:
19、作答质量函数f(x_ki,t_ki),f(x_ki,t_ki)=x_ki·max(c_min,1+(t_o-|t_ki-t_o|)/t_o·η);同步引入试题原始得分x_ki与单题实际作答时间t_ki,t_o为经过大样本标定的本试题最优标准作答时间;η为时间偏移调节常数;c_min为最低修正系数下界(优选0.5),防止极端异常作答时修正项过度为负导致函数值出现负分,保证极端异常作答维度仍保留最低权重;针对过快作答、过慢作答的异常答卷降权,同时保证异常作答维度不被完全清零;
20、本发明区别于传统方法仅根据答案正确性评分,同时考虑答案选择x_ki和作答时间t_ki,当作答时间t_ki偏离最优作答时间t_o时,函数值降低;对过快作答(可能乱填,时间<3秒)和过慢作答(可能卡住或外援,时间>20秒)降权。
21、一致性修正系数θ_k,θ_k=1-1/[m(m-1)]·σ|x_kp-x_kq^(rev)|;其中,m为第k测评维度内正向试题+反向校验试题总数量;x_kp为维度内正向试题标准化得分;x_kq^(rev)为同维度反向配对试题换算得分;依托同维度正反配对试题校验作答逻辑,出现答案矛盾时下调维度修正系数;
22、利用同维度内反向题对的设计,检测学生作答的逻辑一致性。当学生在同一维度的正向题和反向题上给出矛盾答案时,θ_k降低。其技术效果是:将作答一致性纳入评分体系,防止矛盾数据污染诊断结果。
23、知识缺口放大系数γ_k,γ_k=1+α·exp(-β·s_k^(base));其中,s_k^(base)为经过前两项系数运算后未放大的维度基准得分;α、β为预设非线性调控常数;采用非线性指数公式对基准得分偏低的重度缺陷维度在下游病因匹配中进行权重放大(在跨维组合分析时嵌入更高组合权重);
24、对低分维度(问题严重的维度)进行非线性放大,突出重要学能缺口,防止多个中等问题分散诊断注意力。
25、三项技术要素依次实现无效数据过滤、逻辑矛盾修正、低分维度非线性放大,输出各学习维度标准化得分s_k。
26、三项技术要素协同配合,作答质量函数确保输入的可靠性,一致性修正系数确保输入的逻辑自洽性,缺口放大系数确保输出的鉴别力。三要素共同构成从原始数据到标准化评分的精确转换。
27、进一步地,在所述mdw-dsm输出维度得分s_k后,增设跨维病因匹配方法;构建维度-病因关联矩阵w_jk,计算各类病因的匹配置信度c_j,公式为:
28、c_j=[σw_jk·s_k]/[max(σw_jk·10,ε)]·δ_j;其中,10为各维度满分分值(本发明采用0~10分制);max(σw_jk·10,ε)为病因j所关联全部维度的理论满分加权总和的最大值;
29、其中,c_j为第j类病因最终匹配置信度(0~1区间);w_jk为预先构建的维度-病因关联矩阵(维度数k×病因数j,本发明实施例中k=10,j=50),矩阵单元格数值代表第k学习维度对第j类致病因素的关联权重(取值0~1,由教育测量学专家根据教育心理学理论和实证研究标定初始值,经历史诊断数据反向校准优化);ε为极小值防除零常数,避免分母为0计算报错;δ_j为病因鉴别力系数;常数10为各学习维度的评分上限(满分10分),用于将权重求和归一化至0~1区间;依托多维度得分加权融合判定病因,利用鉴别力系数δ_j校准历史高混淆率病因的匹配权重。
30、本发明方法区别于传统单题累加排序,利用跨维度的组合模式(而非单一维度的得分阈值)来发现隐性病因,并通过鉴别力系数δ_j自动校准历史混淆率高的病因。
31、进一步地,当两种及以上病因置信度数值接近无法区分时,启动概率迭代式病因鉴别方法,通过多轮定向追问补充测评数据持续更新病因后验概率,后验概率公式为:
32、p_(t+1)=softmax(p_t+δ_t);
33、其中,p_t代表第t轮迭代时各候选病因后验概率分布;δ_t为本轮针对性自适应追问采集新数据后带来的概率修正增量;softmax函数实现概率归一化;
34、δ_t的计算方式为:新采集的n道追问试题构建新增评分向量δs=(δs_1,δs_2,...,δs_k),k为学习维度总数,各δs_k通过对新增试题作答质量函数加权求和获得;δ_t=λ·softmax(δs),λ为迭代学习率常数(默认值0.15),softmax函数将新增评分向量转化为概率增量分布;
35、直至主要病因(排名首要位病因)与次要病因(排名次要位病因)的置信度差值达到预设阈值(本实施例中优选0.5),停止迭代并确定最终确诊病因。
36、对低分维度(问题严重的维度)进行非线性放大,即在归一化评分比较时突出该维度权重:γ_k在归一化评分计算中从分子端对低分维度得分施加上调系数,使严重短板维度获得更高数值,使其在后续跨维病因匹配计算中获得更高注意力权重,而非被零散中等问题淹没,从而强化系统对核心学习短板的辨识能力。换言之,“放大”指在跨维组合分析时赋予低分维度更高的组合权重,从而使低分维度在下游病因匹配中获得更高权重。
37、进一步地,所述多层级偏见校正置信度评估模型mbl-bc包含五层偏见检测系统和乘积概率模型两部分;其中,所述五层偏见检测系统包括数据质量层、学生状态层、算法偏差层、环境因素层、时效性层,分层采集对应的测评风险系数r_i,各层级配置可动态调整的权重系数α_i(各层权重α_i可根据评估场景动态调整);
38、具体地,数据质量层(层1)检测反向题作答一致性、作答时间异常、漏题数;
39、学生状态层(层2)检测疲劳效应(问卷前后得分差异超过阈值)、社会期许偏差(极端正向回答比例过高);
40、算法偏差层(层3)监控滑动窗口准确率、检测样本分布偏移;
41、环境因素层(层4)评估环境干扰(如家长在场标记)的交叉验证;
42、时效性层(层5)检测上次评估距今时间衰减exp(-λ·δt_days)。
43、所述乘积概率模型的表达式为:
44、t=t_0·π(1-r_i·α_i/σα_i)·exp(-β·n_risk);
45、将五层偏见检测系统的检测结果通过所述乘积概率模型整合为0-1的连续可信度评分t;
46、根据连续可信度评分t值进行可信度分级,t≥0.8为高可信度,可直接使用;0.6≤t<0.8为中可信度,建议人工复核关键项;0.4≤t<0.6为低可信度,需人工复核后使用;t<0.4为不可靠,阻止诊断结论输出(标记为"需重新评估")。
47、进一步地,所述原始测评作答数据的前端采集方式包含以下三种方案中的任一种或多种的组合:
48、游戏化闯关测评替代问卷;
49、眼动和面部表情生理数据采集;
50、开放式问答和nlp语义解析自动计分;
51、各类采集方式生成标准化x_ki、t_ki参数后,均可接入mdw-dsm模型完成运算。
52、进一步地,所述基于多维加权评分与多层级可信度的学习评估方法还包括自进化闭环步骤:采集干预落地后的学生学习改善反馈数据,通过近似贝叶斯参数平滑算法(采用贝叶斯序列加权融合方法)渐进优化mdw-dsm的作答质量函数参数、知识缺口放大系数参数、mbl-bc各层级权重系数α_i及维度-病因关联矩阵w_jk全部参数;搭配滑动窗口准确率监控模块实时监测模型准确率变化,当滑动窗口内准确率出现持续性漂移时自动触发参数修正。
53、本发明还提供基于多维加权评分与多层级可信度的学习评估系统,用于实现如上述所述的基于多维加权评分与多层级可信度的学习评估方法,所述系统内部署所述多维加权诊断评分模型mdw-dsm的作答质量函数f(x_ki,t_ki)、一致性修正系数θ_k、知识缺口放大系数γ_k三项加权评分算法,以及所述多层级偏见校正置信度评估模型mbl-bc的乘积概率可信度核算算法;所述系统包括:
54、mdw-dsm运算模块:用于mdw-dsm模型向下对接原始测评作答数据,向上衍生两个从属扩展算法:跨维病因匹配算法、概率迭代式病因鉴别算法;
55、mbl-bc可信度核算模块:用于mbl-bc模型接收所述mdw-dsm模型输出的全维度标准化评分数据与原始测评元数据,完成诊断可信度量化分级。
56、进一步地,所述基于多维加权评分与多层级可信度的学习评估系统还包括:前端数据采集模块、诊断报告输出模块、数据回流自进化模块;
57、所述前端数据采集模块采集作答原始数据,经所述mdw-dsm运算模块、mbl-bc可信度核算模块依次运算,经所述诊断报告输出模块分级输出报告,反馈数据回流至所述数据回流自进化模块,完成参数迭代优化。
58、优选地,整套评估系统配置自进化闭环架构;采集干预落地后的学生学习反馈数据,通过近似贝叶斯参数平滑算法(采用贝叶斯序列加权融合方法)渐进优化mdw-dsm、mbl-bc、维度-病因关联矩阵全部参数;搭配滑动窗口准确率监控模块,实时监测样本分布偏移与算法准确率漂移,自动触发参数修正,实现模型依靠实测数据自主迭代优化。
59、本发明的基于多维加权诊断评分(mdw-dsm)与多层级偏见校正置信度评估(mbl-bc)的个性化学习评估方法及实现系统,可应用于中小学在校常态化学情筛查、课外辅导机构学生学习短板诊断、家庭教育学习问题溯源、教育管理部门学业质量统计等场景。
60、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述所述的基于多维加权评分与多层级可信度的学习评估方法的步骤。
61、本发明还提供一种计算机设备,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述所述的基于多维加权评分与多层级可信度的学习评估方法的步骤。
62、与现有技术相比,本发明的有益效果在于:
63、本发明提供的基于多维加权评分与多层级可信度的学习评估方法设计多维加权诊断评分模型(mdw-dsm)与多层级偏见校正置信度评估模型(mbl-bc)。其中mdw-dsm由作答质量函数、一致性修正系数、知识缺口放大系数三项技术要素组合构成,依据作答答案与作答时长实现异常作答自动降权,依靠正反对照试题校验作答逻辑矛盾,采用非线性系数放大重度学习弱点维度评分;在基础评分模型之上拓展跨维病因关联匹配算法与概率迭代式病因鉴别算法,突破传统单一试题得分阈值判定病因的技术局限,基于多维度得分组合特征挖掘隐性学习致病因素,并通过多轮自适应追问迭代优化病因后验概率,准确区分相似度较高的混淆类病因;构建mbl-bc五层偏见检测架构,从数据质量、学生生理心理状态、算法漂移、测评环境、测评时效五个层级全维度采集风险特征,通过乘积概率计算公式量化诊断结论可信度,依据可信度阈值实现诊断报告分级输出与低可靠结果强制拦截;整套评估系统内嵌近似贝叶斯参数平滑与滑动窗口准确率监控的自进化闭环机制,依托落地实测数据持续优化模型参数,形成数据采集-智能诊断-干预落地-数据回流-算法迭代的数据飞轮;有效解决了传统学习评估主观性强、量化标准缺失、无效异常数据干扰诊断、诊断可信度不可控、模型静态固化无法自我优化等关键技术难题,实现智能化学情评估,可广泛应用于k12阶段校内学情诊断、课外个性化辅导测评、学生学习心理与学习能力综合筛查等多类教育场景,具有广泛的推广应用前景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com