基于知识追踪神经网络的双流注意力知识追踪方法
本技术涉及学习分析与智能教学,特别是涉及基于知识追踪神经网络的双流注意力知识追踪方法。
背景技术:
1、知识追踪(knowledge tracing, kt)是教育数据挖掘、学习分析与智能辅导系统中的一项核心任务,旨在根据学习者历史交互序列数据,动态评估其知识掌握状态,并预测其在后续题目上的作答结果。若能够准确刻画学习者的认知状态,教育系统即可据此进行个性化学习路径规划、题目推荐以及精准教学干预,从而有效提升学习效率并改善学习体验。例如,在大规模在线教育平台或智能题库系统中,知识追踪模型的性能直接影响学习推荐质量及学习者的长期表现。鉴于学习过程具有高度的动态性与复杂性,且交互数据呈现多维、多模态特征,传统基于规则或浅层统计的方法已难以满足实际需求,因此,基于深度学习的知识追踪方法逐渐成为研究重点。
2、现有知识追踪方法主要基于深度学习模型对学习者历史交互序列进行建模。例如,早期方法引入循环神经网络对序列进行建模;随后,动态键值记忆网络以及基于自注意力机制的模型进一步提升了对长程依赖关系的建模能力。这类方法通常围绕题目与知识点之间的关联关系展开,通过学习历史作答行为来预测未来表现。然而,上述方法通常默认学习者的作答结果主要由其知识掌握程度决定,将模型关注重点集中在知识状态建模上。
3、然而,在真实学习场景中,学习者的作答结果不仅受知识掌握程度影响,还会受到响应时间波动、短期错误累积、行为节奏变化以及情绪状态变化等多种情绪行为因素的共同作用。现有技术通常将知识因素与情绪行为因素共同编码于统一的表示之中,导致不同来源的信息在表示空间中高度耦合。一方面,响应时间、历史正确率等行为特征往往仅以简单形式引入,缺乏基于上下文或统计结构的系统化建模,难以稳定刻画学习过程中的细粒度行为变化;另一方面,在表示学习过程中缺乏针对不同因素的显式约束,使得知识信息与情绪行为信息相互混杂,从而影响知识表示的纯度和稳定性。同时,由于模型输出通常仅提供单一预测结果,无法区分预测结果中知识因素与情绪行为因素的具体作用来源,进而难以为教学干预和学习诊断提供有效支持。
4、针对上述问题,现有技术中也提出了一些融合多特征或采用双流结构的知识追踪方法。该类方法通常通过提取学习者作答序列及辅助行为特征,分别构建不同分支进行建模,并在模型后期通过特征拼接或结果级融合的方式进行聚合。然而,此类方法在行为特征建模方面仍然较为粗糙,缺乏基于残差或上下文信息的系统性构造,难以反映学习过程中的动态变化。同时,知识表示与情绪表示之间的约束多在注意力计算完成之后施加,未能在表示形成阶段抑制二者之间的相互干扰,导致解耦效果有限。此外,该类方法通常缺少对知识单分支结果与知识-情绪联合结果的同时建模机制,难以进一步量化情绪行为因素对预测结果的调制作用,从而限制了模型在可解释分析与教学干预支持方面的应用能力。
5、因此,仅将情绪行为特征作为辅助输入或在预测层进行融合,难以保证知识表示本身的纯度,也难以区分预测结果中知识因素与情绪行为因素的相对作用,亟需一种能够在表示学习阶段实现知识因素与情绪行为因素有效解耦,并同时兼顾预测性能与解释能力的知识追踪方法,以提升模型的表达能力并增强对教学决策的支持作用。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够预测结果中知识因素与情绪行为因素相对作用的基于知识追踪神经网络的双流注意力知识追踪方法。
2、其中,一种知识追踪神经网络,包括:
3、输入特征层:用于获取多个特征;
4、嵌入与特征融合层:将特征进行嵌入与特征融合;得到融合后特征;
5、时序编码层:根据融合后特征进行时序编码,得到时间序列数据;
6、内部约束双流注意力层:包括知识流注意力分支以及情绪流注意力分支;将时间序列数据分别知识流注意力分支以及情绪流注意力分支得到知识单分支表示以及情绪单分支表示;
7、双预测头:根据知识单分支表示以及情绪单分支表示得到知识单分支结果以及情绪单分支结果;
8、情绪调制效应分析模块:保持知识单分支表示不变,替换情绪单分支表示为不同情绪锚点,对情绪调制效应进行分析。
9、进一步地,具体为:
10、输入特征层中获取多个特征,包括:题目标识编码、知识点标识编码、当前作答结果、响应时间残差、长期历史正确率、短期历史正确率以及弱监督情绪先验标签;
11、嵌入与特征融合层:将题目标识编码、知识点标识编码、当前作答结果、响应时间残差、长期历史正确率、短期历史正确率以及弱监督情绪先验标签进行嵌入与特征融合;得到融合后特征;将知识点标识、题目标识和作答结果等离散变量转换为低维稠密向量表示,并与响应时间残差、长期历史正确率及短期历史正确率等连续特征进行融合;
12、时序编码层采用 gru 网络,对嵌入层输出的输入向量进行时序编码,用于建模学习者作答行为随时间演化的动态过程,并为后续知识流和情绪流分支提供共享的时序上下文表示;
13、内部约束双流注意力层,包括知识流注意力分支和情绪流注意力分支,其中,知识流侧重提取与作答能力相关的知识表示,情绪流侧重提取与行为波动相关的情绪表示;具体地,知识流以题目条件表示为查询,以基础行为状态表示为键和值,生成知识预表示和知识后表示;情绪流以基础行为状态表示为查询、键和值,生成情绪预表示和情绪后表示;
14、知识预表示和情绪预表示分别表示为:
15、,
16、知识流注意力的计算过程表示为:
17、
18、
19、
20、
21、其中,因果掩码,用于保证模型仅利用当前时刻及其之前的信息;
22、情绪流注意力的计算过程表示为:
23、
24、
25、
26、
27、其中,和为后表示映射函数;
28、预测层包括知识单分支预测和知识-情绪联合预测头。
29、本发明还提供基于知识追踪神经网络的双流注意力知识追踪方法,包括:
30、s1:获取原始交互数据,并划分数据集;
31、s2:设置知识追踪神经网络构建参数及知识追踪神经网络训练参数;
32、s3:根据数据集生成响应时间残差、长短期历史正确率、样本序列和弱监督情绪先验特征;
33、s4:根据响应时间残差、长短期历史正确率、样本序列对知识追踪神经网络进行训练得到训练后的知识追踪神经网络;
34、s5:根据训练后的知识追踪神经网络以及弱监督情绪先验特征完成知识追踪分析。
35、进一步地,在步骤s2中,网络构建参数具体为:嵌入维度、隐藏层维度、注意力头数、循环网络层数;
36、网络训练参数:激活函数、训练轮数、批量大小、学习率、权重衰减系数。
37、进一步地,在步骤s3中,具体为:
38、s3.1:离散变量编码;基于训练数据集建立知识点标识映射表和题目标识映射表;
39、基于训练数据集建立知识点标识映射表和题目标识映射表,以将原始学习交互数据中的离散变量转换为模型可处理的索引形式;对于未在训练集中出现的知识点或题目,统一映射至未知标;
40、设学习者在第次交互中的知识点标识为,题目标识为,则知识点编码函数表示为:
41、
42、题目编码函数表示为:
43、
44、其中,和为根据训练集拟合得到的映射函数,分别用于将知识点标识和题目标识映射为对应的整数索引;
45、s3.2:响应时间残差构建,对响应时间特征进行标准化处理,从而构建响应时间残差特征;
46、s3.3:长短期历史正确率构建;
47、s3.4:弱监督情绪先验标签构建,对于缺少显示情绪标注,刻画学习者的行为情绪状态,构建弱监督情绪先验标签;
48、s3.5:构建序列样本,构造成适用于因果时序建模的序列样本,与下一时刻预测目标形成对齐;
49、对于任一学习者序列,采用长度为的滑动窗口进行切分,可得到窗口片段:
50、
51、其中,表示学习者的第个窗口样本;
52、在每个窗口中,将前个时刻作为当前输入序列,最后一个时刻用于与前一位置对齐形成预测目标;由此可构成当前输入序列、下一题条件序列和预测目标序列;其中,当前输入序列用于表示模型在当前时刻可见的历史信息,下一题条件序列用于提供待预测位置对应的题目信息,预测目标序列则用于监督模型输出。
53、进一步地,在步骤s3.2中,具体为:
54、对响应时间进行对数变换,以减弱极端大值对建模结构的影响,其表达式为:
55、
56、其中,表示学习者在第次交互中的原始响应时间,表示对数变换后的响应时间;然后,基于训练数据集按照知识点分别统计响应时间的均值和标准差,记为和;据此,第次交互对应的响应时间残差可表示为:
57、
58、其中,表示学习者在第t次交互中的响应时间残差,为防止分母为0而引入的极小常数;当某一知识点在训练数据集中样本数量不足时,可采用全局响应时间均值和全局标准差作为替代统计量。
59、进一步地,在步骤s3.3中,具体为:
60、长期历史正确率特征用于描述学习者截至当前时刻的整体正确水平,短期历史正确率特征用于描述最近一段时间内的局部表现波动;长期历史正确率定义为当前时刻之前全部作答结果的均值,其表达式为:
61、
62、其中,表示学习者在第 i次交互中的作答结果;当 t=1时,由于不存在历史作答记录,令;
63、短期历史正确率定义为长度为的滑动窗口内作答结果的均值,其表达式为:
64、
65、其中,表示短期窗口长度。
66、进一步地,在步骤s3.4中,具体为:
67、根据作答结果、响应时间残差和长期历史正确率联合构建弱监督情绪先验标签;
68、弱监督情绪先验标签为,其中,表示正向状态,表示中性状态,表示负向状态;按照如下规则生成所述弱监督情绪先验标签:当时,令,表示学习者当前处于相对正向、进入心流的行为状态;当且时,令,表示学习者在作答错误且响应明显偏慢的情况下处于负向状态;当、且时,令,表示学习者虽然长期表现较好,但当前出现错误且行为状态存在异常波动;在其余情况下,令,表示学习者处于中性状态。
69、进一步地,在步骤s4中,具体为:基于数据集对知识追踪神经网络进行参数学习,并通过验证数据集选取性能最优的目标模型;训练过程中,将训练数据集按批次输入模型,并依据真实作答结果和各类约束信号进行联合优化;训练时采用adamw优化器,并采用余弦退火策略调整学习率;在每一轮训练后利用验证集计算模型指标,并依据验证集上的联合预测头auc值选择最优模型参数。
70、进一步地,在步骤s5中,具体为:
71、s5.1:基于数据集中具有弱监督情绪标签的样本,统计不同情绪类别对应的情绪表示中心,以构建情绪锚点;
72、s5.2:对于任一样本,获得其知识后表示、情绪后表示以及下一题条件信息;原始联合预测结果可写为:
73、
74、在保持、下一题题目嵌入和知识点嵌入不变的条件下,将原始情绪表示替换为预设锚点表示;当注入正向情绪锚点和负向情绪锚点时,对应预测结果分别为:
75、
76、
77、通过上述替换,可在相同知识状态和相同题目条件下,仅考察情绪表示变化所带来的预测差异,从而使效应分析具有清晰的比较基准;
78、s5.3:将单一样本上的情绪调制效应定义为:
79、,
80、对全体样本求平均可得到全局情绪调制效应:
81、
82、s5.4:对于弱监督情绪标签为负向状态的样本,可统计其在注入正向情绪锚点后相对于原始预测结果的平均提升幅度,以表征负向行为状态下的潜在改善空间;对于原始预测概率位于不确定区间的样本,则可比较正向情绪锚点和负向情绪锚点下注入后的平均预测差值,以识别情绪因素在模型犹豫区间中的影响强度;
83、s5.5 基于上述效应分析,实现区分某一预测结果主要受知识状态影响,还是受情绪行为状态影响;识别对情绪因素高度敏感的学习片段。
84、本发明通过构建包含响应时间残差、长短期历史正确率以及弱监督情绪先验在内的多维行为特征体系,增强了模型对学习过程动态波动的刻画能力,从而提高对学习行为变化的建模精度;通过引入基于潜在表示替换的效应分析机制,在保持知识状态不变的条件下分析情绪行为因素对预测结果的调制作用,从而能够对不同情绪状态下的预测差异进行量化评估,在提升模型解释能力的同时,为后续教学干预策略和学习支持决策提供依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com