一种基于外部注意力机制的知识追踪方法及系统

1.本发明涉及知识追踪领域，更具体为一种基于外部注意力机制的知识追踪方法及系统。


背景技术：

2.知识追踪是对学习者的历史答题序列进行建模，分析学习者对历史习题中所包含的知识点的掌握情况，用以预测其对当前习题的答题结果的技术。知识追踪能够捕获学习者当前对不同习题的掌握程度，预测其学习情况，是学习者建模中的核心任务。但由于知识点的多样性、题目的多变性和人脑学习过程的复杂性，为知识追踪任务带来了挑战。
3.目前，知识追踪中有三个代表性的经典模型，其一为贝叶斯知识追踪模型(bayesian knowledge tracing,bkt)，基于贝叶斯算法和隐马尔可夫模型的知识追踪是一个二值动态贝叶斯网络，其定义了基础知识点、学习率和猜测参数等，将学生的知识点掌握建模为二值向量。但是贝叶斯知识追踪模型常常依赖于手工建模，操作耗时较长。其二为深度知识追踪模型(deep knowledge tracing，dkt)，它使用循环神经网络模拟学习过程，对答题结果进行预测。其将学生的知识水平建模为可伸缩的深度学习模型，具有较大的灵活性、较强的泛化性。但是在深度知识追踪模型中，基于循环神经网络和长短时神经网络的模型的关注与所有历史答题结果的特征提取，而与人类的学习状态相关的是，人类是具有遗忘特性的。并且，现有深度知识追踪模型在捕获题目和知识组件之间的相似关系时能力有限。其三为情境感知注意力知识追踪(context-aware attentive knowledge tracing，akt)，它使用自注意力机制对习题和历史作答情况进行编码，预测学生对当前习题的作答。在情境感知注意力知识追踪模型中，自我注意通过计算每个位置上的特征的加权和来更新每个位置上的特征，使用成对的亲和来捕获单个样本内的长期依赖关系。然而，自我注意具有二次复杂度，忽略了所有样本之间潜在的相关性。


技术实现要素：

4.为了克服现有的情境感知注意力知识追踪模型的改进需求，本发明提供了一种基于外部注意力机制的知识追踪方法及系统。该方法通过建立多头外部注意力编码器和解码器神经网络，计算当前时间序列中的习题和习题对应的知识组件的外部注意力知识追踪的参数，利用外部注意力知识追踪模型计算学生者关于当前时间序列对应的习题答题结果正确的概率预测值，通过对比知识追踪数据集中当前时间序列的习题答题结果的真实值，得到与当前时间序列对应的外部注意力机制神经网络模型的损失函数，通过回溯算法得到权重参数的优化值；从而实现学习者对当前习题的作答情况的状态预测，筛选出学生未掌握的题目，实现学习者的针对性学习。
5.本发明解决其技术问题所采用的技术方案是：
6.一种基于外部注意力机制的知识追踪方法，包括以下步骤：
7.获取训练用知识追踪数据集，该训练用知识追踪数据集包括多个时间序列步骤，
每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；
8.构建多头外部注意力机制网络，其包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；
9.将训练用知识追踪数据集的一个时间序列步骤的习题和习题的作答情况这二者的特征分别输入到编码器，编码器的每个子空间对特征进行矩阵投影，得到自查询向量q；并初始化两个不同的外部可学习记忆mk，mv；根据外部注意力机制处理q，mk，mv，输出子空间处理结果输出；编码器联合全部子空间处理结果，再进行线性变换，输出外部注意力空间编码值；
10.将外部注意力空间编码值输入到解码器，解码器的每个子空间对外部注意力空间编码值进行矩阵投影，得到自查询向量q，并初始化两个不同的外部可学习记忆mk，mv；根据外部注意力机制处理，输出子空间处理结果；解码器联合全部子空间处理结果，再进行线性变换，输出学习者在当前题目上回答正确与否的预测结果；
11.利用损失函数计算预测结果相对于真实结果的损失，通过优化多头外部注意力机制网络的权重参数矩阵和偏差参数矩阵，直至损失不再下降，得到训练好的外部注意力机制网络；
12.获取待测知识追踪数据集，该待测知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果；
13.将准备好的知识追踪数据集输入训练好的多头外部注意力机制网络进行处理，编码器对当前时间序列步骤的一系列题目及作答情况进行处理，输出外部注意力空间编码值给解码器，解码器对外部注意力空间编码值进行处理，输出学习者在当前题目上回答正确与否的最终预测结果。
14.进一步地，编码器/解码器根据外部注意力机制处理q、mk和mv，是指采用以下外部注意力函数进行处理：
[0015][0016]
其中，t表示矩阵转置，norm()表示双重标准化，该公式具体为：
[0017][0018][0019][0020]
mk和mv的实现如下：
[0021]
mk是由一个线性层实现，attn＝linear_mk(q)；
[0022]
其中，线性层的输入维度为输出维度为m＝64，并且输出维度为m＝64，并且
[0023]mv
也是由一个线性层实现，attn＝linear_mv(attn)；
[0024]
其中，线性层的输入维度为m，输出维度为并且并且
[0025]
进一步地，编码器/解码器联合全部子空间处理结果，再进行线性变换的公式如
下：
[0026]
mh(q，mk，mv)＝[head1；head2；...；headi；...；headh]wo；
[0027][0028]
其中,mh(q，mk，mv)为联合及线性变换的输出结果，wo∈rd×d为可学习的参数，为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，r为实数集。
[0029]
进一步地，损失函数如下：
[0030][0031]
其中，l为交叉熵损失函数，η为网络参数，y为在当前题目上回答正确与否的真实结果，为当前预测题目上的正确回答与否的预测结果，n为参与训练的时间序列步骤数量，m为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
[0032]
本发明还提供一种基于外部注意力机制的知识追踪系统，用于实现上述方法，包括多头外部注意力机制网络模型，该多头外部注意力机制网络模型包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；其中：编码器对当前时间序列步骤的习题和习题的作答情况这二者的编号进行处理，输出外部注意力空间编码值给解码器；解码器对外部注意力空间编码值进行处理，输出学习者在当前习题上回答正确与否的最终预测结果。
[0033]
本发明的有益效果是：
[0034]
本发明提供的基于外部注意力机制的知识追踪方法及系统，其通过建立多头外部注意力机制知识追踪模型，计算多个子空间中的外部注意力机制矩阵，输出经过联合和线性变换后，可以获得学生对习题的答题结果正确与否的预测。通过对比知识追踪数据集中真实的答题结果，获得损失函数计算结果，从而得到所述多头外部注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵的优化值，遍历知识追踪数据集，获得多头外部注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵的最优值。从而得到学习者的答题结果预测，并获取其知识掌握状态，利用知识掌握状态以此为学习者推荐相关的薄弱知识点的习题。
[0035]
本发明通过改进的多头外部注意力机制在捕捉当前时间序列步骤的答题结果与历史时间序列步骤的答题结果之间的关系的过程中，隐含地考虑到了所有习题之间的相关性，并且考虑到了所有习题作答情况之间的相关性。利用以往做过的题目、和以往习题的结果为当前时间序列步骤的答题结果提供预测参考，符合学习的过程，即能够在一定程度上真实模拟学习过程中对习题中的知识点的掌握程度变化。本发明将对学习过程中的所有数据充分挖掘，发挥了多头外部注意力机制的特长，并且提高了预测精确度。
附图说明
[0036]
图1是本发明中基于外部注意力机制的知识追踪方法的结构图。
[0037]
图2是本发明中利用多头外部注意力机制实现将习题投影到子空间的示意图。
[0038]
图3是本发明中利用多头外部注意力机制实现将作答情况特征投影到子空间的示意图。
具体实施方式
[0039]
为了使本发明的目的、特征、技术方案及优点更加明显易懂，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0040]
实施例1
[0041]
如图1所示，本实施例提供的一种基于外部注意力机制的知识追踪方法，其过程为：
[0042]
s1.获取包含学习者对多个习题样本的答题结果的知识追踪数据集，所述知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括习题和学习者在一系列题目上回答正确与否的真实结果。
[0043]
s2.建立多头外部注意力机制网络。所述多头外部注意力机制的输入为当前时间序列步骤所对应的习题和习题的作答情况这两个的编码h，输出为当前时间序列步骤所对应的习题的答题结果预测。所述多头外部注意力机制网络包括多头外部注意力编码器(如图1中左边虚线框内所示)和多头外部注意力解码器(如图1中右边虚线框内所示)，二者具有相同的结构和计算过程。
[0044]
s3.多头外部注意力机制编码器首先将输入h投影到多个子空间，在多个子空间中分别应用外部注意力机制。所述子空间包括两类，分别为习题和习题的作答情况，习题的子空间如图2所示，习题的作答情况的子空间如图3所示。首先将输入h经过线性层即矩阵投影得到自查询向量(query),记为其中为线性层输出维度，nq分别为查询的矩阵维度，r为实数集，并初始化两个不同的外部可学习记忆mk，mv，计算自查询向量q与外部可学习关键记忆mk之间的亲和度，经过双重标准化生成注意力地图，再计算注意力地图和另一个外部可学习值记忆mv的关系，得到一个精细化的特征映射，作为子空间处理结果输出；其中mk和mv为两个可学习的线性级联层。外部注意力采用如下函数：
[0045][0046]
其中，t表示矩阵转置；norm()表示双重标准化，该公式具体为：
[0047][0048][0049][0050]
可学习关键记忆mk是由一个线性层实现，的实现如下；
[0051]
attn＝linear_mk(q)；
[0052]
其中，线性层的输入维度为输出维度为m＝64(训练时可以更改，以获取适合数据集的维度)，并且
[0053]
自查询向量q与外部可学习关键记忆mk之间的亲和度经过双重标准化后，更新attn，即得到一个注意力地图。注意力地图经过另一个外部可学习值记忆mv，也就是另外一个线性层，实现如下：
[0054]
attn＝linear_mv(attn)；
[0055]
其中，线性层的输入维度为m，输出维度为并且并且
[0056]
s4.多头外部注意力机制将多个子空间的外部注意力机制串联组合，并经过线性层处理后联合输出：
[0057]
mh(q，mk，mv)＝[head1；head2；...；headi；...；headh]wo；
[0058]
其中，为可学习的参数，每一个headi表示一个子空间中的外部注意力机制；
[0059][0060]
其中，为网络的学习参数，d为线性变换维度，h为子空间数量，i为子空间序数，r为实数集。
[0061]
s5.所述多头外部注意力机制编码器的输出为自注意力空间编码值z
t
；将z
t
输入外部注意力解码器中，经过与编码器相同的计算过程，获得输出结果h
t
。
[0062]
s6.多头外部注意力编码器的输出结果h
t
与当前时间序列步骤对应的习题求内积x
t
，再经过全连接层，即可获得学生对当前习题答题结果正确与否的预测。
[0063]
s7.将所得预测结果利用如下公式计算其与知识追踪数据集中的真实结果的损失：
[0064][0065]
其中，l为交叉熵损失函数，η为网络参数，y为当前所预测题目的真实结果，为当前预测题目上的正确回答与否的预测结果，n为参与训练的时间序列步骤数量，m为每个时间训练步骤中的回答数量，i为时间序列步骤的序数，j为题目的序数，log的底数为2或e。
[0066]
s8.利用所得损失函数，计算损失函数最小化的梯度最优，得到所述多头外部注意力机制网络的权重参数矩阵和偏差参数矩阵的优化值。
[0067]
s9.重复s2-s8步骤，遍历深度知识追踪数据集中的每一条知识追踪序列数据，对所述多头外部注意力机制知识追踪模型的权重参数矩阵和偏差参数矩阵循环优化，至损失不再下降。
[0068]
实施例2
[0069]
本实施例提供一种基于外部注意力机制的知识追踪系统，用于实现上述方法，包括多头外部注意力机制网络模型，该多头外部注意力机制网络模型包括编码器和解码器，该编码器和解码器具有相同的网络结构和数据处理过程，均含有多个子空间，每个子空间对应一个外部注意力机制；其中：编码器对当前时间序列步骤的习题和习题的作答情况这二者的编号进行处理，输出外部注意力空间编码值给解码器；解码器对外部注意力空间编码值进行处理，输出学习者在当前习题上回答正确与否的最终预测结果。
[0070]
实施例3
[0071]
本实施例提供一种基于外部注意力机制的知识追踪方法，包含以下步骤：
[0072]
s1.获取包含学习者对多个知识组件样本的答题结果的知识追踪数据集，所述知识追踪数据集包括多个时间序列步骤，每一个时间序列步骤包括一个学习者在一系列习题和习题的答题情况。
[0073]
s2.将所述习题和习题的作答情况的特征编码分别输入多头外部注意力机制编码器。获取其在多个特征子空间的外部注意力机制编码。所述外部注意力编码分别关注到了所有习题之间的隐含相关性和所有习题作答情况之间的隐含相关性。
[0074]
s3.将所述多个子空间中的多头外部注意力机制编码分别经过拼接，获得外部注意力空间编码值z
t
。
[0075]
s4.将所述外部注意力空间编码值z
t
输入多头外部注意力解码器。获取其在多个特征子空间的外部注意力解码结果。
[0076]
s5.将当前时间序列步骤的外部注意力机制输出h
t
与当前时间序列步骤对应的习题求内积x
t
，并经过全连接层获得当前时间序列步骤的答题结果预测。
[0077]
s6.对学习者的回答结果正确与否的预测流程完毕。
[0078]
s7.利用所述预测结果，若当前预测结果为1，代表学生已经掌握该题，若当前预测结果为0，代表学生未掌握该题；以预测结果判断出学生题目的掌握情况，筛选出学生未掌握的题目，同时为学习者推荐未掌握的题目，实现学习者的有针对性学习学习，避免重复学习已经掌握的习题。
[0079]
本发明基于外部注意力机制的知识追踪方法及系统，其在捕捉当前时间序列步骤的答题结果与历史时间序列步骤的答题结果之间的关系的过程中，隐含地考虑到了所有习题之间的相关性，并且考虑到了所有习题作答情况之间的相关性。利用以往做过的题目、和以往习题的结果为当前时间序列步骤的答题结果提供预测参考，符合学习的过程，即能够在一定程度上真实模拟学习过程中对习题中的知识点的掌握程度变化。本发明将对学习过程中的所有数据充分挖掘，发挥了多头外部注意力机制的特长，并且提高了预测精确度。
[0080]
本说明书中未作详细描述的内容，属于本专业技术人员公知的现有技术。
[0081]
以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。