深度知识追踪方法、系统及可存储介质与流程

1.本发明涉及深度学习领域，更具体的说是涉及一种深度知识追踪方法、系统及可存储介质。


背景技术：

2.近年来，随着智能辅导系统(intelligent tutoring system，its)和大规模在线开放课程(massive open online courses，moocs)等在线教育平台的发展和普及，数百万的用户选择通过在线平台学习。相比传统的线下教育，在线学习系统最显著的优势在于其能保留学习者详尽的学习记录，提供了研究不同轨迹下学习者行为效能的条件。然而，在线学习平台上学生与教师人数的悬殊使人工的辅导变得不现实。如何利用在线学习系统的优势，从学生的学习轨迹中挖掘出潜在的学习规律，以提供个性化的指导，达到人工智能辅助教育的目的，成为了研究者密切关注的问题。
3.深度学习以其强大的特征提取能力引起了研究者的广泛关注，许多研究者将其应用到kt领域。基于循环神经网络的深度知识追踪(dkt)模型采用循环神经网络的隐藏向量表示学生的知识状态，并且据此预测学生的表现，相对于传统的机器学习模型，dkt不需要人工标注的kc信息，且能够捕捉到更复杂的学生知识表征，还可以发现并利用kc之间的关联信息。
4.上述知识追踪方法都只能利用学生的练习记录(题目考查的知识概念，回答情况)，但考查相同知识概念的两道题目对应的习题难度可能并不相同，这就造成了一种信息丢失，即无法充分利用练习材料及其内容为达到更精确的预测学生表现和获得更具可解释性分析的知识获取状态，提取材料中存在的丰富信息的问题(如知识概念、练习内容)。
5.因此，亟需一种知识追踪方法对学生学习结果进行准确预测。


技术实现要素：

6.有鉴于此，本发明提供了一种深度知识追踪方法、系统及可存储介质。
7.为了实现上述目的，本发明采用如下技术方案：
8.一种融合答题记录和题目语义的深度知识追踪方法，包括：
9.获取文本特征；
10.将所述文本特征，与数据集中已有的知识概念特征以及学生的回答情况拼接达到知识概念向量；其中，数据集中都包含知识特征和回答情况。
11.将所述知识概念向量输入到预测模型中，得到学生对知识的掌握情况。
12.可选的，还包括对文本特征预处理，具体如下：
13.使用分词工具对文本处理得到分词；
14.对分词进行特殊符号、停用词进行清洗，得到分词特征；
15.将分词特征表示为一个句子矩阵，并为每个分词建立位置向量；
16.将所述句子矩阵和位置矩阵相加后投影到三个不同的空间，输入到现有的深度知
识追踪模型中，再经过多头注意力层和前馈神经网络得到文本特征。
17.可选的，对文本特征预处理，还包括分词为固定长度，若分词过长则截断，长度过短则在末尾进行填充。
18.可选的，所述知识概念向量如下：
19.s＝{(e1,k1,r1),(e2,k2,r2),
…
,(e
t
,e
t
,r
t
)}
20.一种融合答题记录和题目语义的深度知识追踪系统，包括：
21.练习嵌入层，用于获取文本特征；
22.学生嵌入层，用于将所述文本特征，知识概念特征以及学生的回答情况拼接达到知识概念向量；
23.预测层，用于将所述知识概念向量输入到预测模型中，得到学生对知识的掌握情况。
24.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序为被处理器执行时实现任意一项所述的一种融合答题记录和题目语义的深度知识追踪方法的步骤。
25.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种深度知识追踪方法、系统及可存储介质，在深度知识追踪方法的基础上采用多种方式融合了题目的文本信息，提出了一种兼顾学习与题目文本信息的深度知识追踪方法、系统及可存储介质。通过在真实在线教育数据集上的实验，与当前知识追踪模型相比，可以更好地追踪学生知识掌握状态,并具有较好的预测性能。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
27.图1为本发明的结构示意图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.本发明实施例提供一种融合答题记录和题目语义的深度知识追踪方法，如图1所示，包括：
30.获取文本特征；
31.将文本特征，知识概念特征以及学生的回答情况拼接达到知识概念向量；
32.将知识概念向量输入到预测模型中，得到学生对知识的掌握情况。
33.可选的，还包括对文本特征预处理，具体如下：
34.使用分词工具对文本处理得到分词；
35.对分词进行特殊符号、停用词进行清洗，得到分词特征；
36.将分词特征表示为一个句子矩阵，并为每个分词建立位置向量；
37.将句子矩阵和位置矩阵相加后投影到三个不同的空间，输入到模型中，再经过多头注意力层和前馈神经网络得到文本特征。
38.可选的，对文本特征预处理，还包括分词为固定长度，若分词过长则截断，长度过短则在末尾进行填充。
39.可选的，知识概念向量如下：
40.s＝{(e1,k1,r1),(e2,k2,r2),
…
,(e
t
,e
t
,r
t
)}
41.还提供一种融合答题记录和题目语义的深度知识追踪系统，包括：
42.练习嵌入层，用于获取文本特征；
43.学生嵌入层，用于将文本特征，知识概念特征以及学生的回答情况拼接达到知识概念向量；
44.预测层，用于将知识概念向量输入到预测模型中，得到学生对知识的掌握情况。
45.还提供一种计算机存储介质，计算机存储介质上存储有计算机程序，计算机程序为被处理器执行时实现任意一项的一种融合答题记录和题目语义的深度知识追踪方法的步骤。
46.在本实施例中，嵌入层的作用是获取练习题目的文本特征。transformer特征提取器提取题目文本特征。由于本实施例使用的数据集中的题目文本是中文文本，对于中文题目，首先使用jieba分词工具对题目进行分词，然后对特殊符号、停用词等进行清洗，最终得到分词特征。经过上述处理，题目文本可以描述为一个包含m个词的句子，为了更好的处理不同长度的题目文本，我们将m设置为固定大小，长度超过m个词的题目文本将从后面截断，长度短于m个词的题目文本将在末尾进行填充。把所有题目文本都表示成分词特征之后，统计所有出现过的词将其组成一个词表，词表的大小则是组成数据集的所有词的个数。为了得到词的向量表示，先将每个词转化为对应的独热向量，这样得到的词向量并不能描述词与词之间的关系，因此还要使用word2vec技术将每一个词转化为d0维的词向量。那么，对于题目文本ei，可以表示成一个m
×
d0维的句子矩阵，可以用ei＝{w1,w2,w3,
…
,wm}表示，其中wm表示第m个词的词向量。由于transformer结构无法学习到序列的顺序信息，因此需要再为每个词构建一个d0维的位置向量，形成一个m
×
d0维的位置矩阵，将句子矩阵和位置矩阵相加之后分别线性投影到三个不同的空间当作key、value、query输入模型中，再经过多头注意力层和前馈神经网络，得到该题目的文本特征e
t
。
47.将题目的文本特征e
t
与知识概念特征k
t
、学生的回答情况r
t
拼接在一起，构成模型的输入s。
48.s＝{(e1,k1,r1),(e2,k2,r2),
…
,(e
t
,e
t
,r
t
)}
49.对于题目文本e
t
，可以表示成一个m
×
d0维的句子矩阵，可以用e
t
＝{w1,w2,w3,
…
,wm}表示，其中wm表示第m个词的词向量；k
t
为第t时刻学生作答题目的知识点，共有k个知识点；r
t
是学生在第t时刻对q
t
的作答情况，r
t
为0时表示该题答错，为1时表示该题答对。
50.知识概念向量的目标是从这个练习的知识概念k
t
中探索每个练习对改善学生状态的影响，这个影响权重用β
t
表示。如果这个练习仅与第i个知识概念相关，我们可以只考虑这个特定概念的影响，而不考虑其他知识概念。在教育心理学中，一些研究结果表明，知
识概念在特定学科(例如数学)不是孤立的，而是相互关联的。因此，在我们的建模中，我们假设对某个学生来说，学习一个概念也会影响其他概念的掌握程度。因此，有必要量化知识空间中所有k个概念之间的相关权重。
51.通过给定的知识概念向量k
t
与记忆模块mi中每个知识概念向量之间的内积进行softmax运算，进一步计算出影响权重为:
[0052][0053]
是练习e
t
的知识概念对第i个概念的影响权重(1≤i≤k，1≤t≤t)；mi是所有知识概念拼接在一起得到的矩阵。
[0054]
然后，通过rnn更新学生的知识水平，用学生的练习序列更新学生状态h
t
：
[0055][0056][0057]
是练习e
t
的知识概念对第i个概念的影响权重；是学生的t时刻知识状态向量；为t-1时刻学生的隐藏层状态；,是模型的参数。
[0058]
rnn通过下述公式得到隐藏层状态并进行更新，具体的计算公式为：
[0059]it
＝σ(w
xi
x
t
w
hiht-1
bi）
[0060]ft
＝σ(w
xf
x
t
w
hfht-1
bf）
[0061]ot
＝σ(w
xo
x
t
w
hoht-1
bo）
[0062]ct
＝f
t
°ct-1
i
t
°
tanh(w
xc
x
t
w
hcht-1
bc）
[0063]ht
＝o
t
°
tanh(c
t
)
[0064]
其中i
t
,f
t
,o
t
分别是输入门，忘记门，输出门的值，c
t
是细胞状态。σ(x)为非线性激活函数，
·
表示向量的对应元素相乘。此外，矩阵w
x*
、w
h*
、b
*
都是网络参数。
[0065]
然后计算学生对于题目知识的理解：
[0066][0067]
是练习e
t 1
的知识概念k
t 1
对第i个概念的影响权重；是隐藏层学生状态。
[0068]
预测学生在第t 1道题目的回答情况：
[0069][0070][0071]
上式u
t 1
代表学生对于题目知识的理解；s
t 1
代表第t 1道题目的语义信息；y
t 1
表示在第(t 1)步进行预测的总体表现；是第t 1道题的表现；{w3，w4，w3}都是参数；relu，σ(x)为激活函数；是拼接操作。
[0072]
模型中的所有参数，都是通过学生的真实做题情况与模型预测的概率之间的交叉熵损失函数，经过adam更新方式进行更新的，损失函数：
[0073][0074]
是模型预测的情况；r
t
是真实的做题情况。
[0075]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。