基于多模态互补图神经网络的认知诊断方法和系统

1.本技术涉及神经网络技术领域，尤其是一种基于多模态互补图神经网络的认知诊断方法和系统。


背景技术：

2.智能教育已得到广泛推广和使用，在智能教育中，掌握每个学生的知识状态，对学生进行全面的教学评价显得至关重要。相关技术中，通过认知诊断实现对学生认知过程的评价，然而，认知诊断的准确度和计算效率仍需提升。


技术实现要素：

3.本技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
4.为此，本发明的目的在于提供一种高效的基于多模态互补图神经网络的认知诊断方法和系统。
5.本技术实施例的另一个目的在于提供一种基于多模态互补图神经网络的认知诊断系统。
6.为了达到上述技术目的，本技术实施例所采取的技术方案包括：
7.一方面，本技术实施例提供了一种基于多模态互补图神经网络的认知诊断方法，包括以下步骤：
8.本技术实施例的基于多模态互补图神经网络的认知诊断方法，包括获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；根据所述学习数据，确定所述学习数据的多模态资源互补图；对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果。通过使用上述方法，能够对多模态的学习数据进行充分提取，提升认知诊断模型的效率，提高模型的精确度和预测效果。
9.另外，根据本技术上述实施例的基于多模态互补图神经网络的认知诊断方法，还可以具有以下附加的技术特征：
10.进一步地，本技术实施例的基于多模态互补图神经网络的认知诊断方法，所述对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据，包括以下步骤：将所述多模态资源互补图通过mlp处理，得到所述学习数据的多模态特征向量；根据所述学习数据，确定所述学习数据的知识点对应的概念关系图；对所述多模态特征向量与所述概念关系图进行迭代交互处理，得到所述学习数据的聚合嵌入数据。
11.进一步地，在本技术的一个实施例中，所述对所述多模态特征向量与所述概念关系图进行迭代交互处理这一步骤后，包括以下步骤：通过迭代交互处理，更新节点特征信息；将所述节点特征信息经过注意力机制处理，得到所述节点特征信息的权重；根据所述节点特征信息和所述权重，得到所述学习数据的聚合嵌入数据。
12.进一步地，在本技术的一个实施例中，所述将所述聚合嵌入数据输入认知诊断模
型，得到认知诊断的预测结果，包括如下步骤：
13.对所述聚合嵌入数据与one-hot编码经过嵌入融合处理，得到学习聚合数据；
14.将所述学习聚合数据按照下列公式处理，得到模型输入数据x：
[0015][0016]
其中，所述学习聚合数据包括：语音难度向量fo，视频难度向量fv，练习的难度向量f
diff
，练习的区分度向量f
disc
，练习的重要程度向量f
import
，做题速度向量f
rapid
，学生的熟练度向量fs；式中用于表征练习依赖性聚合嵌入数据；x用于表征模型输入数据；
[0017]
将所述模型输入数据输入认知诊断模型，得到认知诊断的预测结果。
[0018]
进一步地，在本技术的一个实施例中，所述认知诊断模型包括双向gru神经网络模块，gru包括更新门和重置门，所述将所述模型输入数据输入认知诊断模型，包括如下步骤：
[0019]
将所述模型输入数据输入双向gru神经网络模块，更新所述模型输入数据的节点特征；
[0020]
其中，更新门z
t
的公式为：
[0021]zt
＝σ(w
1(z)
x
t
u
1(z)ht-1
)；
[0022]
重置门r
t
的公式为：
[0023]rt
＝σ(w
2(z)
x
t
u
2(z)ht-1
)；
[0024]
x
t
为t时刻的输入向量，w
(z)
和u
(z)
为权重矩阵，h
t-1
是t-1时刻的状态，σ(
·
)为激活函数。
[0025]
进一步地，在本技术的一个实施例中，其中根据所述学习数据，确定所述学习数据的多模态资源互补图，包括如下步骤：将所述视频资源数据通过多模式transformer编码器处理，得到视频语义特征向量；将所述语音资源数据通过hmm处理，得到语音语义特征向量；将所述练习资源数据通过tim transformer处理，得到练习语义特征向量；根据所述视频语义特征向量、所述语音语义特征向量和所述练习语义特征向量，确定不同学习数据之间的相关性；若所述相关性小于预设阈值，确定相应的学习数据之间存在互补关系；根据所述互补关系，确定所述学习数据的多模态资源互补图。
[0026]
进一步地，在本技术的一个实施例中，所述不同学习数据之间的相关性通过以下公式得到：
[0027][0028]
其中，e
′i和e
′j用于表示不同的学习数据；ki用于表征e
′i所包含的资源数据的个数，mk用于表征e
′i中的资源数据所对应的语义特征向量；kj用于表征e
′j所包含的资源数据的个数，nk用于表征e
′j中的资源数据所对应的语义特征向量。
[0029]
另一方面，本技术实施例提出了一种基于多模态互补图神经网络的认知诊断系统，包括：
[0030]
获取模块，用于获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；
[0031]
多模态资源互补图模块，用于根据所述学习数据，确定所述学习数据的多模态资源互补图；
[0032]
交互处理模块，用于对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；
[0033]
预测模块，用于将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果；其中，所述聚合嵌入数据用于表征所述学习数据的语音依赖性、视频依懒性、练习依赖性和概念依赖性的聚合嵌入数据。
[0034]
另一方面，本技术实施例提供了一种基于多模态互补图神经网络的认知诊断装置，包括：
[0035]
至少一个处理器；
[0036]
至少一个存储器，用于存储至少一个程序；
[0037]
当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的任一种基于多模态互补图神经网络的认知诊断方法。
[0038]
另一方面，本技术实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现上述的任一种基于多模态互补图神经网络的认知诊断方法。
[0039]
本技术实施例提出一种基于多模态互补图神经网络的认知诊断方法和系统，该方法包括获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；根据所述学习数据，确定所述学习数据的多模态资源互补图；对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果。该系统包括获取模块、多模态资源互补图模块、交互处理模块和预测模块。通过使用本技术中的方法，能够对多模态的学习数据进行充分提取，提升认知诊断模型的效率，提高模型的精确度和预测效果。
附图说明
[0040]
为了更清楚地说明本技术实施例或者现有技术中的技术方案，下面对本技术实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本技术的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0041]
图1为本技术提供的基于多模态互补图神经网络的认知诊断方法的一种实施例的流程示意图；
[0042]
图2为本技术提供的基于多模态互补图神经网络的认知诊断方法的另一种实施例的流程示意图；
[0043]
图3为本技术提供的双向gru神经网络模块的一种实施例的结构示意图；
[0044]
图4为本技术提供的双向gru神经网络模块的另一种实施例的架构示意图；
[0045]
图5为本技术提供的构建多模态资源互补图的一种实施例的流程示意图；
[0046]
图6为本技术提供的基于多模态互补图神经网络的认知诊断系统的一种实施例的结构示意图；
[0047]
图7为本技术提供的基于多模态互补图神经网络的认知诊断装置的一种实施例的结构示意图。
具体实施方式
[0048]
下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0049]
随着智能教育的推广和发展，掌握每个学生的知识状态，对学生进行全面的教学评价变得至关重要。大多数测验技术只关注到学生的分数或作答结果，没有重视学生内部的认知结构与知识状态，学生的认知过程无法得到分析与诊断。认知诊断作为智能教育的一个技术，可以有效解决上述问题。相关技术中的认知诊断方法运用人工设计的函数，难以捕捉学生和练习之间的复杂关系，并且手动设计与实现练习和知识点之间复杂关系的功能函数往往会耗费大量的人力、精力与时间。
[0050]
下面参照附图详细描述根据本技术实施例提出的基于多模态互补图神经网络的认知诊断方法和系统，首先将参照附图描述根据本技术实施例提出的基于多模态互补图神经网络的认知诊断方法。
[0051]
参照图1，本技术实施例中提供一种基于多模态互补图神经网络的认知诊断方法，本技术实施例中的基于多模态互补图神经网络的认知诊断方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。本技术实施例中的基于多模态互补图神经网络的认知诊断方法主要包括以下步骤：
[0052]
s110：获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；
[0053]
本步骤中，获取学习数据。学习数据用于表征需要进行认知诊断的学生的学习数据。在一些可能的实施方式中，学习数据可以是视频资源数据，学习数据也可以是语音资源数据，学习数据还可以是练习资源数据。通过不同类型的学习数据的获取，充分挖掘学生的学习过程。示例性地，视频资源数据可以是老师的讲课视频或相关的科普视频；语音资源数据可以是老师的讲课语音形式的数据；练习资源数据可以是相关课程的ppt数据等，本技术并不限定学习数据的具体内容和具体表现形式。
[0054]
s120：根据所述学习数据，确定所述学习数据的多模态资源互补图；
[0055]
本步骤中，通过构建学习数据的多模态资源互补图，更好的完成后续的认知诊断过程。学生的学习数据包含多种模态，同时每个学习数据中所包含的模态数目不同，通过多模态资源互补图可以将不同的学习数据进行交互学习，充分挖掘不用的学习数据之间的关联性，填补彼此之间的缺失信息，消除不同模态之间的语义鸿沟。以便于后续的数据处理。
[0056]
s130：对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；
[0057]
本步骤中，对所述多模态资源互补图进行交互处理，充分提取学习数据之间的相
关性和依赖性，能够提升认知诊断的效率和准确度。在一些可能的实施方式中，通过学习数据，提取概念关系图，并将概念关系图和视频资源数据、语音资源数据、练习资源数据进行交互处理，提取相应的特征，得到聚合嵌入数据。参见图2中的多模态表征嵌入阶段，图中表示的为一种实施方式，并不作为对该过程的具体限制。
[0058]
s140：将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果；其中，所述聚合嵌入数据用于表征所述学习数据的语音依赖性、视频依懒性、练习依赖性和概念依赖性的聚合嵌入数据。
[0059]
本步骤中，通过认知诊断模型，对学生的学习过程进行评估，得到预测结果。在一些可能的实施方式中，认知诊断模型，可以是基于图神经网络的模型，通过图神经网络模型可以有效提取节点特征和节点之间的复杂关系，多模态数据通过构建图神经网络则可以更加充分地诊断学生认知情况。见图2中认知诊断结果预测阶段，基于认知诊断模型更新节点表示后，研究学生正确回答问题的概率，输出y。具体地，在模型训练阶段，所采用的损失函数见公式1所示，其中基于输出y和真实数据的标签r建立：
[0060]
loss＝-(ri)∑i(rilogyi (1-ri)log(1-yi))
ꢀꢀꢀ
公式1
[0061]
可选地，本技术实施例中的基于多模态互补图神经网络的认知诊断方法，所述对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据，包括以下步骤：
[0062]
将所述多模态资源互补图通过mlp处理，得到所述学习数据的多模态特征向量；
[0063]
根据所述学习数据，确定所述学习数据的知识点对应的概念关系图；
[0064]
对所述多模态特征向量与所述概念关系图进行迭代交互处理，得到所述学习数据的聚合嵌入数据。
[0065]
本步骤中，对所述多模态资源互补图进行交互处理过程，包括下列步骤：
[0066]
s1301，多模态特征向量的表征。将不同的学习数据视为超顶点，则基于进一步缩小超顶点中不同模态/资源数据之间的语义鸿沟，实现不同模态信息的交互与融合，在一些可能的实施方式中，采用多层感知机(mlp)构造编码器，对超顶点内部多模态资源实现单一特征编码，得到学习数据的多模态特征向量，即语音特征向量o、视频特征向量v、练习特征向量q。
[0067]
s1302，构造概念关系图。在一些可能的实施方式中，从文本练习中提取知识点id，并且考虑不同知识点之间存在的关系(相似性和先决依赖性关系)，构成包含有向连接和无向连接的概念关系图结构
[0068]
s1303，构造多模态交互图。由于知识点本身以及练习、语音、视频和知识点之间存在联系，可以将交互数据描述为知识点相似性与依赖关系图练习相关性图练习相关性图视频相关性图和语音相关性图其中c＝{c1,c2,...,ck}，代表知识概念节点的集合，k表示知识点概念个数。代表知识点概念之间的多重依赖关系，r表示特定类型的依赖关系(如相似和先决条件)，每条边代表不同知识点概念之间的关系。q＝{q1,q2,...,qm}，代表练习特征，m表示练习个数，}，代表练习特征，m表示练习个数，表示练习和知识点概念之间的相关性。v＝{v1,v2,...,v
t
}，代表视频特征，t表示视频个数。表示视频和知识点概念之间的相关
性。o＝{o1,o2,...,on}，代表语音特征，表示语音和知识点概念之间的相关性。
[0069]
s1304，多模态特征向量与图结构交互。将语音特征向量、视频特征向量、练习特征向量分别与概念关系图进行交互，多模态关系图相应地描绘为r
vc
∪r
oc
)，另外，和分别代表知识点概念依赖性的聚合嵌入、练习相关性的聚合嵌入、视频相关性的聚合嵌入和语音相关性的聚合嵌入，ι表示迭代次数。
[0070]
上述流程示意图参见图2中的多模态表征嵌入阶段，通过交互过程，充分提取学习数据中的信息，以提升认知诊断的效率和准确度。
[0071]
可选地，本技术实施例中的基于多模态互补图神经网络的认知诊断方法，所述对所述多模态特征向量与所述概念关系图进行迭代交互处理这一步骤后，包括以下步骤：
[0072]
通过迭代交互处理，更新节点特征信息；
[0073]
将所述节点特征信息经过注意力机制处理，得到所述节点特征信息的权重；
[0074]
根据所述节点特征信息和所述权重，得到所述学习数据的聚合嵌入数据。
[0075]
本步骤中，通过迭代交互处理，更新节点特征信息；更新后的节点特征信息经过注意力机制处理，得到所述节点特征信息的权重；根据所述节点特征信息和所述权重，得到所述学习数据的聚合嵌入数据。在一些可能的实施方式中，将语音特征、视频特征、练习特征和知识点充分表达的流程如下所述：在概念关系图模块中，对于将概念c利用图神经网络进行信息传递，获取c之间的相似性与依赖性特征，经过ι次迭代更新后，利用节点级别的注意力获取节点特征和边特征的权重，得到知识点概念依赖性的聚合嵌入在多模态特征向量，即语音向量、视频向量、练习向量和概念关系图交互模块中，对于将语音特征o、视频特征v、将练习特征q分别与概念c进行交互，经过ι次迭代，不断更新节点特征，并利用节点级别的注意力机制获取节点特征的权重，最终分别得到语音相关性的聚合嵌入视频相关性的聚合嵌入练习相关性的聚合嵌入其中，和是在不断优化训练中得到的。
[0076]
通过多模态特征向量的交互，得到聚合嵌入数据，提升认知诊断的效率和准确度。
[0077]
可选地，本技术实施例中的基于多模态互补图神经网络的认知诊断方法，所述将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果，包括如下步骤：
[0078]
对所述聚合嵌入数据与one-hot编码经过嵌入融合处理，得到学习聚合数据；
[0079]
将所述学习聚合数据按照下列公式2处理，得到模型输入数据：
[0080][0081]
其中，所述学习聚合数据包括：语音难度向量fo，视频难度向量fv，练习的难度向量f
diff
，练习的区分度向量f
disc
，练习的重要程度向量f
import
，做题速度向量f
rapid
，学生的熟练度向量fs；
[0082]
将所述模型输入数据输入认知诊断模型，得到认知诊断的预测结果。
[0083]
本步骤中，步骤s140可以包括下列步骤：
[0084]
s1401，参见图2中的信息聚合与更新阶段的流程示意图，将与语音的one-hot
编码xo嵌入融合得到语音难度向量f
°
，将与视频的one-hot编码xv嵌入融合得到视频难度向量fv，将与练习的one-hot编码xq嵌入融合得到练习的难度向量f
diff
、练习的区分度向量f
disc
、练习的重要程度向量f
import
、做题速度向量f
rapid
，将学生的one-hot编码xs嵌入得到学生的熟练度向量fs。这一步所涉及的公式为公式3至公式9：
[0085]fs
＝sigmoid(xs×
b)
ꢀꢀꢀ
公式3
[0086][0087]fdisc
＝sigmoid(xe×
d)
ꢀꢀꢀ
公式5
[0088]fimport
＝sigmoid(xe×
i)
ꢀꢀꢀ
公式6
[0089]fr
＝sigmoid(xe×
t)
ꢀꢀꢀ
公式7
[0090][0091][0092]
其中b，d，i，t是可训练权重参数矩阵，sigmoid是激活函数。本领域技术人员可以理解的是，上述为示例性的举例，并不作为对可训练矩阵和激活函数的具体限制。
[0093]
s1402，将练习依赖性聚合嵌入与fo、fv、f
diff
、f
disc
、f
import
、f
rapid
、fs进行点积得到认知诊断模型的输入x。见公式2所示。
[0094]
通过将表示不同学习状态或过程的学习聚合数据通过公式2的处理后，输入认知诊断模型，通过充分考虑学生的学习数据，增加输入信息，提升认知诊断的准确度。
[0095]
可选地，本技术实施例中的基于多模态互补图神经网络的认知诊断方法，所述认知诊断模型包括双向gru神经网络模块，gru包括更新门和重置门，所述将所述模型输入数据输入认知诊断模型，包括如下步骤：
[0096]
将所述模型输入数据输入双向gru神经网络模块，更新所述模型输入数据的节点特征；
[0097]
其中，更新门z
t
的公式见公式10：
[0098]zt
＝σ(w
1(z)
x
t
u
1(z)ht-1
)；
ꢀꢀꢀ
公式10
[0099]
重置门r
t
的公式参见公式11：
[0100]rt
＝σ(w
2(z)
x
t
u
2(z)ht-1
)；
ꢀꢀꢀ
公式11
[0101]
x
t
为t时刻的输入向量，w
(z)
和u
(z)
为权重矩阵，h
t-1
是t-1时刻的状态，σ(
·
)为激活函数。
[0102]
本步骤中，将所述模型输入数据输入认知诊断模型。在一些可能的实施方式中，认知诊断模型包括双向gru神经网络模块，模型输入数据在双向gru内部进行节点特征更新。门控循环单元gru包含两个门控单元，分别是更新门z
t
和重置门r
t
，更新门控制信息传递，重置门控制信息遗忘。具体地，参见图3所示，该过程为：
[0103]
在t时刻，计算更新门z
t
的公式为公式10所示，
[0104]
其中，x
t
是t时刻的输入向量，w
(z)
是权重矩阵，h
t-1
是t-1时刻的状态，与权重矩阵u
(z)
相乘进行线性变换，经过激活函数σ，使得z
t
的阈值为[0，1]。
[0105]
在t时刻，计算重置门r
t
的公式为公式11所示，和更新门一样，经过一系列计算，最终使得r
t
的阈值为[0，1]。
[0106]
信息经过重置门和更新门，得到了当前的记忆内容，其计算公式参见公式12：
[0107]
h’t
＝tanh(wx
t
r
t
⊙
uh
t-1
)
ꢀꢀꢀ
公式12
[0108]
最后通过更新门来收集当前记忆h’t
和上一时刻的记忆内容h
t-1
所需要的信息，最终得出h
t
并将其传递到下一单元。其计算公式参见公式13：
[0109]ht
＝z
t
⊙
h’t
(1-z
t
)
⊙ht-1
ꢀꢀꢀ
公式13
[0110]
双向门控循环单元gru中隐藏层的向量h分为前向和后向，h表示每个时刻的隐藏层状态。双向门控循环单元gru架构如图4所示，相关表示参见公式14和公式15：
[0111][0112][0113]
因此隐藏层的向量h可以把前项和后项串联起来，参见公式16：
[0114]
h＝{h1，h2，...，h
t
}
ꢀꢀꢀ
公式16
[0115]
考虑到只有一个解码器，因此将两个上下文向量连接在一起形成一个向量z,通过一个线性层g和激活函数tanh，作为解码器的初始隐藏状态s0。其计算公式为公式17至公式19：
[0116][0117][0118]
z＝s0ꢀꢀꢀ
公式19
[0119]
通过双向gru图神经网络模块的处理，充分提取学习数据之间的交互信息，提升计算效率，提高模型的精确度和预测效果。
[0120]
可选地，本技术实施例中的基于多模态互补图神经网络的认知诊断方法，其中根据所述学习数据，确定所述学习数据的多模态资源互补图，包括如下步骤：
[0121]
将所述视频资源数据通过多模式transformer编码器处理，得到视频语义特征向量；
[0122]
将所述语音资源数据通过hmm处理，得到语音语义特征向量；
[0123]
将所述练习资源数据通过tim transformer处理，得到练习语义特征向量；
[0124]
根据所述视频语义特征向量、所述语音语义特征向量和所述练习语义特征向量，确定不同学习数据之间的相关性；
[0125]
若所述相关性小于预设阈值，确定相应的学习数据之间存在互补关系；
[0126]
根据所述互补关系，确定所述学习数据的多模态资源互补图。
[0127]
可选地，本技术实施例中的基于多模态互补图神经网络的认知诊断方法，所述不同学习数据之间的相关性通过以下公式20得到：
[0128][0129]
其中，e
′i和e
′j用于表示不同的学习数据；ki用于表征e
′i所包含的资源数据的个数，mk用于表征e
′i中的资源数据所对应的语义特征向量；kj用于表征e
′j所包含的资源数据的个数，nk用于表征e
′j中的资源数据所对应的语义特征向量。
[0130]
上述步骤中，学习数据通常是多模态学生学习数据，由于每个学生会对多个学习资源进行学习，而这些学习资源可以包含(语音、视频、文本)三种模态，也可以包含其中的两种模态，还可以包含其中的一种模态，为了考虑同一资源中的不同模态信息对于挖掘资
源之间关系的重要性，消除语义鸿沟，对每个学习资源内部每种模态信息进行表示学习，即“语音、视频和文本模态分别采用隐马尔科夫模型(hidden markov model，hmm)、多模式transformer编码器、tim transformer模型进行编码”，形成各自的表征向量o'、v'、q'。公式可以简单表示为公式21至公式23：
[0131]
o’＝hmm(audio)
ꢀꢀꢀ
公式21
[0132]v’
＝多模式transformer(video)
ꢀꢀꢀ
公式22
[0133]
q’＝tim transformer(text)
ꢀꢀꢀ
公式23
[0134]
得到各自的抽象语义特征向量后，参见图5，不同的学习数据用资源1、资源2、资源3和资源4进行表示。由于资源1中不存在的知识点在资源2、资源3中存在，则资源1与资源2、资源3存在互补关系。考虑到不同资源之间存在信息互补关系，而将这些资源进行交互则可以使多模态数据向量表征更加充分，完善学生学习资源体系。因此，对不同资源进行构图，设置一个阈值来判断不同资源之间的互补关系，其中每个资源对应一个超顶点，其内部包含了该资源具有的单个或多个模态的语义表征向量，资源之间的边表示互补性关系，每个学生要学习多个资源，图5以一个学生学习四个资源为例。具体地，超顶点之间的边连接表示互补性关系，通过计算不同超顶点之间的余弦相似度，然后根据预先设置的阈值来构造不同超顶点之间的边，阈值在实际实验中可以作为超参数。不同超顶点之间的相似性关系计算公式可以通过公式20进行表示。
[0135]
针对超顶点之间互补关系的邻接矩阵，即多模态资源互补图，可以通过下列公式24进行表示：
[0136][0137]
其中，e
′
表示超顶点集合，表示超顶点e
′i与e
′j之间关系的权值，如果e
′i与e
′j之间存在互补性，为1，否则是0。
[0138]
综上，本技术提出一种基于多模态互补图神经网络的认知诊断方法，能够对多模态的学习数据进行充分提取，提升认知诊断模型的效率，提高模型的精确度和预测效果。
[0139]
其次，参照附图6描述根据本技术实施例提出的一种基于多模态互补图神经网络的认知诊断系统。
[0140]
图6是本技术一个实施例的基于多模态互补图神经网络的认知诊断系统结构示意图，该系统具体包括：
[0141]
获取模块610，用于获取学习数据，其中学习数据包括视频资源数据、语音资源数据和练习资源数据；
[0142]
多模态资源互补图模块620，用于根据所述学习数据，确定所述学习数据的多模态资源互补图；
[0143]
交互处理模块630，用于对所述多模态资源互补图进行交互处理，得到所述学习数据的聚合嵌入数据；
[0144]
预测模块640，用于将所述聚合嵌入数据输入认知诊断模型，得到认知诊断的预测结果；其中，所述聚合嵌入数据用于表征所述学习数据的语音依赖性、视频依懒性、练习依赖性和概念依赖性的聚合嵌入数据。
[0145]
可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0146]
参照图7，本技术实施例提供了一种基于多模态互补图神经网络的认知诊断装置，包括：
[0147]
至少一个处理器710；
[0148]
至少一个存储器720，用于存储至少一个程序；
[0149]
当所述至少一个程序被所述至少一个处理器710执行时，使得所述至少一个处理器710实现所述的基于多模态互补图神经网络的认知诊断方法。
[0150]
同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0151]
本技术实施例还提供了一种计算机可读存储介质，其中存储有处理器710可执行的程序，处理器710可执行的程序在由处理器710执行时用于执行上述的新风系统的控制方法。
[0152]
同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0153]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本技术的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0154]
此外，虽然在功能性模块的背景下描述了本技术，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本技术是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本技术。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本技术的范围，本技术的范围由所附权利要求书及其等同方案的全部范围来决定。
[0155]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存
储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0156]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从程序执行系统、装置或设备取程序并执行程序的系统)使用，或结合这些程序执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行系统、装置或设备或结合这些程序执行系统、装置或设备而使用的装置。
[0157]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0158]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0159]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0160]
尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。
[0161]
以上是对本技术的较佳实施进行了具体说明，但本技术并不限于所述实施例，熟悉本领域的技术人员在不违背本技术精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。