一种教学质量的评估方法、装置及计算机可读存储介质与流程

1.本发明涉及教学技术领域，尤其涉及一种教学质量的评估方法、装置及计算机可读存储介质。


背景技术：

2.教师教学质量的评估是目前教育界重点关注的问题，而使用大数据、ai算法等方法对教师教学质量相关的各种数据进行分析，是当前教育界正在积极探索的一个发展方向。
3.然而，现有的教学质量评估方法在评估时由于仅使用一种模态数据或者仅考虑到学生或老师单侧的模态数据，容易导致评估结果准确性不高的问题。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的上述不足，提供一种教学质量的评估方法、装置及计算机可读存储介质，用以解决现有的教学质量评估方法在评估时由于仅使用一种模态数据或者仅考虑到学生或老师单侧的模态数据，容易导致评估结果准确性不高的问题。
5.第一方面，本发明提供一种教学质量的评估方法，包括：
6.采集预设时间段内学生及老师的多模态数据，其中，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据；
7.将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数；
8.将所述教学质量评估分数发送给教室终端，以使所述教室终端接收并展示所述预测的教学质量评估分数。
9.进一步地，所述采集预设时间段内学生及老师的多模态数据之后，所述方法还包括：
10.根据采集时间戳对所述多模态数据进行对齐；
11.所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数，具体包括：
12.将对齐后的所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数。
13.进一步地，所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数之前，所述方法还包括：
14.将随堂小测时学生及老师的多模态数据按一定时间步长进行切分；
15.基于切分后的多模态数据以及对应的教学质量评分结果训练所述多模态特征融合分类模型，得到所述训练好的多模态特征融合分类模型。
16.进一步地，所述训练好的多模态特征融合分类模型包括第一层、第二层、第三层、
第四层、多模态特征融合层以及全连接层；
17.所述第一层、第二层、第三层、第四层的输出分别与所述多模态特征融合层的输入连接，所述多模态特征融合层的输出与所述全连接层的输入连接；
18.所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数，具体包括：
19.将所述学生脑波数据输入所述第一层，通过所述第一层提取学生脑波特征；
20.将所述学生行为数据、老师行为数据输入所述第二层，通过所述第二层提取学生行为和老师行为的融合特征；
21.将所述学生表情数据输入所述第三层，通过所述第三层提取老师行为及学生表情融合特征；
22.将所述老师表情数据输入所述第四层，通过所述第四层提取老师表情特征；
23.将所述第一层、第二层、第三层、第四层提取到的特征输入所述多模态特征融合层进行归一化处理；
24.将归一化处理后的特征输入所述全连接层进行全连接，得到所述预测的教学质量评估分数。
25.进一步地，所述第一层包括激活函数层以及归一化层，所述将所述学生脑波数据输入所述第一层，通过所述第一层提取学生脑波特征，具体包括：
26.将1*n维的学生脑波数据输入所述激活函数层进行激活处理，得到激活函数层的输出结果；
27.将所述激活函数层的输出结果输入所述归一化层进行归一化处理，得到归一化处理后的1*n维特征，并将所述归一化处理后的1*n维特征作为所述学生脑波特征。
28.进一步地，所述将所述学生行为数据、老师行为数据输入所述第二层，通过所述第二层提取学生行为和老师行为的融合特征，具体包括：
29.将10*m*n维的学生行为数据以及10*m*n维的老师行为数据输入所述第二层的沙漏hourglass模型进行人体关键点的检测，得到人体关键点的检测结果；
30.将所述人体关键点的检测结果输入循环神经网络rnn进行行为识别，分别得到1*n维的学生行为特征以及1*n维的老师行为特征；
31.使用l2范式将所述1*n维的学生行为特征以及1*n维的老师行为特征进行融合，得到1*n维的融合行为特征。
32.进一步地，所述将所述学生表情数据输入所述第三层，通过所述第三层提取老师行为及学生表情融合特征，具体包括：
33.将10*m*n维的学生表情数据输入所述第三层，使用所述第三层和第四层间共用的卷积神经网络cnn模型进行表情特征提取，得到1*n维的学生表情特征；
34.根据先验知识将所述1*n维的学生表情特征以及所述1*n维的老师行为特征进行融合，得到1*n维的老师行为及学生表情融合特征。
35.进一步地，所述将所述老师表情数据输入所述第四层，通过所述第四层提取老师表情特征，具体包括：
36.将10*m*n维的老师表情数据输入所述第四层，使用所述cnn模型进行表情特征提取，得到1*n维的老师表情特征。
37.进一步地，所述归一化处理的公式为：
38.feature
fusion
＝[λ1d1,λ2(1-d2),λ3(1-d3),λ4d4]
[0039]
其中，di为第i层提取到的特征，λi为第i层对应的训练权重。
[0040]
进一步地，所述多模态特征融合层归一化处理后的特征为1*4n维的多模态融合特征，所述将所述多模态特征融合层归一化处理后的特征输入所述全连接层进行全连接，得到所述预测的教学质量评估分数，具体包括：
[0041]
将所述1*4n维的多模态融合特征输入4n*11维的全连接层进行全连接，得到预测的1*11维的教学质量评估分数。
[0042]
第二方面，本发明提供一种教学质量的评估装置，包括：
[0043]
模态数据采集模块，用于采集预设时间段内学生及老师的多模态数据，其中，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据；
[0044]
评估分数预测模块，与所述模态数据采集模块连接，用于将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数；
[0045]
接收展示模块，与所述评估分数预测模块连接，用于将所述教学质量评估分数发送给教室终端，以使所述教室终端接收并展示所述预测的教学质量评估分数。
[0046]
第三方面，本发明提供一种教学质量的评估装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的教学质量的评估方法。
[0047]
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的教学质量的评估方法。
[0048]
本发明提供的教学质量的评估方法、装置及计算机可读存储介质，通过采集预设时间段内学生及老师的多模态数据，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据，并将所述多模态数据输入预先训练好的多模态特征融合分类模型，能够得到准确性高的预测的教学质量评估分数，此外，通过将所述教学质量评估分数发送给教室终端，使得教室终端接收并展示所述预测的教学质量评估分数，从而能够方便老师实时获取教学状态，以便进行有效的教学方法调整，解决了现有的教学质量评估方法在评估时由于仅使用一种模态数据或者仅考虑到学生或老师单侧的模态数据，容易导致评估结果准确性不高的问题。
附图说明
[0049]
图1为本发明实施例1的一种教学质量的评估方法的流程图；
[0050]
图2为本发明实施例的多模态特征融合分类模型训练阶段的切分示意图；
[0051]
图3为本发明实施例的多模态特征融合分类模型的结构示意图；
[0052]
图4为本发明实施例2的一种教学质量的评估装置的结构示意图；
[0053]
图5为本发明实施例3的一种教学质量的评估装置的结构示意图。
具体实施方式
[0054]
为使本领域技术人员更好地理解本发明的技术方案，下面将结合附图对本发明实施方式作进一步地详细描述。
[0055]
可以理解的是，此处描述的具体实施例和附图仅仅用于解释本发明，而非对本发明的限定。
[0056]
可以理解的是，在不冲突的情况下，本发明中的各实施例及实施例中的各特征可相互组合。
[0057]
可以理解的是，为便于描述，本发明的附图中仅示出了与本发明相关的部分，而与本发明无关的部分未在附图中示出。
[0058]
可以理解的是，本发明的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。
[0059]
可以理解的是，在不冲突的情况下，本发明的流程图和框图中所标注的功能、步骤可按照不同于附图中所标注的顺序发生。
[0060]
可以理解的是，本发明的流程图和框图中，示出了按照本发明各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可代表一个单元、模块、程序段、代码，其包含用于实现规定的功能的可执行指令。而且，框图和流程图中的每个方框或方框的组合，可用实现规定的功能的基于硬件的系统实现，也可用硬件与计算机指令的组合来实现。
[0061]
可以理解的是，本发明实施例中所涉及的单元、模块可通过软件的方式实现，也可通过硬件的方式来实现，例如单元、模块可位于处理器中。
[0062]
实施例1：
[0063]
本实施例提供一种教学质量的评估方法，如图1所示，该方法包括：
[0064]
步骤s101：采集预设时间段内学生及老师的多模态数据。
[0065]
在本实施例中，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据。
[0066]
具体地，可以由安置在学生终端的摄像头采集学生的表情数据，其输出为每个学生的表情图像，由安置在教室后侧的可跟踪摄像头采集老师的表情数据，其输出为老师的表情图像。
[0067]
具体地，每个学生佩戴传感设备，由佩戴式传感设备采集学生的脑波数据，其输出为每个学生的脑波活跃度数值。
[0068]
具体地，可以由安置在教室前后两侧的摄像头，分别采集学生及老师的行为，输出为学生和老师的全身/半身图像。
[0069]
可选地，所述采集预设时间段内学生及老师的多模态数据之后，所述方法还包括：
[0070]
根据采集时间戳对所述多模态数据进行对齐。
[0071]
在本实施例中，采集并存储一定时间内学生及老师的多模态数据后，根据采集时间戳对各模态数据进行时间维度的对齐。
[0072]
步骤s102：将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数。
[0073]
具体地，可以将对齐后的所述多模态数据输入预先训练好的多模态特征融合分类
模型，得到预测的教学质量评估分数。
[0074]
可选地，所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数之前，所述方法还包括：
[0075]
将随堂小测时学生及老师的多模态数据按一定时间步长进行切分；
[0076]
基于切分后的多模态数据以及对应的教学质量评分结果训练所述多模态特征融合分类模型，得到所述训练好的多模态特征融合分类模型。
[0077]
在本实施例中，在模型训练阶段，会对学生进行随堂小测，以学生随堂小测成绩为依据，对教师教学质量进行打分，并作为训练标签，其中，多模态特征融合分类模型训练阶段的切分示意图如图2所示，其中，表情数据包括老师及学生的表情数据，行为数据包括老师及学生的行为数据，如图2所示，各模态数据以一定时间步长进行切分(此处举例使用10s)，小测结果根据老师上课实际时间进行划分，如在课堂开始x分钟内讲第一个知识点，则此知识点对应的测试结果，也即教学质量评分结果(此处举例为90)均为前m个对应时间切片的标签，下面y分钟的测试结果85，则为第m 1个切片开始的n个对应时间切片的标签。
[0078]
可选地，所述训练好的多模态特征融合分类模型包括第一层、第二层、第三层、第四层、多模态特征融合层以及全连接层；
[0079]
所述第一层、第二层、第三层、第四层的输出分别与所述多模态特征融合层的输入连接，所述多模态特征融合层的输出与所述全连接层的输入连接；
[0080]
所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数，具体包括：
[0081]
将所述学生脑波数据输入所述第一层，通过所述第一层提取学生脑波特征；
[0082]
将所述学生行为数据、老师行为数据输入所述第二层，通过所述第二层提取学生行为和老师行为的融合特征；
[0083]
将所述学生表情数据输入所述第三层，通过所述第三层提取老师行为及学生表情融合特征；
[0084]
将所述老师表情数据输入所述第四层，通过所述第四层提取老师表情特征；
[0085]
将所述第一层、第二层、第三层、第四层提取到的特征输入所述多模态特征融合层进行归一化处理；
[0086]
将归一化处理后的特征输入所述全连接层进行全连接，得到所述预测的教学质量评估分数。
[0087]
在本实施例中，多模态特征融合分类模型的结构可以如图3所示，主要包括第一层、第二层、第三层、第四层、多模态特征融合层以及全连接层。其中，第一层用于提取学生脑波特征，这一特征可以视为表现学生课堂注意力的特征；第二层用于提取学生行为和老师行为的融合特征，这一特征可以视为表现学生和老师互动好坏的特征；第三层用于提取老师行为及学生表情融合特征，根据先验知识，教师的教学行为很可能会影响学生课堂情绪，因此这一融合特征也可视为表现学生和老师课堂互动氛围的特征；第四层为单独提取的老师表情特征，最后将四层提取到的特征通过一个多模态特征融合层连接并归一化为一个1*4n的特征向量，并通过一个4n*classes的全连接层，得到输出向量，classes为分类的类别数，在此设置为11，即对教师教学质量0-10的打分。
[0088]
可选地，所述第一层包括激活函数层以及归一化层，所述将所述学生脑波数据输
入所述第一层，通过所述第一层提取学生脑波特征，具体包括：
[0089]
将1*n维的学生脑波数据输入所述激活函数层进行激活处理，得到激活函数层的输出结果；
[0090]
将所述激活函数层的输出结果输入所述归一化层进行归一化处理，得到归一化处理后的1*n维特征，并将所述归一化处理后的1*n维特征作为所述学生脑波特征。
[0091]
在一个具体的实施例中，第一层用于提取学生脑波特特征，具体设置如下：
[0092]
(1)该部分输入为10s时间切片内采集到的学生脑波数据，为一个1*n维的向量，n与其它层所有输入数据的n对齐；
[0093]
(2)学生脑波数据输入激活函数层，用的激活函数为relu；
[0094]
(3)激活函数层结果输入至归一化层进行归一化处理，原输入数据脑波值分布在0-100质检，经归一化后将数据映射至0-1之间；
[0095]
(4)归一化后的1*n维数据作为学生脑波特征，输入至多模态特征融合层。
[0096]
可选地，所述将所述学生行为数据、老师行为数据输入所述第二层，通过所述第二层提取学生行为和老师行为的融合特征，具体包括：
[0097]
将10*m*n维的学生行为数据以及10*m*n维的老师行为数据输入所述第二层的沙漏hourglass模型进行人体关键点的检测，得到人体关键点的检测结果；
[0098]
将所述人体关键点的检测结果输入循环神经网络rnn进行行为识别，分别得到1*n维的学生行为特征以及1*n维的老师行为特征；
[0099]
使用l2范式将所述1*n维的学生行为特征以及1*n维的老师行为特征进行融合，得到1*n维的融合行为特征。
[0100]
在一个具体的实施例中，第二层用于提取学生行为和老师行为的融合特征，具体设置如下：
[0101]
(1)该部分输入为10s时间切片内采集到的学生的行为数据和老师的行为数据，以1s抽取一帧的频率采样为例，每组输入数据均有10张图片，输入数据均为成对输入，即对每个学生而言，在10s内采集10张半身/全身图像，再与采集到的老师的半身/全身图像进行配对输入，在输入前将所有图片resize为m*n大小的图片，并进行灰度化转化，因此，每对输入为两个10*m*n的三阶张量；
[0102]
(2)将步骤1中输入的张量对经过同一个人体关键点网络进行人体关键点的检测(比如使用hourglass模型，可根据情况换用其他模型)；
[0103]
需要说明的是，人体关键点检测算法不限于hourglass，也可换用其他类似可提取人体关键点的算法。
[0104]
(3)将步骤2输出的人体关键点检测结果(仍为图像)，输入至rnn(recurrent neural network，循环神经网络)网络进行行为识别；
[0105]
需要说明的是，行为识别不限于rnn网络，也可换用lstm或其他可提取时间序列信息特征的循环神经网络。
[0106]
(4)经过步骤3分别获得学生的行为特征和老师的行为特征，均为1*n的特征向量；
[0107]
(5)步骤4的学生行为特征和老师行为特征输入至行为特征融合层，因为根据先验知识，在课堂中学生和老师行为一致性更高，学习效果更好，因此，此处的融合方式为使用l2范式，计算两个特征向量之间的距离，计算公式如下：
[0108][0109]
其中，xi为第一个特征中第i个值，yi为第二个特征中第i个值，di为融合行为特征的第i个值。
[0110]
最终输出为一个1*n维的融合行为特征。
[0111]
可选地，所述将所述学生表情数据输入所述第三层，通过所述第三层提取老师行为及学生表情融合特征，具体包括：
[0112]
将10*m*n维的学生表情数据输入所述第三层，使用所述第三层和第四层间共用的卷积神经网络cnn模型进行表情特征提取，得到1*n维的学生表情特征；
[0113]
根据先验知识将所述1*n维的学生表情特征以及所述1*n维的老师行为特征进行融合，得到1*n维的老师行为及学生表情融合特征。
[0114]
在一个具体的实施例中，第三层用于提取老师行为特征及学生表情的融合特征，具体设置如下：
[0115]
(1)输入为一对数据，其中老师行为数据复用第二层的数据及最终特征结果，学生表情数据为检测后截取的学生人脸图像，同样resize为m*n大小，形成10*m*n的三阶张量；
[0116]
(2)将步骤1中的学生表情数据使用cnn(convolutional neural networks，卷积神经网络)模型提取表情特征，输出一个1*n维的特征向量；
[0117]
需要说明的是，表情特征提取不限于使用cnn模型，可以换用其他可提取人脸特征的模型。
[0118]
(3)获取步骤2中的学生表情特征及第二层中得到的老师行为特征，输入至特征融合层；
[0119]
(4)根据先验知识，老师的课堂行为和学生课堂情绪之间有相关性，学生课堂情绪与教学质量也有一定关系，合适的教师行为会对学生产生积极情绪影响，因此此层的特征融合层仍使用第二层提出的特征向量距离计算方法，得到一个1*n维的老师行为及学生表情融合特征。
[0120]
可选地，所述将所述老师表情数据输入所述第四层，通过所述第四层提取老师表情特征，具体包括：
[0121]
将10*m*n维的老师表情数据输入所述第四层，使用所述cnn模型进行表情特征提取，得到1*n维的老师表情特征。
[0122]
在一个具体的实施例中，第四层用于提取老师表情的特征，该层输入为10*m*n的老师表情数据，使用与第三层同一个cnn模型提取老师的表情特征，输出为1*n维的特征向量。
[0123]
可选地，所述归一化处理的公式为：
[0124]
feature
fusion
＝[λ1d1,λ2(1-d2),λ3(1-d3),λ4d4]
[0125]
其中，di为第i层提取到的特征，λi为第i层对应的训练权重。
[0126]
可选地，所述多模态特征融合层归一化处理后的特征为1*4n维的多模态融合特征，所述将所述多模态特征融合层归一化处理后的特征输入所述全连接层进行全连接，得到所述预测的教学质量评估分数，具体包括：
[0127]
将所述1*4n维的多模态融合特征输入4n*11维的全连接层进行全连接，得到预测
的1*11维的教学质量评估分数。
[0128]
在本实施例中，上述四个大层输出的特征输入到多模态特征融合层，特征融合层计算方式如下：
[0129]
feature
fusion
＝[λ1d1,λ2(1-d2),λ3(1-d3),λ4d4]
[0130]
其中，di为模型上述第i层输出的特征，λi为训练权重，由于第二层输出融合行为特征及第三层输出老师行为及学生表情融合特征，均为两组数据之间的距离特征，两个特征质检距离越近，说明学生及老师互动性越好，因此，第二层第三层输出特征向量中的值应该越小越好，因此使用1减去特征向量后再乘权重，此时转化为特征向量中值越大越好，与第一层及第四层保持一致。将乘权重之后的特征直接连接，最终输出一个1*4n维度的多模态融合特征。
[0131]
上述1*4n的多模态融合特征输入到一个4n*11大小的全连接层，输出一个1*11维度的最终结果，该向量中值代表教师教学质量评分0-10分的置信度，取置信度最高的为教师教学质量评分。
[0132]
需要说明的是，现有的教学质量评估方法在最终进行判断时，往往采用专家经验进行结果融合的方式，如行为结果分x权重占比a，专注度结果分y权重占比b，最终得分即为ax by，其中，a、b为根据专家经验或规则预先设置的，然而，专家经验或规则在大部分场景有效，但现实情况千变万化，专家无法考虑到所有情况，因此，预置权重往往出现偏差，本发明实施例在各模态信息仍处于特征阶段时，即进行特征层面的融合，让机器在大量数据基础上自行学习不同模态特征质检的组合方式，更有利于应对变化的情况，能够得到准确性高的评估结果。
[0133]
步骤s103：将所述教学质量评估分数发送给教室终端，以使所述教室终端接收并展示所述预测的教学质量评估分数。
[0134]
在本实施例中，教室终端接收多模态特征融合分类模型的输出结果并展示，老师从教室终端获取教学状态，并进行有效教学方法调整。本发明通过使用学生脑波数据、学生行为数据、老师行为数据、学生表情数据、老师表情数据五种模态的数据，充分考虑到了老师课堂行为与学生行为的互动性，考虑到了老师课堂行为对学生情绪的影响，因此，能够得到准确性高的评估结果。
[0135]
本发明实施例提供的教学质量的评估方法，通过采集预设时间段内学生及老师的多模态数据，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据，并将所述多模态数据输入预先训练好的多模态特征融合分类模型，能够得到准确性高的预测的教学质量评估分数，此外，通过将所述教学质量评估分数发送给教室终端，使得教室终端接收并展示所述预测的教学质量评估分数，从而能够方便老师实时获取教学状态，以便进行有效的教学方法调整，解决了现有的教学质量评估方法在评估时由于仅使用一种模态数据或者仅考虑到学生或老师单侧的模态数据，容易导致评估结果准确性不高的问题。
[0136]
实施例2：
[0137]
如图4所示，本实施例提供一种教学质量的评估装置，用于执行上述教学质量的评估方法，包括：
[0138]
模态数据采集模块11，用于采集预设时间段内学生及老师的多模态数据，其中，所
述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据；
[0139]
评估分数预测模块12，与所述模态数据采集模块11连接，用于将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数；
[0140]
接收展示模块13，与所述评估分数预测模块12连接，用于将所述教学质量评估分数发送给教室终端，以使所述教室终端接收并展示所述预测的教学质量评估分数。
[0141]
可选地，所述装置还包括：
[0142]
数据对齐模块，用于根据采集时间戳对所述多模态数据进行对齐；
[0143]
所述评估分数预测模块12具体用于：
[0144]
将对齐后的所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数。
[0145]
可选地，所述装置还包括：
[0146]
数据切分模块，用于将随堂小测时学生及老师的多模态数据按一定时间步长进行切分；
[0147]
模型训练模块，用于基于切分后的多模态数据以及对应的教学质量评分结果训练所述多模态特征融合分类模型，得到所述训练好的多模态特征融合分类模型。
[0148]
可选地，所述训练好的多模态特征融合分类模型包括第一层、第二层、第三层、第四层、多模态特征融合层以及全连接层；
[0149]
所述第一层、第二层、第三层、第四层的输出分别与所述多模态特征融合层的输入连接，所述多模态特征融合层的输出与所述全连接层的输入连接；
[0150]
所述评估分数预测模块12具体包括：
[0151]
第一处理单元，用于将所述学生脑波数据输入所述第一层，通过所述第一层提取学生脑波特征；
[0152]
第二处理单元，用于将所述学生行为数据、老师行为数据输入所述第二层，通过所述第二层提取学生行为和老师行为的融合特征；
[0153]
第三处理单元，用于将所述学生表情数据输入所述第三层，通过所述第三层提取老师行为及学生表情融合特征；
[0154]
第四处理单元，用于将所述老师表情数据输入所述第四层，通过所述第四层提取老师表情特征；
[0155]
第五处理单元，用于将所述第一层、第二层、第三层、第四层提取到的特征输入所述多模态特征融合层进行归一化处理；
[0156]
第六处理单元，用于将归一化处理后的特征输入所述全连接层进行全连接，得到所述预测的教学质量评估分数。
[0157]
可选地，所述第一层包括激活函数层以及归一化层，所述第一处理单元具体包括：
[0158]
激活处理单元，用于将1*n维的学生脑波数据输入所述激活函数层进行激活处理，得到激活函数层的输出结果；
[0159]
归一化处理单元，用于将所述激活函数层的输出结果输入所述归一化层进行归一化处理，得到归一化处理后的1*n维特征，并将所述归一化处理后的1*n维特征作为所述学生脑波特征。
[0160]
可选地，所述第二处理单元具体包括：
[0161]
关键点检测单元，用于将10*m*n维的学生行为数据以及10*m*n维的老师行为数据输入所述第二层的沙漏hourglass模型进行人体关键点的检测，得到人体关键点的检测结果；
[0162]
行为识别单元，用于将所述人体关键点的检测结果输入循环神经网络rnn进行行为识别，分别得到1*n维的学生行为特征以及1*n维的老师行为特征；
[0163]
行为特征融合单元，用于使用l2范式将所述1*n维的学生行为特征以及1*n维的老师行为特征进行融合，得到1*n维的融合行为特征。
[0164]
可选地，所述第三处理单元具体包括：
[0165]
表情特征提取单元，用于将10*m*n维的学生表情数据输入所述第三层，使用所述第三层和第四层间共用的卷积神经网络cnn模型进行表情特征提取，得到1*n维的学生表情特征；
[0166]
表情行为融合单元，用于根据先验知识将所述1*n维的学生表情特征以及所述1*n维的老师行为特征进行融合，得到1*n维的老师行为及学生表情融合特征。
[0167]
可选地，所述第四处理单元具体用于：
[0168]
将10*m*n维的老师表情数据输入所述第四层，使用所述cnn模型进行表情特征提取，得到1*n维的老师表情特征。
[0169]
可选地，所述归一化处理的公式为：
[0170]
feature
fusion
＝[λ1d1,λ2(1-d2),λ3(1-d3),λ4d4]
[0171]
其中，di为第i层提取到的特征，λi为第i层对应的训练权重。
[0172]
可选地，所述多模态特征融合层归一化处理后的特征为1*4n维的多模态融合特征；
[0173]
可选地，所述第六处理单元具体用于：
[0174]
将所述1*4n维的多模态融合特征输入4n*11维的全连接层进行全连接，得到预测的1*11维的教学质量评估分数。
[0175]
实施例3：
[0176]
参考图5，本实施例提供一种教学质量的评估装置，包括存储器21和处理器22，存储器21中存储有计算机程序，处理器22被设置为运行所述计算机程序以执行实施例1中的教学质量的评估方法。
[0177]
其中，存储器21与处理器22连接，存储器21可采用闪存或只读存储器或其他存储器，处理器22可采用中央处理器或单片机。
[0178]
实施例4：
[0179]
本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例1中的教学质量的评估方法。
[0180]
该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于ram(random access memory，随机存取存储器)，rom(read-only memory，只读存储器)，eeprom(electrically erasable programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、
cd-rom(compact disc read-only memory，光盘只读存储器)，数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
[0181]
实施例2至实施例4提供的教学质量的评估方法、装置及计算机可读存储介质，通过采集预设时间段内学生及老师的多模态数据，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据，并将所述多模态数据输入预先训练好的多模态特征融合分类模型，能够得到准确性高的预测的教学质量评估分数，此外，通过将所述教学质量评估分数发送给教室终端，使得教室终端接收并展示所述预测的教学质量评估分数，从而能够方便老师实时获取教学状态，以便进行有效的教学方法调整，解决了现有的教学质量评估方法在评估时由于仅使用一种模态数据或者仅考虑到学生或老师单侧的模态数据，容易导致评估结果准确性不高的问题。
[0182]
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。