一种教学质量的评估方法、装置及计算机可读存储介质与流程

技术特征：
1.一种教学质量的评估方法，其特征在于，包括：采集预设时间段内学生及老师的多模态数据，其中，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据；将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数；将所述教学质量评估分数发送给教室终端，以使所述教室终端接收并展示所述预测的教学质量评估分数。2.根据权利要求1所述的方法，其特征在于，所述采集预设时间段内学生及老师的多模态数据之后，所述方法还包括：根据采集时间戳对所述多模态数据进行对齐；所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数，具体包括：将对齐后的所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数。3.根据权利要求1所述的方法，其特征在于，所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数之前，所述方法还包括：将随堂小测时学生及老师的多模态数据按一定时间步长进行切分；基于切分后的多模态数据以及对应的教学质量评分结果训练所述多模态特征融合分类模型，得到所述训练好的多模态特征融合分类模型。4.根据权利要求1所述的方法，其特征在于，所述训练好的多模态特征融合分类模型包括第一层、第二层、第三层、第四层、多模态特征融合层以及全连接层；所述第一层、第二层、第三层、第四层的输出分别与所述多模态特征融合层的输入连接，所述多模态特征融合层的输出与所述全连接层的输入连接；所述将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数，具体包括：将所述学生脑波数据输入所述第一层，通过所述第一层提取学生脑波特征；将所述学生行为数据、老师行为数据输入所述第二层，通过所述第二层提取学生行为和老师行为的融合特征；将所述学生表情数据输入所述第三层，通过所述第三层提取老师行为及学生表情融合特征；将所述老师表情数据输入所述第四层，通过所述第四层提取老师表情特征；将所述第一层、第二层、第三层、第四层提取到的特征输入所述多模态特征融合层进行归一化处理；将归一化处理后的特征输入所述全连接层进行全连接，得到所述预测的教学质量评估分数。5.根据权利要求4所述的方法，其特征在于，所述第一层包括激活函数层以及归一化层，所述将所述学生脑波数据输入所述第一层，通过所述第一层提取学生脑波特征，具体包括：将1*n维的学生脑波数据输入所述激活函数层进行激活处理，得到激活函数层的输出
结果；将所述激活函数层的输出结果输入所述归一化层进行归一化处理，得到归一化处理后的1*n维特征，并将所述归一化处理后的1*n维特征作为所述学生脑波特征。6.根据权利要求4所述的方法，其特征在于，所述将所述学生行为数据、老师行为数据输入所述第二层，通过所述第二层提取学生行为和老师行为的融合特征，具体包括：将10*m*n维的学生行为数据以及10*m*n维的老师行为数据输入所述第二层的沙漏hourglass模型进行人体关键点的检测，得到人体关键点的检测结果；将所述人体关键点的检测结果输入循环神经网络rnn进行行为识别，分别得到1*n维的学生行为特征以及1*n维的老师行为特征；使用l2范式将所述1*n维的学生行为特征以及1*n维的老师行为特征进行融合，得到1*n维的融合行为特征。7.根据权利要求6所述的方法，其特征在于，所述将所述学生表情数据输入所述第三层，通过所述第三层提取老师行为及学生表情融合特征，具体包括：将10*m*n维的学生表情数据输入所述第三层，使用所述第三层和第四层间共用的卷积神经网络cnn模型进行表情特征提取，得到1*n维的学生表情特征；根据先验知识将所述1*n维的学生表情特征以及所述1*n维的老师行为特征进行融合，得到1*n维的老师行为及学生表情融合特征。8.根据权利要求7所述的方法，其特征在于，所述将所述老师表情数据输入所述第四层，通过所述第四层提取老师表情特征，具体包括：将10*m*n维的老师表情数据输入所述第四层，使用所述cnn模型进行表情特征提取，得到1*n维的老师表情特征。9.根据权利要求4所述的方法，其特征在于，所述归一化处理的公式为：feature
fusion
＝[λ1d1,λ2(1-d2),λ3(1-d3),λ4d4]其中，d
i
为第i层提取到的特征，λ
i
为第i层对应的训练权重。10.根据权利要求9所述的方法，其特征在于，所述多模态特征融合层归一化处理后的特征为1*4n维的多模态融合特征，所述将所述多模态特征融合层归一化处理后的特征输入所述全连接层进行全连接，得到所述预测的教学质量评估分数，具体包括：将所述1*4n维的多模态融合特征输入4n*11维的全连接层进行全连接，得到预测的1*11维的教学质量评估分数。11.一种教学质量的评估装置，其特征在于，包括：模态数据采集模块，用于采集预设时间段内学生及老师的多模态数据，其中，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据；评估分数预测模块，与所述模态数据采集模块连接，用于将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数；接收展示模块，与所述评估分数预测模块连接，用于将所述教学质量评估分数发送给教室终端，以使所述教室终端接收并展示所述预测的教学质量评估分数。12.一种教学质量的评估装置，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现如权利要求1-10中任一项
所述的教学质量的评估方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的教学质量的评估方法。

技术总结
本发明提供一种教学质量的评估方法、装置及计算机可读存储介质，所述方法包括：采集预设时间段内学生及老师的多模态数据，其中，所述多模态数据包括学生脑波数据、学生行为数据、老师行为数据、学生表情数据、以及老师表情数据；将所述多模态数据输入预先训练好的多模态特征融合分类模型，得到预测的教学质量评估分数；将所述教学质量评估分数发送给教室终端，以使所述教室终端接收并展示所述预测的教学质量评估分数。该方法及装置能够解决现有的教学质量评估方法在评估时由于仅使用一种模态数据或者仅考虑到学生或老师单侧的模态数据，容易导致评估结果准确性不高的问题。容易导致评估结果准确性不高的问题。容易导致评估结果准确性不高的问题。


技术研发人员：吴浩然 李亚梦 王巍 廖军
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：2022.10.31
技术公布日：2023/1/31