基于情绪识别和视觉分析的课堂学习效率预测方法及系统与流程

1.本技术涉及教学辅助领域，特别是一种基于情绪识别和视觉分析的课堂学习效率预测方法及系统。


背景技术：

2.课堂情绪体验研究是情感教学心理学在新时期情感素质教育背景下的重要组成部分。目前在课堂教学情境下学生的情绪体验逐渐成为了学术研究的热门方向，许多研究表明，学生的情绪体验对高效的课堂的生成有着重要的促进或阻碍作用。高涨的学习情绪会对学生课堂工作记忆刷新功能有促进效果。反之，当出现厌恶情绪等负面情绪，会大大降低学生的学习效率。所以学生的课堂情绪体验成为了影响学生课堂学习效率和成绩的重要影响因素之一。因此，如何运用学生上课的情绪状态来对学生的课堂学习效率进行精准预测，并用预测结果指导教师对课堂教学和课后辅导做出针对性的调整显得十分重要。
3.从已有的少数课堂情绪体验研究来看，其研究对象大多是大学生群体。而对国内义务教育的重点人群，中小学生群体，却鲜有研究。中小学生正处在儿童到成人的过渡时期，人格性格都处于变化阶段，情绪体验尤为丰富。因此，在课堂上对中小学生的情绪体验和课堂学习效率之间的关联研究显得尤为必要。
4.现有的对情绪研究的方法主要分为通过生理数据预测情绪和通过视频数据预测情绪，前者在进行预测时候需要被试验人穿戴大量生理数据采集设备，这在课堂环境下是不现实的，后者在现有的研究中预测准确率不高。


技术实现要素：

5.鉴于所述问题，提出了本技术以便提供克服所述问题或者至少部分地解决所述问题的一种基于情绪识别和视觉分析的课堂学习效率预测方法及系统，包括：
6.一种基于情绪识别和视觉分析的课堂学习效率预测方法，所述方法应用于通过人工智能模型建立学生的面部表情与对应的知识点学习效率之间的对应关系；所述人工智能模型包括第一子模型和第二子模型；所述对应关系包括第一子关系和第二子关系；
7.所述方法包括：
8.通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
9.通过第二子模型建立学生的面部表情与情绪等级的第二子关系；
10.获取目标学生在学习当前知识点时的当前面部表情；
11.通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩，并依据所述当前知识点成绩确定目标学生的当前学习效率。
12.进一步地，所述获取目标学生在学习当前知识点时的当前面部表情的步骤，包括：
13.确定课堂教学课程中与所述当前知识点对应的教学时间段；
14.获取对应于所述教学时间段的目标学生的实时人脸图像数据；
15.依据所述目标学生的实时人脸图像数据生成所述当前面部表情。
16.进一步地，所述获取对应于所述教学时间段的目标学生的实时人脸图像数据的步骤，包括：
17.确定对应于所述教学时间段的监测视频段；其中，所述监测视频段包括有目标学生的人脸视频画面；
18.确定所述监测视频段中与所述目标学生相对应的区域位置；
19.获取所述学习视频数据中对应于所述区域位置中的视频特征；
20.依据所述视频特征确定对应于所述监测视频段的所述实时人脸图像数据。
21.进一步地，所述通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系的步骤，包括：
22.获取用于建立所述生理数据与所述知识点成绩之间的第一子关系的样本数据；
23.分析所述生理数据的特性及其规律，根据所述特性及其规律，确定所述第一子模型的网络结构及其网络参数；
24.使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述生理数据与所述知识点成绩的所述第一子关系。
25.进一步地，所述通过第二子模型建立学生的面部表情与情绪等级的第二子关系的步骤，包括：
26.获取用于建立所述面部表情与所述情绪等级之间的第二子关系的样本数据；
27.分析所述面部表情的特性及其规律，根据所述特性及其规律，确定所述第子模型的网络结构及其网络参数；
28.使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述面部表情与所述情绪等级的所述第二子关系。
29.进一步地，
30.对所述第一子模型的所述网络结构和所述网络参数进行训练，包括：
31.选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述生理数据输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
32.确定所述实际训练结果与所述训练样本中的相应知识点成绩之间的实际训练误差是否满足预设训练误差；
33.当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
34.和/或，
35.对所述第一子模型的所述网络结构和所述网络参数进行测试，包括：
36.选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述生理数据输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
37.确定所述实际测试结果与所述测试样本中的相应知识点成绩之间的实际测试误
差是否满足设定测试误差；
38.当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
39.进一步地，
40.对所述第二子模型的所述网络结构和所述网络参数进行训练，包括：
41.选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述面部表情输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
42.确定所述实际训练结果与所述训练样本中的相应情绪等级之间的实际训练误差是否满足预设训练误差；
43.当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
44.和/或，
45.对所述第二子模型的所述网络结构和所述网络参数进行测试，包括：
46.选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述面部表情输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
47.确定所述实际测试结果与所述测试样本中的相应情绪等级之间的实际测试误差是否满足设定测试误差；
48.当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
49.一种基于情绪识别和视觉分析的课堂学习效率预测系统，所述系统应用于通过人工智能模型建立学生的面部表情与对应的知识点学习效率之间的对应关系；所述人工智能模型包括第一子模型和第二子模型；所述对应关系包括第一子关系和第二子关系；
50.所述方法包括：
51.第一子关系建立模块，用于通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
52.第二子关系建立模块，用于通过第二子模型建立学生的面部表情与情绪等级的第二子关系；
53.当前面部表情获取模块，用于获取目标学生在学习当前知识点时的当前面部表情；
54.当前知识点成绩确定模块，用于通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩；
55.当前学习效率确定模块，用于依据所述当前知识点成绩确定目标学生的当前学习效率。
56.一种计算机设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的一种基于情绪识别和视觉分析的课堂学习效率预测方法的步骤。
57.一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于情绪识别和视觉分析的课堂学习效率预测方法的步骤。
58.本技术具有以下优点：
59.在本技术的实施例中，通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；通过第二子模型建立学生的面部表情与情绪等级的第二子关系；获取目标学生在学习当前知识点时的当前面部表情；通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩，并依据所述当前知识点成绩确定目标学生的当前学习效率。通过目标学生的表情数据预测该学生的学习效率，避免了学生长期佩戴生理数据采集设备的弊端；通过第一子模型确定出生理数据和情绪等级关联的对应关系，通过第二子模型确定出面部表情和情绪等级关联的对应关系，并将两个子模型进行协同逻辑工作，达到预测学习效率的目的。
附图说明
60.为了更清楚地说明本技术的技术方案，下面将对本技术的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
61.图1是本技术一实施例提供的一种基于情绪识别和视觉分析的课堂学习效率预测方法的步骤流程图；
62.图2是本技术一示例提供的一种基于情绪识别和视觉分析的课堂学习效率预测方法的经典的lenet5神经网络的结构示意图；
63.图3是本技术一实施例提供的一种基于情绪识别和视觉分析的课堂学习效率预测方法的经典的3dcnn神经网络的结构框示意图；
64.图4本技术一实施例提供的一种基于情绪识别和视觉分析的课堂学习效率预测系统的结构框图。
具体实施方式
65.为使本技术的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
66.需要说明的是，通过使用本发明中提出的方法能够让老师和家长通过由教室摄像头记录学生学习的视频有效的预测学生在该时间段内的学习效率，从而使老师能更加合理的改进课堂教学和课后辅导，有针对性的提高学生的成绩。
67.相比于使用周测和月考等传统的检测学生学习成果的方式，使用本方法能够更加及时和快速的了解学生在一段时间内的心理状态和情绪状态，及时进行心理辅导和情感帮
扶，采取“早发现，早疏通，早解决”的做法。
68.具体来讲，在某个知识点的时间段内出现的负面情绪可以通过本发明中提出的方法判定为此时间段的学习效率较低，但是如果目标学生在一个较长的、包含众多知识点的时间段内出现了不以知识点变化而改变的负面情绪，这样的学生被标记为异常情况。此时需要教师对该学生的心理状况进行帮扶，特别是对于那些课上情绪普遍较为高涨、学习效率普遍较高的同学，一旦出现此类情况，需要及时标记，教师及时帮扶，提前预防由于心理因素或其他不良因素导致的成绩下滑。
69.本发明提出的方法始终对学生进行过程化数据记录，学生综合素质评价要求大量过程化数据，其中大多复杂繁琐，甚至无法记录，本方法识别并记录的学生课堂效率数据是能很好能反映学生平时状态的过程化数据。
70.参照图1，示出了本技术一实施例提供的一一种基于情绪识别和视觉分析的课堂学习效率预测方法，所述方法应用于通过人工智能模型建立学生的面部表情与对应的知识点学习效率之间的对应关系；所述人工智能模型包括第一子模型和第二子模型；所述对应关系包括第一子关系和第二子关系；
71.所述方法包括：
72.s110、通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
73.s120、通过第二子模型建立学生的面部表情与情绪等级的第二子关系；
74.s130、获取目标学生在学习当前知识点时的当前面部表情；
75.s140、通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩，并依据所述当前知识点成绩确定目标学生的当前学习效率。
76.在本技术的实施例中，通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；通过第二子模型建立学生的面部表情与情绪等级的第二子关系；获取目标学生在学习当前知识点时的当前面部表情；通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩，并依据所述当前知识点成绩确定目标学生的当前学习效率。通过目标学生的表情数据预测该学生的学习效率，避免了学生长期佩戴生理数据采集设备的弊端；通过第一子模型确定出生理数据和情绪等级关联的对应关系，通过第二子模型确定出面部表情和情绪等级关联的对应关系，并将两个子模型进行协同逻辑工作，达到预测学习效率的目的。
77.下面，将对本示例性实施例中基于情绪识别和视觉分析的课堂学习效率预测方法作进一步地说明。
78.如所述步骤s110所述，通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况。
79.例如：利用人工神经网络算法来分析不同学生的生理数据对应的知识点成绩规
律，通过人工神经网络的自学习、自适应特性找到学生的生理数据与所述学生的知识点成绩间的映射规律。
80.例如：可以利用人工神经网络算法，通过对大量不同生理数据状况(包括但不限于如下的一种或多种：学生年级，学科，学生性别等)的学生对应的知识点成绩汇总收集，选取若干状况的学生对应的生理数据及知识点成绩作为样本数据，对神经网络进行学习和训练，通过调整网络结构及网络节点间的权值，使神经网络拟合学生对应的生理数据及知识点成绩之间的关系，最终使神经网络能准确拟合出不同状况的学生对应的生理数据及知识点成绩的对应关系。
81.在一实施例中，所述对应关系，包括：函数关系。
82.优选地，所述生理数据为所述函数关系的输入参数，所述知识点成绩为所述函数关系的输出参数；
83.确定与所述当前生理数据对应的当前知识点成绩，还包括：
84.当所述对应关系包括函数关系时，将所述当前生理数据输入所述函数关系中，确定所述函数关系的输出参数为当前知识点成绩。
85.由此，通过多种形式的对应关系，可以提升对当前生理数据确定的灵活性和便捷性。
86.本发明提出了生理数据
‑‑‑
知识点成绩关联模型，该模型主要由lenet5构成，用于建立生理数据和知识点成绩的对应关系，达到向模型输入生理数据后能够得到对应知识点成绩的效果。
87.参照图2，作为一种示例，所采用的人工神经网络可以为基于经典的lenet5神经网络进行修改的改进的lenet5神经网络，
88.本发明中第一子模型使用lenet5神经网络完成输入生理数据，输出知识点成绩的任务。lenet5网络最开始被开发出来的目的是进行手写字体的识别，所以输入为图像数据。在本发明中lenet5的功能为输入生理数据，输出知识点成绩。所以输入的数据不是图像而是打好标签的生理数据，但是这并不影响该网络进行正常工作。因为原本的图像也是由大量像素点信息组成，本发明中使用的生理数据也可以看作图像中的一个个像素信息，所以lenet5适用于情绪等级
‑‑‑
知识点成绩模型，输入为生理数据不会每一层网络的功能产生任何影响。
89.需要说明的是，经典的lenet5神经网络的七层内容和连接结构如图2所示。
90.图中展示的内容有八层，但是lenet5神经网络一共有七层，是因为第一张“a”的图片是输入层imput，在神经网络种输入层input并不算做神经网络的一部分，所以七层的网络不包含输入层input。
91.七层神经网络对应图片分别为：第一层c1卷积层、第二层s2池化层、第三层c3卷积层、第四层s4池化层、第五层c5卷积层、第六层f6全连接层、第七层输出层。c1、c3、c5卷积层的目的均为提取特征。s2、s4池化层的目的均为降低数据维度、压缩数据、提升计算速度、减少计算耗时。f6全连接层是为了将得到的所有特征图以特征向量的形式连接并储存起来。输出层是将经过神经网络处理后的结果进行分类并输出。的下面将逐一介绍以上七层网络的工作流程。
92.第一层c1卷积层：从输入层输入一张大小为32
×
32像素的灰度图片，灰度图片通
过6个5
×
5的卷积核进行卷积操作进行特征提取，提取到六个通道的28
×
28像素的特征图。
93.第二层s2池化层：在s2池化层中使用6个2
×
2的选择框对六个通道的特征图进行池化操作得到14
×
14像素的特征图。在s2池化层中，池化后的特征数据输入到激活函数中。本发明所使用的激活函数sigmoid。
94.第三层c3卷积层：在c3卷积层中，使用16个5
×
5的卷积核对从激活函数sigmoid输出的特征图进行卷积操作，得到16张得到10
×
10像素的特征图。
95.第四层s4池化层：在s4池化层中使用16个2
×
2的选择框对16个通道的特征图进行池化操作得到5
×
5像素的特征图。在s2池化层中，池化后的特征数据输入到激活函数中。本发明所使用的激活函数sigmoid。
96.第五层c5卷积层：在c5层中，使用120个5
×
5的卷积核对s4层中prelu的输出特征图进行卷积，得到120个1
×
1的特征图。将120个1
×
1的特征向量首尾相相连形成特征向量输入到第六层f6全连接层中。
97.第六层f6全连接层：f6层有84个节点，每个节点与f5层的全部120个单元之间进行全连接，计算输入的特征向量和权重向量之间的点积运算。
98.第七层输出层：在输出层中一共有十个节点(lenet5最初用来进行手写体识别，目的在于将输入的图片分成十类，所以输出层有十个节点。节点数目可以根据发明所需自行进行设定。)使用径向基函数进行连接和计算，计算公式如下。
[0099][0100]
y
i
的值由i的比特图编码(即参数w
ij
)确定。yi越接近于0，则标明输入越接近于i的比特图编码，表示当前网络输入的识别结果是字符i。
[0101]
而在本发明中对原有的经典的lenet5进行了一定程度的改进，改进内容及最终结果如下：
[0102]
第一层c1卷积层：从输入层输入一组32
×
32大小的数据组(可以理解为一张大小为32
×
32像素的图片)，数据组通过6个5
×
5的卷积核进行卷积操作进行特征提取，提取到六个通道的大小为28
×
28的特征数据。
[0103]
第二层s2池化层：在s2池化层中使用6个2
×
2的选择框对六个通道的特征数据进行池化操作得到大小为14
×
14的特征数据。在s2池化层中，池化后的特征数据输入到激活函数中。本发明所使用的激活函数prelu。
[0104]
第三层c3卷积层：在c3卷积层中，使用16个3
×
3的卷积核对从激活函数prelu输出的特征数据进行卷积操作，得到16个12
×
12的特征数据。
[0105]
第四层s4池化层：在s4池化层中使用16个2
×
2的选择框对16个通道的特征数据进行池化操作得到大小为6
×
6的特征数据。在s4池化层中，池化后的特征数据输入到激活函数中。本发明所使用的激活函数prelu。
[0106]
第五层c5卷积层：在c5卷积层中，使用16个3
×
3的卷积核对从激活函数prelu输出的特征数据进行卷积操作，得到16个4
×
4大小的特征数据。
[0107]
第六层s6池化层：在s4池化层中使用16个2
×
2的选择框对16个通道的特征数据进行池化操作得到2
×
2的特征数据。在s6池化层中，池化后的特征数据输入到激活函数中。本发明所使用的激活函数prelu。
[0108]
第七层c7卷积层：在c7层中，使用120个2
×
2的卷积核对s6层中prelu的输出特征数据进行卷积，得到120个1
×
1的特征数据。将120个1
×
1的特征向量首尾相相连形成特征向量输入到第六层f6全连接层中。
[0109]
第八层f8全连接层：f6层有84个节点，每个节点与f5层的全部120个单元之间进行全连接，计算输入的特征向量和权重向量之间的点积运算。
[0110]
第九层输出层：在输出层中一共有3个节点，分别为“a”“b”“c”。abc分别代表知识点成绩的三个等级，a为成绩优秀，b为成绩一般，c为成绩较差。使用径向基函数进行连接和计算，计算公式如下。
[0111][0112]
式中，y
i
的值由i的比特图编码(即参数w
ij
)确定。y
i
越接近于0，则标明输入越接近于i的比特图编码，表示当前网络输入的识别结果是字符i。
[0113]
在本示例中，通过对经典的lenet5进行改进，以得出本示例中所采用的改进的lenet5神经网络。
[0114]
在本发明一实施例中，可以结合下列描述进一步说明步骤s110所述“通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况”的具体过程。
[0115]
如下列步骤所述：获取用于建立所述生理数据与所述知识点成绩之间的第一子关系的样本数据；
[0116]
在一进阶实施例中，可以结合下列描述进一步说明“获取用于建立所述生理数据与所述知识点成绩之间的第一子关系的样本数据”的具体过程。
[0117]
如下列步骤所述：收集不同学生的所述生理数据及对应的所述知识点成绩；
[0118]
例如：数据搜集：搜集不同性别的学生的所述生理数据及对应的所述知识点成绩；以及，搜集不同年级的学生的所述生理数据及对应的所述知识点成绩；以及，搜集不同学科中学生的所述生理数据及对应的所述知识点成绩。
[0119]
由此，通过多种途径收集数据，有利于增加数据的量，提升人工神经网络的学习能力，进而提升确定的对应关系的精准性和可靠性。
[0120]
如下列步骤所述：对所述生理数据进行分析、并结合预存的专家经验信息，选取与所述知识点成绩相关的数据作为所述生理数据(例如：选取对知识点成绩有影响的生理数据作为输入参数，将指定参数作为输出参数)；
[0121]
例如：通过将已确定了生理数据后的学生的相关数据中的知识点成绩作为输入参数，将其相关数据中的生理数据作为输出参数。
[0122]
如下列步骤所述：将所述生理数据、以及选取的所述知识点成绩构成的数据对，作为样本数据。
[0123]
例如：将得到的输入、输出参数对，一部分用作训练本样数据，一部分用作测试样本数据。
[0124]
由此，通过对收集到的生理数据进行分析及处理，进而得到样本数据，操作过程简单，操作结果可靠性高。
[0125]
如下列步骤所述：分析所述生理数据的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
[0126]
例如：分析学生对应的生理数据与所述学生的知识点成绩，可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、隐节点数、网络初始权值等。
[0127]
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述生理数据与所述知识点成绩的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过程。
[0128]
如下列步骤所述：选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述生理数据输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
[0129]
具体地，通过梯度下降算法最小化损失函数，更新网络参数，训练当前神经网络模型，得到实际训练结果；
[0130]
确定所述实际训练结果与所述训练样本中的相应知识点成绩之间的实际训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
[0131]
具体地，当所述实际训练误差满足所述预设训练误差时，且在当前训练的模型收敛，确定对所述网络结构和所述网络参数的所述训练完成。
[0132]
更可选地，对所述网络结构和所述网络参数进行训练，还包括：
[0133]
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差损失函数更新所述网络参数；通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
[0134]
例如：若测试误差满足要求，则网络训练测试完成。
[0135]
由此，通过将测试样本用于训练得到的网络结构和网络参数进行测试，以进一步验证网络结构及网络参数的可靠性。
[0136]
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述生理数据与所述知识点成绩的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过程。
[0137]
如下列步骤所述：选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述生理数据输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；确定所述实际测试结果与所述测试样本中的相应知识点成绩之间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
[0138]
如所述步骤s120所述，通过第二子模型建立学生的面部表情与情绪等级的第二子关系。
[0139]
例如：利用人工神经网络算法来分析不同学生的面部表情对应的情绪等级规律，通过人工神经网络的自学习、自适应特性找到学生的面部表情与所述学生的情绪等级间的映射规律。
[0140]
例如：可以利用人工神经网络算法，通过对大量不同面部表情状况(包括但不限于
如下的一种或多种：学生年级，学科，学生性别等)的学生对应的情绪等级汇总收集，选取若干状况的学生对应的面部表情及情绪等级作为样本数据，对神经网络进行学习和训练，通过调整网络结构及网络节点间的权值，使神经网络拟合学生对应的面部表情及情绪等级之间的关系，最终使神经网络能准确拟合出不同状况的学生对应的面部表情及情绪等级的对应关系。
[0141]
在一实施例中，所述对应关系，包括：函数关系。
[0142]
优选地，所述面部表情为所述函数关系的输入参数，所述情绪等级为所述函数关系的输出参数；
[0143]
确定与所述当前面部表情对应的当前情绪等级，还包括：
[0144]
当所述对应关系包括函数关系时，将所述当前面部表情输入所述函数关系中，确定所述函数关系的输出参数为当前情绪等级。
[0145]
由此，通过多种形式的对应关系，可以提升对当前面部表情确定的灵活性和便捷性。
[0146]
本发明提出了面部表情
‑‑‑
情绪等级关联模型，该模型主要由3dcnn构成，用于建立面部表情数据和学习效率的对应关系，达到向模型输入面部表情数据后能够得到对应学习效率的效果。使得老师和家长可以通过摄像头拍摄学生上课状态视频来预测学生在该时间段的学习效率。
[0147]
参照图3，作为一种示例，所采用的人工神经网络可以为基于经典的3dcnn神经网络进行修改的改进的3dcnn神经网络，
[0148]
本发明中第一子模型使用3dcnn神经网络完成输入面部表情，输出情绪等级的任务。3dcnn网络最开始被开发出来的目的是进行手写字体的识别，所以输入为图像数据。在本发明中3dcnn的功能为输入面部表情，输出情绪等级。所以输入的数据不是图像而是打好标签的面部表情，但是这并不影响该网络进行正常工作。因为原本的图像也是由大量像素点信息组成，本发明中使用的面部表情也可以看作图像中的一个个像素信息，所以3dcnn适用于情绪等级
‑‑‑
情绪等级模型，输入为面部表情不会每一层网络的功能产生任何影响。
[0149]
需要说明的是，经典的3dcnn神经网络的七层内容和连接结构如图3所示。
[0150]
传统的3dcnn一共有七层，第一层硬线层(hardwired层)、第二层c2池化层、第三层s3池化层、第四层c4卷积层、第五层s5池化层、第六层f6全连接层、第七层输出层。
[0151]
第一层h1硬线层：从输入层输入连续7帧的大小为60
×
40的视频帧图像，每帧提取5个通道信息(图片灰度值，横坐标梯度值，纵坐标梯度值，x光流信息，y光流信息)。前面三个通道的信息可以直接对每帧分别操作获取，后面的x，y光流则需要利用两帧的信息才能提取，因此h1层输出33个60
×
40的特征图片(33＝7 7 7 6 6)。
[0152]
第二层c2卷积层：对输入5个通道信息分别使用大小为7
×7×
3的3d卷积核进行卷积操作(7
×
7表示空间维度，3表示时间维度，即每次操作3帧图像)。同时，为了增加特征图片的个数，在这一层采用了两种不同的3d卷积核，因此c2层的特征图片数量为46个。(46＝23
×
2＝(((7
‑
3) 1)
×
3 ((6
‑
3) 1)
×
2)
×
2)。特征图片的大小为54
×
34。54＝60
‑
7 1，34＝40
‑
7 1。
[0153]
第三层s3池化层：在s3池化层中使用46个2
×
2的选择框对16个通道的特征数据进行池化操作得到27
×
17的特征图片。
[0154]
第四层c4卷积层：对输入5个通道信息分别使用大小为7
×6×
3的3d卷积核进行卷积操作(7
×
6表示空间维度，3表示时间维度，即每次操作3帧图像)。同时，为了增加特征图片的个数，在c4层采用了三种不同的3d卷积核，这样就可以得到6组不同的特征图片，每组有13个特征图片。13＝((7
‑
3 1)
‑
3 1)
×
3 ((6
‑
3 1)
‑
3 1)
×
2，一共有78个特征图片。特征图片的大小为21
×
12。21＝27
‑
7 1，12＝17
‑
6 1。
[0155]
第五层s5池化层：在s5池化层中使用46个3
×
3的选择框对16个通道的特征数据进行池化操作得到7
×
4的特征图片。
[0156]
第六层c6卷积层：在c6层使用大小为7
×
4的2d卷积核进行卷积操作。特征图片的大小为1
×
1。1＝7
‑
7 1，1＝4
‑
4 1。特征图片的数量为128。
[0157]
第七层f7卷积层：对输入5个通道信息分别使用大小为7
×
4的2d卷积核进行卷积操作。特征图片的大小为1
×
1。1＝7
‑
7 1，1＝4
‑
4 1。特征图片的数量为128。
[0158]
第八层输出层：经过多层的卷积和下采样后，每连续7帧的输入图像都被转化为一个128维的特征向量，这个特征向量捕捉了输入帧的运动信息。输出层的节点数与行为的类型数目一致，而且每个节点与c6中这128个节点是全连接的。最后使用线性分类器来对这128维的特征向量进行分类，实现行为识别。
[0159]
而在本发明中对原有的经典的3dcnn进行了一定程度的改进，改进内容及最终结果如下：
[0160]
第一层h1硬线层：从输入层输入连续7帧的大小为60
×
50的视频帧图像，每帧提取5个通道信息(图片灰度值，横坐标梯度值，纵坐标梯度值，x光流信息，y光流信息)。前面三个通道的信息可以直接对每帧分别操作获取，后面的x，y光流则需要利用两帧的信息才能提取，因此h1层输出33个60
×
50的特征图片(33＝7 7 7 6 6)。
[0161]
第二层c2卷积层：对输入5个通道信息分别使用大小为7
×7×
3的3d卷积核进行卷积操作(7
×
7表示空间维度，3表示时间维度，即每次操作3帧图像)。同时，为了增加特征图片的个数，在这一层采用了两种不同的3d卷积核，因此c2层的特征图片数量为46个。(46＝23
×
2＝(((7
‑
3) 1)
×
3 ((6
‑
3 1)
×
2)
×
2)。特征图片的大小为54
×
44。54＝60
‑
7 1，44＝50
‑
7 1。
[0162]
第三层s3池化层：在s3池化层中使用46个2
×
2的选择框对16个通道的特征数据进行池化操作得到27
×
22的特征图片。
[0163]
第四层c4卷积层：对输入5个通道信息分别使用大小为6
×5×
3的3d卷积核进行卷积操作(6
×
5表示空间维度，3表示时间维度，即每次操作3帧图像)。同时，为了增加特征图片的个数，在c4层采用了三种不同的3d卷积核，这样就可以得到6组不同的特征图片，每组有8个特征图片。8＝((6
‑
3 1)
‑
3 1)
×
3 ((5
‑
3 1)
‑
3 1)
×
2，一共48个特征图片。特征图片的大小为22
×
18。22＝27
‑
6 1，18＝22
‑
5 1。
[0164]
第五层s5池化层：在s5池化层中使用46个2
×
2的选择框对16个通道的特征数据进行池化操作得到11
×
9的特征图片。
[0165]
第六层c6卷积层：对输入5个通道信息分别使用大小为6
×6×
3的3d卷积核进行卷积操作(6
×
6表示空间维度，3表示时间维度，即每次操作3帧图像)。同时，为了增加特征图片的个数，在c4层采用了三种不同的3d卷积核，这样就可以得到6组不同的特征图片，每组有10个特征图片。10＝((6
‑
3 1)
‑
3 1)
×
3 ((6
‑
3 1)
‑
3 1)
×
2，一共有60个特征图片。特征
图片的大小为6
×
4。6＝11
‑
6 1，4＝9
‑
6 1。
[0166]
第七层s7池化层：在s7池化层中使用46个2
×
2的选择框对16个通道的特征数据进行池化操作得到3
×
2的特征图片。
[0167]
第八层c8卷积层：在c8层使用大小为3
×
2的2d卷积核进行卷积操作。特征图片的大小为1
×
1。1＝3
‑
3 1，1＝2
‑
2 1。特征图片的数量为128。
[0168]
第九层输出层：经过多层的卷积和下采样后，每连续7帧的输入图像都被转化为一个128维的特征向量，这个特征向量捕捉了输入帧的运动信息。输出层的节点数与行为的类型数目一致，而且每个节点与c6中这128个节点是全连接的。最后使用线性分类器来对这128维的特征向量进行分类，实现行为识别。(之所以使用128是因为，通过计算机将最后的特征向量进行设定，分别选用64、128、256、512四个数字，最终发现128伪的特征向量分类准确率最高。)
[0169]
在本示例中，本发明提出的面部表情
‑‑‑
情绪等级关联模型包括3dcnn和一个心理学知识。本发明提出使用3dcnn作为面部表情
‑‑‑
情绪等级关联模型的神经网络，并且通过大量数据集的训练使得3dcnn具有输入表情信息，输出情绪等级的功能。还包括一个心理学知识，情绪等级越高代表该学生在此时间段的学习效率越高。所以面部表情
‑‑‑
情绪等级关联模型具有输入面部表情，输出学习效率的功能。
[0170]
在本发明一实施例中，可以结合下列描述进一步说明步骤s120所述“通过第二子模型建立学生的面部表情与情绪等级的第二子关系”的具体过程。
[0171]
如下列步骤所述：获取用于建立所述面部表情与所述情绪等级之间的第一子关系的样本数据；
[0172]
在一进阶实施例中，可以结合下列描述进一步说明“获取用于建立所述面部表情与所述情绪等级之间的第一子关系的样本数据”的具体过程。
[0173]
如下列步骤所述：收集不同学生的所述面部表情及对应的所述情绪等级；
[0174]
例如：数据搜集：搜集不同性别的学生的所述面部表情及对应的所述情绪等级；以及，搜集不同年级的学生的所述面部表情及对应的所述情绪等级；以及，搜集不同学科中学生的所述面部表情及对应的所述情绪等级。
[0175]
由此，通过多种途径收集数据，有利于增加数据的量，提升人工神经网络的学习能力，进而提升确定的对应关系的精准性和可靠性。
[0176]
如下列步骤所述：对所述面部表情进行分析、并结合预存的专家经验信息，选取与所述情绪等级相关的数据作为所述面部表情(例如：选取对情绪等级有影响的面部表情作为输入参数，将指定参数作为输出参数)；
[0177]
例如：通过将已确定了面部表情后的学生的相关数据中的情绪等级作为输入参数，将其相关数据中的面部表情作为输出参数。
[0178]
如下列步骤所述：将所述面部表情、以及选取的所述情绪等级构成的数据对，作为样本数据。
[0179]
例如：将得到的输入、输出参数对，一部分用作训练本样数据，一部分用作测试样本数据。
[0180]
由此，通过对收集到的面部表情进行分析及处理，进而得到样本数据，操作过程简单，操作结果可靠性高。
[0181]
如下列步骤所述：分析所述面部表情的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
[0182]
例如：分析学生对应的面部表情与所述学生的情绪等级，可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、隐节点数、网络初始权值等。
[0183]
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述面部表情与所述情绪等级的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过程。
[0184]
如下列步骤所述：选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述面部表情输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
[0185]
具体地，通过梯度下降算法最小化损失函数，更新网络参数，训练当前神经网络模型，得到实际训练结果；
[0186]
确定所述实际训练结果与所述训练样本中的相应情绪等级之间的实际训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
[0187]
具体地，当所述实际训练误差满足所述预设训练误差时，且在当前训练的模型收敛，确定对所述网络结构和所述网络参数的所述训练完成。
[0188]
更可选地，对所述网络结构和所述网络参数进行训练，还包括：
[0189]
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差损失函数更新所述网络参数；通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
[0190]
例如：若测试误差满足要求，则网络训练测试完成。
[0191]
由此，通过将测试样本用于训练得到的网络结构和网络参数进行测试，以进一步验证网络结构及网络参数的可靠性。
[0192]
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述面部表情与所述情绪等级的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过程。
[0193]
如下列步骤所述：选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述面部表情输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；确定所述实际测试结果与所述测试样本中的相应情绪等级之间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
[0194]
如所述步骤s130所述，获取目标学生在学习当前知识点时的当前面部表情。
[0195]
需要说明的是，通过高清广角摄像头对目标学生的面部表情进行获取，所述摄像头包括至少两个，分别固定在教室黑板上方的墙面上，两个摄像头分别固定在教室墙面的左1/3和右1/3处。
[0196]
在本发明一实施例中，可以结合下列描述进一步说明步骤s130所述“获取目标学生在学习当前知识点时的当前面部表情”的具体过程。
[0197]
如下列步骤所述：确定课堂教学课程中与所述当前知识点对应的教学时间段；
[0198]
如下列步骤所述：获取对应于所述教学时间段的目标学生的实时人脸图像数据；
[0199]
如下列步骤所述：依据所述目标学生的实时人脸图像数据生成所述当前面部表情。
[0200]
在本发明一实施例中，可以结合下列描述进一步说明步骤“获取对应于所述教学时间段的目标学生的实时人脸图像数据”的具体过程。
[0201]
如下列步骤所述：确定对应于所述教学时间段的监测视频段；其中，所述监测视频段包括有目标学生的人脸视频画面；
[0202]
如下列步骤所述：确定所述监测视频段中与所述目标学生相对应的区域位置；
[0203]
如下列步骤所述：获取所述学习视频数据中对应于所述区域位置中的视频特征；
[0204]
如下列步骤所述：依据所述视频特征确定对应于所述监测视频段的所述实时人脸图像数据。
[0205]
如所述步骤s140所述，通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩，并依据所述当前知识点成绩确定目标学生的当前学习效率。
[0206]
通过第一子模型中，在生理数据、知识点成绩、情绪等级和时间段之间建立对应关系，即在时间段t中生理数据采集设备采集到目标学生的生理数据p，此时间段该目标学生获取的知识点的成绩为k。根据在校教师在日常教学中总结的规律可知，学生在时间段t中的知识点成绩k和学生在该时间段的情绪等级e存在对应关系，所以通过情绪等级
‑‑‑
知识点成绩关联模型可以通过生理数据p预测学生情绪等级e。
[0207]
在时间段t中通过摄像头获取到该目标学生的面部表情数据f，由于时间段t是固定的，所以此时的面部表情数据f可以对应到生理数据为p，根据第一子模型以及教学总结规律可以将生理数据p和情绪等级e进行关联，所以面部表情数据f可以对应情绪等级e。
[0208]
根据心理学知识，情绪等级e越高代表学生此时学习效率s越高，所以可以将情绪等级e和学习效率s进行关联，达到预测学习效率的目的。
[0209]
本发明提出的方法始终对学生进行过程化数据记录，学生综合素质评价要求大量过程化数据，其中大多复杂繁琐，甚至无法记录，本系统识别并记录的学生课堂效率数据是能很好能反映学生平时状态的过程化数据。
[0210]
在一具体实现中，将两个模型和一个理论的预测流程进行整体的描述。本具体实现分为三个部分，step1～6为数据采集部分，step7～12为情绪等级
‑‑‑
知识点成绩关联模型的工作流程，step13～16为面部表情
‑‑‑
情绪等级关联模型的工作流程。
[0211]
step1：购置并安装摄像头。在学校教室中安装两台高清广角摄像头(摄像头固定在教室黑板上方的墙面上，两个摄像头分别固定在教室墙面的左1/3和右1/3处)，安装的位置和角度要保证两台摄像机各自的拍摄画面合并到一起后能清楚的记录到教室中每一位学生的面部。
[0212]
step2：购置生理数据采集设备。购置采集脑电信号、呼吸信号、皮电信号、心率信号的生理数据采集设备各10套，共四十套设备。
[0213]
step3：选择学生志愿者。在目标班级中随机选择50名学生作为学生志愿者。(学生数据采集涉及到人权，伦理，信息安全多个方面的问题，需要和教育部门，学校，学生家长以
及学生本人做好沟通，采取志愿形式开展实验。)
[0214]
step4：在教室安排记录员。在教室安排记录员，记录员负责帮助学生志愿者佩戴生理数据采集设备，并告知其注意事项。此外，记录员还负责用时间段作为标记记录老师在课堂内的每段时间所讲授的知识点。(例如：时间段t内讲授的知识点为k)
[0215]
step5：录制课堂教学视频。使用已经安装好的两台高清广角摄像头对学生上课状态进行录制，将录制的视频数据存入移动硬盘中。并且使用此数据对学生志愿者的面部进行进行定位和截取。
[0216]
step6：采集生理数据。记录员帮助学生在课前佩戴好生理数据采集设备，一名学生志愿者持续佩戴一节课的时间，课前佩戴，下课摘下。每位学生志愿者分别佩戴两个生理数据采集设备，其中脑电信号由一个设备进行采集，心电、呼吸、皮电信号由另外一个设备进行采集。将采集到的各项生理数据用时间段做好标记保存到移动硬盘中。
[0217]
step7：建立知识点和生理数据的对应关系。将记录员上课记录的以时间段为标记的知识点和对应时段的生理数据进行对应。(例如：在时间段t中，老师讲授的知识点为k，此时目标学生志愿者的生理数据p，建立知识点k和生理数据p的对应关系。)
[0218]
step8：生理数据特征提取。对采集到的生理数据先进行高斯滤波降噪处理，再使用傅里叶变换对生理数据进行特征提取，提取到的生理数据特征保存到移动硬盘中。在step5中已经建立知识点和生理数据的对应关系，所以在step6中同理建立知识点和生理数据特征的对应关系。
[0219]
step9：记录员记录知识点成绩。记录员通过各项考试和作业查阅学生志愿者的知识点得分情况，并记录其成绩。(该学校的成绩以abc三个档次进行划分，而非实际成绩。记录员也根据这种方式进行记录。)
[0220]
step10：建立知识点成绩和生理数据特征的对应关系。在step6中已经建立知识点和生理数据特征的对应关系，在step7中已经得到知识点对应的知识点成绩，所以在step7中可以建立知识点成绩和生理数据特征的对应关系。
[0221]
step11：制作情绪等级
‑‑‑
知识点成绩关联模型的训练集。使用知识点成绩给生理数据特征打标签，打好标签的生理数据特征作为情绪等级
‑‑‑
知识点成绩关联模型的训练集。
[0222]
step12：训练情绪等级
‑‑‑
知识点成绩关联模型。本发明使用lenet5作为情绪等级
‑‑‑
知识点成绩关联模型的主要神经网络。使用step11得出的训练集训练lenet5，使其具有输入生理数据，得出知识点成绩的功能。同时，根据在校教师在日常教学中总结的规律可知，知识点成绩和学生在该时间段的情绪等级存在对应关系，所以情绪等级
‑‑‑
知识点成绩关联模型具有输入生理数据，得出情绪等级的功能。
[0223]
step13：提取面部表情特征。本发明提出使用基于几何特征的人脸识别方法进行面部表情特征提取。
[0224]
step14：建立面部表情特征和情绪等级的对应关系。根据step4中的时间段标记，找出视频中对应时间段的学生志愿者的面部表情，将该时间段的情绪等级和面部表情特征进行对应。(该时间段内的情绪等级通过step12获得。)
[0225]
step15：制作面部表情
‑‑‑
情绪等级关联模型的训练集。使用情绪等级给面部表情特征打标签，打好标签的面部表情特征作为面部表情
‑‑‑
情绪等级关联模型的训练集。
[0226]
step16：训练面部表情
‑‑‑
情绪等级关联模型。本发明使用3dcnn作为面部表情
‑‑‑
情绪等级关联模型的主要神经网络。使用step16得出的训练集训练3dcnn，使其具有输入面部表情特征，得出情绪等级的功能。同时，根据心理学知识可知，情绪等级和学习效率存在对应关系，所以面部表情
‑‑‑
情绪等级关联模型具有输入面部表情特征，得出学习效率的功能(学习效率用“红黄绿”三个档次进行划分，绿代表学习效率较高，黄代表学习效率一般，红代表学习效率较低)。
[0227]
在过去的方法中，对于学生学习效率的预测大致有以下特征：
[0228]
①
对于学生学习效率的研究，其研究对象是以大学生为主。而本发明主要针对中小学的学生，中小学生正处在儿童到成人的过渡时期，人格性格都处于变化阶段，情绪体验尤为丰富。因此，在课堂上对中小学生的情绪体验和课堂学习效率之间的关联研究显得尤为必要。
[0229]
②
对于学生学习效率的研究，以往的部分实验是全程通过采集到的生理数据来分析预测学生的学习效率。此方法需要学生志愿者全程佩戴生理数据采集设备，这种设计会对学生学生的学习效率产生影响。而本发明中只需要学生志愿者在实验的前期前期佩戴生理数据采集设备。
[0230]
③
对于学生学习效率的研究，以往的部分实验是全程通过视频来分析预测学生的学习效率。此方法的识别准确率不高。而本发明中采取生理数据和视频数据融合分析的方法，准确率可以达到91.2％。
[0231]
④
对于学生学习效率的研究，以往的部分实验是对正在学习网络课程的学生群体进行学习效率检测。这种采集方式的面部数据采集的难度较低，但是局限性较大，只有在网课直播条件下才能进行采集和分析。本发明中的实验环境是在最常见的学校教室对学生进行数据采集和学习效率预测，适用面较广。
[0232]
在“可行性分析”部分，进行使用本发明提出的模型进行两个实验以验证此模型的可行性。在实验
①
中使用该模型在某一时间段对某班级教室内的20名学生进行表情数据采集，并找出在该时间段内每个同学的知识点成绩。将该模型预测的每个同学的学习效率和每个同学的知识点成绩进行对比，验证模型预测的准确率，具体实验过程和实验结果数据如
①
所示。在实验
②
中在某班级随机找来40名学生记录每个同学的年级排名，并将其分成两组。一组同学使用本系统进行持续的学习效率预测，并根据系统给出的预测结果不断调整学习策略。另一组同学不使用本系统。进行长时间的试验后，得出两组学生成绩的对比结果，以验证本系统对于学生学习成绩的正向促进作用，具体实验过程和实验结果数据如
②
所示。
[0233]
按照最佳实施方案的流程进行实验，得到最终的输入表情数据得到学习效率的系统，该系统的学习效率预测的准确率为91.2％。使用该模型在时间段t内随机对某班级教室内的30名学生进行了表情数据采集，并且查找在时间段t内的知识点成绩作为学习效率验证。最终的结果为：30名同学中，系统成功预测学习效率的人数为27，错误预测学习效率的人数为3。
[0234][0235]
表1
[0236]
在某班级随机找出40名学生，将40名学生分成甲乙两个小组，编号1
‑
20为甲组学生，编号21
‑
40为乙组学生，并记录每位学生的月考年级排名。对甲组的20名学生使用本系统的学习效率预测功能，持续一个月对甲组学生进行课堂学习效率跟踪预测，并且根据每位同学的学习效率预测结果对每位同学的学习策略、知识点的侧重点进行及时的调整和优化。一个月后再次记录甲组学生的月考排名情况。乙组的20名学生作为实验的对照组，不使用本系统的学习效率预测功能，一个月后记录乙组每位同学的月考排名情况。
[0237]
甲组同学的成绩情况如表2，乙组同学的成绩情况如表3。
[0238]
学生序号全年级3月月考排名全年级4月月考排名名次变化情况
385555
‑
39139130
↑
940244231
↑
13
[0241]
表3
[0242]
从甲组同学月考成绩情况的表格中可以得到，在编号1
‑
20的二十名同学中，成绩上升的人数为17占比85％，成绩下降的人数为2占比10％，成绩保持不变的人数为1占比25％。20名学生的月考成绩平均上升36.6分。
[0243]
从乙组同学月考成绩情况的表格中可以得到，在编号21
‑
40的二十名同学中，成绩上升的人数为11占比55％，成绩下降的人数为6占比30％，成绩保持不变的人数为3占比15％。20名学生的月考成绩平均上升1.45分。
[0244]
由此可以看出，使用本系统进行学习效率预测的甲组同学成绩平均上升幅度较大，而乙组同学成绩平均上升幅度较小。使用本系统对学生的成绩有着可观的促进作用。
[0245]
对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0246]
参照图4，示出了本技术一实施例提供的一种基于情绪识别和视觉分析的课堂学习效率预测系统，所述系统应用于通过人工智能模型建立学生的面部表情与对应的知识点学习效率之间的对应关系；所述人工智能模型包括第一子模型和第二子模型；所述对应关系包括第一子关系和第二子关系；
[0247]
所述方法包括：
[0248]
第一子关系建立模块410，用于通过第一子模型建立学生的生理数据与对应的知识点成绩之间的第一子关系；其中，所述知识点成绩包括在课堂测试、课后作业、周测、月测、期中考试和期末考试中至少一种测试方式中对应于所述知识点的题目的得分情况；
[0249]
第二子关系建立模块420，用于通过第二子模型建立学生的面部表情与情绪等级的第二子关系；
[0250]
当前面部表情获取模块430，用于获取目标学生在学习当前知识点时的当前面部表情；
[0251]
当前学习效率确定模块440，用于通过所述第一子关系、所述第二子关系和预设的情绪等级与知识点成绩映射关系，确定所述当前面部表情对应的当前知识点成绩，并依据所述当前知识点成绩确定目标学生的当前学习效率。
[0252]
在本发明一实施例中，所述当前面部表情获取模块430，包括：
[0253]
教学时间段确定子模块，用于确定课堂教学课程中与所述当前知识点对应的教学时间段；
[0254]
实时人脸图像数据确定子模块，用于获取对应于所述教学时间段的目标学生的实时人脸图像数据；
[0255]
当前面部表情生成子模块，用于依据所述目标学生的实时人脸图像数据生成所述当前面部表情。
[0256]
在本发明一实施例中，实时人脸图像数据生成子模块，包括：
[0257]
监测视频段确定子模块，用于确定对应于所述教学时间段的监测视频段；其中，所述监测视频段包括有目标学生的人脸视频画面；
[0258]
区域位置确定子模块，用于确定所述监测视频段中与所述目标学生相对应的区域位置；
[0259]
视频特征获取子模块，用于获取所述学习视频数据中对应于所述区域位置中的视频特征；
[0260]
实时人脸图像数据确定子模块，用于依据所述视频特征确定对应于所述监测视频段的所述实时人脸图像数据。
[0261]
在本发明一实施例中，所述第一子关系建立模块410，包括：
[0262]
第一获取子模块，用于获取用于建立所述生理数据与所述知识点成绩之间的第一子关系的样本数据；
[0263]
第一分析子模块，用于分析所述生理数据的特性及其规律，根据所述特性及其规律，确定所述第一子模型的网络结构及其网络参数；
[0264]
第一训练子模块，用于使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述生理数据与所述知识点成绩的所述第一子关系。
[0265]
在本发明一实施例中，所述第二子关系建立模块420，包括：
[0266]
第二获取子模块，用于获取用于建立所述面部表情与所述情绪等级之间的第二子关系的样本数据；
[0267]
第二分析子模块，用于分析所述面部表情的特性及其规律，根据所述特性及其规律，确定所述第子模型的网络结构及其网络参数；
[0268]
第二训练子模块，用于使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述面部表情与所述情绪等级的所述第二子关系。
[0269]
在本发明一实施例中，
[0270]
所述第一训练子模块，包括：
[0271]
第一训练结果生成子模块，用于选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述生理数据输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
[0272]
第一训练结果误差判断子模块，用于确定所述实际训练结果与所述训练样本中的相应知识点成绩之间的实际训练误差是否满足预设训练误差；
[0273]
第一训练完成判定子模块，用于当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
[0274]
和/或，
[0275]
第一测试子模块，用于对所述网络结构和所述网络参数进行测试，包括：
[0276]
第一测试结果生成子模块，用于选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述生理数据输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
[0277]
第一测试结果误差判断子模块，用于确定所述实际测试结果与所述测试样本中的相应知识点成绩之间的实际测试误差是否满足设定测试误差；
[0278]
第一测试完成判定子模块，用于当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
[0279]
在本发明一实施例中，
[0280]
所述第二训练子模块，包括：
[0281]
第二训练结果生成子模块，用于选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述面部表情输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
[0282]
第二训练结果误差判断子模块，用于确定所述实际训练结果与所述训练样本中的相应情绪等级之间的实际训练误差是否满足预设训练误差；
[0283]
第二训练完成判定子模块，用于当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
[0284]
和/或，
[0285]
第二测试子模块，用于对所述网络结构和所述网络参数进行测试，包括：
[0286]
第二测试结果生成子模块，用于选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述面部表情输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
[0287]
第二测试结果误差判断子模块，用于确定所述实际测试结果与所述测试样本中的相应情绪等级之间的实际测试误差是否满足设定测试误差；
[0288]
第二测试完成判定子模块，用于当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
[0289]
在本发明实施例中，本发明还提供一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于情绪识别和视觉分析的课堂学习效率预测方法的步骤。
[0290]
在本发明实施例中，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的基于情绪识别和视觉分析的课堂学习效率预测方法的步骤。
[0291]
尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
[0292]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0293]
以上对本技术所提供的基于情绪识别和视觉分析的课堂学习效率预测方法及系统，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。