一种基于教师非言语行为的教学过程评价方法与流程

1.本发明涉及教学评价信息化技术，尤其涉及一种基于教师非言语行为的教学过程评价方法。


背景技术：

2.传统课堂评价依赖课堂观察，这种方式耗时耗力，不够客观。而教师课堂非言语行为体现了教师的教学艺术水平，是教师课堂言语行为的必要补充；能对学生起典型示范作用，影响着学生的交流技能和对教师传递信息的理解程度。从而最终影响教学质量，所以对教师课堂非言语行为研究对全面提高教学质量起着关键作用。
3.以往人们对教师素养评价是从言语行为的角度对语言运用技能，组织教学技能等方面进行。传统非言语行为的理解缺乏对教学效果的全面描述，导致教师课堂非言语行为量化的可解释性无法保证。并且行为模式个体差异大，现有理解模式效率低、规模小、主观性强、缺乏科学化评判标准，整体智能化不足、效能偏低。传统方案依赖于问卷调查的结果性评价，教师非言语行为贯穿着教学的整个过程，在教学实践中的独特作用被广大优秀教师所重视。教学活动是特殊情境下的认知过程，教师非言语行为能调动学生诸如动机、意志、态度、兴趣等因素，这些因素不直接参与认知过程，但对认知获得有着促进和调节作用。在信息技术与教育理论深度融合的当今时代，立足数字化教学场景，利用人工智能技术对教师非语言行为进行有效量化，是实现教学模式创新与改革工作推进的关键一环。
4.利用大数据技术通过智慧教学环境下教师非言语行为量化计算方法来对课堂教学过程进行评价，具有客观性、持续性以及迭代性等性质，打破传统的量表评价形式。


技术实现要素：

5.本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于教师非言语行为的教学过程评价方法。
6.本发明解决其技术问题所采用的技术方案是：一种基于教师非言语行为的教学过程评价方法，包括以下步骤：
7.1)非言语行为数据采集，获取教学课堂中教师的非言语行为数据，包括：情绪、身势和生理信号三种模态数据；所述情绪模态数据为教师的面部表情图像和该面部表情下对应的手势动作图片；所述身势模态数据为教师的头部转向姿态图片；所述生理信号为教师的脑电数据；
8.2)采用行为特征矩阵对教师教学非言语行为进行全方位表征量化；
9.2.1)数据预处理；包括噪声数据、冗余数据和缺失值的处理；
10.2.2)对教师教学非言语行为进行表征量化；
11.2.2.1)教师面部表情和手势动作的特征表示，将情绪模态数据输入lenet
‑
5神经网络对面部表情图像和手势动作进行特征提取，最后一层输出的特征作为情绪特征向量；
12.其中，lenet
‑
5神经网络的训练方法如下：
13.通过余弦相似度公式计算不同教师面部表情、手势动作的相似度；其次，对所计算的教师面部表情、手势动作相似度融合后得到的情绪相似度按照hump排序算法进行排序，并使用student
‑
t分布函数对排序结果进行拟合，得到每种教学情绪的真实标签分布，经过若干迭代优化后可以得到最优解，即教师面部情绪结果；用于表情标签构造的student
‑
t分布函数表示为公式(1)，其中γ(
·
)表示gamma函数，v表示自由度；
[0014][0015]
2.2.2)提取教师头部转向姿态图像，将教师的头部转向姿态图片作为输入，并利用efficientnet网络进行特征的提取；
[0016]
efficientnet网络的训练方法如下：
[0017]
进行三元姿态感知损失和von mises
‑
fisher分布损失的计算。三元姿态感知的损失是通过计算不同特征间的相似度生成的，首先定义相似度度量d，而后得到感知损失l
t
，其表示为公式(2)和(3)；
[0018][0019]
l
t
(x
n
,x
a
,x
p
)＝max(0,d(x
a
,x
n
)
‑
d(x
a
,x
p
)).
ꢀꢀ
(4)
[0020]
而对于分布损失，是通过将各自的特征输入到分布模块所得到的。在von mises
‑
fisher分布模块中，首先将得到的特征输入全连接层，输出得到无约束矩阵m并构造von mises
‑
fisher分布，而后利用表示教师头部姿态的旋转矩阵r进行分布损失的计算；
[0021]
提取教师脸部图像，将图像宽度和高度分别设置为w和h，获取左右眼瞳孔中心的坐标b1和b2等信息，计算并得到教师左、右眼的pitch和yaw角，采用均方差和kl散度损失作为网络模型的loss，经过多次迭代提高左右眼的pitch和yaw角的准确度。拟将学习标签构造成高斯分布的形式，其具体公式为：
[0022][0023]
其中，x表示一幅教师教学的脸部图像，代表眼球的pitch角和yaw角。
[0024]
2.2.3)将采集的多通道的脑电信号分成多个段，从每段信号中采用用于表情标签构造的student
‑
t分布函数提取时域、频域和非线性动力学特征，并构造成特征序列；
[0025]
构建一种基于长短时记忆(longshort
‑
termmemor,lstm)网络和egg的情绪识别模型。首先对脑电信号进行预处理，获取高效鲁棒的脑电数据；然后从预处理的脑电数据中分别提取多种特征并构造成特征序列；最后使用特征序列与相应的情绪标签来训练分类器。
[0026]
2.3)根据表征完成后的特征向量形成每位教师实时精准的行为特征矩阵；行为表征矩阵h
ij
，i表示教师的编号，j表示三种模态数据的特征表征；
[0027]
将步骤2.2)中的通过对教师的非言语行为进行表征量化后，得到教师的行为表现向量，包括：面部情绪e＝<e1,e2,
…
,e
t
>、身势b＝<b1,b2,
…
,b
t
>以及生理p＝<p1,p2,
…
,p
t
>，
[0028]
首先通过多通道注意力机制，针对不同行为向量，学习行为权重w
e
、w
b
和w
p
，并与之向量相乘后输入到帧注意力模型，学习不同行为向量中的帧序列权重，如w
e,1
、w
e,2
、w
e,3
等。为不同时间序列下的行为状态进行权重分配后，输入到lstm模块中进行学习，第t时刻的
lstm层汇聚学习上一层记忆h
t
‑1，例如面部情绪下的lstm层中，第t时刻的输出为h
t
＝σ(w0*w
e,t
*e
t
u0*h
t
‑1 b0)。使用hadamard乘积进行特征压缩编码，得到最终的行为特征矩阵h
ij
＝(e
ij
,b
ij
,p
ij
)
[0029]
3)行为特征分类器训练：使用情绪标签训练分类器，得到相应教师类人格型特征表征、相应的课堂行为特征表征；
[0030]
3.1)从情绪指标、身势指标和生理指标构建基于时间递归的神经网络进行矩阵特征分解，得到相应教师类人格型特征表征和相应的课堂行为特征表征；
[0031]
使用非负矩阵分解(nmf)将教师行为特征矩阵h
ij
分解为教师类人格型特征表征θ
i*
和课堂非言语行为特征向量β
j*
；
[0032]
以最小为目标函数，计算确定教师类人格型特征表征和课堂非言语行为特征向量其中，上标t表示转置；
[0033]
其中，n为教师的总数，m为矩阵分解得到的课堂行为隐特征数量，a
i
为学习得到的自注意力权重；
[0034]
3.2)将行为表征矩阵h
ij
与学习标签构造成高斯分布的形式，最后使用特征序列与相应的情绪标签来训练分类器；
[0035]
4)根据某一特定教师非言语行为采集数据，进行特征表征和特征分解，得到教师本身的特征表征和课堂行为特征表征，并将两者的特征向量相乘，得到教师的教学评价表示。4.1)利用某一特定教师非言语行为采集数据表征得到的教师特征向量，与步骤3.1)得到的教师类人格型特征表征经过一个循环神经网络(rnn)网络后，使用直接聚合操作得到对应特定教师本身的特征表征θ
i
；
[0036]
4.2)利用某一特定教师非言语行为采集数据表征得到的教师特征向量，与步骤3.1)得到课堂非言语行为表征进行直接聚合操作得到特定教师非言语行为表征β
j
；
[0037]
4.3)将特定教师本身的特征表示向量和非言语行为表征向量相乘，得到该教师的教学评价表示。
[0038]
本发明产生的有益效果是：
[0039]
1、本发明通过情绪、身势、生理信号三种模态数据出发，建立全面、精准的教师课堂非言语行为的刻画；建立多模态数据融合的宏观与微观相结合的定量评价框架；
[0040]
2、本发明引入基于时间序列递归神经网络进行教学行为感知，识别课堂教学场景并进行数据融合，实现教师非言语行为感知与量化，为教学效果评价提供精细化的数据支撑；
附图说明
[0041]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0042]
图1是本发明实施例的方法流程图；
[0043]
图2是是本发明实施例的时间递归神经网络的构造；
[0044]
图3是是本发明实施例的时间递归神经网络训练示意图；
[0045]
图4是是本发明实施例的训练隐含因子模型的流程图。
具体实施方式
[0046]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0047]
如图1所示，一种基于教师非言语行为的教学过程评价方法，包括以下步骤：
[0048]
步骤1，提取非言语行为中的三种模态数据。
[0049]
通过多目摄像头装置、智能穿戴式设备分别获取教学课堂中教师的非言语行为数据，包括：情绪、身势和生理信号三种模态数据；所述情绪模态数据为教师的面部表情图像和该面部表情下对应的手势动作图片；所述身势模态数据为教师的头部转向姿态图片；所述生理信号为教师的脑电数据；
[0050]
步骤2，情绪、身势、生理信号数据的特征提取。
[0051]
删除原始数据集中的无关数据、重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值、异常值。将表征完成后的特征向量放入多标签网络学习模块中，形成每位教师实时精准的行为特征矩阵。
[0052]
具体如下：2.1)数据预处理；包括噪声数据、冗余数据和缺失值的处理；
[0053]
2.2)对教师教学非言语行为进行表征量化；
[0054]
2.2.1)教师面部表情和手势动作的特征表示，将情绪模态数据输入lenet
‑
5神经网络对面部表情图像和手势动作进行特征提取，最后一层输出的特征作为情绪特征向量；
[0055]
其中，lenet
‑
5神经网络的训练方法如下：
[0056]
通过余弦相似度公式计算不同教师面部表情、手势动作的相似度；其次，对所计算的教师面部表情、手势动作相似度融合后得到的情绪相似度按照hump排序算法进行排序，并使用student
‑
t分布函数对排序结果进行拟合，得到每种教学情绪的真实标签分布，经过若干迭代优化后可以得到最优解，即教师面部情绪结果；用于表情标签构造的student
‑
t分布函数表示为公式(1)，其中γ(
·
)表示gamma函数，v表示自由度；
[0057][0058]
2.2.2)提取教师头部转向姿态图像，将教师的头部转向姿态图片作为输入，并利用efficientnet网络进行特征的提取；
[0059]
efficientnet网络的训练方法如下：
[0060]
进行三元姿态感知损失和von mises
‑
fisher分布损失的计算。三元姿态感知的损失是通过计算不同特征间的相似度生成的，首先定义相似度度量d，而后得到感知损失l
t
，其表示为公式(2)和(3)；
[0061][0062]
l
t
(x
n
,x
a
,x
p
)＝max(0,d(x
a
,x
n
)
‑
d(x
a
,x
p
)).
ꢀꢀ
(4)
[0063]
而对于分布损失，是通过将各自的特征输入到分布模块所得到的。在von mises
‑
fisher分布模块中，首先将得到的特征输入全连接层，输出得到无约束矩阵m并构造von mises
‑
fisher分布，而后利用表示教师头部姿态的旋转矩阵r进行分布损失的计算；
[0064]
提取教师脸部图像，将图像宽度和高度分别设置为w和h，获取左右眼瞳孔中心的
坐标b1和b2等信息，计算并得到教师左、右眼的pitch和yaw角，采用均方差和kl散度损失作为网络模型的loss，经过多次迭代提高左右眼的pitch和yaw角的准确度。拟将学习标签构造成高斯分布的形式，其具体公式为：
[0065][0066]
其中，x表示一幅教师教学的脸部图像，代表眼球的pitch角和yaw角。
[0067]
2.2.3)将采集的多通道的脑电信号分成多个段，从每段信号中采用用于表情标签构造的student
‑
t分布函数提取时域、频域和非线性动力学特征，并构造成特征序列；
[0068]
构建一种基于长短时记忆(longshort
‑
termmemor,lstm)网络和egg的情绪识别模型。首先对脑电信号进行预处理，获取高效鲁棒的脑电数据；然后从预处理的脑电数据中分别提取多种特征并构造成特征序列；最后使用特征序列与相应的情绪标签来训练分类器。
[0069]
2.3)根据表征完成后的特征向量形成每位教师实时精准的行为特征矩阵；行为表征矩阵h
ij
，i表示教师的编号，j表示三种模态数据的特征表征；
[0070]
将步骤2.2)中的通过对教师的非言语行为进行表征量化后，得到教师的行为表现向量，包括：面部情绪e＝<e1,e2,
…
,e
t
>、身势b＝<b1,b2,
…
,b
t
>以及生理p＝<p1,p2,
…
,p
t
>，
[0071]
首先通过多通道注意力机制，针对不同行为向量，学习行为权重w
e
、w
b
和w
p
，并与之向量相乘后输入到帧注意力模型，学习不同行为向量中的帧序列权重，如w
e,1
、w
e,2
、w
e,3
等。为不同时间序列下的行为状态进行权重分配后，输入到lstm模块中进行学习，第t时刻的lstm层汇聚学习上一层记忆h
t
‑1，例如面部情绪下的lstm层中，第t时刻的输出为h
t
＝σ(w0*w
e,t
*e
t
u0*h
t
‑1 b0)。使用hadamard乘积进行特征压缩编码，得到最终的行为特征矩阵h
ij
＝(e
ij
,b
ij
,p
ij
)
[0072]
针对每位教师的行为特征矩阵需要单独训练，训练模态数据由大规模集成数据产生。对于协作网络学习模块，可以采用离线学习和在线学习来进行模型的训练。
[0073]
如果选择离线学习，则对于协作网络学习模块采用协作分类规范相关的自动编码器(c2ae)(见文献：yeh c k,wu w c,ko w j,et al.learning deep latent space for multi
‑
label classification[c]//thirty
‑
first aaai conference on artificial intelligence.2017.)。与大多数基于标签嵌入的方法不同，这些方法通常将标签嵌入和预测视为两个单独的任务，协作分类规范相关的自动编码器为进行了深度规范相关分析(dcca)的自动编码器，以学习用于各模态信息的标签嵌入和协作分类的特征感知潜在子空间。
[0074]
如果选择在线学习，则按照在线的时间序列到达，并且仅出现一次的数据特点进行模态数据获取。基于此，可以选用的训练方法为：成本敏感的动态主投影(cs
‑
dpp)(见文献：chu h m,huang k h,lin h t.dynamic principal projection for cost
‑
sensitive online multi
‑
label classification[j].machine learning,2019,108(8):1193
‑
1230.)。其基础是从一个领先的lsdr算法导出的在线lsr框架。特别是，cs
‑
dpp配备了一个由矩阵随机梯度激励的高效在线降维器，并与精心设计的在线回归学习器相结合，建立了其理论基础。此外，cs
‑
dpp将成本信息嵌入到标签权重中。
[0075]
步骤3，循环(时间递归)神经网络下矩阵因子分解的特征融合，并使用情绪标签训
练该分类器；
[0076]
本方法根据教师课堂非言语行为是可观察和可分解的重要特性，从情绪指标、身势指标和体距指标构建基于时间递归的神经网络矩阵特征分解。具体来说，利用非负矩阵分解(nmf)将上述教师借助个体身体态势符号和由生理符号发出的非言语行为信息，得到相应教师类人格型特征表征和相应的课堂行为特征表征。在此基础上将其与学习标签构造成高斯分布的形式，最后使用特征序列与相应的情绪标签来训练分类器。
[0077]
3.1)从情绪指标、身势指标和生理指标构建基于时间递归的神经网络进行矩阵特征分解，得到相应教师类人格型特征表征和相应的课堂行为特征表征；
[0078]
使用非负矩阵分解(nmf)将教师行为特征矩阵h
ij
分解为教师类人格型特征表征θ
i*
和相应的课堂行为特征表征β
j*
；
[0079]
以最小为目标函数，计算确定教师特征向量和课堂非言语行为特征向量其中，上标t表示转置；
[0080]
其中，n为教师的总数，m为矩阵分解得到的课堂行为隐特征数量，a
i
为基于时间递归的神经网络中学习得到的自注意力权重；
[0081]
3.2)将行为表征矩阵h
ij
与学习标签构造成高斯分布的形式，最后使用特征序列与相应的情绪标签来训练分类器；
[0082]
步骤4，完成教师教学评价表示。
[0083]
根据某一特定教师非言语行为采集数据，进行特征表征和特征分解，得到教师本身的特征表征θ
i*
和课堂行为特征表征β
j*
，并将两者的特征向量相乘，得到教师的教学评价表示。具体如下：
[0084]
利用初始化得到的教师特征向量，与前面得到的教师类人格型特征表征经过一个基于循环(时间递归)的神经网络(rnn)后，结构如图2所示，使用直接聚合操作得到对应特定教师本身的特征表征θ
i
。
[0085]
利用初始化得到的教师行为特征向量与前面得到课堂非言语行为特征向量进行直接聚合操作得到特定教师非言语行为表征β
j
。
[0086]
最后，将特定教师本身的特征表示向量和非言语行为表征向量相乘，得到该教师的教学评价表示。以为效用函数，使用梯度迭代优化计算确定教师特征向量和课堂非言语行为特征向量具体的求解过程请见图3和图4。
[0087]
教师的特征表示向量θ
i*
的列数与非言语行为表征向量的行数相等，具体大小可根据训练样本数确定，训练样本数越多则列数和行数越多，反之越小，可根据推荐结果调整。
[0088]
使用本发明的具体实验中按时间片把课程划分成紧密相连的微小片断，动作在一个片断内可以视为是静止的，这样就可以观察和判断一片断并以特定的方式进行记录。采用学生评价和课堂调查为辅的课堂教学评价方法，并对教师的非言语评价机制进行精细调整适应教师的个性化风格教学需求，以此为实验组的教学反馈方式，项目在实验场景中收
集到的一学期的数据进行统计计算，得到最终的教师非言语行为量化反馈结果，得到一个可实操的案例分析。
[0089]
接下来实验分为两个阶段进行。第一阶段，在实验前，对教师非言语行为评价系统进行个性化教学功能试用与参数调试，通过组织若干学科、不同年级任课教师对系统的试用，动态调整不同模块中关键技术的调试参数，形成涵盖教学风格与教师仪表盘显示的初始化参数；第二阶段，构建以教师非言语行为评价为主，学生评价和课堂调查为辅的课堂教学评价方法，并对实验组教师的非言语评价系统参数进行精细调整适应教师的个性化风格教学需求，以此为实验组的教学反馈方式，最终通过整学期教学与单节课堂教学相结合的评价方式比较和分析两组前后评价结果的差异，得出适应性教学反馈的影响。并在表征教师非言语行为的基础上，探究时序状态下不同非言语行为的表现，对教师的教学效果进行分析总结。
[0090]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。