智慧教室学生视觉注意力落区估计方法、可视化方法

1.本发明属于智能教学技术领域，更具体地，涉及一种智慧教室学生视觉注意力落区估计方法、可视化方法。


背景技术：

2.通过技术手段测量和估计学生的课堂注意力情况成为课堂教学信息化的常见需求。随着翻转课堂、协作学习等新型教学模式在课堂教学中的推广，传统教室的固定化布局难以满足需求，支持自由桌椅布局的智慧教室应运而生。典型智慧教室场景如图1所示，教室内的学生围桌而坐以便讨论问题，教室四周摆放多个屏幕方便学生观看教学课件。与传统教室不同，智慧教室潜在的教学内容兴趣区构成复杂，既包括固定墙上或者移动支架部署的多媒体屏幕，也包括可以自由走动的教师。教学关注点比较复杂，给计算学生的视觉注意力带来了更大的挑战。
3.现有的技术手段先测量学生的面部朝向，再计算面部朝向与教室内壁的交点，以此交点为学生的课堂注意力点。由于没有进行其他后续分析，该方法不能完成某些任务，例如：
①
在检测时，教师将会被检测为一个点，丢失体的特性。学生的面部朝向向量为一条射线，三维空间中，射线与任一一点相交的概率为0，因此无法检测出学生注视教师的情况。
②
如果学生眼球转动，没有正视视野前方，那么用学生的面部朝向作为视线方向是不准确的。
③
以学生面部朝向为中心的一定视区范围内(例如30度)，可能存在多个教学内容兴趣区和非教学内容兴趣区(例如坐在教室一角望向整个教室)，面部朝向方向替代学生注意力方向的可靠度有限。
4.另外，现在学生注意力方法只停留在检测计算方面，并未考虑如何将该注意力呈现给老师或其他教研人员。


技术实现要素：

5.针对现有技术的以上缺陷或改进需求，本发明提供了一种智慧教室学生视觉注意力落区估计方法、可视化方法，其目的在于利用智慧教室课堂教学视频对学生的注意力落区进行更准确的检测和分析，进而反映学生的课堂注意力。
6.为实现上述目的，按照本发明的一个方面，提供了一种智慧教室学生视觉注意力落区估计方法，包括：
7.s1.根据学生头部三维位置坐标和面部朝向，初步计算学生注视教学关注点的有效时间段；
8.s2.在学生注视教学关注点的有效时间段内，以教学关注点所在平面为圆锥底面，以学生的面部朝向向量作为圆锥的轴线，根据学生面部朝向和身体朝向构建视线的视锥方程，准确计算学生视觉注意力落区为教学关注点的概率得分。
9.进一步地，步骤s1具体为，
10.01.筛选注视教学关注点的学生；
11.当教学关注点为黑板或屏幕时，根据学生的头部三维位置坐标、面部朝向和屏幕的边界点坐标，计算学生的视线落点是否在黑板或屏幕上；如果学生的视线落点在黑板或屏幕上，则认为学生在注视屏幕；
12.当教学关注点为教师时，以学生的面部朝向向量为轴线，以预设角度为圆心角画圆锥；若学生头部三维位置坐标与教师人体坐标点的连线在该圆锥内，则认为学生在注视教师；其中，所述预设角度大于12.5
°
；
13.02.当注视教学关注点的学生比例超过阈值ε
student
时，认定此视频帧有效；当连续有效视频帧数超过阈值ε
frame
时，认定此时间段有效。
14.进一步地，步骤s4中根据学生面部朝向和身体朝向构建视线的视锥方程具体为，
15.当学生头部朝向与身体朝向一致时，轴线与圆锥母线夹角为12.5
°
；当学生头部朝向与身体朝向的夹角变大时，圆锥的轴线与圆锥母线夹角线性变小；当学生头部朝向与身体朝向完全相反时，视锥为0。
16.进一步地，当教学关注点为多媒体屏幕或黑板时，学生视觉注意力落区为教学关注点的概率得分计算方法为，
17.利用计算学生i视觉注意力落区为教学关注点的概率得分；s
shadow
为视锥底面与多媒体屏幕或黑板重合部分面积，s
total
为视锥底面圆的面积；
18.当且学生的面部朝向在设定时间内没有变化，则认为学生视觉注意力落区为教学关注点的概率得分为0；
19.当学生i视觉注意力落区为教学关注点的概率得分计算公式为t为学生头部朝向保持时间；a为设定常数。
20.进一步地，当教学关注点为教师时，学生视觉注意力落区为教学关注点的概率得分计算方法为，
21.若教师为静止状态且其空间位置坐标位于视锥的底面圆内，或教师在走动且学生的面部朝向随着学生与教师的连线方向同方向发生变化，则学生i视觉注意力落区为教学关注点的概率得分为1。
22.进一步地，所述方法还包括，利用概率得分随时间突发降低前的数据，计算概率得分降低的总时长占当前总时间段时长的比例，当比例小于阈值ε
special
时，将该突发降低的概率得分滤除，得到学生视觉注意力落区为教学关注点的概率得分。
23.按照本发明的另一方面，还提供了一种智慧教室学生视觉注意力落区动态估计系统，包括：数据粗处理模块和学生视觉注意力落区估计模块；
24.数据粗处理模块，用于根据学生头部三维位置坐标和面部朝向，初步计算学生注视教学关注点的有效时间段；
25.学生视觉注意力落区估计模块，用于在学生注视教学关注点的有效时间段内，以教学关注点所在平面为圆锥底面，以学生的面部朝向向量作为圆锥的轴线，根据学生面部朝向和身体朝向构建视线的视锥方程，准确计算学生视觉注意力落区为教学关注点的概率
得分。
26.进一步地，数据粗处理模块执行过程为，
27.筛选注视教学关注点的学生：当教学关注点为黑板或屏幕时，根据学生的头部三维位置坐标、面部朝向和屏幕的边界点坐标，计算学生的视线落点是否在黑板或屏幕上；如果学生的视线落点在黑板或屏幕上，则认为学生在注视黑板或屏幕；当教学关注点为教师时，以学生的面部朝向向量为轴线，以预设角度为圆心角画圆锥；若学生头部三维位置坐标与教师人体坐标点的连线在该圆锥内，则认为学生在注视教师；其中，所述预设角度大于12.5
°
；
28.当注视教学关注点的学生比例超过阈值ε
student
时，认定此视频帧有效；当连续有效视频帧数超过一定阈值ε
frame
时，认定此时间段有效。
29.进一步地，学生视觉注意力落区估计模块执行以下处理，
30.构建视锥：当学生头部朝向与身体朝向一致时，轴线与圆锥母线夹角为12.5
°
；当学生头部朝向与身体朝向的夹角变大时，圆锥的轴线与圆锥母线夹角线性变小；当学生头部朝向与身体朝向完全相反时，视锥为0；
31.计算学生视觉注意力落区为教学关注点的概率得分：
32.当教学关注点为多媒体屏幕或黑板时，利用计算学生i视觉注意力落区为教学关注点的概率得分；s
shadow
为视锥底面与多媒体屏幕或黑板重合部分面积，s
total
为视锥底面圆的面积；当设定阈值，且学生的面部朝向在设定时间内没有变化，则认为学生视觉注意力落区为教学关注点的概率得分为0；当则学生i视觉注意力落区为教学关注点的概率得分计算公式为公式为t为学生头部朝向保持时间；a为设定常数；
33.当教学关注点为教师时，若教师为静止状态且其空间位置坐标位于视锥的底面圆内，或教师在走动且学生的面部朝向随着学生与教师的连线方向同方向发生变化，则学生i视觉注意力落区为教学关注点的概率得分为1。
34.进一步地，所述学生视觉注意力落区估计模块还包括特殊情况处理模块，其利用概率得分随时间突发降低前的数据，计算概率得分降低的总时长占当前总时间段时长的比例，当比例小于阈值ε
special
时，将该突发降低的概率得分滤除，得到学生视觉注意力落区为教学关注点的概率得分。
35.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
36.(1)现有研究大多基于人体头部姿态估计视线落区，一方面，由于摄像头精度、算法等原因，头部姿态估计存在固有误差；另一方面，由于在相同的头部姿态下，学生的眼球能够在一定范围内转动，学生人脸的面部朝向并不能等同于学生的视线方向，因此，从头部姿态估计到视线估计的假设不一定成立；为了降低检测学生视线落区估计的误差，本发明引入了视锥的概念；并且对于静态内容落区的场景如黑板、多媒体屏幕，和移动状态落区的
场景如教师采用不同规则计算其概率得分，可以降低视觉落区估计的误差。
37.(2)本发明考虑了智慧教室中教学关注点比较复杂的情况；基于教学关注点的多样性、考虑教学关注点的特性，例如考虑教师的动态性、黑板的面积性；本发明还考虑了学生视线中教学关注点数量变化的情况，具有实用意义。
38.(3)实际教学过程中，学生并不会长时间一直注视教学点，如可能会低头看一下课本，或者转头和学生进行短暂的知识讨论等，这些情况持续时间短暂，并不会影响学生的课堂注意力，本发明充分考虑了上述特殊情况，利用概率得分上下文信息将其忽略，提高了方法的鲁棒性。
39.(4)本发明提出的学生课堂注意力可视化方法可以直观地显示出学生视觉落区的可能位置，以及一段时间内学生的总体注意力情况。基于此教师可以了解上课时某学生的注意力随时间的变化，推断引起学生注意力和引起学生注意力发生变化的教学内容及刺激，教师也可以基于此了解学生的学习情况、教学效果，进而改进教学方法和教学过程，使学生更专注于课堂。教师还可以基于此判断学生的总体关注情况，例如对整个课堂的关注度，对单一教学关注点的关注度。
附图说明
40.图1为智慧教室俯视示意图。
41.图2为本发明提供的一种智慧教室学生视觉注意力落区动态估计方法流程图。
42.图3中(a)表示基于视锥判断学生i对屏幕的关注情况示意图，(b)表示基于视锥判断学生i对教师的关注情况示意图。
43.图4为学生的注意力落区注视概率得分时序图。
44.图5为一段时间内学生的注意力落区注视概率得分统计图。
具体实施方式
45.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
46.本发明提供了一种学生注意力落区估计方法，利用学生的视觉落区来反映学生的课堂注意力。视觉落区包括教师、屏幕、黑板等。为此，本技术方案不直接对学生注意力方向的误差进行校正，而将研究重点放在视觉注意力落区上。本方案不拘泥于学生注意力方向测算所关心的“学生看向什么”，而是通过检测注意力落区合理性和可信度的估计来回答“学生可能看过什么”，从而实现对存在固有误差的视线估计结果的有效利用。另外本发明还提出了一种学生注意力可视化方法，统计学生的时序注意力，可以直接助力于辅助教师教学。
47.如图2所示，本发明提供的一种智慧教室学生视觉注意力落区动态估计方法，该方法包括以下步骤：
48.s1.根据学生头部三维位置坐标和面部朝向，初步计算学生注视教学关注点的有效时间段；
49.具体地，包括：(1)采集智慧教室尺寸数据及教学过程中的课堂视频数据，并将数据上传至处理服务器。所述智慧教室尺寸数据为通过红外线传感器采集到的智慧教室及其讲台、黑板、多媒体屏幕等尺寸大小及其位置数据，用以构建智慧教室三维空间。所述课堂视频数据为智慧教室n个摄像头录制的视频数据，摄像头在智慧教室中轴线左右两侧对称部署，无遮挡地覆盖到所有的课堂成员，数据采集同步。
50.优选地，步骤s1中，智慧教室摄像头分布在教室上方四周的范围内，其至少有4个摄像头分布在教室屋顶4个角以保证至少有一个摄像头能拍摄到学生的面部信息。利用智慧教室具备多个摄像头的特点，可以从多个角度获得学生的头部朝向，避免单一摄像头中学生间相互遮挡或者学生背对摄像头导致无法识别其面部朝向情况，并且使用多个摄像头可以构建智慧教室三维空间，从而确定教师在学生区域中动态的移动轨迹。
51.(2)以一定时间间隔同步提取多个摄像头的视频帧得到视频帧集合，在此时间例中，时间间隔采用0.5s，对集合中不同摄像头的视频帧进行师生定位以及头部姿态识别，并进行数据融合，获得智慧教室三维空间师生坐标及面部朝向向量。
52.通过使用opencv库以及ocr技术识别视频帧中的起始时间戳，并以0.5s钟的时间间隔同步提取n个来自个摄像头录制的视频。使用张正友相机标定法对摄像头进行标定，获得摄像头内外参数用以构建三维空间。
53.使用img2pose深度神经网络模型检测视频中人脸中心点的像素坐标f
i，j，m
(u，v)和当前相机坐标系下面部朝向向量v
i，j，z
＝(x，y，z)，并使用facenet人脸识别技术确认师生身份。其中i为学生编号，j为摄像头编号。m代表教学关注点编号。
54.通过三角测量法，从n个摄像头录制的视频帧中获得师生三维空间位置坐标hi(t
x
，ty，tz)。通过坐标转换，检测出n个不同摄像头录制的视频帧中的面部朝向向量r
i，j，m
＝(r
x
，ry，rz)，并得到一个面部朝向向量集合v
i，m
＝{r
i，j，m
|1≤j≤n}，基于集成学习中每个检测分类器投票的思想，使集合中的每个元素参与投票以提升检测的精度和稳定性，最终融合出三维空间坐标系下学生面部朝向向量r
i，m，fusion
＝(r
x
，ry，rz)。基于人体骨架估测模型openpose得到学生身体朝向。
55.(3)使用步骤(2)中的检测结果粗略计算学生观看不同教学关注点的时间，确定学生注视教学关注点的有效时间段。
56.根据学生i的三维位置坐标和面部朝向向量、屏幕的边界点坐标，可以简单计算出学生i的视线落点是否在屏幕上，如果学生i的视线落点在屏幕上，则在粗略估计阶段认为学生i在注视屏幕。以学生的面部朝向为轴线，以15
°
为圆心角画圆锥，若学生坐标点与教师坐标点的连线在该圆锥内，则在粗略估计阶段认为学生i在注视教师。
57.当注视教学关注点的学生比例超过一定阈值ε
student
时，认定此视频帧有效。当连续有效视频帧数超过一定阈值ε
frame
时，认定此时间段有效。
58.s2.在学生注视教学关注点的有效时间段内，以教学关注点所在平面为圆锥底面，以学生的面部朝向向量作为圆锥的轴线，根据学生面部朝向构建视线的视锥方程，基于教学关注点在视锥内的情况计算学生在注视该内容物的概率得分。
59.进一步地，构建视线的视锥方程具体为：以学生头部位置为顶点、学生的面部朝向向量作为视锥的轴线、以固定角α为轴线与母线的夹角、高h作圆锥。
60.视锥的高h应足够大，以使作出的视锥至少穿过教室墙面。优选的，α＝12.5
°
。
61.有益效果：由于在相同的头部姿态下。学生的眼球能够在一定范围内转动，所以此时学生的视野是在一定角度范围内，因此为了降低检测学生是否在观察教学关注点的误差，本发明引入了视锥的概念。研究表明，人类肉眼可视角度通常为124度，当集中注意力观看时约为五分之一，即25
°
。优选的，α＝12.5
°
62.若视锥内只有一个静态关注点如图3中(a)所示：利用如图3中(a)所示：利用计算学生i视觉注意力落区为教学关注点的注视概率得分；s
shadow
为视锥底面与多媒体屏幕或黑板k重合部分面积，s
total
为视锥底面圆的面积；
63.若视锥内有多个静态关注点：
64.情形1：有1个静态教学关注点全部位于视锥内，则学生注视该静态关注点的概率得分为1，观看其他静态关注点的注视概率得分为0。
65.情形2：有1个以上静态关注点全部位于视锥内，分别计算各全部位于视锥内的静态关注点k的几何中心点距离视锥轴线的距离d
ik
，学生i注视静态关注点k的概率得分c
ik
与d
ik
成正比，学生注视所有静态教学关注点的注视概率得分之和为1。学生注视其他静态教学关注点的注视概率得分为0。
66.情形3：无静态关注点全部位于视锥内。分别对每个部分位于视锥内的静态关注点计算其在视锥内的面积s
ik
，学生注视静态关注点k的注视概率得分c
ik
与s
ik
成正比，学生注视所有静态教学关注点的注视概率得分之和为1。学生注视其他静态教学关注点的注视概率得分为0。
67.有益效果：智慧教室内有多个静态关注点，包括屏幕黑板等，位于教室的不同位置。另外，学生的座位摆放也比较多样化。因此学生与静态关注点的距离，静态关注点的大小比较多样化。需要分情况讨论，
68.当学生坐在前排时离黑板较近、或者离电子屏幕较近的情况下，视锥内只有一个静态关注点。
69.当学生坐在教室后排时，视锥内会出现多个静态关注点，而由于静态关注点表面积较大，又分静态关注点完全在视锥内和部分在视锥内两种情况。
70.若教师在视锥内，如图3中(b)，学生注视教师的注视概率得分为其中d
iteacher
表示教师位置坐标与视锥母线的距离；过教师坐标作一个平面与视锥母线相切，该切面与视锥相交的圆面的半径为r
′
。
71.有益效果：在实际测量时，教师的位置表示为一个点而不是一个面或者体，而学生的面部朝向向量为射线，三维空间中，一条射线与任意一点相交的概率为0。所以单单将学生的面部朝向作为视线方向时检测不出学生在注视教师的情况。在此引入视锥可以估测出学生可能在注视教师的情况。大部分情况下，人处于正视状态，即人的视线方向与面部朝向一致，使学生注视教师的概率得分与教师距视锥母线的距离即学生的面部朝向成正比，即教师距离视线中央越近，概率得分越高。
72.进一步的，若教师的位置发生变化，教师在走动，即学生i与教师的连线方向变化，学生i的面部朝向随着该连线同方向发生变化，则认为此段时间内学生在关注教师。学生关注其他教学关注点的注视概率得分为0。
73.有益效果：如果教师在走动，学生的视线跟着教师动，这说明学生很有可能在关注教师而不是其他教学关注点。在此段时间内，令学生关注教师的概率得分为1，观看其他静态关注点得分为0，符合实际情况。
74.进一步地，所述方法还包括，利用注视概率得分随时间突发变化的数据，计算概率得分降低或增加的总时长占当前总时间段时长的比例，当比例小于阈值ε
special
时，将该突发降低的概率得分滤除，得到学生视觉注意力落区为教学关注点的概率得分。
75.在实际教学过程中，学生并不会长时间一直注视教学点，如可能会低头看一下课本，或者转头和学生进行短暂的知识讨论等，这些情况持续时间短暂，并不会影响学生的课堂注意力，因此本发明将此类情况进行忽略，这样处理符合实际情况，具有实用意义。
76.基于上述方法，本发明实施例还提供了一种学生课堂教学注意力可视化分析方法；
77.在一段时间内，于每一时刻，基于所述学生注意力落区估计方法得到学生注视各教学关注点的注视概率得分，最终得到该得分随时间变化的曲线。如图4所示，横轴表示为时间t，纵轴包含教师和其他教学关注点，每一教学关注点对应纵轴的值为学生在时间t注视该教学关注点的注视概率得分。
78.有益效果：教师可以利用该图了解上课时某学生的注意力随时间的变化，推断引起学生注意力和引起学生注意力发生变化的教学内容及刺激，教师也可以基于此了解学生的学习情况、教学效果，进而改进教学方法和教学过程，使学生更专注于课堂。
79.在一段时间内，基于学生对教学关注点的注视概率得分的时序变化，将学生在此段时间内对各个教学关注点的注视概率得分进行平均，得到学生在这一段时间内对各教学关注点的平均注视概率得分，并进行可视化。如图5所示：横轴为各教学关注点，纵轴为在此段时间内学生对各教学关注点的平均注视得分。
80.有益效果：该图体现了学生在一段时间内注视各教学注点的总体情况，教师可以基于此判断学生的总体关注情况，例如对整个课堂的关注度，对单一教学关注点的关注度。
81.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。