基于图像分析的高校课堂氛围评价系统

1.本发明涉及一种基于图像分析的高校课堂氛围评价系统。


背景技术：

2.本科教育是高等教育的根和本，是高校“双一流”建设中的基石。高质量的本科教育离不开有效的教学质量保障体系。良好的课堂氛围是优质教学过程的一大表现，课堂氛围评价可以成为课堂质量评价的有效手段之一。当前的课堂氛围评价方法大多针对传统线下课堂教学，存在评价指标主观、评价时间后移等缺点，难以兼顾高校同步开展的线上线下课堂。


技术实现要素：

3.本发明提供了一种基于图像分析的高校课堂氛围评价系统解决上述提到的技术问题，具体采用如下的技术方案：
4.一种基于图像分析的高校课堂氛围评价系统，包含：
5.第一摄像头，用于采集线下课堂图像；
6.第二摄像头，用于采集线上课堂图像；
7.边缘服务器，用于接收第一摄像头采集到的线下课堂图像和第二摄像头采集到的线上课堂图像并对其进行处理和分析；
8.边缘服务器包含：
9.图像预处理单元，用于对接收到的线下课堂图像和线上课堂图像进行预处理；
10.图像检测分析单元，用于对预处理后的线下课堂图像和线上课堂图像进行分析得到学生的参与度与专注度。
11.进一步地，图像预处理单元包含：
12.第一预处理模块，用于对线下课堂图像进行分割。
13.进一步地，线下课堂图像的尺寸为16：9，第一预处理模块对线下课堂图像使用纵向3* 2
n-1-1条分割线，横向2
n-1条分割线进行等间隔分块；
14.通过横向分割线对线下课堂图像进行分割后，在提取每一个单独的小图像时，实际截取的小图像在纵向和横向方向上均超出分割线的实际分割范围。
15.进一步地，图像预处理单元还包含：
16.第二预处理模块，用于对线上课堂图像进行处理提取出其中的人脸区域。
17.进一步地，第二预处理模块首先将线上课堂图像转换为灰度图；
18.然后对灰度化后的线上课堂图像进行二值化；
19.在对二值化后的线上课堂图像进行轮廓提取并对提取到的轮廓生成最小外接矩形框；
20.对这些外接矩形框进行筛选保留矩形边相对于水平面近似平行或垂直的外接矩形框；
21.将这些外接矩形框从原始的线上课堂图像中裁剪出来；
22.通过人脸检测获取裁剪出的外接矩形框中的图像的人脸区域并提取出来；
23.调节提取出的人脸图片的尺寸。
24.进一步地，图像检测分析单元包含：
25.第一检测模块，用于通过ssd目标检测网络对第一预处理模块分割后的图像进行检测识别出学生的头部姿态，并以此计算出学生的参与度和专注度。
26.进一步地，图像检测分析单元还包含：
27.热力图生成模块，用于根据第一检测模块检测出的学生的参与度和专注度智能生成线下课堂氛围热力图。
28.进一步地，图像检测分析单元还包含：
29.第二检测模块，用于通过人脸关键点检测算法对第二预处理模块提取出的人脸图片进行人脸关键点检测，根据检测到的人脸关键点，利用相机参数、三维空间人脸关键点坐标位置和与之一一对应的图像平面人脸关键点坐标位置，通过n点透视求解的方法解出二维坐标点映射到三维模型时的变换矩阵，进而获得人脸三维欧拉角度，并根据获得的人脸三维欧拉角度对人脸图像中的人脸进行三维旋转。
30.进一步地，第二检测模块从提取出的人脸图片中提取出9个人脸关键点。
31.进一步地，边缘服务器还包含：
32.数据存储单元，用于保存图像检测分析单元的分析结果。
33.本发明的有益之处在于所提供的基于图像分析的高校课堂氛围评价系统，兼顾线上线下课堂场景，从学生参与度与专注度两大外显性指标入手，实时、客观地监控与反映课堂教学氛围的情况，为高校课堂评价的内源性发展提供了依据。
附图说明
34.图1是本发明的一种基于图像分析的高校课堂氛围评价系统的示意图；
35.图2是对图像进行分割的示意图；
36.图3是生成的热力图的示意图。
具体实施方式
37.以下结合附图和具体实施例对本发明作具体的介绍。
38.如图1所示为本技术的一种基于图像分析的高校课堂氛围评价系统，主要包含：智能摄像头和边缘服务器。其中，智能摄像头包含第一摄像头和第二摄像头。第一摄像头用于采集线下课堂图像。其布置在教师中。第二摄像头用于采集线上课堂图像。线上课堂由于一般使用钉钉、腾讯会议等软件进行，可以利用学生电脑自带的摄像头进行图像采集。边缘服务器用于接收第一摄像头采集到的线下课堂图像和第二摄像头采集到的线上课堂图像并对其进行处理和分析。具体地，边缘服务器包含：图像预处理单元、图像检测分析单元和数据存储单元。其中，图像预处理单元用于对接收到的线下课堂图像和线上课堂图像进行预处理。图像检测分析单元，用于对预处理后的线下课堂图像和线上课堂图像进行分析得到学生的参与度与专注度。
39.数据存储单元用于保存图像检测分析单元的分析结果。教师可以通过个人电脑来
查询数据库来了解课堂情况。本技术采用sqlserver完成数据库的管理。
40.边缘服务器指的是具有高性能的嵌入式设备。本专利使用的设备型号为华为昇腾 atlas200dk。实时采集的图像通过流媒体传输协议如rtsp协议(real time streamingprotocol)传输到边缘服务器中，之后对采集到的图像进行图像预处理。由于线上图像与线下图像的差别较大，因此针对线上和线下图像采取不同的图像预处理方式。
41.作为一种优选的实施方式，图像预处理单元包含：第一预处理模块。第一预处理模块用于对线下课堂图像进行分割。
42.具体而言，线下课堂的摄像头大多为2k分辨率，即摄像头拍摄的视频进行截帧处理后获得的静态图像大小为2560
×
1440像素。因为深度学习网络输入的大小要求均远小于摄像头所获得的静态图像大小，所以需要对图像进行分割或缩放。为了网络中的正方形卷积核可以获得对称的感受野，输入图像的形状大多为正方形。如果直接将摄像头获得的静态图像暴力地调整尺寸，图像将出现明显的变形，图像中绝大多数的人脸都将成为小目标(即目标尺寸小于32
×
32像素)，后续目标检测准确率将会明显下滑。因此缩放并不适合线下课堂的检测任务。最终选择对图像进行分割。
43.为了解决摄像头获取的静态图像与目标检测网络框架要求的输入图像间的尺寸不匹配，对摄像头获取的静态图像进行分块操作。在本技术中，线下课堂图像的长宽比为16：9，为了使得分块后小图尺寸近似于正方形，减少送入网络时的形变，第一预处理模块对线下课堂图像使用纵向3*2
n-1-1条分割线，横向2
n-1条分割线进行等间隔分块。如图2所示，在本技术中，取n＝1。对于清晰的摄像头获取的更大尺寸的原始静态图像，可以适度调大n进行等间隔图像分块。
44.为了保证切割线附近的人脸目标可以顺利检出，各块小图中需要保证重叠。因此，在本技术中，通过横向分割线对线下课堂图像进行分割后，在提取每一个单独的小图像时，实际截取的小图像在纵向和横向方向上均超出分割线的实际分割范围。如图2中的阴影部分所示。
45.作为一种优选的实施方式，图像预处理单元还包含：第二预处理模块。第二预处理模块用于对线上课堂图像进行处理提取出其中的人脸区域。
46.可以理解的是，线上图像通过软件获得，图像中包含了原本的操作界面等信息，此外还有大量的黑边，通过图像预处理来去掉这些无用的信息。线上课堂教学中，每一个学生都将对应独立一个小的窗格，将小窗格从原始数据集中裁剪切割出来。
47.具体而言，第二预处理模块首先将线上课堂图像转换为灰度图。然后对灰度化后的线上课堂图像进行二值化。在对二值化后的线上课堂图像进行轮廓提取并对提取到的轮廓生成最小外接矩形框。对这些外接矩形框进行筛选保留矩形边相对于水平面近似平行或垂直的外接矩形框。将这些外接矩形框从原始的线上课堂图像中裁剪出来。通过人脸检测获取裁剪出的外接矩形框中的图像的人脸区域并提取出来。调节提取出的人脸图片的尺寸为112
×
112像素。
48.课堂中，学生的身体姿态反映了学生的学习状态与专注度。常见的线下课堂学生身体姿态包括坐姿、站姿、举手等。与中小学课堂相比，高校课堂中的师生讨论、生生讨论形式更为自由，站立、举手等姿态占比极少。本技术的姿态识别仅针对坐姿进行识别。同时，受到教室人员密集、前后排同学相互遮挡等问题的影响，上身身体姿态不能完全地展现在摄
像机前。为了完成准确地标注，选取头部姿态来替代坐姿。该头部姿态还可以作为反馈教室内学生抬头率变化的基础指标，实现上课专注度情况分析的需求。由于正常授课时教师常在教室前侧，本专利将正视前方的头部姿态认定为学生专注时的头部姿态。具体头部姿态如表1所示。
49.表1头部姿态分类表
[0050][0051]
此外，线上图像中学生的分辨率明显大于线下课堂中学生的分辨率，线上图像中学生头部的大小明显大于线下头部的大小。因此针对这两种不同的图像，设计了两种不同的深度学习网络来进行头部姿态检测。这些深度学习网络均移植到边缘服务器上，即通过小型智能设备来完成图像的分析处理。
[0052]
在本技术中，图像检测分析单元包含：第一检测模块。
[0053]
第一检测模块用于通过ssd(single shot multibox detector)目标检测网络对第一预处理模块分割后的图像进行检测识别出学生的头部姿态，并以此计算出学生的参与度和专注度。具体地，对检测结果进行两类处理，分别获取学生的参与度情况和专注度情况。在学生参与度分析时，通过统计检测到的人脸数量与实际选课人脸数量、前一时刻的检测人脸数量进行对比，完成学生的出勤率统计。在学生专注度分析时，先获取头部姿态分类结果，再利用数学期望将离散的分类结果连续化，根据学生座位与教师摄像头的相对位置进行头部角度校准。
[0054]
作为一种优选的实施方式，图像检测分析单元还包含：热力图生成模块。
[0055]
如图3所示，热力图生成模块用于根据第一检测模块检测出的学生的参与度和专注度智能生成线下课堂氛围热力图。直观给予教师与教学督导线下课堂氛围评价的参考结果。
[0056]
线上课堂教学中，学生通过自己的手机或者电脑接入。学生提供的摄像头视频数据相对于线下课堂场景有人脸尺度大、人像清晰的优势。可以在人脸检测的基础上追加人脸关键点检测，更好地获得学生头部姿态，进行专注度分析。与线下课堂不同，由于线上课程场景中头部姿态是通过人脸关键点检测得到的，因此实际使用中只需要获得人脸检测框，不需要进行头部姿态的分类。
[0057]
作为一种优选的实施方式，图像检测分析单元还包含：第二检测模块。
[0058]
第二检测模块用于通过人脸关键点检测算法pfld(a practical facial landmarkdetector)对第二预处理模块提取出的人脸图片进行人脸关键点检测，根据检测到的人脸关键点，利用相机参数、三维空间人脸关键点坐标位置和与之一一对应的图像平面人脸关键点坐标位置，通过n点透视求解的方法解出二维坐标点映射到三维模型时的变换矩阵，进而获得人脸三维欧拉角度。根据获得的人脸三维欧拉角度对人脸图像中的人脸进行三维旋转，将角度示意图反馈给教师及教学督导。
[0059]
对于原始的学生示意标识图像进行处理。根据已知的欧拉角角度，将原图中的点
绕固定的x、y、z轴旋转分别旋转α、β、γ，旋转矩阵r与欧拉角的关系如式所示。
[0060][0061]
作为一种优选的实施方式，第二检测模块从提取出的人脸图片中提取出9个人脸关键点。具体而言，原始pfld中实现了68点的人脸关键点检测。然而，在线上课堂场景中，人脸关键点检测的最终目的是还原人脸的三维欧拉角度，判断学生的专注度情况。高密度的人脸关键点检测可以清晰地还原出人脸五官与轮廓，但在线上课堂场景下没有实现的必要。因此，本专利将pfld修改为9点的人脸关键点，在满足功能需求的情况下，进一步缩小模型体积，提升检测的效率。
[0062]
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。