课堂前排就座率自动检测方法、系统及存储介质与流程

1.本发明涉及ai 教育技术领域，具体而言，尤其涉及一种课堂前排就座率自动检测方法、系统及存储介质。


背景技术：

2.现有技术在统计教室前排就座率时，多采用教务老师观看录像，进行人工统计的方式，费时费力；此外，也有在教室座椅上安装传感器实现前排就座率统计的方式，该方法准确度高，但是硬件成本高，不利于实际应用。


技术实现要素：

3.根据上述提出的如何实现前排就座率的自动计算的技术问题，提供一种课堂前排就座率自动检测方法、系统及存储介质。本发明主要利用将ai技术与教育理论相结合，提出利用视觉人工智能算法实现对教室前排区域的检测，结合人头检测算法完成前排就坐率的自动计算。
4.本发明采用的技术手段如下：
5.一种课堂前排就座率自动检测方法，包括：
6.接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；
7.采用训练完成的u-net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；
8.对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；
9.获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；
10.确定前排区域后，采用人头检测算法，统计班级内总人数t以及前排区域内检测到的学生人数t，计算前排就座率，即为t/t。
11.进一步地，所述采用训练完成的u-net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置，包括：
12.采用u-net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成u-net深度学习分割网络的训练。
13.进一步地，所述采用u-net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成u-net深度学习分割网络的训练，包括：
14.对数据进行标记，标记过程如下：
15.基于分割任务对座位区域进行了相应标记，座位区域像素标记类别为1，其他区域像素标记类别为0；
16.对于每张图片使用8个点，分别为点1、点2、点3、点4、点5、点6、点7、点8来标记座位区域角点位置，当座位区域完全在视频监控画面中时，座位区域的四个角点分别对应两个
标记点，当座位区域的实际角点超越监控画面时，则标记角点标记在座位区域与监控画面边界的交点处；
17.数据标记完成后，开始训练u-net深度学习分割网络，训练过程如下：
18.将u-net深度学习分割网络通过反复迭代的方式从已标记数据中习得对未标记数据进行自动标记的能力。
19.进一步地，所述数据标记的顺序以左上角点起始按顺时针旋转。
20.进一步地，所述u-net深度学习分割网络采用改进的u-net深度学习分割网络，用于增加角点位置预测分支，使得单个网络模型能够同时作为区域分割或区域角点预测，方便后续处理。
21.进一步地，所述对获取的视频画面图像中的座位区域及座位区域角点位置进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃，包括：
22.在获取视频画面图像中的座位区域及座位区域角点位置后，分别点2和点3、点4和点5、点6和点7以及点8和点1连线并延长，四条线段的延长线交点即为根据改进的u-net深度学习分割网络预测的角点确定的座位区域s1；
23.同时，unet深度学习分割网络分割支路会预测监控画面中哪些像素位置属于座位区域，对这些像素进行膨胀腐蚀操作后，保留最大连通区域即得到由分割结果确定的座位区域s2；
24.如果网络的预测结果与实际偏差较小时，则s1、s2的面积及位置相近，计算s1与s2面积交集和s1与s2面积并集，再计算面积交集与面积并集相除的值与阈值0.65比较，若该值大于阈值，则接收预测结果，否则预测失败；
25.在预测结果接收后，令监控画面输入图像的四角坐标确定的区域为s3，根据s1与s3的四个对应角点的位置关系获得透视变化矩阵，将座位区域s1由不规则四边形矫正为规则长方形s4，方便后续的处理。
26.进一步地，所述人头检测算法具体为：
27.使用卷积神经网络将教室监控画面映射为维度固定的矩阵，通过对矩阵元素的解码与过滤，获得监控画面中学生人头的位置以及数量。
28.一种基于上述课堂前排就座率自动检测方法的课堂前排就座率自动检测系统，包括：
29.视频数据接收模块，用于接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；
30.座位区域与座位区域角点检测模块，用于采用训练完成的u-net深度学习分割网络对所述视频数据接收模块拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；
31.识别结果判断与座位区域矫正模块，用于对所述座位区域与座位区域角点检测模块得到的u-net深度学习分割网络预测的结果进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；
32.前排区域提取模块，用于所述识别结果判断与作为区域矫正模块获得所述规则四
边形区域后，根据选择的位置阈值确定前排区域；
33.前排就座率计算模块，用于所述前排区域提取模块确定前排区域后，采用已开发人头检测算法，统计班级内总人数t以及前排区域内检测到的学生人数t，计算前排就座率，即为t/t。
34.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机指令集；所述计算机指令集被处理器执行时实现如上述的课堂前排就座率自动检测方法。
35.较现有技术相比，本发明具有以下优点：
36.本发明将ai技术与教育理论相结合，提出利用视觉人工智能算法实现对教室前排区域的检测，结合人头检测算法完成前排就坐率的自动计算。该系统能够量化教育过程，用于反映教学质量，辅助学校的教学质量评估工作。从技术角度本系统能够自动识别前排区域，计算前排就座率。避免了人工统计的麻烦，且能够接入学校监系统，实时反馈教学情况。
37.基于上述理由本发明可在ai 教育等领域广泛推广。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明提供的一种课堂前排就座率自动检测方法流程图。
40.图2为本发明提供的座位区域角点位置的8个节点示意图。
41.图3为本发明提供的根据改进的u-net深度学习分割网络预测的角点确定的座位区域s1。
42.图4为本发明提供的原始的u-net深度学习分割网络结构图。
43.图5为本发明提供的改进的u-net深度学习分割网络结构图。
44.图6为本发明提供的确定的前排区域。
45.图7为本发明提供的一种课堂前排就座率自动检测系统框图。
具体实施方式
46.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
47.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
48.本发明提供了一种对高校教师的教学质量自动评价的方法和应用系统，即能够读取线下课堂监控视频，自动识别上课过程中坐在教室前排区域的学生数目，并计算前排就座同学占所有上课同学的比例，称这个比例为前排就座率。前排就坐率是评价高校教师质量的一种重要方式，本发明使用人工智能技术，解决了前排就座率的自动计算问题，该方法具体包括：接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；采用训练完成的u-net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；对u-net深度学习分割网络预测的结果进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；确定前排区域后，采用人头检测算法，统计班级内总人数t以及前排区域内检测到的学生人数t，计算前排就座率，即为t/t。
49.一种课堂前排就座率自动检测方法，如图1所示，包括：
50.步骤1：接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；
51.步骤2：采用训练完成的u-net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；
52.在本实施中，采用改进的u-net深度学习分割网络同时完成座位区域分割与座位区域角点检测，基于多任务训练的方式完成u-net深度学习分割网络的训练。具体的：
53.201、对数据进行标记，本实施例中，收集了教室监控画面图像1000余张，并对数据进行标记，标记过程如下：
54.为了实现多任务训练，使用单一网络同时实现座位区域的分割与座位区域角点检测，在数据标记过程中，首先基于分割任务对座位区域进行了相应标记，座位区域像素标记类别为1，其他区域像素标记类别为0；
55.为了标记作为区域角点实现作为区域检测及前排区域的计算，采用了特殊的标记规则，即对于每张图片使用8个点，分别为点1、点2、点3、点4、点5、点6、点7、点8来标记座位区域角点位置，当座位区域完全在视频监控画面中时，座位区域的四个角点分别对应两个标记点，当座位区域的实际角点超越监控画面时，则标记角点标记在座位区域与监控画面边界的交点处；在本实施例中，数据标记的顺序以左上角点起始按顺时针旋转。具体标记方式，如图2、3所示。
56.202、数据标记完成后，开始训练改进的u-net深度学习分割网络，训练过程如下：
57.将改进的u-net深度学习分割网络通过反复迭代的方式从已标记数据中习得对未标记数据进行自动标记的能力。本发明使用改进的unet作为基础网络实现座位区域分割与座位区域角点检测，原始的unet深度学习分割网络结构如图4所示，改进后的深度学习分割网络结构如图5所示，改进的目的是增加角点位置预测分支，使得单个网络模型能够同时时间作为区域分割以及作为区域角点预测，方便后续的处理。
58.步骤3：对u-net深度学习分割网络预测的结果进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；
59.301、在获取视频画面图像中的座位区域及座位区域角点位置后，分别点2和点3、
点4和点5、点6和点7以及点8和点1连线并延长，四条线段的延长线交点即为根据改进的u-net深度学习分割网络预测的角点确定的座位区域s1；
60.302、同时，unet深度学习分割网络分割支路会预测监控画面中哪些像素位置属于座位区域，对这些像素进行膨胀腐蚀操作后，保留最大连通区域即得到由分割结果确定的座位区域s2；
61.303、如果网络的预测结果与实际偏差较小时，则s1、s2的面积及位置相近，计算s1与s2面积交集和s1与s2面积并集，再计算面积交集与面积并集相除的值与阈值0.65比较，若该值大于阈值，则接收预测结果，否则预测失败；
62.304、在预测结果接收后，令监控画面输入图像的四角坐标确定的区域为s3，根据s1与s3的四个对应角点的位置关系获得透视变化矩阵，将座位区域s1由不规则四边形矫正为规则长方形s4，方便后续的处理。
63.步骤4：获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；如前后位置上靠前25％长度的区域定义为前排区域，示例如图6所示。
64.步骤5：确定前排区域后，采用人头检测算法，统计班级内总人数t以及前排区域内检测到的学生人数t，计算前排就座率，即为t/t。所述人头检测算法原理与目标检测算法类似，使用卷积神经网络将教室监控画面映射为维度固定的矩阵，通过对矩阵元素的解码与过滤，获得监控画面中学生人头的位置以及数量。本发明所使用人头检测算法为基于改进的yolov5检测算法，且使用公司私有数据集训练，具体改进细节为在算法原基础之上降低了卷积层数目与整体卷积通道宽度，取消检测目标类别分类损失项等。
65.一种基于上述课堂前排就座率自动检测方法的课堂前排就座率自动检测系统，包括：视频数据接收模块，座位区域与座位区域角点检测模块，识别结果判断与座位区域矫正模块，前排区域提取模块，以及前排就座率计算模块，其中：
66.视频数据接收模块，用于接收教室监控的视频画面图像，并将视频画面图像拆分成图像序列；
67.座位区域与座位区域角点检测模块，用于采用训练完成的改进u-net深度学习分割网络对拆分后的图像序列进行预测，获取视频画面图像中的座位区域及座位区域角点位置；
68.识别结果判断与座位区域矫正模块，用于对u-net深度学习分割网络预测的结果进行后处理，并检验预测结果是否可信，若检测结果可信，则对角点坐标确定的座位区域四边形进行透视变换矫正，矫正后座位区域变为规则四边形区域；若检测结果不可信，则放弃；
69.前排区域提取模块，用于获得所述规则四边形区域后，根据选择的位置阈值确定前排区域；
70.前排就座率计算模块，用于确定前排区域后，采用已开发人头检测算法，统计班级内总人数t以及前排区域内检测到的学生人数t，计算前排就座率，即为t/t。
71.对于本发明实施例的而言，由于其与上面实施例中的相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
72.本技术实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的课堂前排
就座率自动检测方法。
73.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
74.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
75.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
76.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
77.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。