一种自动识别学校实验教学过程中学生分组信息的方法与流程

1.本发明涉及学校实验教学技术领域，具体为一种自动识别学校实验教学过程中学生分组信息的方法。


背景技术：

2.近年来，中小学越来越注重学生的动手能力，教育局对于学校实验课的教学质量也越来越重视。在上实验课时，通常需要老师根据现场学生的数量、课桌位置以及上课状况来手动对学生进行分组。由于上课时，因实验关系可能会存在学生需要到处走动的情况，所以这种通过老师手动分组的管理方式，增加了老师的负担，学生分组效率低，降低了学生在实验课的学习效果与质量。
3.现有的技术中没有直接分析学校实验室视频流获得学生分组信息的技术，更多的是为了方便在线直播课学生的管理，而提出相关学生分组的技术，例如一种大班直播课讨论区学生分组的方法及系统(cn202110663538.0)，该方法是对直播课中的学生进行分组。在直播课开播前，学生在学生端进行直播课报名，学生端将报名信息上传至服务器，所述报名信息包括学生的姓名、学生id、报名的直播课名称和直播课id；服务器对报名直播课的学生进行分组时，统计报名的学生在以往参与的直播课中在讨论区发言的次数总和；发言的次数总和不为0的学生按发言的次数总和降序排列，发言的次数总和为0的学生则不参与排列，单独列出；然后按照直播课讨论区的管理老师人数确定学生分组数量，一个管理老师管理一个学生分组；轮流为每个学生分组分配参与排列的学生，每次分配均在参与排列的学生的队列中取第一个学生和最后一个学生，取过后将学生从队列中删除，直至参与排列的学生分配完毕；最后将未参与排列的学生轮流分配给各个学生分组，每次分配均取一个学生，直至所有学生都分配完毕，该类方法往往需要首先获取额外的统计信息，例如学生总人数、分组人数、发言次数、发言时常、发言轮数等，再根据这些统计信息进行分组，如果上述信息获取不够准确，则很容易出现错误分组的问题。
4.为此我们提出一种自动识别学校实验教学过程中学生分组信息的方法用于解决上述问题。


技术实现要素：

5.本发明的目的在于提供一种自动识别学校实验教学过程中学生分组信息的方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种自动识别学校实验教学过程中学生分组信息的方法，包括如下步骤：
7.s1、对监控视频流进行ai智能分析，建立ai目标检测模型；
8.s2、针对每个实验课教室，按照要求预定义一定数量的分组框，并计算每个学生的每个位置顶点坐标与每个预定义分组框的判定点的距离；
9.s3、根据学生位置与判定点的距离确定确定学生的分组。
10.优选的一种实施案例，步骤s1中，ai目标检测模型采用yolov5算法对视频图像进行检测，yolov5首先将视频图片缩放到统一的大小，然后将图片划分为nxn的网格，如果目标的中心点在某个网格中，则该网格以及该网格附近的网格对该目标进行预测；每个网格会输出目标的分类概率，能够反应目标是否存在的置信度，以及边框的偏移量，对于不同大小的目标框，首先会给每一个网格预定义一组锚框，然后将每个网格输出的边框偏移量与预定义的锚框进行计算得到最终的预测框。
11.优选的一种实施案例，对视频图像进行检测，包括检测该区间视频流中学生的人脸、人头、身体来进行分析，使用单帧图片进行作为神经网络的输入，输出人脸框、人头框、身体框在图像中的左上角右下角两个二维坐标(x1,y1，x2，y2)。
12.优选的一种实施案例，步骤s2中，得到每个学生位置框之后，由于一个位置框有四个顶点(xi1，yi1)，(xi1，yi2)，(xi2，yi1)，(xi2，yi2)，计算每个学生的每个位置顶点坐标与每个预定义分组框的判定点(取中心点)(xpj，ypj)的距离，其中i表示第i个学生，j表示第j个分组。
13.优选的一种实施案例，以欧几里得距离为例，假设预定义分组框有n个，这堂课m个学生，计算欧几里得距离得到形状为(m，4n)的矩阵，然后按照该矩阵第一维度计算最小值，该最小值属于哪一个预定义框，则该学生就是哪一组。
14.优选的一种实施案例，学生i与预定义框分组j的距离计算流程如下：
[0015][0016]
result(i，j)＝min(distance(i1，pj)，distance(i2，pj)，distance(i3，pj)，distance(i4，pj))
[0017]
其中distance(p1，p2)为计算的欧几里得距离结果，i1，i2，i3，i4为学生i的四个顶点坐标，pj是预定义的分组框的判定点；result(i，j)是学生i与分组j的最小距离。
[0018]
优选的一种实施案例，步骤s3中，确定学生的分组的判定方法为：找到学生与预定义分组框中心最小距离之后，再次判定该学生的位置坐标是否在该预定义分组框之内，如果在框内，则该学生分到该组；如果不在框内，则排除这个最小距离，而再次选取一个最小距离，再次判断，以此循环查找直到找到该学生分组为止。
[0019]
优选的一种实施案例，预定义的分组框为矩形或其他任意的多边形中的一种；预定义分组框判定点为中心点或分组框内其他任意点。
[0020]
本发明的有益效果在于：
[0021]
1、本发明是首个基于学校视频流进行实时分析，对学生进行分组的技术，并且不需要获取并处理其他统计信息来判断分组，直接对视频流进行分析，根据视觉直接对学生分组，准确率更高，整个流程也是端到端自动化，仅需要对实验教室进行一次预定义分组框的设定，之后便一切自动化，ai模型自动对该区间进行分析，得到分析的学生位置信息结果，分析每个学生每个位置信息的归属问题并计算到预定义分组框的距离，从而完成学生自动分组，整个流程除了预定义的分组框，一切自动化；
[0022]
2、每个教室仅需要定义一次分组框，所以整个流程十分简单方便，本发明整个流程运行速度极快，能够在边缘设备上对多路实时视频流进行实时分析；
[0023]
3、由于本发明是对监控视频流进行分析，要有监控视频流即可实现高效高精度的
实时分析，能够直接接入学校原有的视频监控进行分析，扩展性强，为学校学生实验课的监督提供了良好的工具与环境。
附图说明
[0024]
图1为本发明实施例提供的一种自动识别学校实验教学过程中学生分组信息的方法中的分组易错情况。
[0025]
图2为本发明设定预定义框示意图。
[0026]
图3为本发明整体流程图。
[0027]
图4为本发明iou计算两个边框的重叠程度示意图。
[0028]
图5为本发明yolov5预测流程示意图。
具体实施方式
[0029]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0030]
实施例：如图1至图5所示，本发明提供了一种自动识别学校实验教学过程中学生分组信息的方法，对学校实验室监控视频流进行ai智能分析，根据上实验课时的学生入座情况自动分组，便于教师上课管理。具体流程为：首先我们为实验课教室预定义分组数和分组位置框，在实验课开课后，我们使用ai模型分析视频每一帧，得到每个学生的位置信息，再计算每个学生到预先定义分组位置框的距离，选取最近的预定义位置为该学生的组，包括如下步骤：
[0031]
s1、对监控视频流进行ai智能分析，建立ai目标检测模型；
[0032]
s2、针对每个实验课教室，按照要求预定义一定数量的分组框，并计算每个学生的每个位置顶点坐标与每个预定义分组框的判定点的距离；
[0033]
s3、根据学生位置与判定点的距离确定确定学生的分组。
[0034]
进一步的，步骤s1中，ai目标检测模型采用yolov5算法对视频图像进行检测，当然可用在本发明中的目标检测算法包括但不限于yolov5，yolov5采用cspnet结构作为图像特征提取器，能够在保持精度的情况下减少模型的参数量以及计算量；包含自底向上与自顶向下结构的多层金字塔网络panet，融合多尺度特征图的信息，高层高级语义的信息与低层纹理信息的融合，能够适应尺度不一的目标；
[0035]
yolov5首先将视频图片缩放到统一的大小，然后将图片划分为nxn的网格，如果目标的中心点在某个网格中，则该网格以及该网格附近的网格对该目标进行预测；每个网格会输出目标的分类概率，能够反应目标是否存在的置信度，以及边框的偏移量，对于不同大小的目标框，首先会给每一个网格预定义一组锚框，然后将每个网格输出的边框偏移量与预定义的锚框进行计算得到最终的预测框，由于该方法是将图片划分为nxn的网格进行目标的预测，并且每个网格都要输出目标的分类概率，置信度以及边框偏移量。因此网络的输出是稠密的，但一般来说图像中的目标比较少，所以得到网络输出之后需要对稠密的预测输出进行筛选，置信度能够反应该物体是否在该网格，因此先设置一个置信度阈值，过滤掉
那些低置信度的输出；然后由于预测框十分的多并且框与框之间的重叠程度也很高，因此采用非极大值抑制nms算法将多于的框去除掉。其中非极大值抑制首先将预测框按照置信度的大小从高到低排序，然后计算每个框之间的iou值。然后根据置信度与iou值对重叠的框进行筛选，如果两个框的iou值大于一个阈值，则保留置信度较高的框，这样操作直到遍历所有的预测框，最终的剩下的边框就是目标预测框。yolov5预测流程如图5所示。
[0036]
进一步的，iou是计算两个边框的重叠程度方法，iou由两个边框的交集比上并集计算所得，如图4所示，边框1和边框2为并集，重叠区域为交集，二者的比值就是两个边框的iou值。
[0037]
进一步的，对视频图像进行检测，包括检测该区间视频流中学生的人脸、人头、身体来进行分析，使用单帧图片进行作为神经网络的输入，输出人脸框、人头框、身体框在图像中的左上角右下角两个二维坐标(x1，y1，x2，y2)，模型经过优化，运行速度十分快，在边缘设备上达到10ms以内的延时，能够实时的分析视频流的每一帧。
[0038]
进一步的，步骤s2中，得到每个学生位置框之后，由于一个位置框有四个顶点(xi1，yi1)，(xi1，yi2)，(xi2，yi1)，(xi2，yi2)，计算每个学生的每个位置顶点坐标与每个预定义分组框的判定点(取中心点)(xpj，ypj)的距离，其中i表示第i个学生，j表示第j个分组。
[0039]
进一步的，以欧几里得距离为例，假设预定义分组框有n个，这堂课m个学生，计算欧几里得距离得到形状为(m，4n)的矩阵，然后按照该矩阵第一维度计算最小值，该最小值属于哪一个预定义框，则该学生就是哪一组。
[0040]
进一步的，学生i与预定义框分组j的距离计算流程如下：
[0041][0042]
result(i，j)＝min(distance(i1，pj)，distance(i2，pj)，distance(i3，pj)，distance(i4，pj))
[0043]
其中distance(p1，p2)为计算的欧几里得距离结果，i1，i2，i3，i4为学生i的四个顶点坐标，pj是预定义的分组框的判定点；result(i，j)是学生i与分组j的最小距离。
[0044]
进一步的，步骤s3中，在实际过程中，由于该al模型是使用单帧二维图片作为输入，因此只能分析二维信息得到二维坐标位置。而现实生活中场景是三维的，实验室中每个学生身高不同，监控视频流画面中也存在学生距离远近问题。这对根据al模型预测框与预定义分组框判定点的距离来判断分组的方法会带来误差影响。并且基于单帧分析的al模型对于视频流中连续的变化不能够很快适应，所以预测的二维坐标会存在一定范围的波动。据统计，大部分实验课上课时学生是围着课桌入座，所以两个课桌之间的两排学生由于上面提到的身高、距离、坐标波动等问题，会变得难以分组，这两排的学生可能会在这两个课桌分组之间来回徘徊(如图1所示)。针对这个问题，确定学生的分组的判定方法为：找到学生与预定义分组框中心最小距离之后，再次判定该学生的位置坐标是否在该预定义分组框之内，如果在框内，则该学生分到该组；如果不在框内，则排除这个最小距离，而再次选取一个最小距离，再次判断，以此循环查找直到找到该学生分组为止。
[0045]
进一步的，计算距离方法包括但不限于欧几里得距离，还可以是l1距离。
[0046]
进一步的，预定义的分组框为矩形或其他任意的多边形中的一种，优选为矩形，如
图2所示，所示教室中，实线小框为一个课桌，对应的虚线为我们设定的预定义框，学生是围绕着课桌座的，对于每一个课桌设定一个预定义框。图中仅以一个虚线预定义框为例；预定义分组框判定点为中心点或分组框内其他任意点。
[0047]
综上所述，本发明是首个基于学校视频流进行实时分析，对学生进行分组的技术，并且不需要获取并处理其他统计信息来判断分组，直接对视频流进行分析，根据视觉直接对学生分组，准确率更高，整个流程也是端到端自动化，仅需要对实验教室进行一次预定义分组框的设定，之后便一切自动化；ai模型自动对该区间进行分析，得到分析的学生位置信息结果，分析每个学生每个位置信息的归属问题并计算到预定义分组框的距离，从而完成学生自动分组，整个流程除了预定义的分组框，一切自动化；并且每个教室仅需要定义一次分组框，所以整个流程十分简单方便。本发明整个流程运行速度极快，能够在边缘设备上对多路实时视频流进行实时分析。由于本发明是对监控视频流进行分析，所以只要有监控视频流即可实现高效高精度的实时分析，能够直接接入学校原有的视频监控进行分析，扩展性强，为学校学生实验课的监督提供了良好的工具与环境。
[0048]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。