智慧课堂答题识别统计方法、网络设备及存储介质与流程

1.本技术涉及通讯设备技术领域，尤其涉及智慧课堂答题识别统计方法、网络设备及存储介质。


背景技术：

2.随着互联网技术与人工智能技术的发展，相对传统的粉笔板书课堂、多媒体课堂和屏上互动课堂来说，智慧互动课堂能更好的实现教学互动，教学效果好。现有的智慧互动课堂包括pad智慧课堂、纸笔智慧课堂、反馈器智慧课堂，以及基于机器视觉的智慧课堂。基于机器视觉的智慧课堂老师在云屏上展示题目，学生通过答题卡答题，并通过机器视觉采集答题信息并返回给老师。
3.目前机器视觉的智慧课堂只能统计学生举手答题的人数，展示学生答题积极性，但无法判断学生答题的情况，智能程度不高，对老师人为操作的依赖性较大，而且老师在课堂上在线统计需要耗费较多时间，影响课程进度。


技术实现要素：

4.为了克服相关技术中存在的问题，本技术提供了智慧课堂答题识别统计方法、网络设备及存储介质。
5.根据本技术实施例第一方面智慧课堂答题识别统计方法，包括：
6.获取人员答题场景图片；
7.识别人员答题场景图片中的人形区域并进行提取；
8.识别人形区域中的人脸区域并进行提取；
9.识别答题场景图片中的卡片区域并进行提取；
10.将识别提取出的人形区域、人脸区域以及卡片区域相关联；
11.通过人脸区域识别人员身份信息；
12.通过卡片区域识别卡片上的答题信息并进行统计。
13.优选的，将识别提取出的人形区域、人脸区域以及卡片区域相关联包括将人形区域与人脸区域相关联，以及将人形区域与卡片区域相关联。
14.进一步地，将人形区域与人脸区域相关联，包括：
15.预先设置有人形区域与人脸区域的面积相交比例阈值；
16.将人脸区域与人形区域的对应部分相交；
17.将人形区域与人脸区域相交比例超过面积相交比例阈值且相交比例最大的相关联。
18.将人形区域与卡片区域相关联，包括：
19.预先设置有人形区域与卡片区域的面积相交比例阈值；
20.获取人形区域中卡片的坐标以及卡片区域的坐标；
21.筛选出人形区域中卡片坐标与卡片区域的坐标差距在设定接受度范围内的人形
区域与卡片区域；
22.将筛选出的卡片区域与人形区域的对应部分相交；
23.将人形区域与卡片区域相交比例超过面积相交阈值且相交比例最大的相关联。
24.优选的，识别人员答题场景图片中的人形区域并进行提取，包括：
25.获取人员答题场景图片样本；
26.对人员答题场景图片样本中的人形进行框标记；
27.将带有框标记的人员答题场景图片样本输入到人形检测模型中进行模型的学习训练；
28.获取人员答题场景检测图片，输入人形检测模型中进行检测，识别人形区域并进行提取。
29.进一步地，识别人形区域还包括获取人形区域中人形特征点和/或人脸特征点和/或卡片特征点的坐标。
30.进一步地，将带有框标记的人员答题场景图片样本进行模型学习训练之前进行图像增强，扩大训练样本。
31.优选的，识别答题场景图片中的卡片区域并进行提取，包括：
32.获取人员答题场景图片样本；
33.对人员答题场景图片样本中的卡片区域进行框标记；
34.将带有框标记的人员答题场景图片样本输入到卡片检测模型中进行模型的学习训练；
35.获取人员答题场景检测图片，输入卡片检测模型中进行检测，识别卡片区域并进行提取。
36.进一步地，将带有框标记的人员答题场景图片样本进行模型学习训练之前进行图像增强，扩大训练样本。
37.本技术实施例第二方面提供了网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行上述智慧课堂答题识别统计方法。
38.本技术实施例第三方面存储介质，其上存储有计算机程序指令，其特征在于，程序指令被处理器执行时用于实现权上述智慧课堂答题识别统计方法。
39.本技术实施例提供的技术方案可以包括以下有益效果：
40.本技术实施例中智慧课堂可在线智能识别人员卡片和统计卡片信息，有利于实时统计学生答题情况，掌握学生学习情况，教学互动性强，教学进度快。
41.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
42.此处的附图被并入申请中并构成本技术的一部分，示出了符合本技术的实施例，并与申请一起用于解释本技术的原理。
43.图1是本技术方法流程示意图；
44.图2是本技术人形区域与人脸区域相关联流程示意图；
45.图3是本技术人形区域与卡片区域相关联流程示意图；
46.图4是本技术人形区域识别和提取方法流程示意图；
47.图5是本技术卡片区域区别和提取方法流程示意图。
具体实施方式
48.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
49.为解决背景技术存在的问题，本技术实施例提供了智慧课堂答题识别统计方法，如图1所示，包括：
50.获取人员答题场景图片；
51.识别人员答题场景图片中的人形区域并进行提取；
52.识别人形区域中的人脸区域并进行提取；
53.识别答题场景图片中的卡片区域并进行提取；
54.将识别提取出的人形区域、人脸区域以及卡片区域相关联；
55.通过人脸区域识别人员身份信息；
56.通过卡片区域识别卡片上的答题信息并进行统计。
57.由于识别的人形区域图片大小有限制，因此有可能导致卡片不在人形区域图片内，因此识别卡片区域图片需要从场景图片中重新获取。本技术实施例中步骤并不一定如前述所示步骤，例如识别提取卡片区域也可位于识别人形区域之前或同时等。在这里只做举例，不做详述。
58.本技术实施例中智慧课堂可在线智能识别人员卡片和统计卡片信息，有利于实时统计学生答题情况，掌握学生学习情况，教学互动性强，教学进度快。
59.本技术实施例中识别人员答题场景图片中的人形区域并进行提取，如图4所示，包括：
60.获取人员答题场景图片样本；
61.对人员答题场景图片样本中的人形进行框标记；
62.将带有框标记的人员答题场景图片样本输入到人形检测模型中进行模型的学习训练；
63.获取人员答题场景检测图片，输入人形检测模型中进行检测，识别人形区域并进行提取。在这里可同时获取到人形区域中人形区域中人形特征点和/或人脸特征点和/或卡片特征点的坐标。这里人形或人脸的特征点可以是人形识别或人脸识别的若干个关键点，也可以是确认的一个点。卡片特征点可以是卡片顶点坐标也可以是中心点坐标。
64.在这里，对人形进行框标记，可以是矩形框，也可以是圆形框等，不做限制。可以是手工标记，也可以是工具标记。另外为了增强人形检测模型识别的准确性，需要扩大样本数量，本技术实施例考虑到人形检测过程中人所站角度、姿势等的影响，可通过对样本图片进行增强方式增加样本图片的数量。比如调整环境亮度和比对度等操作。另外本技术中的人形检测模型可以是yolvo5的多目标检测模型，当然也可以是实现相同功能的其他学习模
型，在此不做赘述。
65.人脸区域检测与提取的方法可采用与人形区域相同的方式，区别仅在于检测的是上述获取的人形区域图片。
66.卡片区域检测与提取方法，如图5所示，包括：
67.获取人员答题场景图片样本；
68.对人员答题场景图片样本中的卡片区域进行框标记；
69.将带有框标记的人员答题场景图片样本输入到卡片检测模型中进行模型的学习训练；
70.获取人员答题场景检测图片，输入卡片检测模型中进行检测，识别卡片区域并进行提取。
71.由于卡片区域在人员答题场景图片中占比较小，所以采用针对小目标检测yolov5多目标检测模型进行检测。另外本技术中的卡片检测模型可以是yolvo5的多目标检测模型，当然也可以是实现相同功能的其他学习模型，在此不做赘述。另外由于用户举卡片有可能存在卡片倒立、倾斜等问题，因此需要对图像进行图片旋转的数据增强方式识别不同角度的卡片区域。此外由于用户距离摄像头较远的情况下学生答题卡片不好识别，且会存在遮挡和重叠的问题。因此需要考虑采用马赛克的方式进行数据增强。
72.上述实施例中对人形区域、人脸区域以及卡片区域进行识别之前首先需要进行深度的学习训练。因此需要将各种样本输入到pytorch的深度学习框架进行检测算法模型的训练。
73.另外由于学习模型和检测模型对于输入图片的尺寸有要求，因此需要对获取到的图片尺寸进行调整。在这里可通过双线性插值方法将图片尺寸调整到人形检测、人脸检测以及卡片输入要求的尺寸。
74.本技术实施例中将识别提取出的人形区域、人脸区域以及卡片区域相关联，包括将人形区域与人脸区域进行关联，将人形区域与卡片区域进行关联。本技术实施例中有关人形区域与人脸区域相关联的方法，如图2所示，包括：
75.预先设置有人形区域与人脸区域的面积相交比例阈值；
76.将人脸区域与人形区域的对应部分相交；
77.将人形区域与人脸区域相交比例超过面积相交比例阈值且相交比例最大的相关联。
78.上述方法的步骤不一定按照所写顺序，例如预设人形区域与人脸区域的面积相交比例阈值，可设置在本技术智慧课堂答题识别统计方法中的初始或其他地方，并不一定在将人形区域与人脸区域进行关联的时候。
79.将人形区域与卡片区域相关联，如图3所示，包括：
80.预先设置有人形区域与卡片区域的面积相交比例阈值；
81.获取人形区域中卡片的坐标以及卡片区域的坐标；
82.筛选出人形区域中卡片坐标与卡片区域的坐标差距在设定接受度范围内的人形区域与卡片区域；
83.将筛选出的卡片区域与人形区域的对应部分相交；
84.将人形区域与卡片区域相交比例超过面积相交阈值且相交比例最大的相关联。
85.上述两处的阈值可以是大于面积相交大于60％，或者80％等，以实际设置要求为准。坐标差距可以通过数据处理的方式，例如计算坐标之前的方差或坐标查平均值等的方式得到。接受度指的是坐标差距，即两个坐标直接的距离在设定的接受度的范围内表示是识别或提取误差等原因导致，因此可忽略。若不在接受度范围内，表示不是同一物体。
86.上述方法的步骤不一定按照所写顺序，例如预设人形区域与卡片区域的面积相交比例阈值，可设置在本技术智慧课堂答题识别统计方法中的初始或其他地方，并不一定在将人形区域与卡片区域进行关联的时候。
87.在上述人形与人脸相交以及人形与卡片相交阈值判断中，人脸图片的尺寸与从人形区域中获取的同大，卡片图片的尺寸与从人形区域中获取的也同大。
88.通过上述方式即可实现人形区域—人脸区域—卡片区域的关联。
89.通过人脸区域识别人员身份信息，包括例如通过resnest50多分类人脸识别的深度学习模型对识别出的人脸区域图片进行检测识别出人员身份信息。具体来说，先将采集到的多张人脸图片集作为人脸识别标准对比模板，标准对比模板包含每个人脸所对应的身份信息，例如学生姓名、性别、学生号等。然后将识别的人脸区域图片与标准对比模板进行比对，通过resnest50多分类人脸识别的深度学习模型识别出具体的身份信息。
90.通过卡片区域识别卡片上的答题信息并进行统计，包括识别出的卡片区域通过efficientnet多分类的深度学习模型等识别出对卡片类别信息，把卡片类别信息跟卡片区域进行一一映射关联。通过已训练好的卡片检测模型对卡片区域进行识别提取，并对提取的区域中需要统计成绩的位置进行标记，比如选择题区域a、b、c、d，判断题区域：√、x。然后通过pytorch的深度学习框架进行例如efficientnet的深度学习模型的训练，将识别的成绩进行统计，并与前期识别的学生身份信息进行关联。
91.本技术实施例第二方面还提供了网络设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行包括上述智慧课堂答题识别统计方法。这里的网络设备可以是智慧(ai)屏。
92.本技术第三方面提供了存储介质，其上存储有计算机程序指令，其特征在于，程序指令被处理器执行时用于实现上述智慧课堂答题识别统计方法。
93.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
94.其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
95.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
96.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序
产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
97.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
98.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
99.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
100.以上仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。