一种基于ArUco的智答码识别方法、智慧教室系统与流程

一种基于aruco的智答码识别方法、智慧教室系统
技术领域
1.本发明属于图像解析技术领域，具体涉及一种基于aruco的智答码识别方法、智慧教室系统。


背景技术：

2.在学校，课堂教学环节是学生接受系统教育最重要的地方，其中教学互动环节是把握教学环节的质量，提高教学水平的关键。现行的教学过程中，传统的签到环节、疑问确认环节、提问互动环节、课堂小测试环节存在诸多问题，签到过程中，使用纸张签到，效率低且存在代签现象，结果不便于教师统计；提问互动环节和课堂小测试环节中,教师给出简单选择后，学生举手或者口头回答，不能获得准确的统计数据，教师只能根据大体情况来判断是否进行教学，没有准确的数据，更不能考虑后期的数据挖掘和数据统计工作；同时，家长并不能了解孩子在课堂上的学习情况。传统的教学方式已经不适应现代化教学的需要，现有的基于物联网技术集智慧教学、人员考勤、资产管理、环境智慧调节、视频监控及远程控制于一体的新型现代化智慧教室系统在逐步的推广运用，但是现有的智慧教室投资大，电子设备多，识别率低，特别是对于中小学生来说，操作的局限性较大，分散小学生的注意力，需要研发一种新的基于aruco的智答码识别方法、智慧教室系统来解决现有的问题。


技术实现要素：

3.本发明的目的在于提供一种基于aruco的智答码识别方法、智慧教室系统，以解决智慧教室投资成本过高的问题。
4.为实现上述目的，本发明提供如下技术方案：一种基于aruco的智答码识别方法，包括以下步骤：（1）采集图像步骤：采集智答码，得到智答码图像；（2）凸四边形筛选步骤：检测智答码图像中的智答码候选框筛选图像中凸四边形；（3）智答码识别步骤：根据角点坐标以及第一个角点的位置判断智答码的方向，得到答题信息。
5.优选的，所述采集图像步骤中，使用base64对采集的智答码图像数据编码，在凸四边形筛选步骤中先使用base64解码，并校验数据格式。
6.优选的，凸四边形筛选步骤中，所述筛选图像中凸四边形的步骤包括：候选检测步骤：检测四边形并形成集合；角点排序步骤：对候选凸四边形的角点进行排序，使角点的顺序为顺时针方向；角点修正步骤：对四边形的每个边进行拟合，将拟合直线的交点作为最终细化的角点，得到亚像素角点；过滤相似四边形步骤：检测得到的凸四边形，若两个四边形4个角点之间的最短平均距离达不到阈值，则丢弃周长较小的四边形；
优选的，候选检测步骤中，所述检测四边形并形成集合的步骤包括；检测廓周长是否满足阈值；使用多边形逼近轮廓，得到凸四边形；检测四边形4个角点之间的最小距离是否满足阈值；检测四边形的所有角点到边界的最小距离是否满足阈值；优选的，智答码识别步骤中，所述判断智答码的方向步骤包括：步骤31：对每个四边形透视变换并将其映射为正方形；步骤32：判断四边形内部是否为全黑或全白；步骤33：对透视变换后的图像进行二值化处理；步骤34：根据智答码编排格式，从二值化图像中提取对应的图像块；若智答码按照5
×
5的格式编排，则将提取到25个图像块；步骤35：统计每个图像块中非0像素的个数，若非0像素的个数超过图像像素整个数量的50%，则此块是白色，否则是黑色，将白色记为1，黑色记为0，并设置为5
×
5的格式，得到一个25位的比特串；步骤36：解析解析比特串得出智答码的id，并执行数据位校验并识别出左上角第一个角点；步骤37：根据4个角点坐标以及第一个角点的位置，判断智答码的方向，确定该智答码所标记的答案。
7.优选的，步骤32中，所述判断四边形内部是否为全黑或全白的步骤包括：计算四边形内部区域的均值和方差：若方差小于设定的阈值，则区域是全黑或全白；如果均值大于127，则认为是全白，否则为全黑；方差公式：其中， s是方差，n是四边形像素总数，是第i个像素的灰度值，m是均值。
8.优选的，所述识别方法还包括：智答码过滤步骤：对智答码识别步骤中相同的两个智答码id进行去重处理。
9.优选的，应用于智慧教学中，包括以下步骤：学生试题答题步骤：使智答码与学生对应；开始答题时，学生举起智答码，摄像头拍照智答码识别学生答案；收集学生答题情况，统计学生答题对错及答案分布；教师检查学生答题情况，展示题目解析内容；确认是否分享给家长观看学生学习情况；家长查看学生学习步骤：家长收到教师分享的课堂记录通知；打开家长微信课堂记录模块，查看学生每题答题情况、整体答题情况及班级答题情况对比数据。
10.本发明另提供一种基于aruco的智答码识别的智慧教室系统，包括：摄像头，用于获取智答码图像；任务创建模块，用于新建学习任务；任务编辑模块，用于编辑已创建的任务；课堂设置模块，用于设置课堂习题；签到模块，用于对学生进行签到管理；统计模块，用于统计学生答题；采集模块，与所述摄像头相连接，用于采集智答码，得到智答码图像；凸四边形筛选模块，用于检测智答码图像中的智答码候选框并筛选出图像中凸四边形；智答码识别模块，用于根据角点坐标以及第一个角点的位置判断智答码的方向，得到答题信息；优选的，所述智慧教室系统还包括：候选检测模块，用于检测出四边形集合；角点排序模块，用于对候选凸四边形的角点进行排序
ꢁ
，使角点的顺序为顺时针方向；角点修正模块，用于对四边形的每个边进行拟合，将拟合直线的交点作为最终细化的角点，得到亚像素角点；过滤相似四边形模块，用于检测得到的凸四边形，若两个四边形4个角点之间的最短平均距离达不到阈值，则丢弃周长较小的四边形；透视变换模块，用于对每个四边形透视变换并将其映射为正方形；黑白判断模块，用于四边形内部是否为全黑或全白；二值化处理模块，用于透视变换后的图像进行二值化处理；编排格式模块，用于根据智答码编排格式，从二值化图像中提取对应的图像块；比特串生成模块，用于统计每个图像块中非0像素的个数，如果超过图像一半，则认为这个块是白色，否则是黑色，将白色记为1，黑色记为0，并设置5
×
5的格式，得到一个25位的比特串；解析模块，用于解析出智答码的id，并执行数据位校验并识别出左上角第一个角点；方向判断模块，用于根据4个角点坐标以及第一个角点的位置，判断智答码的方向，确定该智答码所标记的答案。
11.本发明提出了一种基于aruco的智答码识别方法、智慧教室系统，使用简单、操作方便，对于现有的投资较大的智慧教育是最优的解决方案。相对于使用平板答题的智慧教室，减少了电子设备对学生的伤害，杜绝了学生上课通过电子设备分散注意力的现象，极大的减少了学校对智慧教室的投资；相对于手写题板进行人脸识别的智慧教室，提高了识别的效率，减少了统计的误差，解决了学生在答题板书写不规范、教室环境因素影响识别率的问题。本技术实现了在4k分辨率的前提下，识别10米左右的目标。如果使用二维码，已经模糊成了一团，根本无法分辨，本发明使用的基于图像识别的方案是一种低成本的方案，每部署一个教室，实际需要购置的硬件设备仅仅是一个4k摄像头，其成本不超过1000元人民币，
其他只是配套软件，可以直接运行在教室现有的pc机上。相对于采用答题器的方案，每个教室的购置成本为数千元人民币，此成本与教室的座位数量直接相关；aruco码虽然携带的信息不如二维码多，但是其抗干扰性能好，能够支持较远的距离，同时也能够携带方向信息，通过以不同的方向展示答题码达到选择“abcd”的目的，本发明单张图像中支持的智答码数量至少为50个，使用通用普通摄像头时，最远识别距离为9米；若更换为4k高清大广角摄像头时，最远识别距离为12米。无论使用普通摄像头或4k高清大广角摄像头的单张图像识别时间均小于0.2秒。
12.本发明通过采集学生上课练习情况，来分析学生学习情况，加强师生互动，便于家长课后及时了解学生学习情况。
附图说明
13.图1为本发明的流程图；图2为本发明筛选图像中的凸四边形的流程图；图3为本发明判断智答码的方向流程图；图4为本发明智慧教室的操作流程图。
具体实施方式
14.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.如图1中所示，本发明提供的一种基于aruco的智答码识别方法，包括以下步骤：（1）采集图像步骤：采集智答码，得到智答码图像；所述采集图像步骤中，使用base64对采集的智答码图像数据进行编码，在凸四边形筛选步骤中先使用base64解码，并校验数据格式。
16.（2）凸四边形筛选步骤：检测智答码图像中的智答码候选框筛选图像中凸四边形；如图2所示，所述筛选图像中的凸四边形的步骤包括：候选检测步骤：检测四边形并形成集合；所述检测四边形并形成集合的步骤包括：检测轮廓周长是否满足阈值；使用多边形逼近轮廓，得到凸四边形；检测四边形4个角点之间的最小距离是否满足阈值；检测四边形的所有角点到边界的最小距离是否满足阈值。
17.角点排序步骤：对候选凸四边形的角点进行排序，使角点的顺序为顺时针方向；角点修正步骤：对四边形的每个边进行拟合，将拟合直线的交点作为最终细化的角点，得到亚像素角点；过滤相似四边形步骤：检测得到的凸四边形，若两个四边形4个角点之间的最短平均距离达不到阈值，则丢弃周长较小的四边形。
18.（3）智答码识别步骤：根据角点坐标以及第一个角点的位置判断智答码的方向，得到答题信息。
19.如图3所示，所述判断智答码的方向步骤包括：步骤31：对每个四边形透视变换并将其映射为正方形；步骤32：判断四边形内部是否为全黑或全白；所述判断四边形内部是否为全黑或全白的步骤包括：计算四边形内部区域的均值和方差：如果方差小于设定的阈值，说明区域是全黑或全白；如果均值大于127，则认为是全白，否则为全黑；方差公式：其中， s是方差，n是四边形像素总数，是第i个像素的灰度值，m是均值；步骤33：对透视变换后的图像进行二值化处理；步骤34：根据智答码编排格式，从二值化图像中提取对应的图像块；若智答码按照5
×
5的格式编排，则将提取到25个图像块；步骤35：统计每个图像块中非0像素的个数，若非0像素的个数超过图像整个像素数量的50%，即超过一半，则认为这个块是白色，否则是黑色，将白色记为1，黑色记为0，本实施例中，设置5
×
5的格式，得到一个25位的比特串；步骤36：解析出智答码的id，并执行数据位校验并识别出左上角第一个角点；步骤37：根据4个角点坐标以及第一个角点的位置，判断智答码的方向，确定该智答码所标记的答案。
20.智答码过滤步骤：对智答码识别步骤中相同的两个智答码id进行去重处理。
21.应用于智慧教学中，包括以下步骤：学生试题答题步骤：使智答码与学生对应；开始答题时，学生举起智答码，摄像头拍照智答码识别学生答案；收集学生答题情况，统计学生答题对错及答案分布；教师检查学生答题情况，展示题目解析内容；确认是否分享给家长观看学生学习情况；家长查看学生学习步骤：家长收到教师分享的课堂记录通知；打开家长微信课堂记录模块，查看学生每题答题情况、整体答题情况及班级答题情况对比数据。
22.本发明另提供一种基于aruco的智答码识别的智慧教室系统，包括：摄像头，用于获取智答码图像；任务创建模块，用于新建学习任务；任务编辑模块，用于编辑已创建的任务；课堂设置模块，用于设置课堂习题；
签到模块，用于对学生进行签到管理；统计模块，用于统计学生答题；采集模块，与所述摄像头相连接，用于采集智答码，得到智答码图像；凸四边形筛选模块，用于检测智答码图像中的智答码候选框并筛选出图像中凸四边形；智答码识别模块，用于根据角点坐标以及第一个角点的位置判断智答码的方向，得到答题信息。
23.候选检测模块，用于检测出四边形集合；角点排序模块，用于对候选凸四边形的角点进行排序
ꢁ
，使角点的顺序为顺时针方向；角点修正模块，用于对四边形的每个边进行拟合，将拟合直线的交点作为最终细化的角点，得到亚像素角点；过滤相似四边形模块，用于检测得到的凸四边形，若两个四边形4个角点之间的最短平均距离达不到阈值，则丢弃周长较小的四边形；透视变换模块，用于对每个四边形透视变换并将其映射为正方形；黑白判断模块，用于四边形内部是否为全黑或全白；二值化处理模块，用于透视变换后的图像进行二值化处理；编排格式模块，用于根据智答码编排格式，从二值化图像中提取对应的图像块；比特串生成模块，用于统计每个图像块中非0像素的个数，如果超过图像一半，则认为这个块是白色，否则是黑色，将白色记为1，黑色记为0，并以5
×
5的格式为例，最终将得到一个25位的比特串；解析模块，用于解析出智答码的id，并执行数据位校验并识别出左上角第一个角点；方向判断模块，用于根据4个角点坐标以及第一个角点的位置，判断智答码的方向，确定该智答码所标记的答案。
24.如图4所示，本实施例中，采用web展示课堂试题，采集学生举码拍照识别结果，统计分析学生试题答题情况；智慧教室操作步骤如下：教师课前打印学生智码文件，分发给学生；教师上课时打开上课试题讲解内容，播放试题相关内容；开始答题时，学生举起智答码，摄像头拍照识别学生答案；程序自动收集学生答题情况，统计学生答题对错及答案分布等情况；教师检查学生答题情况，展示题目解析内容；上课结束后退出课堂，并确认是否分享给家长观看学生学习情况；本实施例中，智答码是基于增强现实的aruco码设计的答题码，优点是便于学生携带和使用，同时也利于计算机进行图像识别和处理；学生将自己认为正确的答案朝上展示即可，系统能够克服图片中智答码的旋转、变形等不利影响，识别出智答码的id所对应的学生，根据旋转的角度判断出对应的答案。
25.家长观看学生学习情况：
家长收到教师分享的课堂记录通知；打开家长微信课堂记录模块，查看学生每题答题情况、整体答题情况及班级答题情况对比数据本实施例中，智答码识别服务通过网络接收前端页面采集的摄像头图像数据,已经通过base64编码处理，进行base64解码，并校验数据格式；检测图像中的智答码候选框，每个候选框都可能是一个潜在的智答码。由于智答码的核心区域是正方形，因此需要首先检测出候选框，进而判断其中是否存在有效的智答码。但拍摄图像受透视变换影响，正方形在图像上的投影可能为任意四边形，唯一能够确定的性质是该四边形一定具有凸性，需要筛选出图像中的凸四边形；候选检测：此阶段利用目标的凸性检测出四边形集合。首先将图像进行二值化处理，然后尝试使用不同尺寸的窗口对图像进行检测，查找其中所有的轮廓。对初步检测出的轮廓需要进行下述检查，不符合任意一个条件的，均予以排除：轮廓周长满足阈值；使用多边形逼近轮廓，最终得到的是凸四边形；四边形4个角点之间的最小距离满足阈值；四边形的所有角点到边界的最小距离满足阈值；角点排序：对候选凸四边形的角点进行排序，确保角点的顺序为顺时针方向；根据四个点在坐标（x，y）来做一下排序，确保给出的坐标是顺时针方向；角点修正：上述步骤检测出的角点是像素级的，用于后续过程处理时可能存在误差，可以在检测出角点之后对其进行细化，得到亚像素角点、具体方法是对四边形的每个边进行拟合，将拟合直线的交点作为最终细化的角点；过滤相似四边形：检测得到的凸四边形，如果某两个四边形4个角点之间的最短平均距离达不到阈值，则丢弃周长较小的四边形；智答码候选框检测完成后，得到一组候选的四边形集合，每个四边形都可能是一个有效的智答码，当前步骤是对每个候选四边形进行精准识别；详细步骤如下：对每个四边形进行透视变换，将其映射为正方形；判断四边形内部是否为全黑或全白；计算四边形内部区域的均值和方差：均值为整个图像中每个像素的灰度值求平均；如果方差小于设定的阈值，说明是全黑或全白；进一步，如果均值大于127，则认为是全白，否则为全黑，方差公式：其中， s是方差，n是四边形像素总数，是第i个像素的灰度值，m是均值；灰度值范围【0,
ꢁ
255】，大于127认为是白的；对透视变换后的图像做二值化处理；根据智答码编排格式，从二值化图像中提取对应的图像块；例如智答码按照5
×
5的格式编排，则将提取到25个图像块；统计每个图像块中非0像素的个数，如果超过图像一半，则认为这个块是白色，否则是黑色。将白色记为1，黑色记为0，同样以5
×
5的格式为例，最终将得到一个25位的比特串；
对比特串进行解码，解码过程中解析出智答码的id，并执行数据位校验，同时识别出左上角第一个角点；根据4个角点坐标以及第一个角点的位置，判断智答码的方向，从而确定该智答码所标记的答案；智答码过滤、检测结果中可能存在两个智答码id相同的情况，由于候选四边形出现了嵌套，此时根据智答码id做去重处理即可；智答码识别结果返回给前端，将识别出的智答码id以及对应的答案，通过网络返回给前端。
26.一种基于aruco的智答码识别方法、智慧教室系统，使用简单、操作方便，对于现有的投资较大的智慧教育是最优的解决方案。相对于使用平板答题的智慧教室，减少了电子设备对学生的伤害，杜绝了学生上课通过电子设备分散注意力的现象，极大地减少了学校对智慧教室的投资；相对于手写题板进行人脸识别的智慧教室，提高了识别的效率，减少了统计的误差，解决了学生在答题板书写不规范、教室环境因素影响识别率的问题；本技术实现了在4k分辨率的前提下，识别10米左右的目标。如果使用二维码，已经模糊成了一团，根本无法分辨，本发明使用的基于图像识别的方案是一种低成本的方案，每部署一个教室，实际需要购置的硬件设备仅仅是一个4k摄像头，其成本不超过1000元人民币，其他只是配套软件，可以直接运行在教室现有的pc机上。相对于采用答题器的方案，每个教室的购置成本为数千元人民币，此成本与教室的座位数量直接相关；aruco码虽然携带的信息不如二维码多，但是其抗干扰性能好，能够支持较远的距离，同时也能够携带方向信息，通过以不同的方向展示答题码达到选择“abcd”的目的。本发明单张图像中支持的智答码数量至少为50个，使用通用普通摄像头时，最远识别距离为9米，若更换为4k高清大广角摄像头时，最远识别距离为12米；无论使用普通摄像头或4k高清大广角摄像头的单张图像识别时间均小于0.2秒；本发明通过采集学生上课练习情况，来分析学生学习情况，加强师生互动，便于家长课后及时了解学生学习情况。
27.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。