一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法
本发明属于图像处理、光学字符识别、机器学习与教育信息化,具体涉及一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法。
背景技术:
1、答题卡自动处理通常需要从包含题目正文、作答痕迹、教师批改痕迹、表格线和印刷文字的整页图像中提取分数。直接对整页图像执行通用ocr容易受到版面复杂、分数区域面积小、红色批改笔迹与黑色印刷内容混合、数字相互粘连以及小数点尺寸较小等因素影响。
2、现有基于固定坐标裁剪的方法对拍摄角度、纸张位移和不同答题卡版式较为敏感;仅采用固定灰度阈值的方法可能同时保留表格线、印刷文字和作答内容;仅依赖通用ocr的方法又难以利用字段分值上限、批改颜色以及数字字符形态等领域约束。因此,需要一种将字段定位、颜色特征、字符分割和领域约束协同处理的分数识别方法。
技术实现思路
1、本发明的目的在于提供一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,解决背景技术中提出的问题。
2、为了实现上述目的,本发明采用如下技术方案:
3、一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,包括:
4、s1,获取包含手写分数的答题卡图像;
5、s2,利用字段区域检测模型输出预设分数字段的候选框;
6、s3,按候选框宽度和高度的预设比例扩展边界并裁剪分数感兴趣区域;
7、s4,对所述分数感兴趣区域优先执行红色笔迹提取,在红色像素量不满足条件时执行灰度阈值回退;
8、s5,去除小连通域并基于列投影和一维闭运算形成字符区间;
9、s6,分割/提取数字字符候选并识别小数点字符;
10、s7,将数字字符归一化为28×28像素并输入卷积神经网络获得0至9的分类结果;
11、s8,对字符序列进行数值清洗、置信度计算和字段分值范围校验,输出字段分数。
12、优选地,所述字段区域检测模型以答题卡中的姓名、学号、各小题分数和总分为不同类别进行训练,并在每一分数字段类别中选择置信度最高的候选框。
13、优选地,分数字段的所述候选框在水平方向和垂直方向均按候选框尺寸的6%进行扩展,并将扩展后的坐标限制在原图边界内。
14、优选地,所述红色笔迹掩膜满足r>80、r>g+18且r>b+18;当红色掩膜中的像素数量不少于20时采用该红色笔迹掩膜。
15、优选地,所述灰度阈值t根据灰度图第18百分位数加18得到,并限制在65至185之间,灰度值小于t的像素被确定为候选笔迹像素;
16、对候选笔迹掩膜执行八邻域连通域分析,并去除面积小于8像素的连通域。
17、优选地,所述列投影的激活条件为列内笔迹像素数大于max(1,0.015h),并利用最大间隙max(2,0.012w)的一维闭运算合并相邻激活区间,h和w分别为紧致笔迹区域的高度和宽度。
18、优选地,当字符候选的高度不大于分数感兴趣区域高度的22%、宽度不大于分数感兴趣区域宽度的12%,且顶部纵坐标不小于roi高度的48%时,将该字符候选识别为小数点。
19、优选地,所述数字字符按最长边缩放到20像素以内并居中放置在28×28白色画布中,反色后采用均值0.1307和标准差0.3081进行归一化。
20、优选地,所述卷积神经网络依次包括32通道卷积层、64通道卷积层、128通道卷积层、自适应平均池化层、丢弃率为0.15的dropout层以及输出维数为10的全连接层;
21、所述字段分值范围至少包括:第1题0至30分、第2题各子题0至12分或对应设定上限、总分0至100分;字段置信度为所述字段内各数字字符置信度的平均值,小数点字符不参与字段置信度计算。
22、一种答题卡分数识别装置,用于执行上述任意一项所述的方法,包括图像输入模块、字段定位模块、笔迹增强模块、字符分割模块、数字识别模块和结果校验模块,各模块被配置为执行前述任一方法。
23、本发明的有益效果如下:
24、1)本发明通过学习式字段定位替代固定坐标裁剪,使分数字段能够适应答题卡拍摄位移和局部形变,可以在iou阈值0.5下达到100%的字段召回率;
25、2)本发明采用红色笔迹优先、灰度阈值回退的双路径设计,在保留教师红色批改笔迹的同时兼容非红色数字,通过小连通域去除、列投影闭合、小数点位置判定和过分割合并,提高数字字符形成过程的可解释性;
26、3)本发明采用mnist预训练与真实答题卡字符微调相结合的迁移学习方式,在646个验证字符上获得95.20%的最佳单字符验证准确率,输出字段级和字符级置信度,并结合字段分值上限进行校验,便于将低置信度结果交由人工复核。
1.一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,包括:
2.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,所述字段区域检测模型以答题卡中的姓名、学号、各小题分数和总分为不同类别进行训练,并在每一分数字段类别中选择置信度最高的候选框。
3.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,分数字段的所述候选框在水平方向和垂直方向均按候选框尺寸的6%进行扩展,并将扩展后的坐标限制在原图边界内。
4.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,所述红色笔迹掩膜满足r>80、r>g+18且r>b+18;当红色掩膜中的像素数量不少于20时采用该红色笔迹掩膜。
5.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,所述灰度阈值t根据灰度图第18百分位数加18得到,并限制在65至185之间,灰度值小于t的像素被确定为候选笔迹像素;
6.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,所述列投影的激活条件为列内笔迹像素数大于max(1,0.015h),并利用最大间隙max(2,0.012w)的一维闭运算合并相邻激活区间,h和w分别为紧致笔迹区域的高度和宽度。
7.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,当字符候选的高度不大于分数感兴趣区域高度的22%、宽度不大于分数感兴趣区域宽度的12%,且顶部纵坐标不小于roi高度的48%时,将该字符候选识别为小数点。
8.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,所述数字字符按最长边缩放到20像素以内并居中放置在28×28白色画布中,反色后采用均值0.1307和标准差0.3081进行归一化。
9.根据权利要求1所述的一种基于字段区域检测、颜色自适应二值化及卷积神经网络的答题卡分数识别方法,其特征在于,所述卷积神经网络依次包括32通道卷积层、64通道卷积层、128通道卷积层、自适应平均池化层、丢弃率为0.15的dropout层以及输出维数为10的全连接层;
10.一种答题卡分数识别装置,用于执行权利要求1~9中任意一项所述的方法,其特征在于:包括图像输入模块、字段定位模块、笔迹增强模块、字符分割模块、数字识别模块和结果校验模块,各模块被配置为执行权利要求1~9任一项所述方法的相应步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com