一种儿童数字书写练习的实时反馈与评判方法与流程

1.本发明属于计算机领域，具体涉及一种儿童数字书写练习的实时反馈与评判方法。


背景技术：

2.近年来，儿童对平板手机和电脑的使用越来越多，在不同领域的儿童技能学习app的数量也以惊人的速度增长，游戏化教学应用广泛。chang wan chen等人研究认为，在游戏化的环境中，更能使儿童关注自己的写作，提高写作技巧。quinnmargaret等人对数量高达633个相关app的重点技能，交互性，评估能力等进行分析，研究发现，尽管设计支持写作的低成本、免费应用盛行，但这些应用处理的内容高度受限，在各种质量度量方面都比较低。手写体数字识别是书写质量评价的基础，黄睿等人在手写体数字识别中使用tensorflow深度学习cnn模型，识别率已经高达99.17％，并移植到android平台进行应用，但并没有对数字的规范进行约束，仅仅对手写数字进行了识别。吕红等人也只考虑手写数字的识别，并未对书写数字的本身质量进行约束。
3.目前，手写体数字识别应用与少儿书写练习应用层出不穷，但是，市面上的相关应用中对儿童输入的手写数字判别往往是以描红的形式，只要描红区域笔迹吻合则判断书写正确，但对于书写的笔画、笔顺及其他本应考虑的要素却并不作判断，并不能对小幼群体的数字书写练习起到明显的帮助。
4.此外，汪娟在“入学初小学写字教学现状分析与教学建议中”明确提出对于入学初的写字教学，目标偏离，缺乏规划，情况堪忧。很多教师无视学生书写难点，不讲基本笔画和偏旁部首，无视笔顺规则与间架结构，只一味让学生反复抄写，以求巩固识字效果。且书写形式多次雷同，长期缺乏变化。繁重、机械的作业增加了学生的写字负担，违背了学生身心发展规律，更挫伤了学生的书写热情。倡导应从认识田字格开始，循序渐进的进行书写教学。
5.另外，传统的书写数字练习程序并不是鼓励式教学，小幼群体不易产生成就感，对数字的书写练习难以产生显著的效果，学生往往是通过了就不再练习了，练习效果不明显。


技术实现要素：

6.为了弥补现有技术的不足，本发明提供一种儿童数字书写练习的实时反馈与评判方法技术方案。
7.本发明提供的一种儿童数字书写练习的实时反馈与评判方法，正是让孩子在田字格中练习数字的书写，并针对笔画笔顺书写美观度等对孩子进行纠正，填补了这个空白，使小幼儿童在无人在旁的情况下也可以练习数字的书写，对幼儿的数字练习效果有很大的提升，学习趣味性大大增加，激发幼儿对数字的兴趣。
8.为实现上述目的，本发明的技术方案为：
9.一种儿童数字书写练习的实时反馈与评判方法，其特征在于，包括以下步骤：
10.s1输入待识别的手写数字；
11.s2使用卷积神经网络识别出书写的具体数字；
12.s3对手写数字进行骨架提取；
13.s4根据骨架，提取出手写数字的特征；
14.s5根据具体数字的评判规则和手写数字的特征对手写数字进行判定；
15.s6输出数字书写质量的评判结果。
16.进一步地，步骤s2中，基于tensorflow深度学习框架，通过卷积神经网络模型结构对mnist的手写体样本进行模型的训练，从而对手写数字进行识别。
17.进一步地，步骤s3中，使用hilditch细线化算法对手写数字进行骨架的提取，生成进一步地，步骤s4包括：对数字的笔画、起笔点位置、落笔点位置、笔顺、直线数、圆弧线数、角点位置、整体位置和像素比中的一种或多种信息进行提取；
18.具体包括：
19.s4.1对细线化后的笔迹图像数据进行获取；
20.s4.2根据笔迹数据得到手写数字的落笔次数，起笔次数，落笔位置和起笔位置特征；
21.s4.3对笔迹骨架数据进行霍夫线变换，获取数字的直线数特征；
22.s4.4对笔迹骨架数据进行霍夫圆变换，获取数字的闭合圆弧数量特征；
23.s4.5获取笔迹骨架数据的特征点，生成二阶贝塞尔曲线，比较得出非闭合性圆弧的位置与数量特征；
24.s4.6使用harris角点检测方法，直接基于灰度图像提取角点特征对数字进行角点检测，获取手写数字的交点特征，得到交点位置；
25.s4.7根据整个笔迹数据判断整体的大小与位置特征。
26.进一步地，步骤s4.2中，对数字笔迹数据进行分析，识别出笔画的数量，对输入设备的输入次数进行获取，在0-9的数字中，仅4、5是需要输入两次的，其他数字仅输入一次；根据输入页面的笔画开始的位置与结束的位置进行判断；多笔画时，对每一笔的起落笔位置进行记录；根据每次笔画的起笔落笔位置，判断每一笔的笔画顺序。
27.进一步地，步骤s5中，对步骤s4中获取到的特征进行规范性约束。
28.进一步地，步骤s6中，对不符合规范的特征进行实时反馈。
29.与现有技术相比，本发明的有益效果在于：本发明只需为手机或电脑配备基础的交互设备，如触摸屏或数位板，即可实现数字书写的练习，十分方便快捷，并且能够提高学习趣味性和学习效率。
附图说明
30.图1为本发明实施例提供的一种儿童数字书写练习的实时反馈与评判方法流程图；
31.图2为本发明实施例中数字书写的模板；
32.图3本发明实施例中细线化前后对角点检测的影响示意图；
33.图4为本发明实施例中不同霍夫线变换对比示意图；
34.图5为本发明实施例中闭合圆弧识别效果示意图；
35.图6为本发明实施例中数字“2”的特征点示意图；
36.图7为本发明实施例中包含角点的数字示意图；
37.图8为本发明实施例中的数字“2”的落笔起笔位置示意图。
具体实施方式
38.在本发明的描述中，需要理解的是，术语“一端”、“另一端”、“外侧”、“上”、“内侧”、“水平”、“同轴”、“中央”、“端部”、“长度”、“外端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
39.下面结合附图对本发明作进一步说明。
40.实施例1
41.图1示出一种儿童数字书写练习的实时反馈与评判方法的流程图，其包括：
42.s1使用学习设备启动软件，通过学习设备写入数字笔迹；
43.s2学习设备对写入数字进行识别，针对不同数字有不同的数字规范；
44.s3对写入数字进行骨架提取；
45.s4提取数字特征；
46.s5对数字特征进行判定；
47.s6实时反馈结果。
48.在s1中，学习设备可以是电脑，也可以是手机等支持笔式交互的用于学习的电子设备，本实施例不作限定。
49.可以理解，根据图2所示的模板使用电子设备输入手写数字；进一步地，根据手写数字的位置信息，完成数字书写所用的输入次数，实现对数字的笔画和笔顺的判断，若不符合标准则实时反馈给用户。
50.可以理解，在s2中，输入的手写数字会被识别出相应的数字，从而对该手写数字用对应的数字规范来约束。
51.举例来说，用户写入一个数字“3”，系统会先识别出这是数字“3”，进而使用“3”的各项标准来对写入的“3”进行评判。
52.可以理解，在s3中，数字的评判依赖各个特征，比如数字是否有交点，数字是否有直线与弧线，而这些特征的提取对于不同粗细的手写数字，会提取出不同的结果，如图3，数字“4”本有两个交点，但由于笔迹比较粗，交点个数会发生误差，所以需要对手写数字进行骨架的提取，删除数字图像中不必要的像素点，生成一个简化的骨架图像数据，再对其进行后续的特征提取与判定操作。
53.可以理解，在s4中，对手写的数字的各项特征进行识别提取，特征包括笔画、起笔点位置、落笔点位置、笔顺、直线数、圆弧线数、角点位置、整体位置和像素比等。提取到各项特征后，可根据表1的评判规则，对输入数字的各方面进行评判，为后面的操作做准备。
54.可以理解，对输入设备的输入次数进行获取，在0-9的数字中，仅4、5是需要输入两次的，即两笔画，其他数字仅输入一次；对笔顺的判定是通过每一笔的头和尾的位置来判断如图8的数字“2”，在图8的田字格中，落笔位置应该在
②
区域，起笔位置则在
③
区域，若相反，则说明可能写的不是2、书写笔顺错误或书写不标准；对于直线数的判断，应用于数字“1”、“2”、“4”、“5”、“7”、“9”中，在这些数字中应该存在一定数量的直线才称得上是书写规范的数字，而对于弧线数的判断，应用于数字“2”、“3”、“5”、“6”、“8”、“9”中，在这些数字中应该存在一定数量的弧线才称得上是书写规范的数字，可以理解，对这些特征进行提取能够更细致的对手写数字进行优劣评判。
55.可以理解，在s5中提取出了各类数字特征，根据数字美感与数字特征的对应关系，对数字特征进行了限定，从而实现对手写数字的规范，规范标准如表1 所示。判定还包括对这些特征的权重的判断，例如数字写的偏大，而且笔画不正确，那由于笔画不正确优先级较高，就会被优先记录下来。
[0056][0057]
表1手写数字评价标准
[0058]
可以理解，在s6中，根据表1中的评判标准对提取的各项特征进行比对，并将不符合规范的部分反馈给用户，用户就可以有针对性的进行更改。
[0059]
实施例2
[0060]
一种儿童数字书写练习的实时反馈与评判方法的流程图，其包括以下步骤：
[0061]
s1输入待识别的手写数字；
[0062]
s2使用卷积神经网络识别出书写的具体数字；
[0063]
s3对手写数字进行骨架提取；
[0064]
s4根据骨架，提取出手写数字的特征；
[0065]
s5根据具体数字的评判规则和手写数字的特征对手写数字进行判定；
[0066]
s6输出数字书写质量的评判结果。
[0067]
上述技术方案中，用户启动软件，对照给出的数字模板进行数字的书写，其中数字模板是给出的符合本文设定的数字标准的数字书写样例，对照写出任意 0-9的数字后，会给出相应的结果，指出不足之处，并配以语音的形式输出，用户通过评价可以了解到自己书写的问题所在，例如，用户书写的数字过大或过小、该闭合的地方没有闭合等等，用户就可以有针对性的做出更正，大大提高了数字练习的效率，达到越写越好的练习目的。
[0068]
进一步地，步骤s2中，相对于传统的soft模型对数字的识别，本发明使用基于tensorflow深度学习框架，通过卷积神经网络模型结构对mnist的60000 个手写体样本进
行模型的训练，从而对手写数字进行识别。研究表明，基于cnn 模型的识别率高达99.17％，而softmax回归模型的识别率则略低，91.57％，故使用基于深度学习框架，使用cnn模型的方式对手写数字进行识别。
[0069]
进一步地，步骤s3中，使用一种改进的hilditch细线化算法对手写数字进行骨架的提取，生成一像素粗细的手写数字，提取数字的骨架便于后续提取数字特征。
[0070]
其中，当手写体数字某个部分过粗或字体过小时，数字图像中会出现宽度远大于正常笔道宽度的区域,像一个小圈；此时如果用一般的细化方法来处理,图像的几何结构将发生变形,该区域就会被细化为一条线或一个点,这将严重影响识别效果。
[0071]
针对上述问题，可在细化之前,先进行预处理,即对要细化的数字图片的大小调整到一个规定值,然后对其进行行列扫描,求出所有行和列的像素最大值, 分别设为max1和max2。一般情况下,一个数字的笔划宽度应大致相同,所以可以先求出笔划的大致宽度,如果这两个最大值都大于预设的阈值,就以此点为中心，求出一个宽度为(2/5)*max1长的内接正方形,把其所有内部点的像素值取反；这样,在进行下一步细化时,就得到了能保持原图像几何特征的细化图像。
[0072]
进一步地，步骤s4包括：对数字的笔画、起笔点位置、落笔点位置、笔顺、直线数、圆弧线数、角点位置、整体位置和像素比中的一种或多种信息进行提取；
[0073]
具体包括：
[0074]
s4.1对细线化后的笔迹图像数据进行获取；
[0075]
s4.2根据笔迹数据得到手写数字的落笔次数，起笔次数，落笔位置和起笔位置特征；
[0076]
s4.3对笔迹骨架数据进行霍夫线变换，获取数字的直线数特征；
[0077]
s4.4对笔迹骨架数据进行霍夫圆变换，获取数字的闭合圆弧数量特征；
[0078]
s4.5获取笔迹骨架数据的特征点，生成二阶贝塞尔曲线，比较得出非闭合性圆弧的位置与数量特征；
[0079]
s4.6使用harris角点检测方法，直接基于灰度图像提取角点特征对数字进行角点检测，获取手写数字的交点特征，得到交点位置；
[0080]
s4.7根据整个笔迹数据判断整体的大小与位置特征。
[0081]
步骤s4.2中，对数字笔迹数据进行分析，识别出笔画的数量，对输入设备的输入次数进行获取，在0-9的数字中，仅4、5是需要输入两次的，即两笔画，其他数字仅输入一次。
[0082]
根据输入页面的笔画开始的位置与结束的位置进行判断。多笔画时，对每一笔的起落笔位置进行记录。根据每次笔画的起笔落笔位置，判断每一笔的笔画顺序。
[0083]
步骤s4.3中，使用霍夫线变换对输入数字进行直线的判断，霍夫线变换是一种用来寻找直线的方法，常见的有三种霍夫线变换：标准霍夫变换(sht)，多尺度霍夫变换(msht)和累计概率霍夫变换(ppht)。
[0084]
对比较常用的标准霍夫线变换和累计概率霍夫变换进行对比，阈值相同时识别结果如图4，可以看出累计概率霍夫变换能够更加有效的识别出不是很直的直线，而儿童输入的图像很多时候会存在这种问题，故本发明采用累计概率霍夫变换对直线的数量进行获取。
[0085]
对于书写过程中可能出现的直线，如图4.a中的“4”，头和尾都出现了小段的直线，
累计概率霍夫变换对直线的选择能够很好的规避这种情况，而书写比较不规范时，如图4.b中的“4”，则会识别出直线，数字“4”中不应该有直线，那么这个“3”则不符合直线数这个标准。
[0086]
步骤s4.4中，对于闭合型弧线使用霍夫圆变换进行弧线的识别，霍夫圆变换是一种用来寻找圆的方法，识别效果如图5所示。能够很好的识别出数字中的闭合圆弧。
[0087]
步骤s4.4中，对于非闭合型弧线，获取笔迹的三个特征点，如图6数字“2”中的
①②④
，由于弧线处在数字的上半部分，故找到数字的角点
③
以上的特殊点，即
①②
，
①
是弧线的最高点，
②
是弧线的最右点，求出两点各自的斜率，根据点斜式可得出两点的切线方程求出切线交点
④
。
①②
切线方向来生成a级贝塞尔曲线。为实现像控制一条二次曲线一样的方法,去生成一条2次的典型a级贝塞尔曲线，将生成的二阶贝塞尔曲线与笔迹进行对比，判断非闭合型弧线的数量。
[0088]
步骤s4.6中，由于每个数字的交点个数不同，故交点的个数也是数字的一个主要特征。交点是线与线相交的点，或称为转折点。在图像中，角点与其类似，当图像中的某一点在任意方向的一个微小变动都会引起灰度很大的变化，那么这个点则被称为：角点。本发明采用harris角点检测方法，数字0-9的角点检测结果如图7所示。
[0089]
步骤s4.7中，根据整个笔迹数据判断整体的大小与位置特征。由于书写数字的大小直接影响数字的美感，标准的好看的手写体应是大小适中，位置居中的，故数字的位置与像素分布也是数字评判一个的标准。
[0090]
进一步地，步骤s5中，对步骤s4中获取到的特征进行规范性约束；为了对手写数字笔迹进行全方面的评判，本发明设计了一套手写数字评价标准，对提取出的特征做出限定，即将数字的美感转换为数字特征的各项限定，很好地对手写数字进行了规范，具体如实施例1表1。
[0091]
进一步地，步骤s6中，对不符合规范的特征进行实时反馈，根据实施例1 表1中的评判标准对提取的各项特征进行比对，并将不符合规范的部分反馈给用户，用户就可以有针对性的进行更改，从而达到无人在旁指导的情况下，完成数字的书写练习。
[0092]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。