一种基于人工智能的手写字体去除方法与流程

1.本发明涉及一种基于人工智能的手写字体去除方法，属于人工智能视觉领域。


背景技术：

2.手写字体去除在办公、学习等很多方面都应用需求，比如：（1）手写字体提取；（2）手写字体分离；（3）手写字体识别；（4）去除手写字体起到美化的作用；（5）学生学习的时候，需要收集错题以便再次练习，需要去除之前的手写。人工智能是近年来非常热门的技术，在图像分割、语义分割、图像识别、语音识别、语音合成、视频分析等很多领域得到成功的应用。语义分割是对图像中的每个像素进行分类。语义分割在遥感影像、无人驾驶、医学影像分析、机器视觉等领域都有广泛应用。


技术实现要素：

3.本发明为实现手写字体去除目的采用如下技术方案。
4.一种基于人工智能的手写字体去除方法，步骤如下。
5.步骤1：训练样本准备。
6.由于目前缺乏公开的手写字体、印刷体分类的数据集，本发明提出以下制作样本方法。包括如下步骤。
7.（1）准备只有印刷体的纸张，要求纸张背景为白色，字体为黑色，用拍照设备对纸张拍照，再用程序对图片转正、去阴影等预处理，得到照片1，照片1包括印刷字体和背景这2个类别，转正和去阴影算法可以采用现有的方法。
8.（2）通过人工手动用笔在（1）所述的纸张上写字，拍照，经过图片转正、去阴影等预处理，得到照片2，照片2包括印刷字体、手写字体和背景这3个类别。
9.（3）用算法程序对照片1和照片2进行处理，得到照片2每个像素的类别，记为照片mask3。
10.（4）其中（3）的算法如下。
11.①
照片1和照片2放缩到相同的长宽，得到的结果分别记为矩阵c和矩阵d。
12.②
把矩阵d减去矩阵c，再删除小面积区域，得到手写字体部分，记为矩阵e。
13.③
把矩阵d减去矩阵e，得到印刷体部分，记为矩阵f。
14.④
这样就把手写字体、印刷字体与背景三个类别区分开了。区分开之后，就可以把背景的像素用0表示，印刷字体的像素用1表示，手写字体的像素用2表示。从而实现手写字体、印刷字体、背景的像素级标注。
15.⑤
如果图片较大，需要把照片1分割为小图片，对应的mask3也要分割为同样大小。
16.步骤2：建立人工智能模型，主要是图像语义分割领域的人工智能模型，该人工智能模型可以是全卷积神经网络（fully convolutional networks，fcn），空洞卷积（dilated convolutions），也可以是segnet网络，或者u-net网络等。同样的模型有多种设计方式，为了使手写字体、印刷字体、背景像素级分类效果更好，经过试验发现采用较大卷积核的效果
更好，比如11
×
11. 模型的层级结构尽量不要太复杂，比如可以采用一个卷积层、池化、两个空洞卷积、池化、两个空洞卷积、反卷积，这样的模型结构。
17.步骤3：模型训练，把训练样本输入模型进行训练，包括如下步骤。
18.（1）训练样本的输入。
19.把照片2作为训练样本的输入，输入到人工智能模型。
20.（2）训练样本的输出。
21.把照片mask3作为训练样本的目标输出。照片mask3包括3个类别，分别记为：印刷体记为1，手写字体记为2，背景记为0。
22.（3）准备好了模型和训练样本就可以训练模型了，模型的训练可以在个人电脑上训练，也可以在cpu服务器上或者gpu服务器上训练。如果样本量很大，最好在gpu服务器上训练。训练好模型之后要保存模型。同时还需要用检测样本对模型进行检测，检测模型的分类准确率，如果分类准确率较高则可以用于实际应用。
23.步骤（4）：获取需要去除手写字体的图片，包括如下步骤。
24.（1）对需要去除手写字体的纸张进行拍照，或者是已经拍照好得到的图片，记为照片4。
25.（2）对照片4用程序进行预处理，包括图片转正、去阴影等，记为照片5。
26.步骤（5）：把需要去除手写字体的图片输入模型检测得到像素级分类结果图，包括如下步骤。
27.（1）加载训练好的模型。
28.（2）把照片5分割为n个小图片，比如可以取n=4。分割为小图片是为了提高检测速度。
29.（3）把每个小图片输入模型检测，可以通过多线程方法并行计算，得到分类结果。
30.步骤（6）：根据分类结果，把手写字体类别替换为背景类别得到去除手写字体的图片本发明与现有技术相比的有益效果。
31.（1）本发明有两个方面创新，包括训练样本制作、人工智能模型构建。集合在一起构成一个新的手写字体去除方法。
32.（2）训练样本制作方案设计巧妙，解决了难以获取训练样本标注信息的难题，可以较为快速、大量制作训练样本。
33.（3）人工智能模型选取方面，采用语义分割模型，简单实用，计算速度较快。模型构建方面，提出采用较大的卷积核，检测效果更佳。
附图说明
34.图1为本发明流程图。
35.图2 深度学习模型。
36.图3 有手写字体的样本图片。
37.图4 提取出的手写字体图片。
38.图5 印刷字体图片。
39.图6带有手写字体的图片。
40.图7经过模型检测输出手写字体去除后的图片。
具体实施方式
41.下面结合附图对本发明的具体实施方式进行进一步的详细描述。
42.如图1所示，本发明提出的一种基于人工智能的手写字体去除方法，步骤如下。
43.步骤1：训练样本准备。
44.（1）准备只有印刷体的纸张，要求纸张背景为白色，字体为黑色，用拍照设备对纸张拍照，再用程序对图片转正、去阴影等预处理，得到照片1，照片1包括印刷字体和背景这2个类别，转正和去阴影算法可以采用现有的方法。
45.（2）通过人工手动用笔在（1）所述的纸张上写字，拍照，如图3所示。经过图片转正、去阴影等预处理，得到照片2，照片2包括印刷字体、手写字体和背景这3个类别。
46.（3）用算法程序对照片1和照片2进行处理，得到照片2每个像素的类别，记为照片mask3。
47.（4）其中（3）的算法如下。
48.①
照片1和照片2放缩到相同的长宽，得到的结果分别记为矩阵c和矩阵d。
49.②
把矩阵d减去矩阵c，再删除小面积区域，得到手写字体部分，记为矩阵e，如图4所示。
50.③
把矩阵d减去矩阵e，得到印刷体部分，记为矩阵f，如图5所示。
51.④
这样就把手写字体、印刷字体与背景三个类别区分开了。区分开之后，就可以把背景的像素用0表示，印刷字体的像素用1表示，手写字体的像素用2表示。从而实现手写字体、印刷字体、背景的像素级标注。
52.⑤
如果图片较大，需要把照片1分割为小图片，对应的mask3也要分割为同样大小。
53.（5）为了实现比较好的效果，制作的样本数量需要达到一定的量，比如制作2200张，其中2000张用于训练，200张用于检测。
54.（6）如果需要处理不同语言文字的图片，则需要制作相应语言的样本，比如中文、英文等各种语言的样本都可以按这种方法制作。
55.（7）对于同一种语言文字，需要考虑到不同字体类型，比如中文的宋体、楷体等，还需要考虑到字体大小。另外，还有手写字体也需要多样化，需要多个人的手写笔迹。因此，制作样本需要考虑以上多个方面的因素。
56.步骤2：建立人工智能模型，主要是图像语义分割领域的人工智能模型，该人工智能模型可以是全卷积神经网络（fully convolutional networks，fcn），空洞卷积（dilated convolutions），也可以是segnet网络，或者u-net网络等。
57.同样的模型有多种设计方式，为了使手写字体、印刷字体、背景像素级分类效果更好，经过试验发现采用较大卷积核的效果更好，比如11
×
11。
58.考虑到实际工程应用，构建的模型需要尽量简单、且分类准确率较高。太复杂的模型计算开销大且耗时。其中的一个模型例子如图2所示，采用了全卷积神经网络和空洞卷积结合的深度学习模型，包括一个卷积层、池化层、两个空洞卷积层、池化层、两个空洞卷积层、反卷积层。
59.步骤3：模型训练，把训练样本输入模型进行训练，包括如下步骤。
60.（1）训练样本的输入。
61.把照片2作为训练样本的输入，输入到人工智能模型。
62.（2）训练样本的输出。
63.把照片mask3作为训练样本的目标输出。照片mask3包括3个类别，分别记为：印刷体记为1，手写字体记为2，背景记为0。
64.（3）准备好了模型和训练样本就可以训练模型了，模型的训练可以在个人电脑上训练，也可以在cpu服务器上或者gpu服务器上训练。如果样本量很大，最好在gpu服务器上训练。训练好模型之后要保存模型。
65.（4）模型检测，把检测样本输入到训练好的模型进行测试，得到分类准确率，比如这里的分类准确率为97.85%. 准确率高说明模型效果好。
66.步骤（4）：实际工程应用时，获取需要去除手写字体的图片，包括如下步骤。
67.（1）对需要去除手写字体的纸张进行拍照，或者是已经拍照好得到的图片，记为照片4，如图6所示。
68.（2）对照片4用程序进行预处理，包括图片转正、去阴影等，记为照片5。
69.步骤（5）：把需要去除手写字体的图片输入模型检测得到像素级分类结果图，包括如下步骤。
70.（1）加载训练好的模型。
71.（2）把照片5分割为n个小图片，比如可以取n=4。分割为小图片是为了提高检测速度。
72.（3）把每个小图片输入模型检测，可以通过多线程方法并行计算，得到分类结果。
73.步骤（6）：根据分类结果，把手写字体类别替换为背景类别得到去除手写字体的图片。结果如图7所示。可以看出，手写字体都去除的很干净，印刷字体大部分都保留的很清晰。
74.本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。