智能字迹评价系统的深度特征可视化的解释方法

1.本发明属深度学习领域，具体涉及一种智能字迹评价系统的深度特征可视化的解释方法。


背景技术：

2.目前在书写质量的评价技术领域中，人工评价的方式没有统一的标准、主观化、效率低，很难快速合理地评价大量手写字体的质量。因此利用计算机来进行汉字书写质量的评价是一种趋势。目前相关的研究还比较少，有基于模板匹配的硬笔汉字书写质量评价方法，该方法通过正确性和工整性两方面对书写字迹进行评价，正确性的评价通过抽取出用户书写的汉字的笔画类型、笔画数量、同类笔画的空间位置关系、同类笔画长短关系、异类笔画拓扑关系等特征与标准模板的汉字特征进行比对实现，工整性的评价同样是通过抽取用户书写汉字的一些预定义的特征与标准模板汉字特征进行比对，获得各分项特征相似度，形成分项的工整性评价，为各分项特征赋予经过bp神经网络训练调整过的特征权重，进行加权运算得到。该基于模板匹配的方法，需要有标准模板的汉字库和能够对书写字迹进行有效评价的特征，形成标准的书写汉字库需要耗费大量的人力物力，同时选定能对书写字迹进行有效评价的特征也很困难，存在着主观性、效率低等问题。国外也有关于英文手写字体质量评价的相关研究，一些比较新的研究都是基于深度学习卷积神经网络进行的，能够通过深度神经网络自动学习到一些字体评价的关键特征，从而避免人工选择特征的相关局限，效果较于之前的基于模式识别的方法有了很大的提升。受此启发，引入深度神经网络设计智能字迹评分系统来自动学习手写汉字字迹的关键特征从而对大量的汉字数据进行评分。
3.基于深度神经网络的智能字迹评分系统可以提高标准化手写字体质量评价的效率，易于推广使用。然而智能字迹评分系统评价汉字字迹质量时缺乏可解释性，基于深度神经网络的智能字迹评分系统往往是被当作黑盒来处理，模型所学习到的字迹质量特征难以被直观地解释。要想大量推广使用智能字迹评分系统对字迹数据进行评分，需要寻求一种能将字迹评分系统中所学到的字迹质量特征进行可视化的解释方法，能直观地对影响评分的关键特征进行解释。


技术实现要素：

4.为了解决以上技术问题，本发明提供一种智能字迹评价系统的深度特征可视化的解释方法。包括：获取字迹图像数据，利用智能字迹评价系统进行评分；以预处理后的字迹图像作为样本，以评分作为其标签，输入到深度学习卷积神经网络进行训练，得到训练好的网络；对新的字迹图像数据进行预处理并输入到训练好的网络；从网络的最后一层全连接层前提取得到字迹质量的深度特征图，通过cam方法生成特征图的热图，将生成的热图映射到预处理后的字迹图像上，形成深度特征可视化的图像。能够直观清晰地得到对于字迹评分起决定性作用的局部特征，清楚地解释字迹评价系统所学到的质量特征与输入图像之间
的关系，从而说明智能字迹评价系统对字迹进行评分的合理性。
5.一种智能字迹评价系统的深度特征可视化的解释方法，其特征在于步骤如下：
6.s1：获取字迹图像数据：利用标准的田字格获取原始用户字迹数据；利用图像采集设备对原始用户字迹数据进行处理，得到字迹图像数据；利用智能字迹评价系统对原始用户字迹进行评分；
7.s2：字迹图像数据预处理：对字迹图像数据沿田字格进行边缘分割，得到若干单个字迹图像，将单个字迹图像均转换为灰度图像，进行归一化处理，调整为预设的大小，完成字迹图像数据预处理；
8.s3：模型训练：以预处理后得到的字迹图像作为样本数据，并以评分作为其标签，将样本数据及其标签输入到深度学习卷积神经网络，对网络进行训练，得到训练好的网络，网络的输入为字迹图像，输出为其预测评分；
9.s4：评分：获取新的字迹图像数据；对新的字迹图像数据按照步骤s2进行预处理，并将预处理后的字迹图像输入到步骤s3得到的训练好的网络，得到其预测评分；
10.s5：可视化：从网络最后一层全连接层前提取得到网络学习到的字迹质量特征图像，通过cam方法生成特征图像的热图，将生成的热图映射到预处理后的字迹图像数据上，得到深度特征可视化的图像，包含网络对每个字进行评分时关注的关键特征，从而形成对智能字迹评分系统的可视化解释。
11.具体地，步骤s3中所述的深度学习卷积神经网络采用resnet-18网络。
12.本发明的有益效果是：能够对智能字迹评价系统学习到的深度特征进行可视化的解释，通过对深度特征进行可视化并将其映射到输入的原图中，得到特征可视化后的图像，可以让人更易理解字迹评分系统在对字迹图像进行评分时关注的特征，直观地看到对于字迹评分起决定性作用的局部特征——字迹质量特征，从而说明智能字迹评分系统对字迹进行评分的合理性。同时，本发明可推广到众多基于卷积神经网络的智能字迹评价系统中，对各种智能字迹评价系统中的深度特征进行可视化的解释，将网络学习到的字迹质量特征以热图形式呈现，说明智能字迹评分系统的合理性，从而推动汉字书写质量智能评价方法的推广使用。
附图说明
13.图1是本发明的智能字迹评价系统的深度特征可视化的解释方法流程图；
14.图2是书写纸张示意图；
15.图3是收集到的字迹图像数据示意图；
16.图4是预处理后的字迹图像示意图；
17.图5是采用本发明方法生成的深度特征可视化解释图像示意图。
具体实施方式
18.下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
19.如图1所示，本发明提供了一种智能字迹评价系统的深度特征可视化的解释方法，其具体实现过程如下：
20.s1：获取字迹图像数据
21.利用标准的田字格获取原始用户字迹数据；利用图像采集设备对原始用户字迹数据进行处理，得到字迹图像数据；利用智能字迹评价系统对原始用户字迹进行评分；
22.作为一种实施例，所述原始用户字迹数据，通过书写纸张获得，图2是书写纸张的示意图；纸张大小为a4，书写纸的坐标为田字格，田字格为9列10行，同时纸张右边有学校、年级、姓名、性别等个人信息填写栏。图3是收集到的字迹图像数据，其为整幅图像，包括多个田字格内的多个单字。
23.s2：字迹图像数据预处理
24.对字迹图像数据进行预处理，具体如下：
25.对所述字迹图像数据沿田字格进行边缘分割，得到字迹图像数据中的单个字迹图像；
26.将单个字迹图像转换为灰度图像，并进行归一化操作；
27.将单个字迹图像调整成预设大小，本实施例中，预设大小为224*224像素。图4给出了预处理后的字迹图像中单个字迹图像数据示意图，其包括多个单字。
28.s3：模型训练
29.以预处理后得到的字迹图像作为样本数据，并以评分作为其标签，将样本数据及其标签输入到深度学习卷积神经网络，对网络进行训练，得到训练好的网络，训练好的网络能够对预处理后的字迹图像进行分类并获得相应的评分。
30.作为一种实施例，这里采用resnet-18作为分类网络结构，通过resnet-18模型对字迹数据进行分类从而实现对字迹数据进行评分。
31.s4：评分
32.获取新的字迹图像数据；对新的字迹图像数据如步骤s2所述进行相应的预处理，并输入至训练好的卷积神经网络分类模型中，得到字迹的评分。
33.s5：可视化
34.从网络最后一层全连接层前提取出网络学习到的的字迹质量特征图像，通过cam方法生成特征图像的热图，将生成的热图映射到预处理后的字迹图像数据上，得到深度特征可视化的图像，通过该图像可以得到在对字迹进行分类评分时关注的关键特征，即卷积神经网络学习到的对于字迹评分起决定作用的重要局部深度特征，从而形成对智能字迹评分系统的可视化解释。
35.所述的cam方法记载在文献“b.zhou,a.khosla,a.lapedriza,a.oliva,and a.torralba,“learning deep features for discriminative localization,”in proceedings of the ieee conference on computer vision and pattern recognition,2016,pp.2921
–
2929”中，其具体过程为：网络的最后一个卷积层得到的特征图经过全局平均池化后得到一个n维的向量p，之后连接一个分类器，概率最大的一类即为最后的输出类别。在该向量p中的每个单元与类别之间都有一个权重wi，通过对向量p中的单元求加权和就可以得到分类为某一类别的概率，其中每个权重w就表示了p中每一个单元值对于最终分类的影响。在图像分类中每个单元都对应着特征图的一个通道，即权重w反映了特征图的每一通道对于最终分类结果的影响，将每个通道的特征生成热图并将其与对应权重相乘求和得到特征图的热图。
36.图5是采用本发明方法生成的深度特征可视化解释的实例示意图。不同的灰度区域代表了影响字迹质量评价的特征可视化结果；在字体部分灰度区域越深表明字体的该部分的特征对最终字迹评分的影响越大，如“经”字的右上部分灰度区域更深，“雪”字下半部分灰度区域更深，“果”字上半部分灰度区域更深，“家”字宝盖头以下部分灰度区域更深，即这些字的相应部分的特征对字迹评分的影响越大。