图像分类方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种图像分类方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.金融行业内根据业务管理要求的不断变化，需要从各个方面对一些凭证的审核流程进行数字化转型和功能优化。目前在实际的业务处理过程中，常常会涉及到要对用户上传的凭证图像进行分类处理的情况，对图像的分类方法的准确度提出了更高的要求。目前对用户上传的凭证进行分类的方法往往采用人工分类，而这些待分类的凭证常常具有多种版式且版式相似或存在多页的情况，大部份凭证上的文字具有粘连、密集的特点，有些凭证具有手写、复选框的情况，针对这些复杂场景，采用人工分类的方式无法满足业务快速发展和强监管的要求，存在分类结果准确度不高的问题。


技术实现要素：

3.基于此，有必要针对图像分类结果准确度不高的问题，提供一种能够提高分类结果准确度的图像分类方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
4.第一方面，本技术提供了一种图像分类方法。所述方法包括：
5.获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像；
6.通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果；
7.将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果；
8.将第一分类结果和第二分类结果进行对比，获得对比结果，若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。
9.在其中一个实施例中，图像分类模型的训练步骤，包括：
10.获取多种类别下的图像样本、以及每张图像样本所对应的类别标签信息，其中，多种类别与目标场景所涉及到的材料的文件类型相关；
11.确定每种类别的图像样本的数量，并确定各类别的图像样本的数量分布是否满足均匀分布条件；
12.若不满足，则对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作，以使得经过样本扩充后的各类别的图像样本的数量分布满足均匀分布条件；
13.基于满足均匀分布条件的多种类别下的图像样本、以及各图像样本的类别标签信息，对待训练的机器学习模型进行迭代训练，在训练完成时得到训练完成的图像分类模型。
14.在其中一个实施例中，对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作，包括：
15.查找图像样本的数量未达到预设数量的类别，将查找到的类别下的图像样本和预设背景图片进行合成，得到合成图像，将合成图像作为查找到的类别下的扩充的图像样本。
16.在其中一个实施例中，将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果，包括：
17.将待分类图像输入至字符识别服务，获得字符识别结果；
18.将字符识别结果分别与每种类别下的关键字进行比对；
19.若字符识别结果与任一类别下的关键字匹配成功，则将对应的类别作为第二分类结果。
20.在其中一个实施例中，图像分类方法还包括：
21.获取字符识别服务对待分类图像进行字符识别所得到的字符识别结果，字符识别结果包括字符和字符位置信息；
22.获取多个预置模板，确定每个预置模板中的关键字所对应的关键位置信息；
23.将字符识别结果中对应关键位置信息处的字符，与相应的预置模板的关键字进行匹配，得到待分类图像与各预置模板间的匹配程度；
24.将匹配程度最高的预置模板作为与待分类图像对应的目标模板；
25.基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出。
26.在其中一个实施例中，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出，包括：
27.基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，对目标内容中的多个字符进行排序，获得初始文本行；
28.若初始文本行的字符高度大于预设值，则将初始文本行进行拆分，获得拆分后的多个单行文本行；
29.若初始文本行的字符高度小于等于预设值，则将初始文本行作为单行文本行；
30.确定与每个单行文本行分别对应的关键字，将关键字与相对应的单行文本行进行关联，以组合成结构化结果输出。
31.在其中一个实施例中，在目标模板中包括有复选框的情况下，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，包括：
32.基于提取规则中指定的复选框的指定位置，从目标内容中获取到指定位置处的字符；
33.当指定位置处的字符为预设字符时，则确定相应指定位置处的字符未被选中，否则，则确定相应指定位置处的字符被选中作为目标内容。
34.第二方面，本技术还提供了一种图像分类装置。所述装置包括：
35.图像获取模块，用于获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像；
36.第一分类模块，用于通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果；
37.第二分类模块，用于将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果；
38.对比模块，用于将第一分类结果和第二分类结果进行对比，获得对比结果；
39.结果获取模块，用于若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。
40.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
41.获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像；
42.通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果；
43.将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果；
44.将第一分类结果和第二分类结果进行对比，获得对比结果，若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。
45.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
46.获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像；
47.通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果；
48.将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果；
49.将第一分类结果和第二分类结果进行对比，获得对比结果，若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。
50.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
51.获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像；
52.通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果；
53.将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果；
54.将第一分类结果和第二分类结果进行对比，获得对比结果，若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。
55.上述图像分类方法、装置、计算机设备、存储介质和计算机程序产品，通过获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像，采用训练完成的图像分类模型，对待分类图像进行分类，能够提高待分类图像的分类结果准确度；将待分类图像输入至字符识别服务，通过关键字匹配的方式，获得第二分类结果，能够将待分类的图像转化为字符数据，将对待分类图像进行分类转化为对字符数据进行关键字匹配，能够进一步提高待分类图像的分类结果准确度；将第一分类结果和第二分类结果进行对比，在对比结果一致
的情况下，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型，这种在两种分类方法得到的分类结果对比一致的情况下，进一步得到待分类图像的分类结果，能够保证待处理图像的分类结果准确度。
附图说明
56.图1为一个实施例中图像分类方法的应用环境图；
57.图2为一个实施例中图像分类方法的流程示意图；
58.图3为一个实施例中图像分类模型的训练步骤的流程示意图；
59.图4为另一个实施例中图像分类方法的流程示意图；
60.图5为又一个实施例中图像分类方法的流程示意图；
61.图6为一个具体实施例中图像分类方法的流程示意图；
62.图7为一个实施例中a类型目标材料对应的待处理图像示意图；
63.图8为一个实施例中带手写体的目标材料对应的待处理图像示意图；
64.图9为一个实施例中带复选框的目标材料对应的待处理图像示意图；
65.图10为一个实施例中h类型目标材料对应的待处理图像示意图；
66.图11为一个具体实施例中图像分类方法的总体流程示意图；
67.图12为一个实施例中图像分类装置的结构框图；
68.图13为一个实施例中计算机设备的内部结构图。
具体实施方式
69.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
70.本技术实施例提供的图像分类方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器从终端处获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像；通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果；将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果；将第一分类结果和第二分类结果进行对比，获得对比结果，若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
71.在一个实施例中，如图2所示，提供了一种图像分类方法，以该方法应用于计算机设备(该计算机设备具体可以是图1中的终端或服务器)为例进行说明，包括以下步骤：
72.s202，获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像。
73.其中，目标材料是用户填写或申报的文件材料，在审批通过后可凭借目标材料继
续进行相关的业务流程。目标材料具体可以是由申报信息所构成的文件，比如开户材料，开户材料包括但不限于营业执照、变更结算申请书、开立结算申请书、基本存款账户信息、开户许可证、法定代表人授权委托书、综合签约申请书或者印鉴卡等票据类型。其中，变更结算申请书、开立结算申请书、综合签约申请书具有版式复杂且相似、文字粘连、文字密集以及多页的特点，而营业执照、开户许可证、印鉴卡、基本存款账户信息等具有同类凭证多种版式的特点。
74.具体地，计算机设备获取用户上传的待分类图像，待分类图像可以是任意需要进行分类的图像的，也可以是对目标材料进行扫描得到的图像。对目标材料进行扫描，指的是采用扫描设备采集目标材料的图像，该扫描设备可以是包括有摄像头的终端。待分类图像可以为多种类别的待分类图像，每种类别的待分类图像对应一种目标材料的类型。
75.s204，通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果。
76.其中，训练完成的图像分类模型指的是用来对待分类图像进行分类的机器学习模型，图像分类模型采用样本和标签，经过模型训练得到训练完成的图像分类模型。常见的图像分类模型包括lenet(以其作者名字lecun命名的卷积神经网络模型)、alexnet(以其作者名字alex命名的卷积神经网络模型)、vgg(visual geometry group，视觉几何小组提出的卷积神经网络模型)、googlenet(谷歌神经网络模型)以及resnet(deep residual network，深度残差神经网络)。计算机设备通过训练完成的图像分类模型，对待分类图像进行分类，可以是计算机设备将待分类图像输入训练完成的图像分类模型，训练完成的图像分类模型输出待分类图像的第一分类结果，例如，计算机设备将待分类图像输入训练完成的图像分类模型，训练完成的图像分类模型输出的内容为：待处理图像在每种类别下的概率值，将概率值最大的类别作为待处理图像的第一分类结果。待分类图像的第一分类结果指的是待分类图像的一种分类结果，由于待分类图像包括多种不同类别的图像，经过训练完成的图像分类模型对待分类图像的分类以后，得到的待分类图像的第一分类结果包括多种类别。
77.s206，将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果。
78.其中，字符识别服务是采用字符识别算法构建的机器学习模型。关键字指的计算机设备预设的关键字，用以表征待处理图像的类别，例如，目标材料的类别为营业执照时，对应的关键字为“营业执照”，目标材料的类别为开户许可证时，对应的关键字为“开户许可证”。关键字匹配的方式指的是计算机设备将待分类图像输入至字符识别服务获得的字符识别结果与预设的关键字进行匹配，从而获得待分类图像的第二分类结果。待分类图像的第二分类结果指的是待分类图像的另一种分类结果。
79.具体地，计算机设备将待分类图像输入至字符识别服务，字符识别服务对待分类图像中的字符进行识别，获得字符识别结果。字符识别结果通常包括待处理图像中的字符内容。常见的字符识别算法包括模板匹配字符识别算法、神经网络字符识别算法和支持向量机字符识别算法。
80.需要说明的是，待分类图像包括多种不同类别的图像，通过字符识别服务以及关键字匹配的方式，得到的待分类图像的第二分类结果包括多种类别，并且，由于待分类图像
的第二分类结果的获取方法与待分类图像的第一分类结果的获取方法不同，第一分类结果或者第二分类结果可能相同或者不同。
81.s208，将第一分类结果和第二分类结果进行对比，获得对比结果，若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。
82.其中，计算机设备将待处理图像的第一分类结果和待处理图像的第二分类结果进行对比，获得对比结果，对比结果包括第一分类结果与第二分类结果一致或者第一分类结果与第二分类结果不一致。虽然采用图像识别模型对待分类图像分类的方法获得的待处理图像的第一分类结果，以及采用字符识别服务和关键字匹配的方法获得的第二分类结果都具有较高的准确度，但仍可能存在少量分类错误的情况。本技术中将第一分类结果和第二分类结果进行对比，获得对比结果，在第一分类结果和第二分类结果的对比结果一致的情况下，计算机设备基于第一分类结果和第二分类结果获得待分类图像的分类结果，待分类图像的分类结果用于指示目标材料所属的文件类型。第一分类结果和第二分类结果的对比结果一致，则可直接获得待分类图像的分类结果。若第一分类结果与第二分类结果的对比结果不一致，则说明第一分类结果或者第二分类结果存在分类错误，则需要重新进行处理。由此，基于两种不同的分类方式分别进行分类处理，且仅在第一分类结果和第二分类结果对比一致的情况下，才输出分类结果，能够避免分类错误的情况，具有较高的准确性。
83.上述图像分类方法中，通过获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像，采用训练完成的图像分类模型，对待分类图像进行分类，能够提高待分类图像的分类结果准确度；将待分类图像输入至字符识别服务，通过关键字匹配的方式，获得第二分类结果，能够将待分类的图像转化为字符数据，将对待分类图像进行分类转化为对字符数据进行关键字匹配，能够进一步提高待分类图像的分类结果准确度；将第一分类结果和第二分类结果进行对比，在对比结果一致的情况下，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型，这种在两种分类方法得到的分类结果对比一致的情况下，进一步得到待分类图像的分类结果，能够保证待处理图像的分类结果准确度。
84.在一个实施例中，如图3所示，图像分类模型的训练步骤，包括：
85.s302，获取多种类别下的图像样本、以及每张图像样本所对应的类别标签信息，其中，多种类别与目标场景所涉及到的材料的文件类型相关。
86.其中，类别标签信息是模型训练要预测的类别信息，类别标签信息具体可以为每张图像样本的类别信息。计算机设备获取多种类别下的图像样本以及每张图像样本所对应的类别标签信息，多种类别与目标场景所涉及到的材料的文件类型相关，多种类别包括但不限于营业执照、变更结算申请书、开立结算申请书、基本存款账户信息、开户许可证、法定代表人授权委托书、综合签约申请书或者印鉴卡，多种类别与目标场景所涉及到的材料的文件类型一一对应。
87.s304，确定每种类别的图像样本的数量，并确定各类别的图像样本的数量分布是否满足均匀分布条件。
88.计算机设备确定每种类别的图像样本的数量，并确定各类别的图像样本的数量分布是否满足均匀分布条件。具体地，所有类别下的图像样本的数量与预设数量的差值都在
预设阈值内，则认为满足均匀分布条件，若任一类别下的图像样本的数量与预设数量的差值不在预设阈值内，则认为不满足均匀分布条件。
89.s306，若不满足，则对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作，以使得经过样本扩充后的各类别的图像样本的数量分布满足均匀分布条件。
90.其中，样本扩充指的是采用图像合成的方法获得更多图像样本的方法，经过样本扩充操作后，图像样本的数量增加。不满足分布条件时，计算机设备对图像样本的数量未达到预设数量的图像样本进行样本扩充操作，以使得经过样本扩充后的各类别的图像样本的数量分布满足所述均匀分布条件。
91.例如，三种类别的图像样本的数量分别为：997、998和950，预设数量为1000，预设阈值为3，由于图像样本的数量为950与预设数量的差值不在预设阈值内，因此，需要对该图像样本进行样本扩充操作，该图像样本进行样本扩充操作以后，该图像样本的数量可以为997至1000之间的任一数据，三种类别的图像样本的数量分布满足均匀分布条件。
92.s308，基于满足均匀分布条件的多种类别下的图像样本、以及各图像样本的类别标签信息，对待训练的机器学习模型进行迭代训练，在训练完成时得到训练完成的图像分类模型。
93.计算机设备基于满足均匀分布条件的多种类别下的图像样本、以及各图像样本的类别标签信息，对待训练的机器学习模型进行迭代训练，在训练完成时得到训练完成的图像分类模型，具体地，计算机设备将满足均匀分布条件的多种类别下的图像样本以及各图像样本的类别标签信息输入到待训练的机器学习模型进行迭代训练，在达到训练停止条件时训练完成，得到训练完成的图像分类模型。训练停止条件可以为迭代训练的次数达到预设迭代次数、迭代训练的时长达到预设时长，还可以为训练完成的图像分类模型的精确率、召回率以及准确率达到预设条件。
94.本实施例中，通过获取多种类别下的图像样本、以及每张图像样本所对应的类别标签信息，将不满足均匀分布条件的图像样本进行样本扩充，能够保证各类别的图像样本的数量分布满足均匀分布条件，基于均匀分布的图像样本能够保证每种类别的图像样本的数量接近一致，避免某种样本过少导致的训练结果的偏差；基于满足均匀分布条件的多种类别下的图像样本以及各图像样本的类别标签现象对待训练的机器学习模型进行迭代训练，提高训练完成的图像分类模型的分类准确度。
95.在一个实施例中，对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作，包括：查找图像样本的数量未达到预设数量的类别，将查找到的类别下的图像样本和预设背景图片进行合成，得到合成图像，将合成图像作为查找到的类别下的扩充的图像样本。
96.其中，计算机设备查找图像样本的数量未达到预设数量的类别，将查找到的类别下的图像样本和预设背景图片进行合成，得到合成图像，将合成图像作为查找到的类别下的扩充的图像样本。具体地，在一些实施例中，合成图像的方法可以为：获取预设背景图片，预设背景图片可以包括至少一张图片，将查找到的类别下的图像分别和预设背景图片中的各图片进行图像合成，获得多张合成图像，其中，背景图片可以为对桌面、墙面、地面或者其他场景下拍摄的图片，图像合成可以采用图层叠加的方法，或者图像融合的方法。
97.在另一些实施例中，获取预设背景图片，预设背景图片可以包括至少一张图片，合成图像的方法可以为将查找到的类别下的图像样本经过旋转或者平移，再将旋转或者平移处理后的图像样本分别和预设背景图片中的各图片进行图像合成，获得多张合成图像。将多张合成图像作为查找到的类别下的扩充的图像样本，直到查找到的类别下的图像样本的数量达到预设数量。
98.本实施例中，通过查找图像样本的数量未达到预设数量的类别，将图像样本的数量未达到预设数量的类别下的图像样本和预设背景图片进行合成，得到合成图像，将合成图像作为查找到的类别下的扩充的图像样本，能够扩充图像样本，增加图像样本的数量，保证各类别的图像样本的数量分布满足均匀分布条件，基于均匀分布的图像样本能够保证每种类别的图像样本的数量接近一致，避免某种样本过少导致的训练结果的偏差，提高训练完成的图像分类模型的分类准确度。
99.在一个实施例中，将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果，包括：将待分类图像输入至字符识别服务，获得字符识别结果；将字符识别结果分别与每种类别下的关键字进行比对；若字符识别结果与任一类别下的关键字匹配成功，则将对应的类别作为第二分类结果。
100.其中，计算机设备将待分类图像输入至字符识别服务中，字符识别服务可以为ocr(optical character recognition，光学字符识别)字符识别模型，字符识别服务输出字符识别结果，字符识别结果包括待分类图像中的字符以及字符对应的字符位置信息。计算机设备将字符识别结果分别与每种类别下的关键字进行比对。具体地，计算机设备中预设关键字，每种类别的目标材料都有对应的预设关键字，且每种类别的目标材料对应的预设关键字不同，计算机设备将字符识别结果分别与每种类别下的关键字进行比对。若所述字符识别结果与任一类别下的关键字匹配成功，则将对应的类别作为第二分类结果，具体地，若字符识别结果与任一类别下的关键字的匹配程度大于预设程度值，则计算机设备将该关键字对应的类别作为待分类图像的第二分类结果。例如，字符识别结果为“变更结算申请”，关键字包括“营业执照”、“变更结算申请书”、“开立结算申请书”、“基本存款账户信息”、“开户许可证”、“法定代表人授权委托书”、“综合签约申请书”以及“印鉴卡”，将字符识别结果分别与关键字进行比对，其中，只有关键字中的“变更结算申请书”与字符识别结果的匹配程度大于预设程度值，将“变更结算申请书”对应的类别作为第二分类结果。
101.本实施例中，通过将待分类图像输入至字符识别服务，获得字符识别结果，将字符识别结果分别与每种类别下的关键字进行比对，将字符识别结果与任一类别下的关键字匹配成功，则将对应的类别作为第二分类结果。这种将待分类图像经过字符识别服务，能够将待分类的图像转化为字符数据，即将图像处理转化为字符处理，能够提高图像处理的效率和准确度；将字符识别结果与关键字匹配的方法获得第二分类结果，能够进一步提高待分类图像的分类结果准确度。
102.在一个实施例中，如图4所示，图像分类方法还包括：
103.s401，获取字符识别服务对待分类图像进行字符识别所得到的字符识别结果，字符识别结果包括字符和字符位置信息。
104.其中，计算机设备获取字符识别服务对待分类图像进行字符识别所得到的字符识别结果，字符识别的方法为：将待分类图像输入至字符识别服务，获得字符识别结果。字符
识别结果包括字符和字符位置信息，字符为待处理图像中的字符，字符位置为待处理图像中的字符对应的位置信息，可以为位置坐标。可以理解的是，字符识别结果中的字符的数量为至少一个，每个字符可以为单个字符，也可以为多个字符组成的字符组，字符位置还可以为待处理图像中单个字符的位置信息，也可以为待处理图像中字符组的位置信息。
105.s402，获取多个预置模板，确定每个预置模板中的关键字所对应的关键位置信息。
106.其中，计算机设备中预先设置了多个目标材料对应的预置模板，每种类别的目标材料对应一个预置模板，预置模板中的内容包括至少一个关键字和模板版式。计算机设备获得多个预置模板，并确定每个预置模板中的关键字以及每个关键字所对应的关键位置信息，关键字所对应的关键位置信息为关键字在模板版式中的位置信息，关键位置信息可以为位置坐标。
107.s403，将字符识别结果中对应关键位置信息处的字符，与相应的预置模板的关键字进行匹配，得到待分类图像与各预置模板间的匹配程度。
108.其中，计算机设备将字符识别结果中对应关键位置信息处的字符，与相应的预置模板的关键字进行匹配，得到待分类图像与各预置模板间的匹配程度，具体地，计算机设备从字符识别结果中获取对应关键位置信息处的字符，再将该字符与预置模板中关键位置信息处的关键字进行匹配，匹配方法为：将该字符与预置模板中关键位置信息处的关键字中的字符一一对比，例如，字符识别结果中的字符为“abcd”，相应的预置模板的关键字为“abce”字符识别结果中的字符与相应的预置模板中的关键字有75％的字符是相同的，认为匹配程序为75％。将字符识别结果中的所有字符分别与相应的预置模板中对应的关键字进行匹配，得到待分类图像与各预置模板间的匹配程度。
109.s404，将匹配程度最高的预置模板作为与待分类图像对应的目标模板。
110.其中，计算机设备从待分类图像与各预置模板间的匹配程度中，查找到匹配程度最高值，将匹配程度最高值对应的预置模板作为与待分类图像对应的目标模板。这种选取匹配程度最高的预置模板作为与待分类图像对应的目标模板的方法，能够保证目标模板是与待分类图像匹配程度最高的预置模板，有利于得到准确的待分类图像对应的预置模板。
111.s405，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出。
112.其中，提取规则指的是要提取的关键字以及关键位置信息，结构化结果指的是以预设结构形式输出的结果，结构化结果中包括字符识别中的字符和字符位置信息，例如，结构化结果的结构形式可以为json(javascript object notation，js对象简谱)形式。计算机设备基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，具体地，计算机设备从字符识别结果中，提取对应目标模板的关键位置信息处的字符，作为目标内容，并获得目标内容的字符位置信息，将目标内容和对应的字符位置信息组合在一起，转化为结构化结构进行输出，获得结构化结果。例如，结构化结果可以为：
[0113][0114][0115]
本实施例中，通过获取字符识别服务对待分类图像进行字符识别所得到的字符识别结果以及确定每个预置模板中的关键字所对应的关键位置信息，将字符识别结果中对应关键位置信息处的字符，与相应的预置模板的关键字之间匹配程度最高的预置模板作为与待分类图像对应的目标模板，基于提取规则提取字符识别结果中的目标内容，并组合成结构化结果输出，这种根据字符识别结果与预置模板中关键字进行匹配来确定待分类图像对应的目标模板的方法，能够保证目标模板是与待分类图像匹配程度最高的预置模板，有利于得到准确的待分类图像对应的预置模板；基于与目标模板相匹配的提取规则来提取字符识别结果中的目标内容，能够保证提取的提取出的目标内容与目标模板相对应的，有利于提高结构化结果的准确性；将目标内容与对应的字符位置信息，组合成结构化结果输出，有利于结果数据的展示和快速查找。
[0116]
在一个实施例中，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出，包括：基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，对目标内容中的多个字符进行排序，获得初始文本行；若初始文本行的字符高度大于预设值，则将初始文本行进行拆分，获得拆分后的多个单行文本行；若初始文本行的字符高度小于等于预设值，则将初始文本行作为单行文本行；确定与每个单行文本行分别对应的关键字，将关键字与相对应的单行文本行进行关联，以组合成结构化结果输出。
[0117]
其中，计算机设备基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，对于目标材料的类型为变更结算申请书、开立结算申请书、综合签约申请书的情况。由于目标材料具有版式复杂且相似、文字粘连、文字密集、多页的特点，经过字符识别服务处理得到的目标内容可能为字符块，字符块是指包括至少一行字符的文本块。计算机设备在字符识别结果中，提取对应目标模板的关键位置信息处的字符块，对字符块中的多个字符按照自上而下、从左往右的顺序进行排序，获得初始文本行。计算机设备进一步将排序后的多个字符进行分行处理，具体地，计算机设备判断初始文本行的字符高度与预设值的
大小，在初始文本行的字符高度大于预设值的情况下，计算机设备将初始文本行进行拆分，获得拆分后的多个单行文本行，在初始文本行的字符高度小于等于预设值的情况下，计算机设备将初始文本行作为单行文本行。其中，在一些实施例中，将初始文本行进行拆分的方法可以为：按照业务类型进行分行，例如，初始文本行按照业务类型应该为三行字符，前两行字符为文本类型，第三行类型为字符类型，经过分行处理，可以将文本类型以及字符类型的字符进行分行。进而，计算机设备从目标模板中，确定与每个单行文本行分别对应的关键字，具体地，将目标模板的关键位置信息与每个单行文本行分别对应，从而确定与每个单行文本行分别对应的关键字。计算机设备将关键字与相对应的单行文本行进行关联，以组合成结构化结果输出，获得的结果化结果中包括拆分后的文本行，能够提高获得的结构化结果的准确性。
[0118]
本实施例中，通过与目标模板相匹配的提取规则提取的目标内容，将目标内容通过排序和分行，能够将文字粘连或者文字密集的目标内容处理为拆分后的多个单行文本行，基于单行文本行进行结构化输出，能够提高获得的结构化结果的准确性。
[0119]
在一个实施例中，如图5所示，在目标模板中包括有复选框的情况下，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，包括：
[0120]
s502，基于提取规则中指定的复选框的指定位置，从目标内容中获取到指定位置处的字符。
[0121]
其中，在目标材料的类型为变更结算申请书、法定代表人授权委托书或者开立结算申请书时，目标材料中往往包括复选框，与目标材料对应的预置模板，即目标模板中也包括复选框，而当复选框被选中时，待处理图像在复选框的位置可能为“√”或者
“ⅹ”
，当复选框未被选中时，复选框在字符识别服务中的识别内容往往为“口”。在目标模板中包括有复选框的情况下，计算机设备从目标内容中，提取目标内容中指定的复选框的指定位置处的字符，从而确定处目标内容中，与复选框的指定位置对应的字符。
[0122]
s504，当指定位置处的字符为预设字符时，则确定相应指定位置处的字符未被选中，否则，则确定相应指定位置处的字符被选中作为目标内容。
[0123]
其中，当目标内容中，复选框的指定位置处的字符为预设字符时，例如，预设字符为“口”，则计算机设备确定相应位置处的字符未被选中，当目标内容中，复选框的指定位置处的字符不为预设字符时，则计算机设备确定则确定相应指定位置处的字符被选中作为目标内容。
[0124]
本实施例中，通过在目标模板中包括有复选框的情况下，从目标内容中获取复选框的指定位置处的字符，根据字符内容，确定目标内容是否被选中，能够保证目标模板中具有复选框的情况下，也能获得准确的目标内容，有利于输出准确的结构化结果。
[0125]
为详细说明本方案中图像分类方法及效果，下面以一个最详细实施例进行说明，其中，目标材料为开户材料，目标材料的类型包括但不限于a类型、b类型、c类型、d类型、e类型、f类型、g类型或者h类型，采用的待训练的机器学习模型为resnet图像分类模型，字符识别服务为ocr字符识别模型：
[0126]
如图6所示为图像分类方法的流程示意图，计算机设备获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像，通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果。其中，图像分类模型的训练步骤，包括：获取多种
类别下的图像样本、以及每张图像样本所对应的类别标签信息，其中，多种类别与目标场景所涉及到的材料的文件类型相关；确定每种类别的图像样本的数量，并确定各类别的图像样本的数量分布是否满足均匀分布条件。所有类别下的图像样本的数量与预设数量的差值都在预设阈值内，则认为满足均匀分布条件，若任一类别下的图像样本的数量与预设数量的差值不在预设阈值内，则认为不满足均匀分布条件。若不满足，则对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作，以使得经过样本扩充后的各类别的图像样本的数量分布满足均匀分布条件；基于满足均匀分布条件的多种类别下的图像样本、以及各图像样本的类别标签信息，对待训练的机器学习模型进行迭代训练，在训练完成时得到训练完成的图像分类模型。对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作，包括：查找图像样本的数量未达到预设数量的类别，将查找到的类别下的图像样本和预设背景图片进行合成，得到合成图像，将合成图像作为查找到的类别下的扩充的图像样本。例如，三种类别的图像样本的数量分别为：997、998和950，预设数量为1000，预设阈值为3，由于图像样本的数量为950与预设数量的差值不在预设阈值内，因此，需要对该图像样本进行样本扩充操作，该图像样本进行样本扩充操作以后，该图像样本的数量可以为997至1000之间的任一数据，三种类别的图像样本的数量分布满足均匀分布条件。其中，针对开户场景多版式高精度分类的要求，采用resnet算法进行图像特征提取与分类，resnet图像分类模型是一种通过残差学习解决了深度网络的退化问题的特征提取算法。resnet图像分类模型参考了vgg19图像分类模型，在vgg19图像分类模型的基础上进行了修改，并通过短路机制加入了残差单元，其变化主要体现在resnet图像处理模型直接使用stride(步长)＝2的卷积做下采样，并且用global average pool(全局平均池化)层替换了全连接层。resnet图像分类模型的一个重要设计原则是：当feature map(特征图)大小降低一半时，feature map的数量增加一倍，这保持了网络层的复杂度。resnet相比普通图像分类的神经网络模型每两层间增加了短路机制，从而形成了残差学习，采用resnet图像分类模型，能够实现复杂场景下目标材料的自动分类，提高待处理图像的分类结果精度和分类结果准确度。
[0127]
计算机设备将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果。将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果，包括：将待分类图像输入至字符识别服务，获得字符识别结果，将字符识别结果分别与每种类别下的关键字进行比对，若字符识别结果与任一类别下的关键字匹配成功，则将对应的类别作为第二分类结果。计算机设备将第一分类结果和第二分类结果进行对比，获得对比结果，若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。对于目标材料为a类型和b类型具有多页的情况，每页的版式不尽相同，图像分类模型需要将不同版式的待分类图像判定为同一类型，对图像分类模型的分类精度要求较高，本技术中提出的基于关键字匹配的方法，能够通过不同类别下的关键字与字符识别服务中的字符识别结果进行匹配，进而确定待分类图像的分类结果，如图7所示为对a类型目标材料扫描得到的待处理图像示意图，通过图像分类模型得到第一分类结果，基于字符识别服务和关键字匹配得到第二分类结果，在第一分类结果和第二分类结果一致的情况下，可以确定待分类图像的分类结果为a类型。
[0128]
图像分类方法还包括将对比结果一致的待分类图像进行结构化提取，c类型、d类型、e类型、f类型这几类开户材料版式相对固定，需要提取的字段信息规则简单，可以采用模板匹配的方式获得待分类图像对应的目标模板，通过与目标模板对应的提取规则提取字符识别结果中的目标内容，提取规则指的是要提取的关键字以及关键位置信息，要提取的关键字以及关键位置信息预置在模板里面，将字符识别结果中对应关键位置信息处的字符，与相应的预置模板的关键字进行匹配，将得分最高的预置模板设置为待分类图像的目标模板，再对目标模板设置的关键字和关键位置信息按照提取规则进行信息提取。具体地，计算机设备获取字符识别服务对待分类图像进行字符识别所得到的字符识别结果，字符识别结果包括字符和字符位置信息，获取多个预置模板，确定每个预置模板中的关键字所对应的关键位置信息，将字符识别结果中对应关键位置信息处的字符，与相应的预置模板的关键字进行匹配，得到待分类图像与各预置模板间的匹配程度，将匹配程度最高的预置模板作为与待分类图像对应的目标模板，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出。
[0129]
其中，计算机设备对于如g类型和h类型等，由于版式复杂，具有手写文字、复选框、文字小且密集的目标材料，在获得目标模板之后，还需要对目标内容存在文字粘连和文字密集的情况进行排序和分行处理。排序的方法为计算机设备将目标内容中的全部文字按照从左上角坐标进行自上而下，从左往右的排序。排完序之后再对具有多行密集文字或复选框的情况进行单独处理，以保证识别的正确性。其中，复选框的处理方式为，将具有复选框的区域的文字进行排序之后，记录下全部识别为“口”的位置信息，因为目标模型中复选框的关键位置信息较为固定，那么固定位置没有“口”的关键位置信息处对应的选择项即为被选中的内容。具体地，计算机设备基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出，包括：计算机设备基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，对目标内容中的多个字符进行排序，获得初始文本行，若初始文本行的字符高度大于预设值，则将初始文本行进行拆分，获得拆分后的多个单行文本行，若初始文本行的字符高度小于等于预设值，则将初始文本行作为单行文本行，确定与每个单行文本行分别对应的关键字，将关键字与相对应的单行文本行进行关联，以组合成结构化结果输出。在目标模板中包括有复选框的情况下，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，包括：基于提取规则中指定的复选框的指定位置，从目标内容中获取到指定位置处的字符；当指定位置处的字符为预设字符时，则确定相应指定位置处的字符未被选中，否则，则确定相应指定位置处的字符被选中作为目标内容，即当目标内容中，复选框的指定位置处的字符为预设字符时，例如，预设字符为“口”，则计算机设备确定相应位置处的字符未被选中，当目标内容中，复选框的指定位置处的字符不为预设字符时，则计算机设备确定则确定相应指定位置处的字符被选中作为目标内容。如图8所示对带手写体的g类型目标材料扫描得到的待处理图像示意图。如图9所示为对带复选框的g类型目标材料扫描得到的待处理图像示意图。开户材料中，g类型和h类型上存在大部分为多行文字，文字粘连且密集，仅依靠字符识别服务难以检测到精准位置，如图10所示为对h类型目标材料扫描得到的待处理图像示意图，图中“变更范围”对应的具体内容存在多行文字粘连且密集的情况。
[0130]
另外，如图11所示为图像分类方法的总体流程示意图，可选地，为了简化上游系统
在开户场景下同时调用图像分类及字符识别服务，实现多种类别的开户材料实时识别的精度和速度要求，本技术将图像分类模型、字符识别服务、结构化处理集成到同一个端到端服务供业务系统调用，满足了一个接口同时支持多种类别的目标材料的分类及字符识别的功能。同时，可选地，为了满足上游系统单次请求在预设时间以内的识别要求，采用多gpu(graphics processing unit，图形处理器)轮询的机制，对每一张待分类图像都会启动一个单独的子线程进行识别，完成图像分类、字符识别以及结构化提取等步骤。将模型部署成可供业务系统调用的rest api(application program interface，应用程序接口)形式，能够实现多种类的目标材料的分类以及字符识别服务通过统一api输出。
[0131]
上述图像分类方法，通过获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像，采用训练完成的图像分类模型，对待分类图像进行分类，能够提高待分类图像的分类结果准确度；将待分类图像输入至字符识别服务，通过关键字匹配的方式，获得第二分类结果，能够将待分类的图像转化为字符数据，将对待分类图像进行分类转化为对字符数据进行关键字匹配，能够进一步提高待分类图像的分类结果准确度；将第一分类结果和第二分类结果进行对比，在对比结果一致的情况下，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型，这种在两种分类方法得到的分类结果对比一致的情况下，进一步得到待分类图像的分类结果，能够保证待处理图像的分类结果准确度。同时，本技术中的图像分类方法简单、快速、实用，避免了在开户的复杂场景下人为对开户材料进行分类和信息录入时所承担的易出错、耗时长、信息泄露的风险；基于深度学习算法和模板匹配的后处理方式集成的端到端代码框架，充分考虑了实际应用场景；采用多gpu分布式推理的方式，实现了较高的端到端识别速度，同时具有较高的识别精度，能够满足较高的业务并发需求和响应的实时性需求。
[0132]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0133]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像分类方法的图像分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像分类装置实施例中的具体限定可以参见上文中对于图像分类方法的限定，在此不再赘述。
[0134]
在一个实施例中，如图12所示，提供了一种图像分类装置100，包括：图像获取模块110、第一分类模块120、第二分类模块130、对比模块140和结果获取模块150，其中：
[0135]
图像获取模块110，用于获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像。
[0136]
第一分类模块120，用于通过训练完成的图像分类模型，对待分类图像进行分类，获得待分类图像的第一分类结果。
[0137]
第二分类模块130，用于将待分类图像输入至字符识别服务，并通过关键字匹配的
方式，获得待分类图像的第二分类结果。
[0138]
对比模块140，用于将第一分类结果和第二分类结果进行对比，获得对比结果；
[0139]
结果获取模块150，用于若对比结果一致，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型。
[0140]
上述图像分类装置，通过获取待分类图像，待分类图像为对目标材料进行扫描而得到的图像，采用训练完成的图像分类模型，对待分类图像进行分类，能够提高待分类图像的分类结果准确度；将待分类图像输入至字符识别服务，通过关键字匹配的方式，获得第二分类结果，能够将待分类的图像转化为字符数据，将对待分类图像进行分类转化为对字符数据进行关键字匹配，能够进一步提高待分类图像的分类结果准确度；将第一分类结果和第二分类结果进行对比，在对比结果一致的情况下，则基于第一分类结果和第二分类结果获得待分类图像的分类结果，分类结果用于指示目标材料所属的文件类型，这种在两种分类方法得到的分类结果对比一致的情况下，进一步得到待分类图像的分类结果，能够保证待处理图像的分类结果准确度。
[0141]
在一个实施例中，在图像分类模型的训练步骤方面，第一分类模块120还用于：获取多种类别下的图像样本、以及每张图像样本所对应的类别标签信息，其中，多种类别与目标场景所涉及到的材料的文件类型相关；确定每种类别的图像样本的数量，并确定各类别的图像样本的数量分布是否满足均匀分布条件；若不满足，则对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作，以使得经过样本扩充后的各类别的图像样本的数量分布满足均匀分布条件；基于满足均匀分布条件的多种类别下的图像样本、以及各图像样本的类别标签信息，对待训练的机器学习模型进行迭代训练，在训练完成时得到训练完成的图像分类模型。
[0142]
在一个实施例中，在对图像样本的数量未达到预设数量的类别下的图像样本进行样本扩充操作方面，第一分类模块120还用于：查找图像样本的数量未达到预设数量的类别，将查找到的类别下的图像样本和预设背景图片进行合成，得到合成图像，将合成图像作为查找到的类别下的扩充的图像样本。
[0143]
在一个实施例中，在将待分类图像输入至字符识别服务，并通过关键字匹配的方式，获得待分类图像的第二分类结果方面，第二分类模块130还用于：将待分类图像输入至字符识别服务，获得字符识别结果；将字符识别结果分别与每种类别下的关键字进行比对；若字符识别结果与任一类别下的关键字匹配成功，则将对应的类别作为第二分类结果。
[0144]
在一个实施例中，图像分类装置100还用于：获取字符识别服务对待分类图像进行字符识别所得到的字符识别结果，字符识别结果包括字符和字符位置信息；获取多个预置模板，确定每个预置模板中的关键字所对应的关键位置信息；将字符识别结果中对应关键位置信息处的字符，与相应的预置模板的关键字进行匹配，得到待分类图像与各预置模板间的匹配程度；将匹配程度最高的预置模板作为与待分类图像对应的目标模板；基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出。
[0145]
在一个实施例中，在基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，并组合成结构化结果输出方面，图像分类装置100还用于：基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容，对目标内容中的多个字符进行排序，获得初始文本行；若初始文本行的字符高度大于预设值，则将初始文本行进行拆分，获得拆分后
的多个单行文本行；若初始文本行的字符高度小于等于预设值，则将初始文本行作为单行文本行；确定与每个单行文本行分别对应的关键字，将关键字与相对应的单行文本行进行关联，以组合成结构化结果输出。
[0146]
在一个实施例中，在目标模板中包括有复选框的情况下，基于与目标模板相匹配的提取规则，提取字符识别结果中的目标内容方面，图像分类装置100还用于：基于提取规则中指定的复选框的指定位置，从目标内容中获取到指定位置处的字符；当指定位置处的字符为预设字符时，则确定相应指定位置处的字符未被选中，否则，则确定相应指定位置处的字符被选中作为目标内容。
[0147]
上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0148]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待分类图像、训练完成的图像分类模型、待分类图像的第一分类结果、待分类图像的第二分类结果、对比结果、待分类图像的分类结果、多种类别下的图像样本、每张图像样本所对应的类别标签信息、每种类别的图像样本的数量、合成图像、字符识别结果、关键字、关键位置信息、预置模板、结构化结果、初始文本行以及单行文本行。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类方法。
[0149]
本领域技术人员可以理解，图13中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0150]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0151]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0152]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0153]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0154]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机
可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0155]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0156]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。