一种图像识别的方法及设备与流程

1.本发明涉及图像识别技术领域，特别涉及一种图像识别的方法及设备。


背景技术：

2.国标机动车车牌包括蓝牌，新能源，黄牌等，车牌字符格式比较统一，一般为省份简称 字母 字母或数字，长度为7位或8位，车牌全部使用字符个数不超过几十种，目前国标机动车车牌识别方案已经比较成熟，识别率较高。
3.但在一些工厂或园区，为方便内部车辆管理，内部车辆一般会悬挂特殊的定制车牌，很多定制车牌通常会存在新的字符，且新的字符并不在国标车牌的字符库中，针对这种定制车牌，需要搜集大量图像进行训练，重新优化针对定制车牌的识别算法，开发周期较长，消耗人力物力。


技术实现要素：

4.本发明提供一种图像识别的方法及设备，用于实现一种更加通用的车牌识别方法，在支持国标车牌基础上支持识别各种定制车牌，减少开发工作量和开发周期。
5.第一方面，本发明实施例提供的一种图像识别的方法，该方法包括：
6.确定待识别的图像和所述图像中对象的外部特征；
7.将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；
8.根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
9.本实施例提供的通用图像识别方法能够保证识别的准确率的同时，采用多任务方式，使用更低的计算力实现国标车牌和其他定制车牌的识别。
10.作为一种可选的实施方式，通过如下方式确定所述识别模型训练完成：
11.获取标注的第一训练集和标注的第二训练集；
12.将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
13.分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
14.作为一种可选的实施方式，通过如下方式确定所述第二训练集：
15.获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；
16.根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；
17.根据标注的合成图像，确定第二训练集。
18.本实施例通过生成合成图像的方式，能够减少人工标注的成本，更加便捷地生成大量的合成图像用于训练。
19.作为一种可选的实施方式，所述根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果，包括：
20.当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，
21.当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，其中所述第二预设特征是根据所述第二训练集的图像中对象的外部特征确定的。
22.本实施例通过结果对象的外部特征选取第一预测结果或第二预测结果进行识别结果的确定，能够保证识别模型的通用性。
23.作为一种可选的实施方式，所述当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，包括：
24.确定与所述第一预设特征对应的第一字符规则；
25.当所述第一预测结果符合所述第一字符规则时，根据所述第一预测结果确定所述对象的识别结果。
26.作为一种可选的实施方式，所述当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，包括：
27.确定与所述第二预设特征对应的第二字符规则；
28.当所述第二预测结果符合所述第二字符规则时，根据所述第二预测结果确定所述对象的识别结果。
29.作为一种可选的实施方式，当所述第二预测结果不符合所述第二字符规则时，还包括：
30.确定与所述第一预设特征对应的第一字符规则；
31.当所述第二预测结果符合所述第一字符规则时，根据所述第二预测结果确定所述对象的识别结果。
32.作为一种可选的实施方式，所述第一预测结果包括至少一个置信度大于第一阈值的第一预测标签；和/或，
33.所述第二预测结果包括至少一个置信度大于第二阈值的第二预测标签。
34.本实施例通过选取多个预测标签依次进行规则匹配的方式，能够减少对网络模型鲁棒性的依赖，提升识别率。
35.第二方面，本发明实施例提供的一种图像识别的设备，包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
36.确定待识别的图像和所述图像中对象的外部特征；
37.将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分
支网络；
38.根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
39.作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述识别模型训练完成：
40.获取标注的第一训练集和标注的第二训练集；
41.将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
42.分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
43.作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述第二训练集：
44.获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；
45.根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；
46.根据标注的合成图像，确定第二训练集。
47.作为一种可选的实施方式，所述处理器具体被配置为执行：
48.当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，
49.当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，其中所述第二预设特征是根据所述第二训练集的图像中对象的外部特征确定的。
50.作为一种可选的实施方式，所述处理器具体被配置为执行：
51.确定与所述第一预设特征对应的第一字符规则；
52.当所述第一预测结果符合所述第一字符规则时，根据所述第一预测结果确定所述对象的识别结果。
53.作为一种可选的实施方式，所述处理器具体被配置为执行：
54.确定与所述第二预设特征对应的第二字符规则；
55.当所述第二预测结果符合所述第二字符规则时，根据所述第二预测结果确定所述对象的识别结果。
56.作为一种可选的实施方式，当所述第二预测结果不符合所述第二字符规则时，所述处理器具体还被配置为执行：
57.确定与所述第一预设特征对应的第一字符规则；
58.当所述第二预测结果符合所述第一字符规则时，根据所述第二预测结果确定所述对象的识别结果。
59.作为一种可选的实施方式，所述第一预测结果包括至少一个置信度大于第一阈值的第一预测标签；和/或，
60.所述第二预测结果包括至少一个置信度大于第二阈值的第二预测标签。
61.第三方面，本发明实施例还提供一种图像识别的装置，包括：
62.确定图像特征单元，用于确定待识别的图像和所述图像中对象的外部特征；
63.确定预测结果单元，用于将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；
64.确定识别结果单元，用于根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
65.作为一种可选的实施方式，所述确定预测结果单元具体用于通过如下方式确定所述识别模型训练完成：
66.获取标注的第一训练集和标注的第二训练集；
67.将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
68.分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
69.作为一种可选的实施方式，所述确定预测结果单元具体用于通过如下方式确定所述第二训练集：
70.获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；
71.根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；
72.根据标注的合成图像，确定第二训练集。
73.作为一种可选的实施方式，所述确定识别结果单元具体用于：
74.当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，
75.当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，其中所述第二预设特征是根据所述第二训练集的图像中对象的外部特征确定的。
76.作为一种可选的实施方式，所述确定识别结果单元具体用于：
77.确定与所述第一预设特征对应的第一字符规则；
78.当所述第一预测结果符合所述第一字符规则时，根据所述第一预测结果确定所述对象的识别结果。
79.作为一种可选的实施方式，所述确定识别结果单元具体用于：
80.确定与所述第二预设特征对应的第二字符规则；
81.当所述第二预测结果符合所述第二字符规则时，根据所述第二预测结果确定所述对象的识别结果。
82.作为一种可选的实施方式，当所述第二预测结果不符合所述第二字符规则时，所述确定识别结果单元具体还用于：
83.确定与所述第一预设特征对应的第一字符规则；
84.当所述第二预测结果符合所述第一字符规则时，根据所述第二预测结果确定所述对象的识别结果。
85.作为一种可选的实施方式，所述第一预测结果包括至少一个置信度大于第一阈值的第一预测标签；和/或，
86.所述第二预测结果包括至少一个置信度大于第二阈值的第二预测标签。
87.第四方面，本发明实施例还提供计算机存储介质，其上存储有计算机程序，该程序被处理器执行时用于实现上述第一方面所述方法的步骤。
88.本技术的这些方面或其他方面在以下的实施例的描述中会更加简明易懂。
附图说明
89.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
90.图1为本发明实施例提供的一种图像识别的方法实施流程图；
91.图2为本发明实施例提供的一种生成车牌的示意图；
92.图3a为本发明实施例提供的一种定制车牌示意图；
93.图3b为本发明实施例提供的一种确定识别结果的流程图；
94.图4为本发明实施例提供的一种图像识别方法具体实施流程图；
95.图5为本发明实施例提供的一种图像识别的设备示意图；
96.图6为本发明实施例提供的一种图像识别的装置示意图。
具体实施方式
97.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
98.本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
99.本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
100.实施例1、国标机动车车牌包括蓝牌，新能源，黄牌等，车牌字符格式比较统一，一般为省份简称 字母 字母或数字，长度为7位或8位，车牌全部使用字符个数不超过几十种，目前国标机动车车牌识别方案已经比较成熟，识别率较高。但在一些工厂或园区，为方便内部车辆管理，内部车辆一般会悬挂特殊的定制车牌，很多定制车牌通常会存在新的字符，且新的字符并不在国标车牌的字符库中，针对这种定制车牌，需要搜集大量图像进行训练，重
新优化针对定制车牌的识别算法，开发周期较长，消耗人力物力。
101.本实施例提供的一种图像识别的方法，用于实现一种更加通用的车牌识别方法，在支持国标车牌基础上支持识别各种定制车牌，并可以快速部署，减少开发工作量和开发周期。能够保证识别的准确率的同时，采用多任务方式，即共用主干网络进行特征提取，利用分支网络进行识别的方式，使用更低的计算力实现国标车牌和其他定制车牌的识别。
102.本实施例提供的图像识别的方法，核心思想是将待识别的图像经过主干网络后分别输入到不同的分支网络进行目标识别，得到不同的预测结果，并且基于对象的外部特征，从第一预测结果和第二预测结果中确定出对象的识别结果。由于两种识别算法共用一个主干网络，采用两个单独的分支网络，因此在仅增加很小的计算资源的同时，不会对国标车牌识别率产生影响，保证识别的准确率。
103.如图1所示，本实施例提供的一种图像识别的方法，该方法的具体实施流程如下所示：
104.步骤100、确定待识别的图像和所述图像中对象的外部特征；
105.在一些实施例中，本实施例中的对象包括但不限于车牌、人、动物、车辆中的至少一种，本实施例不作过多限定。
106.需要说明的是，本实施例中的待识别的图像是包含指定的对象的图像，可选的，本实施例中的图像是对采集的原始图像进行裁剪得到的，裁剪后的图像中去除了无关的背景和非指定的对象，可以理解为本实施例中的待识别的图像中仅包含指定的对象。
107.在一些实施例中，通过如下方式确定待识别的图像和对象的外部特征：
108.采集包含对象的原始图像，对原始图像进行对象检测，确定对象在原始图像中的位置和外部特征；根据对象在原始图像中的位置裁剪出包含对象的图像。
109.实施中，当对象为车牌时，将采集的车辆图像进行检测，确定车牌的位置和车牌的外部特征，根据车牌的位置从采集的车辆图像中裁剪出包含车牌的图像。
110.在一些实施例中，本实施例中的外部特征包括但不限于颜色、形状等。本实施例对此不作过多限定。实施中，当对象为车牌时，对象的外部特征可以是车牌的颜色。例如，可以通过车牌的颜色初步确定车牌是国标车牌还是定制车牌。
111.步骤101、将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；
112.实施中，本实施例对主干网络的结构不作过多限定。可选的，本实施例中的第一分支网络使用的识别算法包括但不限于crnn(convolutional recurrent neural network，卷积递归神经网络)、attentionocr(attention optical character recognition，注意力光学字符识别)、多分类网络中的至少一种；可选的，本实施中的第二分支网络使用的识别算法包括但不限于crnn、attentionocr、多分类网络中的至少一种。
113.其中，crnn主要用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。整个crnn网络结构包含三部分，从下到上依次为：cnn(卷积层)，使用深度cnn，对输入图像提取特征，得到特征图；rnn(循环层)，使用双向rnn(blstm)对特征序列进行预测，对序列中的
每个特征向量进行学习，并输出预测标签(真实值)分布；ctc(connectionist temporal classification)loss(转录层)，使用ctc损失，把从循环层获取的一系列标签分布转换成最终的标签序列。
114.在一些实施例中，本实施例中的识别模型的网络结构采用共享主干网络多任务方式，通过两个分支网络输出第一预测结果和第二预测结果，以对象为车牌为例，则两个输出结果可以分别对应国标车牌的预测结果和通用车牌的预测结果，其中，本实施例中的第一分支网络可识别国标车牌中出现的字符，一般为几十个字符类别；本实施例中的第二分支网络可识别的字符较多，比如可以支持识别全部常用汉字和字母数字几千个字符类别。采用此种网络结构，在工程部署中相比于仅仅支持国标车牌情况仅增加很小的计算资源(只是多了通用车牌识别分支，主干网络共享)，并且采用了两个单独分支网络，对国标车牌识别率几乎无影响。
115.在一些实施例中，本实施例通过如下步骤确定所述识别模型训练完成：
116.步骤1)获取标注的第一训练集和标注的第二训练集；
117.在一些实施例中，本实施例中的第一训练集是根据真实的车牌数据经过人工标注字符内容获得的，可选的，第一训练集中的图像中包括国标车牌的字符。
118.在一些实施中，本实施例中通过如下方式确定所述第二训练集：
119.获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；根据标注的合成图像，确定第二训练集。
120.实施中，本实施例中的第二训练集是基于标注的真实图像生成的，其中，可以利用第一训练集中的图像生成第二训练集。生成过程如下所示：
121.首先，确定出一个或多个真实图像中每个第二字符的位置和内容；使用标准字体库比如黑体，微软雅黑等，生成多个第一字符图像；将生成的一个或多个第一字符图像随机粘贴到真实图像中对应第二字符的位置上，得到合成图像，其中，生成一个第一字符可以替换掉一个第二字符，生成多个第一字符可以替换掉多个第二字符。可选的，粘贴时还可以根据车牌背景进行图像融合(第一字符图像和车牌图像)，以使生成的车牌更加真实。其次，由于每个第一字符对应一个标签，则根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；最后，重复上述内容，能够生成多个标注的合成图像，根据生成的标注的合成图像，确定第二训练集。如图2所示，本实施例提供一种生成车牌的示意图，其中利用生成的字符“怎”替换掉真实车牌中的“鄂”，生成合成车牌图像。
122.实施中，重复生成字符并粘贴到真实车牌上，能够生成大量包含更多字符的车牌数据，用于生成更多字符类别的车牌数据，从而能够识别出定制车牌。
123.在一些实施例中，还可以利用生成式对抗网络(gan,generative adversarial networks)生成更多字符类别的车牌数据，从而确定第二训练集。
124.可选的，本实施例中的第二训练集中的图像中包括国标字符和更多汉字字符。
125.步骤2)将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
126.实施中，本实施例中的第一分支网络和第一训练集是对应的，第二分支网络和第二训练集是对应的，从而利用不同的训练集训练分支网络，最终使得两个分支网络能够识
别的对象类别是不同的，可选的，通过第一分支网络识别国标车牌图像，通过第二分支网络识别定制车牌图像。
127.步骤3)分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
128.需要说明的是，本实施例在训练的过程中，由于存在两个分支网络，因此是交替训练的，即先利用第一损失值计算反向传播梯度，并更新识别网络参数(包括主干网络参数和第一分支网络参数)，然后利用第二损失值计算反向传播梯度，并更新识别网络参数(包括主干网络参数和第二分支网络参数)，然后再利用第一损失值计算反向传播梯度，并更新识别网络参数，再利用第二损失值计算反向传播梯度，并更新识别网络参数，如此交替训练，直至第一损失值和第二损失值都满足预设条件时，如第一损失值和第二损失值都低于预设阈值时停止训练，确定识别模型训练完成。
129.在一些实施例中，为了平衡第一损失值和第二损失值的权重参数，可以令第二损失值乘以权重λ后计算反向传播梯度，并更新识别网络参数，其中λ用于平衡第一损失值和第二损失值的权重参数。具体公式如下所示：
130.l1＝loss1(y-w(x))公式(1)；
131.l1.backward()公式(2)；
132.w.update()公式(3)；
133.l2＝λ
·
loss2(y_gen-w(x_gen))公式(4)；
134.l2.backward()公式(5)；
135.w.update()公式(6)；
136.其中，x表示第一训练集中的图像，y表示x对应的标签，w表示网络参数；x_gen表示第二训练集中的图像，y_gen表示x_gen对应的标签；λ表示用于平衡l1和l2的权重参数。
137.其中，公式(2)表示将第一损失值进行回传，计算反向传播梯度；公式(3)表示利用计算得到的梯度值更新网络参数。同理，公式(5)表示将第二损失值进行回传，计算反向传播梯度；公式(6)表示利用计算得到的梯度值更新网络参数。
138.实施中，将待识别的图像输入到识别模型后，输出两种识别结果，可选的，第一预测结果表示图像输入到用于识别国标车牌图像的第一分支网络后输出的，第二预测结果表示图像输入到用于识别定制车牌图像的第二分支网络后输出的。
139.步骤102、根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
140.在一些实施例中，本实施例首先根据对象的外部特征判断使用第一预测结果还是第二预测结果来确定对象的识别结果，具体判断步骤如下所示：
141.1)当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果；
142.其中，所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；
143.例如，在对象为车牌，外部特征为车牌颜色，第一分支网络用于对国标车牌进行识别，第二分支网络用于对定制车牌进行识别的情况下，当车牌颜色满足国标车牌颜色时(比如车牌颜色为蓝色)从第一预测结果中确定识别结果。
144.在一些实施例中，本实施例通过如下步骤根据所述第一预测结果确定所述对象的识别结果：
145.确定与所述第一预设特征对应的第一字符规则；
146.当所述第一预测结果符合所述第一字符规则时，根据所述第一预测结果确定所述对象的识别结果。
147.例如，在对象为车牌，外部特征为车牌颜色，第一字符规则为国标车牌规则(比如机动车蓝牌一般7位字符，第一位为省份，后面几位为字母数字等)第一分支网络用于对国标车牌进行识别，第二分支网络用于对定制车牌进行识别的情况下，当车牌颜色满足国标车牌颜色时，判断第一预测结果中的车牌是否符合第一字符规则，如果符合则输出第一预测结果，否则输出空字符。
148.2)当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果；
149.其中，所述第二预设特征是根据所述第二训练集的图像中对象的外部特征确定的。
150.例如，在对象为车牌，外部特征为车牌颜色，第一分支网络用于对国标车牌进行识别，第二分支网络用于对定制车牌进行识别的情况下，当车牌颜色满足定制车牌颜色时(比如车牌颜色为绿色)从第二预测结果中确定识别结果。
151.在一些实施例中，本实施例通过如下步骤根据所述第二预测结果确定所述对象的识别结果：
152.确定与所述第二预设特征对应的第二字符规则；
153.当所述第二预测结果符合所述第二字符规则时，根据所述第二预测结果确定所述对象的识别结果；
154.当所述第二预测结果不符合所述第二字符规则时，确定与所述第一预设特征对应的第一字符规则；当所述第二预测结果符合所述第一字符规则时，根据所述第二预测结果确定所述对象的识别结果。
155.例如，在对象为车牌，外部特征为车牌颜色，第一字符规则为国标车牌规则，第二字符规则为定制车牌规则，第一分支网络用于对国标车牌进行识别，第二分支网络用于对定制车牌进行识别的情况下，当车牌颜色满足定制车牌颜色时，判断第二预测结果中的车牌是否符合第二字符规则，如果符合则输出第二预测结果，否则判断第二预测结果是否符合第一字符规则，如果符合则输出第二预测结果，否则输出空字符。
156.在一些实施例中，本实施例中的第一字符规则包括字符长度、各个位置的字符类型等，第二字符规则包括字符长度、各个位置的字符类型等，具体可以根据实际情况进行定义，本实施例不作过多限定。
157.在一些实施例中，本实施例中的第一字符规则可以包括一种或多种规则，第二字符规则也可以包括一种或多种规则，本实施例对此不作过多限定。
158.如图3a所示，本实施例提供的一种定制车牌示意图，以该定制车牌为例，在对象为车牌，外部特征为车牌颜色，第一字符规则为国标车牌规则，第二字符规则为定制车牌规则，第一分支网络用于对国标车牌进行识别，第二分支网络用于对定制车牌进行识别的情况下，如图3b所示，对确定识别结果的流程进行如下说明：
159.步骤300、确定对象的颜色符合定制车牌颜色；
160.步骤301、判断第二预测结果是否符合第二字符规则，若是执行步骤302，否则执行步骤303；
161.其中，第二字符规则包括长度规则和字符类型，可以先判断第二预测结果中字符长度是否符合长度规则；当确定第二预测结果中字符长度符合长度规则时，再判断第二预测结果中预设位置上的字符类型是否符合规则。可选的，预设位置可以是一位或多位，本实施例对此不作过多限定。
162.例如，第二字符规则中字符类型相关规则如下所示：要求第二预测结果中的第一位字符为“青”，后三位字符为数字；或要求第二预测结果中的第二位字符为“旅”，后三位字符为数字；或，要求第二预测结果中的第一位字符为“青”、第二位字符为“旅”，后三位字符为数字。
163.步骤302、输出第二预测结果；
164.步骤303、判断第二预测结果中字符长度是否符合第一字符规则，若是执行步骤304，否则执行步骤305；
165.步骤304、输出第一预测结果；
166.步骤305、输出空字符。
167.需要说明的是，由于汉字识别相对较为困难，也可以对某一位或某几位汉字放宽限制，比如即使第二预测结果中第二位字符识别结果不是“旅”，只要其他位置字符符合相应的规则，第二位字符可以强制输出为“旅”。通过以上策略一定程度上能够避免因网络模型鲁棒性不够导致漏识别，尽可能保证正确输出字符。
168.在一些实施例中，本实施例中的所述第一预测结果包括至少一个置信度大于第一阈值的第一预测标签；和/或，所述第二预测结果包括至少一个置信度大于第二阈值的第二预测标签。
169.在一些实施例中，当第一预测结果包括多个置信度大于第一阈值的第一预测标签，且对象的外部特征满足第一预设特征时，按照置信度从高到地的顺序依次判断第一预测标签是否符合第一字符规则，如果符合则输出该第一预测标签，否则判断下一个第一预测标签是否符合第一字符规则，以此类推，当全部的第一预测标签都不符合第一字符规则时，输出空字符。
170.在一些实施例中，当第二预测结果包括多个置信度大于第二阈值的第二预测标签，且对象的外部特征满足第二预设特征时，可以按照置信度从高到地的顺序依次判断第二预测标签是否符合第二字符规则，如果符合则输出该第二预测标签，否则判断下一个第二预测标签是否符合第二字符规则，以此类推，当全部的第二预测标签都不符合第二字符规则时，再按照置信度从高到地的顺序依次判断第二预测标签是否符合第一字符规则，如果符合则输出该第二预测标签，否则判断下一个第二预测标签是否符合第一字符规则，以此类推，当全部的第二预测标签都不符合第一字符规则时，输出空字符。
171.在一些实施例中，本实施例中的第一字符规则可以是一个或多个，本实施例中的第二字符规则可以是一个或多个，本实施例中的定制车牌识别方案主要针对某个地区或园区的定制车牌制定相应规则控制车牌输出，如果某个地区存在多种定制车牌，也可以制定多条规则。在算法实际部署阶段，可以通过配置文件配置字符规则，将第一字符规则和第二
字符规则都通过配置文件的形式存储，将识别算法程序与规则配置分离，在新的定制车牌场景只需要修改配置文件即可实现对新车牌的支持，缩短算法开发周期和工作量。
172.如图4所示，本实施例提供以车牌为例，对本实施例提供的一种图像识别方法进行详细说明：
173.步骤400、采集车辆图像，确定车辆图像中车牌位置和车牌颜色；
174.步骤401、根据车牌位置从车辆图像中裁剪出待识别的车牌图像；
175.步骤402、将车牌图像输入到训练好的识别模型中，输出第一预测结果和第二预测结果；
176.步骤403、判断车牌颜色是否满足第一预设特征，若是执行步骤404，否则执行步骤406；
177.步骤404、判断第一预测结果是否满足第一字符规则，若是执行步骤405，否则执行步骤411；
178.步骤405、输出第一预测结果；
179.步骤406、判断车牌颜色是否满足第二预测特征，若是执行步骤407，否则执行步骤411；
180.步骤407、判断第二预测结果是否满足第二字符规则，若是执行步骤408，否则执行步骤409；
181.步骤408、输出第二预测结果；
182.步骤409、判断第二预测结果是否满足第一字符规则，若是执行步骤410，否则执行步骤411；
183.步骤410、输出第二预测结果；
184.步骤411、输出空字符。
185.本实施例提供的图像识别方法，应用于车牌识别场景，能够支持识别包含任意汉字字符的车牌，通过生成车牌的方法生成了包含更多字体的车牌识别训练样本，识别模型支持识别除国标车牌以外的更多车牌，实现了算法的通用性，识别模型训练时采用两个损失交替训练方式，识别模型采用多任务方式，算法对计算力要求更低，同时支持识别国标车牌和其他车牌，并且不影响国标车牌识别率；并且，本实施例中的输出考虑置信度高于阈值的多个预测标签，通过对字符规则的匹配，减少对网络模型鲁棒性的依赖，提升识别率；通过配置文件配置定制车牌的输出，配置文件与算法程序分离，在不用使用地区配置不同规则，实现识别算法的快速部署。
186.实施例2、基于相同的发明构思，本发明实施例还提供了一种图像识别的设备，由于该设备即是本发明实施例中的方法中的设备，并且该设备解决问题的原理与该方法相似，因此该设备的实施可以参见方法的实施，重复之处不再赘述。
187.如图5所示，该设备包括处理器500和存储器501，所述存储器501用于存储所述处理器500可执行的程序，所述处理器500用于读取所述存储器501中的程序并执行如下步骤：
188.确定待识别的图像和所述图像中对象的外部特征；
189.将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分
支网络；
190.根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
191.作为一种可选的实施方式，所述处理器500具体被配置为通过如下方式确定所述识别模型训练完成：
192.获取标注的第一训练集和标注的第二训练集；
193.将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
194.分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
195.作为一种可选的实施方式，所述处理器500具体被配置为通过如下方式确定所述第二训练集：
196.获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；
197.根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；
198.根据标注的合成图像，确定第二训练集。
199.作为一种可选的实施方式，所述处理器500具体被配置为执行：
200.当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，
201.当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，其中所述第二预设特征是根据所述第二训练集的图像中对象的外部特征确定的。
202.作为一种可选的实施方式，所述处理器500具体被配置为执行：
203.确定与所述第一预设特征对应的第一字符规则；
204.当所述第一预测结果符合所述第一字符规则时，根据所述第一预测结果确定所述对象的识别结果。
205.作为一种可选的实施方式，所述处理器500具体被配置为执行：
206.确定与所述第二预设特征对应的第二字符规则；
207.当所述第二预测结果符合所述第二字符规则时，根据所述第二预测结果确定所述对象的识别结果。
208.作为一种可选的实施方式，当所述第二预测结果不符合所述第二字符规则时，所述处理器500具体还被配置为执行：
209.确定与所述第一预设特征对应的第一字符规则；
210.当所述第二预测结果符合所述第一字符规则时，根据所述第二预测结果确定所述对象的识别结果。
211.作为一种可选的实施方式，所述第一预测结果包括至少一个置信度大于第一阈值的第一预测标签；和/或，
212.所述第二预测结果包括至少一个置信度大于第二阈值的第二预测标签。
213.实施例3、基于相同的发明构思，本发明实施例还提供了一种图像识别的装置，由于该装置即是本发明实施例中的方法中的装置，并且该装置解决问题的原理与该方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
214.如图6所示，该装置包括：
215.确定图像特征单元600，用于确定待识别的图像和所述图像中对象的外部特征；
216.确定预测结果单元601，用于将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；
217.确定识别结果单元602，用于根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
218.作为一种可选的实施方式，所述确定预测结果单元601具体用于通过如下方式确定所述识别模型训练完成：
219.获取标注的第一训练集和标注的第二训练集；
220.将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
221.分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
222.作为一种可选的实施方式，所述确定预测结果单元601具体用于通过如下方式确定所述第二训练集：
223.获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；
224.根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；
225.根据标注的合成图像，确定第二训练集。
226.作为一种可选的实施方式，所述确定识别结果单元602具体用于：
227.当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，
228.当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，其中所述第二预设特征是根据所述第二训练集的图像中对象的外部特征确定的。
229.作为一种可选的实施方式，所述确定识别结果单元602具体用于：
230.确定与所述第一预设特征对应的第一字符规则；
231.当所述第一预测结果符合所述第一字符规则时，根据所述第一预测结果确定所述对象的识别结果。
232.作为一种可选的实施方式，所述确定识别结果单元602具体用于：
233.确定与所述第二预设特征对应的第二字符规则；
234.当所述第二预测结果符合所述第二字符规则时，根据所述第二预测结果确定所述对象的识别结果。
235.作为一种可选的实施方式，当所述第二预测结果不符合所述第二字符规则时，所述确定识别结果单元602具体还用于：
236.确定与所述第一预设特征对应的第一字符规则；
237.当所述第二预测结果符合所述第一字符规则时，根据所述第二预测结果确定所述对象的识别结果。
238.作为一种可选的实施方式，所述第一预测结果包括至少一个置信度大于第一阈值的第一预测标签；和/或，
239.所述第二预测结果包括至少一个置信度大于第二阈值的第二预测标签。
240.基于相同的发明构思，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
241.确定待识别的图像和所述图像中对象的外部特征；
242.将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；
243.根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
244.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
245.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
246.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
247.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
248.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。