识别模型训练方法及装置、车牌识别方法及装置与流程

1.本公开涉及图像处理领域中的计算机视觉、以及智能交通领域中的智慧停车，尤其涉及一种识别模型训练方法及装置、车牌识别方法及装置。


背景技术：

2.车牌识别系统(vehicle license plate recognition，vlpr)是计算机视频图像识别技术在车辆牌照识别中的一种应用。
3.为了针对成像质量较差的车牌图像，也保证良好的车牌识别效果，需要提供一种车牌识别模型的训练方法以及车牌识别方法。


技术实现要素：

4.本公开提供了一种识别模型训练方法及装置、车牌识别方法及装置。
5.根据本公开的第一方面，提供了一种识别模型训练方法，包括：
6.根据样本车辆图像，获取待识别的第一样本车牌图像；
7.对所述第一样本车牌图像进行退化处理，得到退化后的第二样本车牌图像，其中，所述退化处理用于对所述第一样本车牌图像添加图像退化效果；
8.根据识别模型对所述第一样本车牌图像和所述第二样本车牌图像进行处理，得到所述第一样本车牌图像对应的识别车牌号，以及所述第二样本车牌图像对应的增强样本车牌图像；
9.根据所述识别车牌号、所述增强样本车牌图像、所述样本车辆图像对应的样本车牌号、以及所述第一样本车牌图像，对所述识别模型的模型参数进行更新。
10.根据本公开的第二方面，提供了一种车牌识别方法，包括：
11.获取待识别的车牌图像；
12.根据识别模型对所述车牌图像进行处理，得到所述车牌图像对应的车牌号，
13.其中，所述识别模型中包括用于对车辆图像进行增强处理的图像增强单元，以及用于对车牌号进行识别处理的车牌识别单元，所述识别模型为根据上述第一方面所述的方法确定得到的。
14.根据本公开的第三方面，提供了一种识别模型训练装置，包括：
15.获取模块，用于根据样本车辆图像，获取待识别的第一样本车牌图像；
16.第一处理模块，用于对所述第一样本车牌图像进行退化处理，得到退化后的第二样本车牌图像，其中，所述退化处理用于对所述第一样本车牌图像添加图像退化效果；
17.第二处理模块，用于根据识别模型对所述第一样本车牌图像和所述第二样本车牌图像进行处理，得到所述第一样本车牌图像对应的识别车牌号，以及所述第二样本车牌图像对应的增强样本车牌图像；
18.更新模块，用于根据所述识别车牌号、所述增强样本车牌图像、所述样本车辆图像对应的样本车牌号、以及所述第一样本车牌图像，对所述识别模型的模型参数进行更新。
19.根据本公开的第四方面，提供了一种车牌识别装置，包括：
20.获取模块，用于获取待识别的车牌图像；
21.处理模块，用于根据识别模型对所述车牌图像进行处理，得到所述车牌图像对应的车牌号，
22.其中，所述识别模型中包括用于对车辆图像进行增强处理的图像增强单元，以及用于对车牌号进行识别处理的车牌识别单元，所述识别模型为根据上述第三方面所述的装置确定得到的。
23.根据本公开的第五方面，提供了一种电子设备，包括：
24.至少一个处理器；以及
25.与所述至少一个处理器通信连接的存储器；其中，
26.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
27.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法。
28.根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
29.根据本公开的技术解决了针对图像质量不佳的车牌图像，识别准确性较低的问题。
30.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
31.附图用于更好地理解本方案，不构成对本公开的限定。其中：
32.图1为本技术实施例提供的车牌号识别的场景示意图；
33.图2为本技术实施例提供的质量较差的车牌图像示意图；
34.图3为本技术实施例提供的识别模型训练方法的流程图；
35.图4为本技术实施例提供的识别模型训练方法的流程图二；
36.图5为本技术实施例提供的确定初始车牌图像的实现示意图；
37.图6为本技术实施例提供的车牌透视变换的实现示意图；
38.图7为本技术实施例提供的识别模型的训练过程示意图；
39.图8为本技术实施例提供的运动模糊退化效果的示意图；
40.图9为本技术实施例提供的图像退化效果的示意图；
41.图10为本技术实施例提供的车牌识别方法的流程图；
42.图11为本技术实施例提供的车牌识别方法的流程图二；
43.图12为本技术实施例提供的车牌识别方法的执行流程示意图；
44.图13为本公开实施例的识别模型训练装置的结构示意图；
45.图14为本公开实施例的车辆识别装置的结构示意图；
46.图15是用来实现本公开实施例的识别模型训练方法及车辆识别方法的电子设备的框图。
具体实施方式
47.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
48.为了更好的理解本技术的技术方案，下面对本技术所涉及的相关技术进行介绍。
49.车牌识别系统(vehicle license plate recognition，vlpr)是计算机视频图像识别技术在车辆牌照识别中的一种应用。其中，汽车牌照号码是车辆的唯一“身份”标识，牌照自动识别技术可以在汽车不作任何改动的情况下实现汽车“身份”的自动登记及验证，这项技术已经应用于公路收费、停车管理、称重系统、交通诱导、交通执法、公路稽查、车辆调度、车辆检测等各种场合。
50.目前，在城市高位视频智慧停车系统中，车牌识别是一项重要的技术手段，对车辆的车牌号进行准确识别和确认。
51.例如可以结合图1对车牌号的识别进行理解，图1为本技术实施例提供的车牌号识别的场景示意图。
52.如图1所示，例如可以针对车辆进行图像拍摄，得到图1所示的车辆图像101，在车辆图像101中包括车辆的车牌号，之后针对车辆图像101进行车牌号识别，比如说可以得到图1中所示的车牌号“京a
·
12345”。
53.基于上述介绍的内容，目前现有技术中实现车牌号识别的时候，通常都是通过图像分割和字符识别技术，从车辆图像中识别车牌号。然而，现有技术的实现方案针对图像质量较好的图像进行车牌识别，可以保证较高的识别准确性，然而针对图像质量较差的图像，往往不能保证良好的识别准确性。
54.其中，例如可以结合图2对图像质量较差的图像进行理解，图2为本技术实施例提供的质量较差的车牌图像示意图。
55.在图2中示意出了图像质量较差的车牌图像的几种情况，比如说201所示的图像模糊导致的模糊车牌，造成图像模糊的原因可能包括：目标运动或者相机抖动造成的运动模糊，或者相机失焦造成的失焦模糊。
56.再比如说202所示的分辨率过低导致的低分辨率车牌，造成分辨率过低的原因可能包括：车牌距离相机太远，造成车牌区域的有效分辨率过低。
57.再比如说203所示的存在遮挡的部分遮挡车牌，造成遮挡的原因可能是，外部干扰目标造成的前后遮挡，比如说车牌的某些字符被部分或者完全遮挡。
58.再比如说204所示的光照不均匀导致的光照不均匀车牌，造成光照不均匀的原因可能是，复杂的外部光照环境造成的局部光影不均匀。
59.再比如说205所示的污渍和噪声车牌，其中造成污渍和噪声的原因可能是，车牌所处的复杂环境造成车牌这就、老化或者锈蚀。
60.以及，在实际实现过程中，导致车牌图像的图像质量较差的原因可以是多种多样
的，本技术中对图像质量较差的车牌图像的具体实现不做限制。
61.在上述介绍内容的基础上，为了解决现有技术中的问题，本技术提出了如下技术构思：训练车牌识别模型，其中，在进行车牌识别模型的训练时，会对训练图像进行随机退化，以及在车牌识别模型中包括了图像增强单元和车牌号识别单元，之后对识别模型进行训练，从而可以有效保证针对成像质量较差的车牌图像，也可以有效的进行车牌号识别。
62.本技术提供的方法包括模型的训练和模型的应用两部分。下面首先具体的实施例对本技术提供的识别模型训练方法进行介绍，图3为本技术实施例提供的识别模型训练方法的流程图。
63.如图3所示，该方法包括：
64.s301、根据样本车辆图像，获取待识别的第一样本车牌图像。
65.在本实施例中，例如可以存在多组样本数据，在每组样本数据中都可以包括样本车辆图像，以及样本车辆图像对应的车牌号。以及在一种可能的实现方式中，本实施例中的样本车辆图像中是包括车辆的车牌的。
66.因此本实施例中可以根据样本车辆图像，获取待识别的第一样本车牌图像。比如说可以在样本车辆图像中进行车牌区域的检测，从而确定待识别的第一样本车牌图像，或者，还可以在样本车辆图像中进行车牌区域的检测之后，对车牌区域进行预处理，从而得到待识别的第一样本车牌图像。
67.可以理解的是，在样本车辆图像中除了包括完整的车辆或者部分的车辆，而在第一样本车牌图像中仅仅包括车辆的车牌部分。
68.s302、对第一样本车牌图像进行退化处理，得到退化后的第二样本车牌图像，其中，退化处理用于对第一样本车牌图像添加图像退化效果。
69.在确定第一样本车牌图像之后，本实施例中可以针对第一样本图像进行退化处理，其中退化处理用于对第一样本图像添加图像退化效果，从而实现对图像质量不佳的车牌图像的模拟。
70.此处的图像退化效果比如说可以包括上述介绍的至少一种，也就是：图像模糊、分辨率较低、遮挡、光照不均匀、污渍和噪声中的至少一种。本实施例对第一样本车牌图像的具体退化处理的类型，以及具体退化处理的效果数量均不做限制，其可以根据实际需求进行选择，只要针对第一样本车牌图像进行退化处理，得到第二样本车牌图像，其中第二样本车牌图像相较于第一样本车牌图像的图像质量较差即可。
71.s303、根据识别模型对第一样本车牌图像和第二样本车牌图像进行处理，得到第一样本车牌图像对应的识别车牌号，以及第二样本车牌图像对应的增强样本车牌图像。
72.在得到上述介绍的第一样本车牌图像和第二样本车牌图像之后，可以通过识别模型对第一样本车牌图像和第二样本车牌图像进行处理。
73.在一种可能的实现方式中，本实施例中的识别模型可以包括两部分处理，一部分处理是针对第一样本车牌图像进行车牌识别，从而得到第一样本车牌图像对应的识别车牌号。
74.以及，另一部分处理是对第二样本车牌图像进行增强，从而得到第二样本车牌图像对应的增强样本车牌图像。其中，具体的图像增强处理可以根据实际需求进行实现，本实施例对此不做限制。
75.s304、根据识别车牌号、增强样本车牌图像、样本车辆图像对应的样本车牌号、以及第一样本车牌图像，对识别模型的模型参数进行更新。
76.在得到识别模型输出的第一样本车牌图像对应的识别车牌号，以及第二样本车牌图像对应的增强样本车牌图像之后，可以根据当前识别模型输出的数据，和样本数据中的标注数据，对识别模型的模型参数进行更新。
77.在一种可能的实现方式中，本实施例中识别模型可以包括两部分处理，则例如可以针对这两部分处理分别确定损失函数值，比如说可以根据识别车牌号和样本车辆图像对应的样本车牌号，确定识别部分对应的损失函数值。以及，可以根据第一样本车牌图像和增强样本车牌图像，确定图像增强部分的损失函数值，之后根据这两部分损失汉室之，对识别模型的模型参数进行更新，从而实现对识别模型的优化。
78.以及可以理解的是，本实施例中存在多组样本数据，在对识别模型进行训练和优化的时候，针对每一组样本数据都会执行相同的训练过程，从而实现对识别模型的多轮训练。在一种可能的实现方式中，在确定识别模型的训练轮数达到预设轮数，或者在确定识别模型的识别准确性达到预设准确性时，可以确定识别模型的训练结束，从而得到训练完成的识别模型。该识别完成的训练模型后续就可以针对任意的车辆图像进行车牌识别了。
79.本技术实施例提供的识别模型训练方法，包括:根据样本车辆图像，获取待识别的第一样本车牌图像。对第一样本车牌图像进行退化处理，得到退化后的第二样本车牌图像，其中，退化处理用于对第一样本车牌图像添加图像退化效果。根据识别模型对第一样本车牌图像和第二样本车牌图像进行处理，得到第一样本车牌图像对应的识别车牌号，以及第二样本车牌图像对应的增强样本车牌图像。根据识别车牌号、增强样本车牌图像、样本车辆图像对应的样本车牌号、以及第一样本车牌图像，对识别模型的模型参数进行更新。通过针对第一样本车牌图像进行退化处理，得到第二样本车牌图像，以模拟图像质量不佳的效果，之后通过识别模型对第一样本车牌图像和第二样本车牌图像进行处理，其中的处理包括对第一样本车牌图像的车牌号识别处理，以及对第二样本车牌图像的增强处理，然后根据识别模型的输出，以及样本车辆图像对应的样本车牌号、第一样本车牌图像，对识别模型的模型参数进行更新，以实现对识别模型的训练。因为识别模型可以针对图像质量进行增强，因此针对成像质量较差的车牌图像，也可以有效的进行车牌号的识别，因此可以有效提升车牌识别的准确性。
80.为使读者更深刻地理解本公开的实现原理，现结合以下图4-图9对图3所示的实施例进行进一步细化。
81.图4为本技术实施例提供的识别模型训练方法的流程图二，图5为本技术实施例提供的确定初始车牌图像的实现示意图，图6为本技术实施例提供的车牌透视变换的实现示意图，图7为本技术实施例提供的识别模型的训练过程示意图，图8为本技术实施例提供的运动模糊退化效果的示意图，图9为本技术实施例提供的图像退化效果的示意图。
82.如图4所示，该方法包括：
83.s401、对样本车辆图像进行车牌检测，以在样本车辆图像中确定初始车牌图像。
84.在本实施例中，可以首先针对样本车辆图像进行车牌检测，从而在样本图像中确定初始车牌图像。
85.在一种可能的实现方式中，比如说可以通过目标检测网络对样本车辆图像进行处
理，从而输出包括车牌的包围框(bounding box)，以及还可以输出该包围框的置信度。之后，可以将包围框在样本车辆图像中围成的小图，确定为初始车牌图像。
86.例如可以结合图5进行理解，如图5所示，假设当前存在501所示的样本车辆图像，之后在样本车辆图像中进行车牌检测，确定了包围框502，然后将包围框502在样本车辆图像501中围成的小图，确定为图5所示的初始车牌图像503。
87.s402、在初始车牌图像中，确定车牌的多个角点。
88.在确定初始车牌图像之后，可以针对初始车牌图像进行角点检测，从而确定车牌的多个角点。可以理解的是，车牌通常都是矩形的，因此本实施例中比如说可以确定车牌的4个角点。其中针对车牌图像进行角点检测的具体实现，可以参照相关技术中的实现，本实施例对此不做限定。
89.以及在一种可能的实现方式中，此处确定的车牌的多个角点，比如说可以是确定车牌的4个角点的坐标。
90.s403、根据多个角点，在初始车牌图像中对车牌进行透视变换，得到正视的车牌图像。
91.可以理解的是，因为拍摄角度等问题，有可能会导致初始车牌图像并不是正视的，而是会存在一定的形变。因此本实施例中在确定车牌的多个角点之后，还可以根据多个角点，在初始车牌图像中对车牌进行透视变换，以得到正视的车牌图像。其中正视的车牌图像实际上就是四个角点组成的形状呈矩形的车牌图像。
92.比如说可以参照图6进行理解，如图6所示，假设当前存在初始车牌图像605，其中初始车牌图像605中的4个角点分别是图6中所示的，角点601、角点602、角点603和角点604。
93.可以基于这4个角点对车牌进行透视变化，透视变换的目的是为了让车牌变正，从而可以得到正视的车牌图像。其中，针对初始车牌图像605进行透视变换之后，得到的正视的车牌图像比如说可以为图6中的606所示。其中，基于角点的坐标进行透视变换，以得到正视图的实际处理，可以参照相关技术中的介绍，此处对此不再赘述。
94.s404、将正视的车牌图像确定为待识别的第一样本车牌图像。
95.在进行透视变换得到正视的车牌图像之后，就可以将正视的车牌图像确定为待识别的第一样本车牌图像了。也就是说后续的图像退化和车牌识别处理，都是基于当前的正视的车牌图像进行的。
96.s405、对第一样本车牌图像进行退化处理，得到退化后的第二样本车牌图像，其中，退化处理用于对第一样本车牌图像添加图像退化效果。
97.在本实施例中，可以针对第一样本车牌图像进行退化处理，其中的退化处理可以根据实际需求进行选择。
98.在一种可能的实现方式中，比如说可以通过随机混合退化模型对第一样本车牌图像进行处理，从而针对第一样本车牌图像添加图像退化的效果。
99.比如说可以参照图7进行理解，如图7所示，可以针对样本车辆图像进行车牌检测和角点回归，之后基于角点对车牌进行转正，也就是上述介绍的透视变换，之后就可以得到第一样本车牌图像。
100.然后可以通过随机混合退化模型对第一样本车牌图像进行处理，在随机混合退化模型中可以包括多种图像退化的处理单元。在实际实现过程中，例如可以从随机混合退化
模型中随机选择任意数量中的处理单元，为第一样本车牌图像添加相应的图像退化效果，下面针对这些图像退化的处理单元分别进行介绍。
101.例如在图7中包括质量退化单元，其中，质量退化单元还可以进一步为jpeg编码质量退化单元。jpeg(joint photographic experts group)是一种有损图像压缩算法，jpeg图像在做压缩时往往需要设置一个压缩质量/质量因子(quality)，这个质量因子决定着压缩后图像的质量。本实施例中例如可以随机设置一个质量因子(质量低于原始质量)，对车牌图像进行重新编码和压缩，从而得到质量较低的车牌图像，以实现对第一样本车牌图像的退化处理。
102.以及，在图7中还包括随机运动模糊退化单元。其中，运动模糊是在拍摄设备快门打开的时间内，物体在成像平面上的投影发生平移或者旋转，使得接收的影像彼此发生重叠。因此如图8所示，简单的线性模糊可以通过图8中的801所示的随机生成的运动模糊核(2d卷积核)进行卷积计算，从而模拟各种类型的运动模糊。
103.其中，模糊的效果比如说可以参照图8进行理解，比如说针对图8中的车牌图像802进行运动模糊退化，得到了806所示的车牌图像，结合图像802和图像806可以确定的是，在图像806中添加了运动模糊的效果。以及，针对图8中的车牌图像803进行运动模糊退化，得到了807所示的车牌图像。以及，针对图8中的车牌图像804进行运动模糊退化，得到了808所示的车牌图像。以及，针对图8中的车牌图像805进行运动模糊退化，得到了809所示的车牌图像。在图8中的示例中，都是针对车牌图像添加了运动模糊退化的效果。
104.以及，在图7中还包括随机阴影和高光退化单元。其中，在开放路段的光照条件十分复杂，存在各种各样的光照条件，其中最常见的引起负面影响的光照条件是周围环境的阴影投射和对面大灯或阳光造成的高光，因此本实施例中模拟了自然界的这一现象，将之应用到车牌图像退化中来。
105.以及，在图7中还包括随机噪声退化单元，比如光线不足或者恶劣天气条件下成像系统容易产生噪声(包括内部噪声和外部噪声等)，本实施例中可以通过随机添加不同级别的高斯噪声或伽马噪声，以模拟这一现象。
106.以及，在图7中还包括随机马赛克退化单元。其中，车牌在复杂的道路交通环境下，很容易被遮挡(部分遮挡或完全遮挡)，对于部分遮挡的情况，人眼是可以根据上下文和先验信息对车牌进行识别的，为了让本技术中的车牌识别系统具备这样的能力，本实施例中通过随机添加马赛克效果，以模拟车牌部分被遮挡的退化情况。
107.以及，在图7中还包括随机上采样-降采样退化单元，其中车牌在相机视野中有各种各样的分辨率，其中低分辨率的车牌图像在角点透视变换到归一化视图后，容易形成低分辨率模糊，因此本实施例中可以通过随机缩放因子的上采样-下采样来模拟这一情况。
108.基于图7介绍的随机混合退化模型，本实施例中还比如说可以通过图9对图像退化的效果理解。
109.如图9所示，比如说针对图9中的车牌图像901进行马赛克退化，得到了905所示的车牌图像，结合图像901和图像905可以确定的是，在图像905中添加了马赛克的效果。以及，针对图9中的车牌图像902进行高光退化，得到了906所示的车牌图像。以及，针对图9中的车牌图像903进行高光退化以及运动模糊退化，得到了907所示的车牌图像。以及，针对图9中的车牌图像904进行高光退化和阴影退化，得到了908所示的车牌图像。
110.基于图9的示例可以确定的是，本实施例中的在基于随机混合退化模型针对第一样本车牌图像进行退化处理的时候，可以随机的选择一种单独的退化效果，或者还可以随机的选择多种组合的退化效果，本实施例对此不做限制，只要是针对第一样本车牌图像添加了图像退化的效果即可。以及具体的图像退化的效果，还可以根据实际需求进行选择和扩展，本实施例对此不做限定。
111.本实施例中针对第一样本车牌图像进行退化处理，其中的退化处理可以模拟现实世界的车牌图像质量退化过程，从而得到退化后的第二样本车牌图像。
112.s406、根据识别模型中的第一子单元，对第一样本车牌图像进行识别处理，得到第一样本车牌图像对应的识别车牌号。
113.以及，本实施例中的识别模型中存在第一子单元，其中第一子单元可以理解为图7中的车牌识别单元。则可以根据识别模型中的第一子单元，对第一样本车牌图像进行识别处理，从而得到第一样本车牌图像所对应的车牌识别号。
114.在一种可能的实现方式中，本实施例中的第一子单元比如说可以是通过ocr(optical character recognition，光学字符识别)技术实现的。或者其也可以采用区域的字符识别方法，本实施例对此不做限定。
115.s407、根据识别模型中的第二子单元，对第二样本车牌图像进行增强处理，得到第二样本车牌图像对应的增强样本车牌图像。
116.以及，本实施例中的识别模型中还存在第二子单元，其中第二子单元可以理解为图7中的图像增强单元。则可以根据识别模型中的第二子单元，对上述得到的第二样本车牌图像进行图像增强处理，从而得到第二样本车牌图像对应的增强样本车牌图像。
117.在一种可能的实现方式中，本实施例中的第二子单元是一种图像自监督质量增强更新模块，第二子单元比如说可以采用pix2pix(image-to-image translation，图像翻译)网络进行训练，其中pix2pix是生成对抗网络(generative adversarial networks，gan)。或者，在实际实现过程中，其也可以采用区域的图像增强技术，本实施例对此不做限定。
118.s408、根据识别车牌号以及样本车辆图像对应的样本车牌号，确定第一损失。
119.在本实施例中，在得到车牌识别单元输出的识别车牌号之后，可以理解的是，其中的识别车牌号是识别模型识别得到的，而样本车牌号是预先标注好的，因此样本车牌号是可以保证其正确性的。
120.因此参照图7，比如说可以根据识别车牌号以及样本车辆图像所对应的样本车牌号，确定第一损失。比如说可以通过第一预设损失函数对识别车牌号和样本车牌号进行处理，从而确定第一损失。本实施例对损失函数的选择不做限定。
121.可以理解的是，第一损失实际上就指示了识别车牌号和样本车牌号之间的差异情况。
122.s409、根据增强样本车牌图像以及第一样本车牌图像，确定第二损失。
123.以及在本实施例中，在得到图像增强单元输出的增强样本车牌图像之后，可以理解的是，其中的增强样本车牌图像是识别模型针对图像质量较差的第二样本车牌图像进行图像增强得到的，而第一样本车牌图像是原始的未经退化处理的车牌图像，因此第一样本车牌图像的图像质量是可以保证较优的(这一点在选择样本车辆图像的时候可以保证)。
124.因此参照图7，比如说可以根据增强样本车牌图像以及第一样本车牌图像，确定第
二损失。可以理解的是，第二损失实际上就指示了增强样本车牌图像和第一样本车牌图像之间的差异情况。
125.s410、获取第一损失对应的第一权重，以及获取第二损失对应的第二权重。
126.以及本实施例中在确定车牌识别对应的第一损失，以及图像增强对应的第二损失之后，还需要根据第一损失和第二损失确定一个综合损失。
127.则例如可以获取第一损失对应的第一权重，以及获取第二损失对应的第二权重，之后针对第一损失和第二损失进行加权处理。
128.在一种可能的实现方式中，比如说可以针对第一损失和第二损失分别预先设置权重，则例如可以获取预先针对第一损失设置好的第一权重，以及可以获取预先针对第二损失设置好的第二权重。从而实现对权重的获取。
129.在另一种可能的实现方式中，还例如可以通过自动损失平衡(auto loss balance)技术实现对第一损失和第二损失的动态加权。也就是说第一损失对应的第一权重，以及第二损失对应的第二权重，是根据上述介绍的自动损失平衡技术动态确定的。
130.其中，动态加权处理可以平衡识别模型的多任务学习中的各个任务的学习，因为不同的子单元的学习难度不同，因此损失函数动态平衡，可以确保各个子任务都能学好。
131.s411、根据第一权重和第二权重，对第一损失和第二损失进行加权处理，得到目标损失。
132.在确定第一损失对应的第一权重，以及第二损失对应的第二权重之后，就可以根据第一权重和第二权重，对第一损失和第二损失进行加权处理，从而得到目标损失。
133.其中，目标损失比如说可以满足如下表达式：目标损失＝第一权重
×
第一损失 第二权重
×
第二损失。
134.s412、根据目标损失，对识别模型的模型参数进行更新。
135.在确定目标损失之后，就可以根据目标损失对识别模型的模型参数进行更新了。参照图7，其中根据目标损失对识别模型的模型参数进行更新，就可以实现对识别模型的反馈和优化，进而实现对识别模型的有效训练。
136.在对识别模型进行多轮训练之后，就可以得到训练完成的识别模型。
137.本技术实施例提供的识别模型训练方法，在通过针对样本车辆图像进行车牌检测和角点回归处理，之后根据车牌的多个角点，对初始车牌图像中的车牌进行透视变换，然后将正视的车牌图像作为后续识别模型处理的基础，从而可以有效保证识别模型的训练有效性和正确性。具体的，在识别模型的训练过程中，包括两个学习任务，其中的一个学习任务可以针对第一样本车牌图像进行车牌识别，得到样本车牌号。另一个学习任务在执行之前，可以首先针对第一样本车牌图像进行图像退化处理，从而模拟现实场景中的车牌图像退化过程，得到退化后的第二样本车牌图像，然后另一个学习任务可以针对第二样本车牌图像进行图像增强处理，从而得到增强处理之后的增强样本车牌图像。然后针对识别模型进行损失计算。其中，针对车牌识别可以确定第一损失，针对图像增强可以确定第二损失，然后根据第一损失和第二损失进行加权处理，得到目标损失，之后根据目标损失对识别模型进行优化，从而可以有效的兼顾识别模型中的车牌识别的学习任务和图像增强的学习任务的训练，以保证识别模型同时具有车牌识别和图像增强的功能。同时，因为将车牌识别和图像增强集成在了一个识别模型中，从而可以使用同一个网络实现端对端的多任务学习训练，
并且训练的全过程都采用数据驱动的方式学习提升，以有效保证识别模型的训练速度和效率。
138.上述实施例介绍的识别模型的训练过程，可以理解的是，在针对识别模型训练结束，得到训练完成的识别模型之后，还可以根据识别模型完成具体的车牌识别处理，也就是本技术中还包括针对识别模型的应用。下面再结合具体的实施例对本技术提供的车牌识别方法进行介绍。
139.图10为本技术实施例提供的车牌识别方法的流程图。
140.如图10所示，该方法包括：
141.s1001、获取待识别的车牌图像。
142.在本实施中，可以首先获取待识别的车牌图像，此处的车牌图像可以是任意的车牌图像，其可以是图像质量较好的，也可以是图像质量较差的，本实施例对车牌图像不做限制。
143.s1002、根据识别模型对车牌图像进行处理，得到车牌图像对应的车牌号，其中，识别模型中包括用于对车辆图像进行增强处理的图像增强单元，以及用于对车牌号进行识别处理的车牌识别单元。
144.之后，本实施例中可以根据识别模型对车牌图像进行处理，此处的识别模型就是上述实施例训练完成的识别模型。在识别模型处理之后，比如说可以得到车牌图像对应的车牌号。
145.在一种可能的实现方式中，在识别模型中包括用于对车辆图像进行增强处理的图像增强单元，也就是上述实施例中的第二子单元。以及用于对车牌号进行识别处理的车牌识别单元，也就是上述实施例中的第一子单元。此处的图像增强单元和车牌识别单元与上述介绍的类似，此处不再赘述。
146.基于上述介绍，因为本技术实施例中的识别模型经过了上述的训练过程，同时因为在识别模型中包括图像增强单元，因此无论是什么样的车牌图像，本实施例中的识别模型均可以实现有效的车牌处理。
147.本技术实施例提供的车牌识别方法，包括：获取待识别的车牌图像。根据识别模型对车牌图像进行处理，得到车牌图像对应的车牌号，其中，识别模型中包括用于对车辆图像进行增强处理的图像增强单元，以及用于对车牌号进行识别处理的车牌识别单元。通过训练完成的训练模型对待识别的车牌图像进行处理，其中训练模型中包括对车辆图像进行增强处理的图像增强单元，还包括对车牌号进行识别的车牌识别单元。因为在其中进行了车牌图像的增强处理，因此可以显著的降低识别难度，并且提升车牌识别的准确性。
148.为使读者更深刻地理解本公开的实现原理，现结合以下图11-图12对图10所示的实施例进行进一步细化。
149.图11为本技术实施例提供的车牌识别方法的流程图二，图12为本技术实施例提供的车牌识别方法的执行流程示意图。
150.如图11所示，该方法包括：
151.s1101、对车辆图像进行车牌检测，以在车辆图像中确定初始车牌图像。
152.可以理解的是，在实际的车牌识别过程中，通常都是首先拍摄车辆图像，再从车辆图像中获取待识别的车牌图像。
153.因此参照图12，本实施例中例如可以首先针对拍摄的车辆图像进行车牌检测，从而在车辆图像中确定出初始车牌图像。其中，车牌检测和初始车牌图像的实现可以参照上述实施例的介绍，此处不再赘述。
154.s1102、在初始车牌图像中，确定车牌的多个角点。
155.以及，在确定初始车配图像之后，参照图12，可以针对初始车牌图像进行角点回归，从而在初始车牌图像中确定车牌的多个角点。其中，角点回归的具体实现也可以参照上述实施例的介绍，此处不再赘述。
156.s1103、根据多个角点，在初始车牌图像中对车牌进行透视变换，得到正视的车牌图像。
157.为了有效提升车牌识别的准确性，本实施例中可以根据多个角点，在初始车牌图像中对车牌进行透视变换。比如说可以是图12中所示的基于角点对车牌进行转正，从而得到正视的车牌图像。其中，透视变换的具体实现同样可以参照上述实施例中的介绍，此处对此不再赘述。
158.s1104、将正视的车牌图像确定为待识别的车牌图像。
159.在针对初始车牌图像进行透视变换，得到正视的车牌图像之后，可以将正视的车牌图像确定为待识别的车牌图像，也就是说后续的识别模型的处理是基于正视的车牌图像完成的。
160.s1105、根据识别模型的图像增强单元，对车牌图像进行增强处理，得到增强后的车牌图像。
161.在本实施例中，识别模型中包括用于对车辆图像进行增强处理的图像增强单元。则参照图12，可以根据识别模型中的图像增强单元对待识别的车牌图像进行处理，从而得到增强后的车牌图像。
162.以及在一种可能的实现方式中，比如说需要检验图像增强单元是否针对车牌图像进行了有效增强，则例如还可以在图像增强单元处理之后，输出中间结果，也就是输出增强后的车牌图像，之后对增强后的车牌图像进行校验，以确定其图像增强的效果。
163.s1106、根据识别模型的车牌识别单元，对增强后的车牌图像进行识别处理，得到车牌图像对应的车牌号。
164.进一步的，在针对车牌图像进行增强，得到增强后的车牌图像之后，可以继续根据识别模型中的车牌识别单元，对增强后的车牌识别模型进行识别处理，从而得到车牌图像对应的车牌号，从而可以实现车牌号的有效检测。
165.本技术实施例提供一种车牌识别方法，通过针对车辆图像进行车牌检测，得到初始车牌图像，之后基于初始车牌图像进行角点回归，得到车牌的多个角点，然后根据多个角点对车牌进行透视变换，以实现对车牌进行转正，从而得到正视的车牌图像，然后基于正视的车牌图像进行后续的车牌识别，从而可以在一定程度上降低车牌识别的难度，提升车牌识别的准确性。以及，在进行车牌识别的时候，首先是识别模型中的图像增强单元会针对车牌图像进行图像增强处理，得到增强后的车牌图像，之后识别模型中的车牌识别单元再基于增强后的车牌图像进行车牌的识别，以得到车牌图像对应的车牌号，从而可以有效的降低车牌识别的难度，提升车牌识别的准确性。以保证无论是针对图像质量较好的车牌图像，还是图像质量较差的车牌图像，都可以有效的保证识别的准确性。同时，因为识别模型经过
了上述的训练过程，因此可以有效的保证图像增强的效果和车牌识别的准确性。
166.图13为本公开实施例的识别模型训练装置的结构示意图。如图13所示，本实施例的识别模型训练装置1300可以包括：获取模块1301、第一处理模块1302、第二处理模块1303、更新模块1304。
167.获取模块1301，用于根据样本车辆图像，获取待识别的第一样本车牌图像；
168.第一处理模块1302，用于对所述第一样本车牌图像进行退化处理，得到退化后的第二样本车牌图像，其中，所述退化处理用于对所述第一样本车牌图像添加图像退化效果；
169.第二处理模块1303，用于根据识别模型对所述第一样本车牌图像和所述第二样本车牌图像进行处理，得到所述第一样本车牌图像对应的识别车牌号，以及所述第二样本车牌图像对应的增强样本车牌图像；
170.更新模块1304，用于根据所述识别车牌号、所述增强样本车牌图像、所述样本车辆图像对应的样本车牌号、以及所述第一样本车牌图像，对所述识别模型的模型参数进行更新。
171.一种可能的实现方式中，所述更新模块1304具体用于：
172.根据所述识别车牌号以及所述样本车辆图像对应的样本车牌号，确定第一损失；
173.根据所述增强样本车牌图像以及所述第一样本车牌图像，确定第二损失；
174.根据所述第一损失和所述第二损失，对所述识别模型的模型参数进行更新。
175.一种可能的实现方式中，所述更新模块1304具体用于：
176.获取所述第一损失对应的第一权重，以及获取所述第二损失对应的第二权重；
177.根据所述第一权重和所述第二权重，对所述第一损失和所述第二损失进行加权处理，得到目标损失；
178.根据所述目标损失，对所述识别模型的模型参数进行更新。
179.一种可能的实现方式中，所述第二处理模块1303具体用于：
180.根据所述识别模型中的第一子单元，对所述第一样本车牌图像进行识别处理，得到所述第一样本车牌图像对应的识别车牌号；
181.根据所述识别模型中的第二子单元，对所述第二样本车牌图像进行增强处理，得到所述第二样本车牌图像对应的增强样本车牌图像。
182.一种可能的实现方式中，所述获取模块1301具体用于：
183.对所述样本车辆图像进行车牌检测，以在所述样本车辆图像中确定初始车牌图像；
184.在所述初始车牌图像中，确定车牌的多个角点；
185.根据所述车牌的多个角点以及所述初始车牌图像，获取待识别的第一样本车牌图像。
186.一种可能的实现方式中，所述获取模块1301具体用于：
187.根据所述多个角点，在所述初始车牌图像中对车牌进行透视变换，得到正视的车牌图像；
188.将所述正视的车牌图像确定为待识别的第一样本车牌图像。
189.图14为本公开实施例的车辆识别装置的结构示意图。如图14所示，本实施例的车牌识别装置1400可以包括：获取模块1401、处理模块1402。
190.获取模块1401，用于获取待识别的车牌图像；
191.处理模块1402，用于根据识别模型对所述车牌图像进行处理，得到所述车牌图像对应的车牌号，
192.其中，所述识别模型中包括用于对车辆图像进行增强处理的图像增强单元，以及用于对车牌号进行识别处理的车牌识别单元，所述识别模型为根据权利要求1-6任一项所述的装置确定得到的。
193.一种可能的实现方式中，所述处理模块1402具体用于：
194.根据所述识别模型的图像增强单元，对所述车牌图像进行增强处理，得到增强后的车牌图像；
195.根据所述识别模型的车牌识别单元，对所述增强后的车牌图像进行识别处理，得到所述车牌图像对应的车牌号。
196.一种可能的实现方式中，所述获取模块1401具体用于：
197.对车辆图像进行车牌检测，以在所述车辆图像中确定初始车牌图像；
198.在所述初始车牌图像中，确定车牌的多个角点；
199.根据所述车牌的多个角点以及所述初始车牌图像，获取待识别的车牌图像。
200.一种可能的实现方式中，所述获取模块1401具体用于：
201.根据所述多个角点，在所述初始车牌图像中对车牌进行透视变换，得到正视的车牌图像；
202.将所述正视的车牌图像确定为待识别的车牌图像。
203.本公开提供一种识别模型训练方法及装置、车牌识别方法及装置，应用于图像处理领域中的计算机视觉、智慧停车以及智能交通领域，以达到提升车牌识别的准确性的目的。
204.需要说明的是，本实施例中的人头模型并不是针对某一特定用户的人头模型，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的二维人脸图像来自于公开数据集。
205.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
206.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
207.根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
208.图15示出了可以用来实施本公开的实施例的示例电子设备1500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
209.如图15所示，设备1500包括计算单元1501，其可以根据存储在只读存储器(rom)1502中的计算机程序或者从存储单元1508加载到随机访问存储器(ram)1503中的计算机程序，来执行各种适当的动作和处理。在ram 1503中，还可存储设备1500操作所需的各种程序和数据。计算单元1501、rom 1502以及ram 1503通过总线1504彼此相连。输入/输出(i/o)接口1505也连接至总线1504。
210.设备1500中的多个部件连接至i/o接口1505，包括：输入单元1506，例如键盘、鼠标等；输出单元1507，例如各种类型的显示器、扬声器等；存储单元1508，例如磁盘、光盘等；以及通信单元1509，例如网卡、调制解调器、无线通信收发机等。通信单元1509允许设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
211.计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1501执行上文所描述的各个方法和处理，例如识别模型训练方法或者车牌识别方法。例如，在一些实施例中，识别模型训练方法或者车牌识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1508。在一些实施例中，计算机程序的部分或者全部可以经由rom 1502和/或通信单元1509而被载入和/或安装到设备1500上。当计算机程序加载到ram 1503并由计算单元1501执行时，可以执行上文描述的识别模型训练方法或者车牌识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元1501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行识别模型训练方法或者车牌识别方法。
212.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
213.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
214.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom
或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
215.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
216.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
217.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
218.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
219.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。