车牌的识别方法、装置和计算机介质与流程

1.本发明的实施例涉及图像识别领域，尤其涉及一种车牌的识别方法、装置和计算机介质。


背景技术：

2.在从交通监控摄像机拍摄的监控视频中识别车辆的车牌号码的过程中，通常会将监控视频解码为单独的图像，并使用计算机视觉技术处理每个图像以识别车牌号码。由于汽车往往是在快速移动，因此交通监控摄像机拍摄的监控视频中的多数车牌可能存在模糊，扭曲，变形以及偏移的不同问题。另外，同一辆汽车可能会在不同的图像中被具有不同大小和角度的摄像机捕获。从不同大小和角度拍摄的监控视频，都可能会降低车牌号码识别技术的准确性。因此，迫切需要一种方法能够比较精确以及高效地识别出监控视频中车辆的车牌号码。


技术实现要素：

3.本发明的目的在于提供一种车牌的识别方法、装置和计算机介质,实现从包含车辆的监控视频中，筛选出清晰度以及准确率高的车牌，从该车牌中识别出车牌号码，提高车牌识别的效率和精确度。
4.第一方面，本发明的实施例提供了一种车牌识别方法,从监控视频中获取多个待处理图像，其中，所述待处理图像包括车辆的车牌；确定所述多个待处理图像中的每一个图像中的车牌的变形程度、旋转程度以及位置偏移程度；基于每一个所述待处理图像中的车牌的变形程度、旋转程度以及位置偏移程度，对每一个所述待处理图像进行评分；从所述多个待处理图像中选择出评分高于评分阈值的待处理图像，并从选择出的所述待处理图像中识别出车牌号码。
5.即在该方案中，通过预先训练好的车辆以及车牌识别模型，从一段监控视频中识别出包括车辆的车牌的待处理图像。判断图像中的车牌边框的变形程度，也就是判断车牌的边框是否接近矩形，车牌的边框与矩形的近似度越高，车牌内的车牌号码的变形程度越小；判断图像中的车牌边框的旋转程度，也就是判断车牌在图像中是否保持水平，接近水平的车牌，能够更加准确地从车牌中识别出车牌号码，判断图像中的车牌边框的位置偏移程度，也就是判断车牌是否在图像中处于居中的位置，越是靠近图像边缘的车牌在进行车牌号码识别的过程中，越容易丢失部分车牌的内容。通过上述三个步骤后，根据变形程度、旋转程度以及位置偏移程度对车牌进行评分，对评分高于评分阈值的包含车辆的车牌的待处理图像进行车牌号码识别。
6.在上述第一方面的一种可能实现中，从监控视频中获取多个待处理图像，包括：
7.从监控视频中选择出包含车辆的图像；
8.从包含车辆的图像中选择出包括车牌的图像作为待处理图像。
9.在上述第一方面的一种可能实现中，从监控视频中选择出包含车辆的图像，包括：
10.通过目标检测算法在监控视频中预先设置车辆的边界框；
11.对车辆的边界框所在的图像区域进行卷积操作；
12.识别出边界框内包含车辆的图像。
13.在上述第一方面的一种可能实现中，确定多个待处理图像中的每一个图像中的车牌的变形程度、旋转程度以及位置偏移程度，包括：
14.通过目标检测算法在各待处理图像中预先设置相对于车辆的车牌的边界框；
15.对车牌的边框进行外扩，形成包含车牌的边框的外扩区域；
16.从各待处理图像中分割出外扩区域，得到各待处理图像的车牌子图像；
17.确定各待处理图像的车牌子图像中的车牌的变形程度、旋转程度以及位置偏移程度。
18.在上述第一方面的一种可能实现中，外扩区域的长度和宽度是车牌的边框的长度和宽度的倍数，并且外扩区域包括车牌的颜色和与车牌的颜色不同的颜色。
19.在上述第一方面的一种可能实现中，确定各待处理图像的车牌子图像中的车牌的变形程度、旋转程度以及位置偏移程度，包括：
20.从车牌子图像中选择出清晰度值大于清晰度阈值的车牌子图像；
21.确定选择出的车牌子图像中的车牌的变形程度、旋转程度以及位置偏移程度。
22.在上述第一方面的一种可能实现中，确定多个待处理图像中的每一个图像中的车牌的变形程度、旋转程度以及位置偏移程度，包括：
23.基于待处理图像的车牌子图像中各像素的灰度值，对车牌子图像进行二值化处理，得到二值化图像；
24.对二值化图像进行降噪处理，并确定降噪处理后的二值化图像中的车牌的边框；
25.并且从二值化图像中分割出车牌的边框。
26.在上述第一方面的一种可能实现中，确定多个待处理图像中的每一个图像中的车牌的变形程度、旋转程度以及位置偏移程度，包括：
27.获取车牌的边框对应的四边形的四个内角，基于四个内角与直角之间的近似度计算出车牌的变形程度。
28.在上述第一方面的一种可能实现中，确定多个待处理图像中的每一个图像中的车牌的变形程度、旋转程度以及位置偏移程度，包括：
29.获取车牌的边框对应的四边形的四条边，基于四条边与待处理图像的水平线以及竖直线之间的夹角计算出车牌的旋转程度。
30.在上述第一方面的一种可能实现中，确定多个待处理图像中的每一个图像中的车牌的变形程度、旋转程度以及位置偏移程度，包括：
31.获取车牌的边框对应的四边形的四个顶点，基于四个顶点与待处理图像的边缘之间的距离计算出车牌的位置偏移程度。
32.在上述第一方面的一种可能实现中，基于每一个待处理图像中的车牌的变形程度、旋转程度以及位置偏移程度，对每一个待处理图像进行评分，包括：
33.将变形程度、旋转程度以及位置偏移程度分别乘上第一权重阈值，第二权重阈值以及第三权重阈值后相加获得评分；
34.判断评分是否大于评分阈值；
35.筛选出评分大于评分阈值的待处理图像。
36.在上述第一方面的一种可能实现中，从多个待处理图像中选择出评分高于评分阈值的待处理图像，并从选择出的待处理图像中识别出车牌号码，包括：
37.将待处理图像的车牌子图像缩放成同一尺寸后，通过卷积神经网络算法判断识别出待处理图像中包含的车牌对应的车牌号码。
38.在上述第一方面的一种可能实现中，对车牌号码中的每个数字或者字母给出一个识别概率；
39.将所有识别概率相乘后降序排列，输出最高的识别概率对应的车牌号码。
40.第二方面，本发明的实施例公开了一种装置，其特征在于，包括：
41.摄像设备，设置在路段的拍摄位置，用于采集经过路段的车辆的监控视频；
42.服务器，与摄像设备通信连接，用于从摄像设备处获取监控视频；
43.存储器，存储有指令以及监控视频；以及
44.至少一个处理器，被配置为访问存储器，并被配置为执行存储器上的指令以控制服务器执行上述第一方面的的车牌识别方法。
45.第三方面，本发明的实施例公开了一种计算机介质，其特征在于，计算机介质上存储有指令，该指令在计算机上执行时使计算机执行上述第一方面的车牌识别方法。
附图说明
46.图1根据本发明的一些实施例，示出了一种车牌识别的场景图；
47.图2a,2b根据本发明的一些实施例，示出了一种车牌识别方法的流程图；
48.图2c,2d根据本发明的一些实施例，示出了一种从图像中提取车牌的场景图；
49.图3a,3b根据本发明的一些实施例，示出了一种对车牌进行变形程度评分的场景图；
50.图3c,3d根据本发明的一些实施例，示出了一种对车牌进行旋转程度评分的场景图；
51.图3e,3f根据本发明的一些实施例，示出了一种对车牌进行位置偏移程度评分的场景图；
52.图4根据本发明的一些实施例，示出了一种车牌识别装置的结构图；
53.图5根据本发明的一些实施例，示出了一种系统的框图；
54.图6根据本发明的一些实施例，示出了一种片上系统(soc)的框图。
具体实施方式
55.下面结合具体实施例和附图对本发明做进一步说明。可以理解的是，此处描述的具体实施例仅仅是为了解释本发明，而非对本发明的限定。此外，为了便于描述，附图中仅示出了与本发明相关的部分而非全部的结构或过程。应注意的是，在本说明书中，相似的标号和字母在下面的附图中表示类似项。
56.本发明的实施例包括但不限于一种车牌的识别方法、装置和介质。
57.为了解决监控视频拍摄到的车辆的车牌由于存在模糊、扭曲、变形以及偏移等现象，使得车牌的识别准确度下降的问题，本发明的技术方案提出一种车牌识别技术，通过对
视频图像中的车牌边框的变形程度、旋转程度以及位置偏移程度等进行评分，筛选出车牌边框更接近矩形、车牌在图像中保持水平以及车牌更居中的图像进行车牌识别。从而提高车牌识别的效率和精确度。
58.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
59.下面将结合附图对本发明的实施例作进一步地详细描述。
60.图1根据本发明的一些实施例，示出了一种车牌的识别的应用场景图。
61.具体地，如图1所示，该场景包括服务器100，摄像设备200以及车辆300。其中，服务器100可以是各种计算设备，包括：硬件服务器，也可以是在一个或多个其他虚拟机的硬件服务器上执行的虚拟机。服务器100可以获取摄像设备200拍摄的对车辆300的监控视频，并对拍摄到的监控视频中的车辆300的车牌进行识别。例如，设置在路段的拍摄位置的摄像设备200拍摄一段经过该路段的车辆的监控视频，服务器100与该摄像设备200通信连接后，从该摄像设备200接收一段拍摄好的包含车辆的监控视频。然后，服务器100从监控视频中筛选出包含车牌的图像，通过车牌清晰度模型对图像中的车牌进行清晰度评分后筛选出清晰度高的图像，之后使用车牌准确度算法对清晰度高的图像中的车牌进行准确度评分，通过车牌号码识别模型从准确度高的图像中识别出车牌号码。
62.此外，服务器100还可以对已经采集完毕存储在服务器100的存储区域的监控视频进行车牌识别。这里的视频可以是设置在上述路段的摄像设备200，例如：网络监控视频录像机(network video recorder，nvr)、网络摄像机(ip camera，ipc)等设备拍摄的监控视频。
63.摄像设备200设置在路段的拍摄位置并实时地进行拍摄，当有车辆通过该路段时，该过程就会被摄像设备200捕获并保存在监控视频中。这里的各种路段可以包括城市道路，高速公路，住宅小区内的道路，停车场，以及任何车辆可以行驶的道路。
64.如前所述，在本发明的另一些实施例中，车辆检测模型，车牌检测模型、车牌清晰度模型以及车牌号码识别模型可以是一个整体的模型。
65.下面结合图2a至图3f来详细说明本发明的一些实施例所提供的车牌的识别方法。在本发明的附图中，参考数字后面的字母，例如“100a”表示对具有该特定参考数字的元素的引用，而没有后续字母的参考数字，例如“100”，表示对带有该参考数字的元件的实施方式的一般引用。
66.如图2a所示，车牌的识别的过程可以包括：
67.s201：服务器100获取监控视频。
68.在本发明的实施例中，服务器100可以从与其通信连接的摄像设备200处实时地获取正在拍摄的车辆的监控视频。在一些实施例中，服务器100也可以从其存储区域中读取已经拍摄完的监控视频。在服务器100获取监控视频后，继续到s202。
69.s202：服务器100将监控视频输入车辆检测模型，获取包含车辆的图像。
70.可以理解，服务器100将监控视频输入车辆检测模型，通过该车辆检测模型筛选出包括车辆的图像。在本发明的实施例中，车辆检测模型可以采用深度学习的算法中的ssd模型(single shot detector，目标检测)。ssd模型用于在图像或者监控视频中进行目标检测，ssd模型可以通过在图像或者监控视频中预先设置目标的边界框，对该边界框所在的区
域使用特征值的卷积核去识别其中包含的目标，同时为了得到高精度的检测结果，ssd模型会使用不同种类的特征值对图像或者监控视频进行多次卷积操作，使得最终识别出的目标更加准确。这里的特征值可以是灰度值或者rgb值。灰度值是一个一维的数值，范围一般从0到255，白色为255，黑色为0。rgb值一个三维的数值rgb，用于表示红、绿、蓝三个通道的颜色。
71.对该车辆检测模型的训练过程可以包括：首先对车辆检测模型输入带有标记的车辆样本图像。其次，车辆检测模型通过判断自身的损失函数的输出和损失函数结果的收敛情况对自身的参数进行修正。最后，当车辆检测模型的参数达到收敛的情况下，完成车辆检测模型的训练。这里的标记是指对车辆样本图像中车辆的位置设置一个边界框，同时，该标记还指出该边界框内的目标属于车辆。例如，对于从各种路段中的摄像设备200拍摄的监控视频中的获取的车辆样本图像，车辆样本图像中出现车辆的位置是存在一定规律的，车辆一般出现在车辆样本图像的中部。把车辆样本图像的标记设置在图像的中部后，将该车辆样本图像输入车辆检测模型，对模型进行训练。在通过车辆检测模型从监控视频中筛选出包含车辆的图像后，继续到s203。
72.s203：服务器100将包含车辆的图像输入车牌检测模型，获取车牌的粗检区域的子图像。
73.这里的粗检区域是指，对包含车辆的图像中车牌的边框进行外扩形成的区域。获取车牌的粗检区域是用于防止车牌以及车牌的边框周围的区域颜色比较单一，影响对车牌进行清晰度检测，因此对车牌的边框进行外扩形成粗检区域后，使得该粗检区域内可以覆盖较多的颜色。
74.服务器100可以通过将图像输入一个车牌检测模型获取图像中的车牌，车牌检测模型也可以采用上述的ssd模型，该模型也是通过训练获得的。对车牌检测模型的训练可以包括：对车牌检测模型输入带有标记的车牌样本图像。车牌样本图像中的标记是指，车牌样本图像中车牌相对于车辆的位置。对于车牌样本图像，其中包含车牌的位置也是有规律的，例如，在车辆的正面图像中，车牌位于车辆的中下方。之后，车牌检测模型不断修正自身的参数完成模型的训练。车牌检测模型的训练过程与车辆检测模型相似。
75.接着，服务器100对从包含车牌的图像中获取车牌的粗检区域的子图像，这个过程包括：首先，服务器100对通过车牌检测模型识别出的图像中包含的每一个车牌标记一个外接矩形，这里的外接矩形是指在图像中标记一个可以覆盖车牌的矩形区域，当车牌在车牌样本图像中呈矩形时，那外接矩形可以是车牌的边框；当车牌在车牌样本图像中呈不规则四边形时，那外接矩形除了包含车牌，还可以覆盖车牌周围的区域。之后，根据车牌的外接矩形的大小，以该外接矩形的四周为基准向外外扩形成一个外扩区域后，截取该外扩区域，并保存为车牌的粗检区域的子图像。例如，在外接矩形的大小是100*200的像素图的情况下，外扩区域的大小可以是200*300的像素图，在本发明的另一实施例中，外扩区域的大小还可以取其他数值。在服务器100获取了车牌的粗检区域的子图像后，对该子图像进行清晰度检测。
76.s204：服务器100将车牌的粗检区域的子图像输入车牌清晰度模型，获取子图像的清晰度值，并筛选出清晰度大于清晰度阈值的车牌的粗检区域的子图像。
77.这里的清晰度检测，是预先设置了一个清晰度阈值，通过与该清晰度阈值进行比
较，筛选出清晰度值大于清晰度阈值的子图像进行车牌识别。这样可以排除部分清晰度不佳的子图像，提交车牌识别的效率。
78.服务器100将子图像输入一个车牌清晰度模型，获取子图像的清晰度值。
79.例如，该车牌清晰度模型可以是基于resnet的残差网络模型。该模型的输入值可以是子图像的rgb值，该模型的输出值是清晰图像的概率。在获得清晰图像的概率后，然后与清晰度阈值进行对比，小于清晰度阈值的会被认为是不清晰的图像。清晰度阈值可以是任意可配置的数值，例如，在清晰图像的概率的取值范围是(0-1，0到1之间的实数)，则清晰度阈值可以配置为0.5，也就是说通过车牌清晰度模型获取的清晰图像的概率小于0.5的车牌的粗检区域的子图像会被排除。
80.在本发明的另一实施例中，该车牌清晰度模型可以采用卷积神经网络模型(convolutional neural networks,cnn)，模型的输入值可以是子图像的rgb值。子图像的清晰度的识别过程包括：车牌清晰度模型对输入的子图像进行卷积操作，输出子图像的梯度函数值。这里的图像的梯度函数值，是对车牌的粗检区域的图像中的每一个像素点计算方差。之后，将所有像素点的方差求和后，与一个清晰度阈值相比较后，判别该车牌的粗检区域的图像的清晰度。
81.虽然上述实施例以rgb值为例进行清晰度识别，但是，车牌清晰度模型的输入值也适用于各种颜色空间，例如，cie(commission internationale de l'eclairage，国际照明委员会)颜色空间、hsi(hue-saturation-intensity，色调-饱和度-亮度)颜色空间、cmy(cyan-magenta-yellow，青-品红-黄)颜色空间等。
82.可以理解，在本发明的另一个实施例中，服务器100可以先对包含车牌的图像进行清晰度检测。在筛选出的清晰度大于清晰度阈值的图像中提取出车牌的粗检区域的子图像进行如下的准确度评分。
83.s205：服务器100对筛选出清晰度大于清晰度阈值的车牌的粗检区域的子图像进行准确度评分。服务器100对车牌的粗检区域的图像进行车牌的边框提取，对车牌的边框进行变形程度、旋转程度以及位置偏移程度的评分后，筛选出评分较高的也就是准确度高的车牌的边框。
84.对车牌的边框进行变形程度的评分，是指将车牌的边框的形状与矩形相比较，如果车牌的边框的形状越接近矩形，说明车牌的边框的变形程度越低，可以从该车牌中更加准确地识别出车牌号码；反之，车牌中的车牌号码会随着变形程度增加而扭曲，从该车牌中识别出车牌号码的准确率会降低。
85.对车牌的边框进行旋转程度的评分，是指判断车牌的边框在子图像中是否处于水平的位置，旋转程度越小则说明车牌的越接近水平位置，可以从该车牌中更加准确地识别出车牌号码；反之，车牌中的车牌号码会随着旋转程度增加而倾斜，则从该车牌中识别出车牌号码的准确率会降低。
86.对车牌的边框进行位置偏移程度的评分，是指判断车牌的边框是否处于子图像中的中间位置，位置偏移程度越小则说明车牌在子图像中的更加居中；反之，则该车牌会更加靠近子图像的边框。
87.在对车牌的边框进行变形程度、旋转程度以及位置偏移程度的评分，先从车牌的粗检区域的子图像中提取出车牌的边框。s205a：服务器100从清晰度较高的车牌的粗检区
域提取出车牌的边框，如图2c和图2d所示，该过程包括：
88.服务器100使用角点检测的特征提取方法，从车牌的粗检区域的子图像中定位车牌的边框的至少一个顶点。在确定了车牌的边框的一个顶点后，通过神经网络的回归模型回归计算出车牌的边框剩余的三个角点。之后以这四个顶点的中心为原点，将图像投射在一个二维直角坐标系内，由于车牌的边框呈四边形，可以通过四边形在二维直角坐标系内的位置，获取该四边形的四个顶点的在该二维直角坐标系内的坐标。由于该车牌的粗检区域的图像是通过像素来表示，该二维直角坐标系的坐标也是基于像素值建立的，例如：在车牌的粗检区域的图像是一个200*300的像素图，则将该车牌的粗检区域的图像投射的二维直角坐标系的x轴的取值范围可以是[-150,150]，y轴的取值范围可以是[-100,100]。
[0089]
在本发明的另一个实施例中，服务器100还可以将车牌的粗检区域的图像转化为对应的灰度图像，之后利用高斯模糊、中值滤波对灰度图像进行消除噪音点后，将灰度图像二值化，使得灰度图像成为黑白图，也就是二值化图像，然后从黑白图中定位车牌的边框，这里的边框可以是一个四边形。最后以该车牌的粗检区域的图像的中心为原点，将图像投射在上述的二维直角坐标系内。
[0090]
由于车牌的粗检区域的图像中车牌的边框可能并不是矩形的，或者是经过旋转的，又或者是偏离车牌的粗检区域的图像中心的，下一步将对车牌的边框进行变形程度，旋转程度以及位置偏移程度的评分。
[0091]
在本发明的另一实施例中，可以将车牌的粗检区域的图像投射在极坐标系内。通过极坐标系计算出车牌的边框的四边形的变形程度，旋转程度以及位置偏移程度。
[0092]
首先，对车牌的边框进行变形程度评分。s205b：基于车牌的边框301对应的四边形的四个顶点在二维直角坐标系内的坐标，服务器100分别计算四边形的四个内角，通过判断四个内角与直角的近似度，获取车牌的变形程度。
[0093]
如图3a和3b所示，可以用ai表示为四边形第i个内角，这里ai在二维直角坐标系中的坐标是(xi，yi)，ai相邻的两个内角分别为a
i-1
和a
i 1
。其坐标分别为(x
i-1
，y
i-1
)和(x
i 1
，y
i 1
)，通过两点之间的距离公式计算出ai和a
i-1
和a
i 1
之间的边长li，l
i 1
和l
i-1
，之后通过内角公式l
i2
＝l
i 12
l
i-12-2l
i 1
l
i-1
cos(ai)计算出ai，四边形的其他内角也可以通过上述方法计算得到。之后，通过公式(1)计算出ai的与直角之间的差异，基于该差异获得车牌的变形程度。通过该公式(1)可知，对四边形的每个内角，在内角的角度与90度直角越接近时，该公式(1)的值越大，也就是说车牌的变形程度越小。
[0094]
接着，对车牌的边框进行旋转程度评分s205c：基于车牌的边框301对应的四边形的四个顶点在二维直角坐标系内的坐标，分别计算出四边形的四个边与二维直角坐标系的x轴和y轴的倾斜角度，获取车牌的旋转程度。
[0095]
如图3c和3d所示，可以用b1，b3表示为四边形的左右两边与x轴所夹锐角，b2，b4表示为四边形的上下两边与y轴所夹锐角，通过计算b1，b2，b3，b4来获取四边形的四个边与二维直角坐标系的x轴和y轴的倾斜角度。通过公式(2)维直角坐标系的x轴和y轴的倾斜角度。通过公式(2)可以得知，当四边形的左右两边与x轴垂直且四边形的上下两边与y轴垂直时，该公式(2)的值越小，说明车牌的旋转程度越小。
[0096]
最后，对车牌的边框进行位置偏移程度评分。s205d：基于车牌的边框对应的四边形的顶点到车牌的粗检区域的图像在二维直角坐标系内的边缘的距离，获取车牌的位置偏移程度。
[0097]
如图3e和3f所示，通过公式(3)位置偏移程度＝max(min((mind
i-15)/15)，1)，0)判断车牌的位置偏移程度，其中，公式里的15是指在二维直角坐标系内的15个像素数值，随着该二维直角坐标系的取值范围的不同，该15的数值可以变化。mindi为四边形的第i个顶点到车牌的粗检区域302的图像在二维直角坐标系内的边缘的最小距离。通过上述公式，如果四边形的顶点i到四边形的任一个边缘的mindi小于15个像素，则上述公式(3)的值为0，否则，上述公式(3)的值为1。在上述公式的值为0的情况下，说明四边形的第i个顶点过于靠近车牌的粗检区域的图像的边缘，车牌在车牌的粗检区域的图像的位置偏移程度较大。
[0098]
在评分后，对每一个车牌的边框的上述三种评分进行计算，获得车牌的边框准确度，筛选出准确度大于准确度阈值，并且准确度最高的车牌边框进行车牌号码的识别。可以理解，上述对车牌进行变形程度、旋转程度以及位置偏移程度评分的过程可以是任意顺序的，例如，在一些实施例中，可以以位置偏移程度、变形程度以及旋转程度的过程对车牌进行评分。
[0099]
在本发明另一个实施例中，在获得车牌的边框准确度后，还可以筛选出准确度大于准确度阈值的车牌边框进行车牌号码的识别，这样可以获得更多用于进行车牌号码识别的车牌样本。
[0100]
s205e：通过对车牌的变形程度、旋转程度以及位置偏移程度进行计算，获取车牌的准确度，筛选出准确度高于准确度阈值的包含车牌的子图像。
[0101]
这里，可以将上述公式(1)(2)和(3)的值相加计算出车牌的边框的准确度，当准确度大于一个准确度阈值时，则确认该车牌的边框的准确度较高。在本发明的实施例中，可以通过准确度＝0.5*变形程度*旋转程度 0.5*位置偏移程度的公式来计算准确度，例如，在准确度阈值是1的情况下，服务器100排除准确度小于1的车牌的粗检区域的图像。在本发明的另一实施例中，准确度公式包含的参数以及准确度阈值还可以取其他数值。
[0102]
可以理解，上述公式(1)(2)和(3)只是实现获取车牌的变形程度，旋转程度以及位置便宜程度一种实现方法，在本发明的另一实施例中，可以采用其他算法或者函数达到相同的效果。
[0103]
对准确度高于准确度阈值的车牌，执行s206:服务器100将车牌的边框输入车牌号码识别模型，识别出车牌号码。
[0104]
车牌号码识别模型是一个基于卷积循环神经网络(convolutional recurrent neural networks，crnn)训练好的模型。车牌号码识别模型从车牌中识别出车牌号码的过程包括：首先，在输入车牌号码识别模型之前，将每一个车牌的边框调整成同一大小。例如，将车牌的边框缩放成100*200的像素图。之后，将车牌的边框输入车牌号码识别模型，通过多次卷积和池化，提取其特征得到特征向量。将特征向量与已训练好的预测数字或者字母相比较，得到识别出的车牌号码的文本信息。同时，车牌号码识别模型还可以将识别出的车牌号码的文本信息与用于训练该车牌号码识别模型训练数据进行对比，对每个数字或者字母给出一个识别概率，然后将所有字母或者数字对应的识别概率相乘输出最终的识别概率。最后，车牌号码识别模型将识别概率最高的车牌号码的文本信息作为识别结果输出。
[0105]
在本发明的另一实施例中，对于特殊的车牌，例如：双行排列的车牌，可以通过对车牌号码识别模型进行双行排列的车牌识别的训练。使得车牌号码识别模型可以识别出特殊的车牌号码。
[0106]
图4示出了根据本发明的实施例的一种车牌的识别装置400。识别装置400包括：车辆检测模块401，车牌检测模块402，车牌清晰度模块403，车牌准确度模块404，车牌号码识别模块405。可以理解，识别装置400可以位于服务器100中。
[0107]
车辆检测模块401，用于从监控视频或者图像集合中识别出包含车辆的视频帧或者图像。
[0108]
车牌检测模块402，车牌检测模块402用于从包含车辆的视频帧或者图像中识别出车牌的区域，将该区域外扩，截取包含车牌的粗检区域的图像。
[0109]
车牌清晰度模块403，车牌清晰度模块403用于对车牌的粗检区域的图像进行清晰度判断，排除清晰度低于阈值的车牌的粗检区域的图像。
[0110]
车牌准确度模块404，车牌准确度模块404用于对清晰度高的车牌的粗检区域的图像中的车牌进行准确度评分，根据评分的结果排除准确度低的图像。
[0111]
车牌号码识别模块405，车牌号码识别模块405用于从图像中识别出车牌号码。
[0112]
现在参考图5，所示为根据本发明的一个实施例的系统500的框图。图5示意性地示出了根据多个实施例的示例系统500。在一个实施例中，系统500可以包括一个或多个处理器504，与处理器504中的至少一个连接的系统控制逻辑508，与系统控制逻辑508连接的系统内存512，与系统控制逻辑508连接的非易失性存储器(nvm)516，以及与系统控制逻辑508连接的网络接口520。
[0113]
在一些实施例中，处理器504可以包括一个或多个单核或多核处理器。在一些实施例中，处理器504可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。处理器504可以被配置为执行各种符合的实施例，例如，如图1-3f所示的多个实施例中的一个或多个。
[0114]
在本发明的实施例中，处理器504可以用于验证虚拟机向硬件设备发送的访问请求，是否为dma访问请求。
[0115]
在一些实施例中，系统控制逻辑508可以包括任意合适的接口控制器，以向处理器504中的至少一个和/或与系统控制逻辑508通信的任意合适的设备或组件提供任意合适的接口。
[0116]
在一些实施例中，系统控制逻辑508可以包括一个或多个存储器控制器，以提供连接到系统内存512的接口。系统内存512可以用于加载以及存储数据和/或指令。在一些实施例中系统500的内存512可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(dram)。
[0117]
nvm/存储器516可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，nvm/存储器516可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如hdd(hard disk drive，硬盘驱动器)，cd(compact disc，光盘)驱动器，dvd(digital versatile disc，数字通用光盘)驱动器中的至少一个。
[0118]
nvm/存储器516可以包括安装系统500的装置上的一部分存储资源，或者它可以由
设备访问，但不一定是设备的一部分。例如，可以经由网络接口520通过网络访问nvm/存储516。
[0119]
特别地，系统内存511和nvm/存储器516可以分别包括：指令524的暂时副本和永久副本。指令524可以包括：由处理器504中的至少一个执行时导致系统500实施如图1-3f所示的功能的指令。在一些实施例中，指令524、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑508，网络接口520和/或处理器504中。
[0120]
网络接口520可以包括收发器，用于为系统500提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口520可以集成于系统500的其他组件。例如，网络接口520可以集成于处理器504的，系统内存512，nvm/存储器516，和具有指令的固件设备(未示出)中的至少一种，当处理器504中的至少一个执行所述指令时，系统500实现如图1-3f所示的功能。
[0121]
网络接口520可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口520可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
[0122]
在一个实施例中，处理器504中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑封装在一起，以形成系统封装(sip)。在一个实施例中，处理器504中的至少一个可以与用于系统控制逻辑508的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(soc)。
[0123]
系统500可以进一步包括：输入/输出(i/o)设备532。i/o设备532可以包括用户界面，使得用户能够与系统500进行交互；外围组件接口的设计使得外围组件也能够与系统500交互。在一些实施例中，系统500还包括传感器，用于确定与系统500相关的环境条件和位置信息的至少一种。
[0124]
根据本发明的实施例，图6示出了一种通用的soc(system on chip，片上系统)600的框图。在图6中，相似的部件具有同样的附图标记。另外，虚线框是更先进的soc的可选特征。在图6中，soc 600包括：互连单元650，其被耦合至应用处理器615；系统代理单元670；总线控制器单元680；集成存储器控制器单元640；一组或一个或多个协处理器620，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(sram)单元630；直接内存存取(dma)单元660。在一个实施例中，协处理器620包括专用处理器，诸如网络或通信处理器、压缩引擎、gpu、高吞吐量mic处理器、或嵌入式处理器等等。
[0125]
本发明公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本发明的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
[0126]
可将程序代码应用于输入指令，以执行本发明描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本发明的目的，处理系统包括具有诸如例如数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器之类的处理器的任何系统。
[0127]
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便于处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本发明中描述的机
制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
[0128]
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
[0129]
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而且，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
[0130]
需要说明的是，本发明各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施例并没有将与解决本发明所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
[0131]
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、资源项或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、资源项或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、资源项或者设备中还存在另外的相同要素。
[0132]
虽然通过参照本发明的某些优选实施例，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。