一种基于深度学习的车牌识别方法与流程

1.本发明涉及图像处理识别技术领域，更具体地，涉及一种基于深度学习的车牌识别方法。


背景技术：

2.随着社会科技水平的不断提升与人类文明化步伐的不断加快，现代社会交通文明达到了一个新的阶段，汽车日渐成为人民日常生活中必不可少的交通工具，给我国道路交通系统造成了不小的压力。20世纪90年代以来，包括中国在内的许多国家已经连同各个企业和学术机构，建立了智能交通系统(intelligent transportation system，简称its)来应对这些交通问题。2000年之前，中国处于城际智能交通的科技攻关期，主要是对国家智能交通体系框架和标准进行研究，道路智能交通系统的示范工程并不多，也主要围绕北京、上海等大城市展开。
3.近几十年来，随着计算机和人工智能领域核心技术日新月异地发展，对于监控视频中运动目标的检测、识别和定位等技术水平也是突飞猛进，其中低分辨率图像识别一直是图像处理技术研究中最活跃的话题之一，也是长久以来的难点之一。一个完善的车牌识别系统包括视频图像采集、车辆检测、车牌定位、字符分割、字符识别等一系列的步骤。然而，目前对车牌的识别主要是针对近距离场景下的清晰车牌进行识别，例如针对停车场自动收费的车牌识别系统和设立在重要路口的监控摄像头下的车牌识别系统。尽管当前在某些特定场合下对于车牌图像的细节信息以及车牌定位的精准度的要求越来越高，复杂环境下车牌图像的识别目前还缺乏一定的技术条件和较为完善的理论基础，并存在以下几点问题和难点：(1)大部分监控设备距离检测目标较远以及镜头拍摄角度较大，这会使得在监控视频中捕获到的车牌区域过小，图像像素过低；(2)恶劣天气诸如雨、雪、大雾、冰雹等会造成拍摄光线过暗，监控摄像头污损以及车牌遮挡等问题；(3)车辆在运动过程中速度较快，以及成像设备容易出现对焦不准的现象，这些都令车牌图像出现不同程度的模糊和噪声，并且由于这些模糊成因复杂多样，导致难以对这些模糊图像进行恢复。上述问题均导致难以提取图像中的有用信息，在建立效果较为良好的车牌定位和字符识别系统的过程中困难重重。
4.现今的商业车牌识别系统已经基本成熟，各国都开发有自己国家车牌的识别系统，如新加坡optasia公司研发的imps和vlprs产品，美国的perceptics公司开发的lpr
‑
hr车牌识别系统，以及vigilant solutions公司的openalpr商业版的车牌识别软件。国内比较成熟的商业系统有亚洲视觉科技有限公司的慧光车牌识别系统和成都臻识科技自主研发的火眼臻睛车牌识别系统等。
5.然而，现今用以实现自动车牌识别而设计的企业车牌识别系统并不如人意，在复杂环境下的车牌仍然难以被识别到，在遇到车牌倾斜程度过大、曝光不足或者强光照情况下，会导致无法定位车牌，或是识别的车牌字符并不准确。同时，某些特定场合下，对于车牌图像的细节信息以及车牌定位精准度的要求越来越高，急需车牌图像识别的新技术理论或
方法。由此看来，对于车牌图像识别方法的研究很有必要，实现一个具有高鲁棒性与高识别率的车牌图像识别系统具有重要的社会现实意义。


技术实现要素：

6.本发明提供一种基于深度学习的车牌识别方法，该方法可提高了获取车牌图像的清晰度。
7.为了达到上述技术效果，本发明的技术方案如下：
8.一种基于深度学习的车牌识别方法，包括以下步骤：
9.s1：车牌图像采集以及图像预处理；
10.s2：车辆检测与车辆跟踪；
11.s3：车牌检测与车牌校正；
12.s4：车牌识别。
13.进一步地，所述步骤s1的具体过程是：
14.将摄像头架设在高速公路的正上方，对过往车辆进行拍摄，然后每1秒抽取几帧进行检测，并对图像进行中值滤波降噪预处理；
15.进一步地，所述步骤s2的具体过程是：
16.进入摄像机视野的车辆先进行一次检测，获取车辆的信息和对车辆进行标号；在摄像机拍摄传回的视频中对图像进行跟踪，当汽车行进至最优拍摄区域的时候，对车辆再进行一次车辆检测，获取车辆区域图像信息。
17.进一步地，所述步骤s3的具体过程是：
18.对获取的车辆区域图像进行检测，得到车牌图像并对车牌图像进行校正处理，获得校正好的车牌图像；由于摄像机拍摄角度或者运动模糊的影响，进行识别的车牌实际比较模糊，返回车辆进行检测与跟踪，获取较清晰的车牌图像再进行检测。
19.进一步地，所述步骤s4的具体过程是：
20.将校正好的车牌图像进行字符识别，得到较为准确的车牌信息。
21.进一步地，所述步骤s1中，对拍摄的车辆视频每1秒抽取5帧进行检测，并对图像进行中值滤波降噪预处理，获取图像分辨率为1974*907；所述步骤s2中，对进入摄像机视野的车辆先进行一次yolov3的车辆检测，然后采用sort跟踪算法对车辆进行跟踪，记录车辆信息并为车辆标号；所述步骤s3中，采用训练好的wpod
‑
net神经网络对车辆区域图像进行检测，得到校正处理后的车牌；所述步骤s4中，将校正处理后的车牌图像输入到训练好的end to end神经网络进行字符识别，得到较为准确的车牌信息；所述步骤s4中，end to end神经网络由alexnet、vgg神经网络将最后全连接层转换为卷积层而来，并调整尺寸采用训练好的网络参数进行微调。
22.与现有技术相比，本发明技术方案的有益效果是：
23.本发明引入了车牌跟踪算法，确保车辆不会重复进行车牌识别，并在特定区域进行车牌图像采集，提高了获取车牌图像的清晰度，同时能实现对车流量的统计以及车辆信息记录等功能。在进行车牌识别的过程中，如发现车牌运动模糊或者拍摄角度不好的情况下，可反馈至车辆跟踪和检测模块，进行重复检测，提高了车牌识别的准确率。同时，采用了wpod
‑
net车牌定位和校正网络，融合了车牌定位和校正处理，采用了端到端的车牌识别方
法，融合了字符分割和字符识别处理，提高了车牌识别程序的速度。
附图说明
24.图1为本发明方法流程图；
25.图2为wpod
‑
net神经网络结构图；
26.图3为车牌识别程序主界面；
27.图4为车牌识别程序的子界面。
具体实施方式
28.附图仅用于示例性说明，不能理解为对本专利的限制；
29.为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
30.对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
31.下面结合附图和实施例对本发明的技术方案做进一步的说明。
32.如图1所示，一种基于深度学习的车牌识别方法，包括以下步骤：
33.第一步：车牌图像采集以及图像预处理；
34.第二步：车辆检测与车辆跟踪；
35.第三步：车牌检测与车牌校正；
36.第四步：车牌识别。
37.车辆识别的实现包括车牌高清视频采集、图像预处理、车辆检测和跟踪、车牌定位和校正以及车牌识别等步骤。采用的数据集是一段从天桥上进行拍摄的车辆视频，该视频时长为276秒，帧数是30帧/秒。
38.具体的，第一步，车牌图像采集以及图像预处理
39.对拍摄的车辆视频每1秒抽取5帧进行检测，并对图像进行中值滤波等降噪等预处理，获取图像分辨率为1974*907。
40.第二步，车辆检测与车辆跟踪
41.对进入摄像机视野的车辆先进行一次yolov3的车辆检测，然后采用sort跟踪算法对车辆进行跟踪，记录车辆信息并为车辆标号。当车辆行驶最优拍摄地点时(在视频中表现为较为接近摄像头的位置，在qt中可由主界面第二个小窗口的红线进行表示，越过红线即可进行检测，此时进行检测得到的车牌区域最大，车牌识别准确率较高)，对车辆再进行一次车辆检测，可获取车辆区域图像信息。
42.第三步，车牌检测与车牌校正
43.如图2所示，采用训练好的wpod
‑
net神经网络对车辆区域图像进行检测，得到校正处理后的车牌。由于摄像机拍摄角度或者运动模糊的影响，进行识别的车牌可能比较模糊，这时可返回车辆检测与车牌跟踪模块，对同一车辆进行检测，获取较清晰的车牌图像再进行检测。
44.第四步，车牌识别
45.将校正处理后的车牌图像输入到训练好的end to end神经网络进行字符识别，得
到较为准确的车牌信息。其中，end to end神经网络可由alexnet、vgg等传统神经网络将最后全连接层转换为卷积层而来，并调整尺寸采用训练好的网络参数进行微调。
46.本实施例中，如图3所示，采用跨平台c 图像开发框架qt对本发明方法进行封装。在界面中正中间有三个视频界面，分别对应着不同的功能，第一个视频界面是用来进行原视频的播放，用于与车牌识别程序检测完的结果进行对比。第二个视频界面对车辆检测的结果进行显示，将车牌识别程序运行完输出的视频展示在视频窗口中。第三个视频界面用以计数，能够对车流量进行统计。视频界面下面是两个子控件，在识别控件中显示了被识别出的车辆区域、车牌区域与识别结果，可以通过播放、暂停等按钮使车辆区域、车牌区域与识别结果一起滚动，更为直观地看到识别过程，在统计子控件则可以观看到车牌识别的识别率等参数。
47.图4为车牌识别程序的一些子界面。图4(a)为第一个视频播放子界面，在该界面可以观察到视频播放的细节，在视频中显示被yolov3检测出来的车辆，以青色方框进行表示，在方框左上角存在该车辆的标号，在车辆行进过程中标号不变，代表着sort跟踪算法的完成。同时在车辆区域检测框经过视频截面下方的红线时，此时是最优拍摄地点，其检测框会进行车牌检测，可以看到检测中车牌被红方框包围，检测出来了；图4(b)为第二个视频播放子界面，可以观察到视频中的车辆在经过检测框的一刻开始进行计数，对视频上部分车牌数字显示的区域进行白化处理，便于观看；图4(c)是设置页面。在设置界面则可以设置主界面窗口视频的亮度、对比度、色相和饱和度，还可以对显示的车牌区域、车辆区域以及识别结果的播放速度等进行设置。
48.相同或相似的标号对应相同或相似的部件；
49.附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
50.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。