车牌字符检测方法及装置与流程

1.本发明属于车牌字符检测技术领域，具体涉及一种车牌字符检测方法及装置。


背景技术：

2.当前随着机动车保有量的持续增加，智能交通系统在现实中的作用与日俱增，车牌识别技术(vehicle license plate recognition)在智能交通系统中得到广泛应用。车牌作为车辆的重要标识，正确识别车牌号码有着举足轻重的作用。车牌字符检测则是车牌识别技术中重要的一环，只有准确的把车牌字符分割出来才能保证车牌字符识别的准确性。因此车牌字符检测的效果将直接关系到车牌识别的整体准确率。
3.目前基于图像的车牌字符检测算法主要分为两大类：一种是基于传统图像算法，另一种是基于深度学习算法。
4.基于传统图像算法的车牌字符检测可以分为非机器学习和机器学习两种。非机器学习的例如有：连通区域分析法、垂直投影法和颜色分析法等，这类方法容易受到光照变化和噪声的影响，不适应于复杂多变的实际应用场景；机器学习法例如有：adaboost、svm等分类器算法，但该类方法依赖于人工设计的特征描述子的描述能力，而人工设计的特征描述子的描述能力非常有限，对于复杂多变的实际应用场景，存在较高地漏检率和误检率。
5.基于深度学习的检测算法目前用的比较多的有：rcnn系列、ssd系列和yolo系列等。虽然相对于传统图像检测算法而言，基于深度学习的检测算法可靠性更高。但是在某些极端情况下还是会出现漏检和误检的情况。
6.现有技术中的一些基于灰度图的能量垂直投影的方法进行车牌字符检测算法。其可以通过车牌灰度图像的垂直投影值和差值获取字符边界。该类方法太过依赖垂直投影，无法适应倾斜变形的车牌。并且其容易受到光照、噪声等影响。
7.现有技术还提出了一些基于连通区域分析和垂直投影并结合模板匹配方法的车牌字符检测算法。其首先通过联通区域分析和垂直投影找出车牌字符候选区，然后通过一种可伸缩滑动的车牌模板定位找出真正的车牌字符区域。该方法由于通过连通区域分析和垂直投影查找车牌字符候选区，容易受到车牌边框、光照或者噪声等影响。
8.也就是说，基于现有的车牌字符检测技术无法适用于极端的环境(如过暗过曝、车牌反光、高噪声和污损牌等)，尤其是夜间车牌图像更容易出现上述极端情况，从而引起误检和漏检，最终导致车牌识别错误。


技术实现要素：

9.本技术的一个目的是提供一种车牌字符检测方法及装置的新技术方案，能够实现对车牌字符进行检测。
10.本发明的第一方面，提供了一种车牌字符检测方法，包括以下步骤：s1、收集多种类型的车牌的样本；s2、对所述车牌的样本进行字符标注，获取训练集和测试集；s3、将步骤s2中得到的所述训练集输入至ssd网络中进行离线训练，获取车牌字符检测器；s4、利用步
骤s2得到的所述测试集对步骤s3得到的所述车牌字符检测器进行测试，得到车牌字符候选区；s5、利用步骤s4得到的所述车牌字符候选区生成车牌模板；s6、利用步骤s5的所述车牌模板对步骤s4的所述车牌字符候选区进行车牌模板匹配，输出最终的车牌字符区域。
11.根据本发明的一个实施例，步骤s6中对所述车牌字符候选区进行iou匹配。
12.根据本发明的一个实施例，步骤s6中，如果所述车牌模板中的字符匹配不上，则强制把所述车牌模板中对应的字符位置作为真实字符位置输出。
13.根据本发明的一个实施例，步骤s6中，将被检测出来的所述车牌字符候选区未被所述车牌模板匹配到的误检区域丢弃。
14.根据本发明的一个实施例，步骤s2中，对所述车牌的样本中的字符进行标注，生成相应的xml文档。
15.根据本发明的一个实施例，所有的字符标签为1。
16.根据本发明的一个实施例，步骤s5中，利用步骤s4得到的所述车牌字符候选区，估算平均字符大小，然后生成一个当前大小的所述车牌模板。
17.根据本发明的一个实施例，步骤s5中，计算字符平均大小，根据比例对标准车牌布局件进行缩放生成所述车牌模板。
18.根据本发明的一个实施例，所述车牌的类型包括蓝牌、单双层黄牌、警牌和新能源牌，步骤s1中在卡口或电警的应用场景下收集所述车牌。
19.根据本发明第二方面实施例的车牌字符检测装置，该装置包括：样本获取单元，所述样本获取单元能够获取车牌的样本；字符标注单元，所述字符标注单元能够对所述车牌的样本进行字符标注，获取训练集和测试集；训练单元，所述训练单元将所述测试集输入至ssd网络中进行离线训练，获取车牌字符检测器；测试单元，所述测试单元通过所述测试集对所述车牌字符检测器进行测试，得到车牌字符候选区；检测单元，所述检测单元利用所述车牌模板对所述车牌字符候选区进行车牌模板匹配，输出最终的车牌字符区域。
20.根据本发明实施例的车牌字符检测方法，针对现有的车牌字符检测技术无法适应极端的环境，提出了一种结合ssd(single shot multibox detector)深度学习算法和车牌标准模板匹配的检测技术。在大量数据样本支撑的前提下，利用深度学习技术训练出ssd车牌字符检测器，通过该检测器可以快速、准确检测出车牌字符候选区；最后通过车牌标准模板进行匹配确定准确的车牌字符区域。本发明所提出的方法可有效地减少了车牌字符的误检和漏检，且实时性较高，可满足现实场景的应用需求。
21.通过以下参照附图对本技术的示例性实施例的详细描述，本技术的其它特征及其优点将会变得清楚。
附图说明
22.被结合在说明书中并构成说明书的一部分的附图示出了本技术的实施例，并且连同其说明一起用于解释本技术的原理。
23.图1是本发明的一实施例的车牌字符检测方法的流程图；
24.图2是本发明的又一实施例的车牌字符检测方法的流程图；
25.图3是本发明实施例的车牌字符候选区检测流程的示意图；
26.图4是本发明实施例的车牌模板生成流程的示意图；
27.图5是本发明实施例的车牌模板匹配流程的示意图；
28.图6是本发明实施例的电子设备的工作原理图。
29.附图标记：
30.电子设备100；
31.存储器110；操作系统111；应用程序112；
32.处理器120；网络接口130；输入设备140；硬盘150；显示设备160。
具体实施方式
33.现在将参照附图来详细描述本技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
34.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本技术及其应用或使用的任何限制。
35.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
36.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
37.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
38.下面首先结合附图具体描述根据本发明实施例的方法。
39.如图1和图2所示，根据本发明实施例的车牌字符检测方法，包括以下步骤：
40.s1、收集多种类型的车牌的样本。例如，在各种应用场景下收集各种类型车牌(蓝牌、单双层黄牌、警牌、新能源牌等)的样本。
41.s2、对车牌的样本进行字符标注，获取训练集和测试集。
42.s3、将步骤s2中得到的训练集输入至ssd网络中进行离线训练，获取车牌字符检测器。
43.s4、利用步骤s2得到的测试集对步骤s3得到的车牌字符检测器进行测试，得到车牌字符候选区。
44.s5、利用步骤s4得到的车牌字符候选区生成车牌模板。可选地，可以在利用利用步骤s4得到的车牌字符候选区时，估算平均字符大小，然后生成一个当前大小的车牌模板。
45.s6、利用步骤s5的车牌模板对步骤s4的车牌字符候选区进行车牌模板匹配，输出最终的车牌字符区域。例如，利用步骤s5的车牌模板对步骤s4的车牌字符候选区进行iou匹配，最终获得准确的字符区域。
46.由此，根据本发明实施例的车牌字符检测方法，针对现有的车牌字符检测技术无法适应极端的环境，提出了一种结合ssd(single shot multibox detector)深度学习算法和车牌标准模板匹配的检测技术。在大量数据样本支撑的前提下，利用深度学习技术训练出ssd车牌字符检测器，通过该检测器可以快速、准确检测出车牌字符候选区；最后通过车牌标准模板进行匹配确定准确的车牌字符区域。本发明所提出的方法可有效地减少了车牌字符的误检和漏检，且实时性较高，可满足现实场景的应用需求。
47.根据本发明的一个实施例，步骤s6中对车牌字符候选区进行iou匹配。也就是说，本发明提出了一种结合ssd(single shot multibox detector)深度学习算法和车牌标准模板匹配的检测技术。在检测字符候选区方面使用了深度学习，大大降低了车牌边框、光照或者噪声等影响。而且本发明在模板匹配过程中使用了二维信息的iou进行匹配，稳定性更高。
48.在本发明的一些具体实施方式中，步骤s6中，如果车牌模板中的字符匹配不上，则强制把车牌模板中对应的字符位置作为真实字符位置输出。
49.根据本发明的一个实施例，其特征在于，步骤s6中，将被检测出来的车牌字符候选区未被车牌模板匹配到的误检区域丢弃。
50.根据本发明的一个实施例，步骤s2中，对车牌的样本中的字符进行标注，生成相应的xml文档。具体地，从卡口或电警等各个实际应用场景的图片样本收集各种种类的车牌，并对车牌中的字符进行标注，生成相应的xml文档。
51.在本发明的一些具体实施方式中，所有的字符标签为1。也就是说，所有的字符label都为1，即检测只对字符与非字符进行区分。随后，把标注好的训练集输入到ssd网络中进行离线训练，获取训练好的车牌字符检测器。
52.在本发明的一些具体实施方式中，步骤s5中，利用步骤s4得到的车牌字符候选区，估算平均字符大小，然后生成一个当前大小的车牌模板。
53.根据本发明的一个实施例，步骤s5中，计算字符平均大小，根据比例对标准车牌布局件进行缩放生成车牌模板。
54.在本发明的一些具体实施方式中，车牌的类型包括蓝牌、单双层黄牌、警牌和新能源牌，步骤s1中在卡口或电警的应用场景下收集车牌，能够扩大样本选择环境，例如处于过暗过曝、车牌反光、高噪声和污损牌等极端情况的环境，能够有效避免现有的车牌字符检测技术无法适用于极端的环境，尤其是夜间车牌图像更容易出现上述极端情况，从而引起误检和漏检，最终导致车牌识别错误的问题。
55.本发明的实施例还提供了一种车牌字符检测装置，该装置包括：样本获取单元、字符标注单元、训练单元、测试单元和检测单元。
56.具体而言，样本获取单元能够获取车牌的样本，字符标注单元能够对车牌的样本进行字符标注，获取训练集和测试集，训练单元将测试集输入至ssd网络中进行离线训练，获取车牌字符检测器，测试单元通过测试集对车牌字符检测器进行测试，得到车牌字符候选区，检测单元利用车牌模板对车牌字符候选区进行车牌模板匹配，输出最终的车牌字符区域。
57.下面结合具体实施例对根据本发明实施例的车牌字符检测方法的检测过程详细说明。
58.首先，如图3所示，进行车牌字符候选区检测流程。具体地，用训练好的ssd车牌字符检测器对图片进行检测，获取车牌字符候选区。
59.随后，如图4所示，进行车牌模板生成流程。具体地，通过车牌字符候选区计算获取车牌模板。
60.接着，如图5所示，进行车牌模板匹配流程。具体地，用生成的车牌模板在字符候选区中进行iou匹配，如果模板中的字符匹配不上的可以强制把模板字符位置作为真实字符
位置输出。另外那些被检测出来的候选区没有被模板匹配到的误检区域直接丢弃掉。
61.从上面各个步骤可以看出，经过模板匹配后可以减少漏检和误检的情况，并且可以控制字符输出数量必须和标准车牌一致。
62.总而言之，根据本发明实施例的车牌字符检测方法及装置，涉及全天候车牌图像的车牌字符检测技术。特别涉及利用ssd(single shot multibox detector)深度学习检测算法以及车牌模板匹配实现复杂场景下的车牌字符检测，可以用于卡口、电子警察等智能交通场景中。
63.根据本发明实施例的车牌字符检测方法及装置，在实施时，首先对应用场景中所有种类车牌图像进行字符标注。最后对已标注好的样本集进行训练得到相应的ssd网络模型，通过该ssd网络模型可以检测出车牌图像的字符候选区；然后通过车牌标准模板匹配最终得到准确的车牌字符区域。根据本发明实施例的车牌字符检测方法对各种场景的适应性好，可以很好的修正检测算法中所出现的漏检和误检等情况，能够在极端的环境下也能保持较高的准确率。
64.另外，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的方法。
65.也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的方法。
66.如图6所示，本发明实施例提供了一种电子设备100，包括存储器110和处理器120，所述存储器110用于存储一条或多条计算机指令，所述处理器120用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。
67.也就是说，电子设备100包括：处理器120和存储器110，在所述存储器110中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器120执行上述任一所述的方法。
68.进一步地，如图6所示，电子设备100还包括网络接口130、输入设备140、硬盘150、和显示设备160。
69.上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器120代表的一个或者多个中央处理器(cpu)，以及由存储器110代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。
70.所述网络接口130，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘150中。
71.所述输入设备140，可以接收操作人员输入的各种指令，并发送给处理器120以供执行。所述输入设备140可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
72.所述显示设备160，可以将处理器120执行指令获得的结果进行显示。
73.所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器120计算过程中的中间结果等数据。
74.可以理解，本发明实施例中的存储器110可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)，其用作外部高速缓存。本文描述的装置和方法的存储器110旨在包括但不限于这些和任意其它适合类型的存储器。
75.在一些实施方式中，存储器110存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统111和应用程序112。
76.其中，操作系统111，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序112，包含各种应用程序，例如浏览器(browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序112中。
77.上述处理器120，当调用并执行所述存储器110中所存储的应用程序和数据，具体的，可以是应用程序112中存储的程序或指令时，将第一集合和第二集合中的一者分散发送至所述第一集合和第二集合中的另一者所分布的节点，其中，所述另一者分散存储于至少两个节点；并根据所述第一集合的节点分布和所述第二集合的节点分布，分节点地进行交集处理。
78.本发明上述实施例揭示的方法可以应用于处理器120中，或者由处理器120实现。处理器120可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器120中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器120可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器110，处理器120读取存储器110中的信息，结合其硬件完成上述方法的步骤。
79.可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(asic)、数字信号处理器dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
80.对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
81.具体地，处理器120还用于读取所述计算机程序，执行上述任一所述的方法。
82.在本技术所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合
或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
83.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
84.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
85.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。