车牌检测方法、车牌检测装置、设备终端和可读存储介质与流程

1.本技术涉及车辆检测技术领域，具体涉及一种车牌检测方法、车牌检测装置、设备终端和可读存储介质。


背景技术：

2.目前的车牌识别技术中，整个车牌识别过程需要采用多段网络模型进行识别，在实际使用过程中，由于使用设备的性能限制，整个车牌识别过程所应用的模型不能太大，这就意味着每段网络模型中的数学计算复杂程度不能过高，否则会导致整个车牌识别过程的识别速度大幅降低，因此，现有的每段网络模型通常十分简单。
3.然而，由于其中各段网络模型过于简单，造成了整个车牌识别过程所应用的模型的范化性降低，这就意味着整个车牌识别过程所应用的模型在训练使用时所需要使用的训练集更大更全面，进而造成整个车牌识别过程所应用的模型训练至拟合的时间过长，拟合能力较差，车牌识别过程效率低下。


技术实现要素：

4.鉴于此，本技术提供一种车牌检测方法、车牌检测装置、设备终端和可读存储介质，以解决现有车牌识别过程效率低下的技术问题。
5.一种车牌检测方法，包括：
6.获取车牌拍摄图像；
7.对所述车牌拍摄图像中的车牌目标区域进行检测，得到对应的车牌区域图像；
8.采用神经网络对所述车牌区域图像进行关键点检测，以得到对应车牌的角点坐标信息，所述神经网络中的激活函数采用预设激活函数；
9.根据所述角点坐标信息，对所述车牌区域图像进行透视变换处理，以得到对应的车牌目标图像；
10.对所述车牌目标图像中的字符进行位置检测，得到所述车牌目标图像中各个字符的位置信息；
11.根据所述车牌目标图像中各个字符的位置信息对各个字符进行字符识别，得到对应的车牌号识别结果。
12.在一个实施例中，预设激活函数如下：
[0013][0014]
其中，x为自变量，f(x)为激活函数变量。
[0015]
在一个实施例中，对车牌拍摄图像中的车牌目标区域进行检测，得到对应的车牌区域图像的步骤包括：
[0016]
采用车牌目标检测网络对车牌拍摄图像进行检测，得到各个目标区域图像的位置
信息和置信度，其中，车牌目标检测网络中的激活函数采用预设激活函数；
[0017]
将各个目标区域图像的置信度与第一预设置信度阈值进行比较，以选择对应置信度大于第一预设置信度阈值的目标区域图像作为车牌区域图像。
[0018]
在一个实施例中，根据车牌目标图像中各个字符的位置信息对各个字符进行字符识别，得到对应的车牌号识别结果的步骤之前还包括：
[0019]
通过单双行车牌分类网络将车牌区域图像按照单行车牌和双行车牌进行分类，以得到车牌区域图像的单双行车牌分类信息；
[0020]
对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息的步骤包括：
[0021]
结合单双行车牌分类信息对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息。
[0022]
在一个实施例中，结合单双行车牌分类信息对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息的步骤包括：
[0023]
根据单双行车牌分类信息，将对应的车牌目标图像输入到单行车牌或双行车牌各自对应的字符位置检测网络进行检测，以得到车牌目标图像中各个字符的位置信息和对应的置信度；
[0024]
将各个字符的位置信息对应的置信度与第二预设置信度阈值进行比较，以选择对应置信度大于第二预设置信度阈值的字符的位置信息进行输出，得到车牌目标图像中各个字符的位置信息。
[0025]
在一个实施例中，单双行车牌分类网络和字符位置检测网络中的激活函数均采用预设激活函数。
[0026]
在一个实施例中，车牌检测方法还包括：
[0027]
将车牌目标图像输入到车牌颜色识别网络以进行颜色识别，得到对应的颜色识别结果，其中，车牌颜色识别网络中的激活函数采用预设激活函数；
[0028]
根据预设车牌规范、所述颜色识别结果和所述车牌号码识别结果输出对应的车牌检测结果。
[0029]
此外，还提供一种车牌检测装置，包括：
[0030]
拍摄图像获取单元，用于获取车牌拍摄图像；
[0031]
区域图像生成单元，用于对车牌拍摄图像中的车牌目标区域进行检测，得到对应的车牌区域图像；
[0032]
坐标信息生成单元，用于采用神经网络对车牌区域图像进行关键点检测，以得到对应车牌的角点坐标信息，神经网络中的激活函数采用预设激活函数；
[0033]
目标图像生成单元，根据角点坐标信息，对车牌区域图像进行透视变换处理，以得到对应的车牌目标图像；
[0034]
位置信息生成单元，对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息；
[0035]
识别结果生成单元，用于根据车牌目标图像中各个字符的位置信息对各个字符进行字符识别，得到对应的车牌号识别结果。
[0036]
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算
机程序，处理器运行计算机程序以使设备终端执行上述车牌检测方法。
[0037]
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述车牌检测方法。
[0038]
上述车牌检测方法，通过获取车牌拍摄图像，对车牌拍摄图像中的车牌目标区域进行检测，得到对应的车牌区域图像，采用神经网络对车牌区域图像进行关键点检测，以得到对应车牌的角点坐标信息，根据角点坐标信息，对车牌区域图像进行透视变换处理，以得到对应的车牌目标图像；对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息，根据车牌目标图像中各个字符的位置信息对各个字符进行字符识别，得到对应的车牌号识别结果，其中，神经网络中的激活函数采用预设激活函数，通过将对车牌区域图像进行关键点检测的神经网络中的激活函数采用预设激活函数，使得对车牌区域图像进行关键点检测的过程中的时间大大降低，提高了车牌识别过程所应用的模型的拟合能力，进一步从整体上提升了车牌识别过程的整体识别效率。
附图说明
[0039]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1是本技术提供的一种relu函数的函数图像示意图；
[0041]
图2是本技术提供的一种sigmoid函数的函数图像示意图；
[0042]
图3是本技术提供的一种relu函数的导函数图像示意图；
[0043]
图4是本技术提供的一种sigmoid函数的导函数图像示意图；
[0044]
图5是本技术一实施例提供的一种车牌检测方法的流程示意图；
[0045]
图6是本技术一实施例提供的一种预设激活函数的函数图像示意图；
[0046]
图7是本技术一实施例提供的一种预设激活函数的导函数图像示意图；
[0047]
图8是本技术一实施例提供的一种得到车牌区域图像的方法流程示意图；
[0048]
图9是本技术另一实施例提供的一种车牌检测方法的流程示意图；
[0049]
图10是本技术另一实施例提供的一种得到车牌目标图像中各个字符的位置信息的方法流程示意图；
[0050]
图11是本技术又一实施例提供的一种车牌检测方法的流程示意图；
[0051]
图12是本技术一实施例提供的一种车牌检测装置的结构框图。
具体实施方式
[0052]
目前的车牌识别技术中，整个车牌识别过程需要采用多段网络模型进行识别，在实际使用过程中，由于使用设备的性能限制，整个车牌识别过程所应用的模型不能太大，这就意味着每段网络模型中的数学计算复杂程度不能过高，否则会导致整个车牌识别过程的识别速度大幅降低，因此，现有的每段网络模型通常十分简单。
[0053]
例如，现有的多段网络模型中常常使用的激活函数通常为relu函数和sigmoid函数，relu函数和sigmoid函数公式如下
[0054][0055][0056]
relu函数和sigmoid各自的导函数为：
[0057][0058][0059]
其中，relu函数如图1所示，sigmoid函数如图2所示，relu函数的导函数如3所示，sigmoid函数的导函数如图4所示，显然，这两个激活函数的优点在于数学计算简单，模型推理时速度快，但这两个激活函数的导函数可以看出二者都存在梯度消失的问题(参考图3和图4，relu函数在x《0时导数为零，sigmoid函数在两端导函数趋紧于零，会导致对应的网络模型在训练时反向传播计算改进梯度为零，即梯度消失)，梯度消失会导致对应网络模型训练时会出现拟合慢的情况，进而导致整个车牌识别过程的识别速度大幅降低，识别效率低下。
[0060]
而常见的复杂模型中常见的激活函数为mish函数，mish函数公式如下：
[0061]
mish(x)＝x
×
tanh(ln(1 e
x
))
[0062]
该函数的优点是能让拟合更迅速，自身也非常平滑，但缺点是函数数学计算较复杂，在实际使用时对于硬件环境要求较高，识别速度会受到较大影响，因而无法应用在上述车牌识别过程对应的多段网络模型中。
[0063]
下面结合附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而非全部实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
[0064]
如图5所示，提供一种车牌检测方法，该车牌检测方法包括：
[0065]
步骤s110，获取车牌拍摄图像。
[0066]
通过摄像头采集车牌图像，得到车牌拍摄图像。
[0067]
步骤s120，对车牌拍摄图像中的车牌目标区域进行检测，得到对应的车牌区域图像。
[0068]
其中，车牌拍摄图像可能包括除实际车牌目标区域以外的其它多余的目标特征，因此还需要进一步提取车牌目标区域对应的图像。
[0069]
步骤s130，采用神经网络对车牌区域图像进行关键点检测，以得到对应车牌的角点坐标信息，神经网络中的激活函数采用预设激活函数。
[0070]
其中，车牌区域图像通常采用四个角点坐标进行确定，因此，通常采用神经网络对车牌区域图像进行关键点检测，以得到对应车牌的角点坐标信息，其中，神经网络中的激活
函数通常采用预设激活函数。
[0071]
步骤s140，根据角点坐标信息，对车牌区域图像进行透视变换处理，以得到对应的车牌目标图像。
[0072]
其中，上述车牌区域图像未必均是正面图像，为了将一些倾斜的车牌区域图像拉正，因此需要根据角点坐标信息，对车牌区域图像进行透视变换处理，以得到对应的车牌目标图像，透视变换可以将从侧面拍摄到的车牌区域图像重新投影成从正面拍摄的图像，以得到车牌目标图像。
[0073]
步骤s150，对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息。
[0074]
其中，车牌目标图像中一般包含多个字符，因此，需要对车牌目标图像中各个字符的位置信息进行检测，才能进行后续步骤。
[0075]
步骤s160，根据车牌目标图像中各个字符的位置信息对各个字符进行字符识别，得到对应的车牌号识别结果。
[0076]
其中，在得到各个字符的位置信息后，可进一步分别对各个字符的位置信息各自对应的字符进行字符识别，进而根据各个字符的字符识别结果得到对应的车牌号识别结果。
[0077]
在一个实施例中，预设激活函数如下：
[0078][0079]
其中，x为自变量，f(x)为激活函数变量。
[0080]
其中，步骤s130中的预设激活函数采用上述函数f(x)，f(x)的图像如图6所示，f(x)的导函数如下：
[0081][0082]
显然，f(x)的导函数图像如图7所示，可从该函数的函数图像和导函数的函数图像上看出，该函数自身平滑，导函数连续，该函数的函数图像与mish函数形状十分相似，因此具有mish函数的优点，且整个函数的复杂度大大降低，极大的减少了计算量，降低了该神经网络对硬件环境的要求，使得对应的神经网络拟合更迅速，提高了车牌识别过程所应用的整体模型的拟合能力，从整体上提升了车牌识别过程的整体识别效率。
[0083]
在一个实施例中，如图8所示，步骤s120包括：
[0084]
步骤s121，采用车牌目标检测网络对车牌拍摄图像进行检测，得到各个目标区域图像的位置信息和置信度，其中，车牌目标检测网络中的激活函数采用上述预设激活函数。
[0085]
其中，在对车牌拍摄图像进行检测的过程中，需要得到各个目标区域图像的位置信息和置信度进行判断。
[0086]
上述车牌目标检测网络，例如可采用rfsong-779目标检测网络，该车牌目标检测网络中的激活函数可采用上述预设激活函数，即采用步骤s130中的预设激活函数。
[0087]
步骤s122，将各个目标区域图像的置信度与第一预设置信度阈值进行比较，以选
择对应置信度大于第一预设置信度阈值的目标区域图像作为车牌区域图像。
[0088]
其中，在选择某一目标图像作为车牌区域图像时，通常将各个目标区域图像的置信度与第一预设置信度阈值进行比较，当目标区域图像对应置信度大于预设置信度阈值时，即选择该目标区域图像作为车牌区域图像。
[0089]
在一个实施例中，上述第一预设置信度阈值为0.95。
[0090]
上述预设激活函数的复杂度大大降低，极大的减少了计算量，采用上述预设激活函数，降低了该车牌目标检测网络对硬件环境的要求，使得对应的车牌目标检测网络拟合更迅速，进一步提高了车牌识别过程所应用的整体模型的拟合能力，进一步从整体上提升了车牌识别过程的整体识别效率。
[0091]
在一个实施例中，如图9所示，步骤s160之前还包括：
[0092]
步骤s170，通过单双行车牌分类网络将车牌区域图像按照单行车牌和双行车牌进行分类，以得到车牌区域图像的单双行车牌分类信息。
[0093]
其中，由于单行车牌和双行车牌中各个字符的位置信息存在较大区别，因而为了后续步骤s150中对字符的位置信息进行准确的检测，需要通过单双行车牌分类网络将车牌区域图像按照单行车牌和双行车牌进行分类，以得到车牌区域图像的单双行车牌分类信息。
[0094]
步骤s150包括：结合单双行车牌分类信息对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息。
[0095]
其中，由于每个车牌区域图像与每个车牌目标图像相对应，因而每个车牌区域图像的单双行车牌分类信息即为每个车牌目标图像的单双行车牌分类信息。
[0096]
因此，可结合单双行车牌分类信息对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息。
[0097]
在一个实施例中，如图10所示，步骤s150包括：
[0098]
步骤s151，根据单双行车牌分类信息，将对应的车牌目标图像输入到单行车牌或双行车牌各自对应的字符位置检测网络进行检测，以得到车牌目标图像中各个字符的位置信息和对应的置信度。
[0099]
其中，针对单行车牌，有对应的第一字符位置检测网络，针对双行车牌，有对应的第二字符位置检测网络，这是因为单行车牌和双行车牌中各个字符的位置有明显区别，因而需要分别将对应的车牌目标图像输入到单行车牌或双行车牌各自对应的字符位置检测网络进行检测，进而提高检测的准确度，以得到车牌目标图像中各个字符的位置信息和对应的置信度。
[0100]
步骤s152，将各个字符的位置信息对应的置信度与第二预设置信度阈值进行比较，以选择对应置信度大于第二预设置信度阈值的字符的位置信息进行输出，得到车牌目标图像中各个字符的位置信息。
[0101]
其中，在选择某一字符的位置信息进行输出时，通常将字符的位置信息的置信度与第一预设置信度阈值进行比较，当字符的位置信息对应置信度大于第二预设置信度阈值时，即选择该字符的位置信息进行输出。
[0102]
在一个实施例中，上述第二预设置信度阈值的取值为0.95。
[0103]
在一个实施例中，单双行车牌分类网络和字符位置检测网络中的激活函数采用预
设激活函数。
[0104]
上述预设激活函数的复杂度大大降低，极大的减少了计算量，单双行车牌分类网络和字符位置检测网络中的激活函数均采用上述预设激活函数，降低了单双行车牌分类网络和字符位置检测网络对硬件环境的要求，使得单双行车牌分类网络和字符位置检测网络拟合更迅速，进一步提高了车牌识别过程所应用的整体模型的拟合能力，进一步从整体上提升了车牌识别过程的整体识别效率。
[0105]
在一个实施例中，如图11所示，车牌检测方法还包括：
[0106]
步骤s190，将车牌目标图像输入到车牌颜色识别网络以进行颜色识别，得到对应的颜色识别结果，其中，车牌颜色识别网络中的激活函数采用预设激活函数。
[0107]
其中，每种类型的车牌颜色一般是有特殊规定的，这是因为不同类型的车牌，各自的颜色类型设置不同，因此需要将车牌目标图像输入到车牌颜色识别网络可进行颜色识别，以获取对应的颜色识别结果，以对车牌进行进一步的区分。
[0108]
其中，上述预设激活函数的复杂度大大降低，极大的减少了计算量，上述车牌颜色识别网络中的激活函数采用上述预设激活函数，降低了该车牌颜色识别网络对硬件环境的要求，使得对应的车牌颜色识别网络拟合更迅速，进一步提高了车牌识别过程所应用的整体模型的拟合能力，进一步从整体上提升了车牌识别过程的整体识别效率。
[0109]
步骤s200，根据预设车牌规范、颜色识别结果和车牌号码识别结果输出对应的车牌检测结果。
[0110]
其中，在得到车牌号码识别结果和颜色识别结果之后，还需要判断车牌号码识别结果以及颜色识别结果是否都符合预设车牌规范，若无符合预设车牌规范的结果，则输出“未识别”，若对应的车牌号码识别结果和颜色识别结果均符合预设车牌规范，则将对应的车牌号码识别结果和颜色识别结果进行输出以作为对应的车牌检测结果。
[0111]
其中，若存在多个对应的车牌号码识别结果和颜色识别结果均符合预设车牌规范，则将较大车牌目标图像所对应的车牌号码识别结果和颜色识别结果进行输出以作为对应的车牌检测结果。
[0112]
此外，如图12所示，还提供一种车牌检测装置210，车牌检测装置210包括：
[0113]
拍摄图像获取单元220，用于获取车牌拍摄图像。
[0114]
区域图像生成单元230，用于对车牌拍摄图像中的车牌目标区域进行检测，得到对应的车牌区域图像。
[0115]
坐标信息生成单元240，用于采用神经网络对车牌区域图像进行关键点检测，以得到对应车牌的角点坐标信息，神经网络中的激活函数采用预设激活函数。
[0116]
目标图像生成单元250，根据角点坐标信息，对车牌区域图像进行透视变换处理，以得到对应的车牌目标图像。
[0117]
位置信息生成单元260，对车牌目标图像中的字符进行位置检测，得到车牌目标图像中各个字符的位置信息。
[0118]
识别结果生成单元270，用于根据车牌目标图像中各个字符的位置信息对各个字符进行字符识别，得到对应的车牌号识别结果。
[0119]
此外，还提供一种设备终端，设备终端包括处理器和存储器，存储器用于存储计算机程序，处理器运行计算机程序以使设备终端执行上述车牌检测方法。
[0120]
此外，还提供一种可读存储介质，可读存储介质存储有计算机程序，计算机程序在被处理器执行时实施上述车牌检测方法。
[0121]
上述车牌检测装置210中各个单元的划分仅用于举例说明，在其他实施例中，可将车牌检测装置210按照需要划分为不同的单元，以完成上述装置的全部或部分功能。关于装置的具体限定可以参见上文中对于方法的限定，在此不再赘述。
[0122]
即，以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，例如各实施例之间技术特征的相互结合，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。
[0123]
另外，对于特性相同或相似的结构元件，本技术可采用相同或者不相同的标号进行标识。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0124]
在本技术中，“例如”一词是用来表示“用作例子、例证或说明”。本技术中被描述为“例如”的任何一个实施例不一定被解释为比其它实施例更加优选或更加具优势。为了使本领域任何技术人员能够实现和使用本技术，本技术给出了以上描述。在以上描述中，为了解释的目的而列出了各个细节。
[0125]
应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实施例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。