一种多特征融合的非机动车车牌区域定位方法与流程

1.本发明涉及计算机图像处理、智能交通领域，尤其涉及一种多特征融合的非机动车车牌区域定位方法。


背景技术：

2.随着国人的生活水平不断提高，电动车自行车等非机动车已经成为人们日常出行不可或缺的交通工具。根据工信部数据显示，截止2018年底，全国非机动车保有量达2亿辆。由于城市交通的发展进度满足不了快速增长的非机动车数量，这给城市交通带来了巨大的压力：如非机动车闯红灯、非机动车驾驶员违章行驶等。近年来，非机动车事故频发，年增长率高达8.6％。面对这些问题，智能交通系统(intelligent transportation system，its)是目前最有效的解决手段。非机动车车牌识别技术是其中最为基础也是非常关键的一个功能。
3.非机动车车牌识别技术是一个基于计算机图像处理的综合性集成技术，其处理流程包括非机动车车牌图像定位、非机动车车牌字符识别两个主要的功能模块。非机动车车牌图像定位主题任务是从拍摄的非机动车车辆图像中定位到车牌所在的位置，并在把车牌准确的提取出来，供后续的非机动车车牌字符识别使用。车牌图像的准确定位是车牌字符识别的前提和基础，是非机动车车牌识别技术首先要解决的关键问题。
4.目前，非机动车车牌图像定位技术依旧面临很多难点问题，如：环境光线变化剧烈，白天光较强、夜间较弱，面光与背光行驶不同、拍摄得到的车牌图像可能含有较多噪声，或图像对比度不强，以及出现因运动产生的图像模糊失真等情况。正因为在复杂场景下对非机动车车牌进行定位是一个困难的问题，单靠一种处理方式是无法有效解决的。
5.目前，我国使用的非机动车牌照主要特征为：
6.(1)形状特征：非机动车牌照边缘组成规则的矩形，长宽比固定；
7.(2)颜色特征：非机动车牌照有固定颜色；
8.(3)边缘特征：非机动车牌照边框内有多个字符(个数固定)，且呈现水平排列，在车牌的矩形区域内存在丰富的边缘特征；
9.(4)灰度跳变特征：在车牌区域中，由于字符本身和车牌背景的灰度值是均匀的，所以贯穿车牌的水平直线呈现连续的峰、谷分布。


技术实现要素：

10.本发明要克服现有技术的上述缺点，提供一种多特征融合的非机动车车牌图像定位方法，来解决在复杂场景下定位非机动车车牌图像的上述困难。
11.本发明采用以下技术方案：
12.一种多特征融合的非机动车车牌图像定位方法，包括如下步骤：
13.s1：对采集到的待定位非机动车图像进行预处理；
14.s2：对s1所述的图像进行颜色模板匹配，即根据颜色特征在非机动车图像中定位
车牌区域；
15.s3：对s1所述的图像采用基于sobel算子的边缘检测算法提取边缘信息，即根据边缘特征在非机动车图像中定位车牌区域；
16.s4：进行特征融合，即颜色特征与边缘特征融合进行粗定位；
17.s5：对s4所述的特征融合后的图像进行整体形态学操作，去除背景中的孤立噪音并且让非机动车车牌区域很好的连接在一起，最后得到一个或多个疑似非机动车车牌区域，并获取相应的位置坐标；
18.s6：对s5所述的疑似非机动车车牌区域进行筛选，进行非机动车图像的精确定位；
19.s7：对车牌图像进行倾斜角度矫正，输出最终的非机动车车牌图像。
20.本发明设计了一种高效、可靠的多特征融合的非机动车车牌区域定位方法。
21.本发明的优点是：本发明的非机动车车牌区域定位方法对复杂环境的适应性较高，运算速度高，能满足非机动车车牌识别的准确率和实时性要求，为后续的非机动车车牌字符分割和识别提供优质的非机动车车牌图像。本发明提出了一种基于仿射变化的非机动车牌矫正方法,能对大角度倾斜的图像进行校正。
附图说明
22.图1是本发明方法的一种结合sobel算子融合多特征的非机动车牌定位算法的流程图。
23.图2是本方法的一种利用仿射变化对非机动车牌倾斜矫正的算法的流程图。
24.图3是本发明方法的流程图。
具体实施方式
25.本发明提出的一种多特征融合的非机动车车牌区域定位方法，运用计算机图像处理的相关技术，实现了快速、准确的非机动车车牌定位，满足了车牌识别系统的准确性和实时性要求。
26.本发明的整个算法流程如图1所示。拍摄的待定位图像经过直方图均衡去噪处理后，利用颜色特征与车牌区域边缘特征进行特征融合粗定位，然后采用多种筛选策略进行车牌区域的精确定位，并对畸变车牌进行矫正，最终输出车牌区域，以便后续的车牌字符识别使用，本发明设计包括以下步骤。
27.s1：对采集到的待定位图像进行预处理，所述预处理包括：对图像使用直方图均衡进行去噪处理；
28.s2：对s1所述的图像进行颜色模板匹配，包括如下步骤：
29.s2.1：将图像的颜色空间从rgb转为hsv，在hsv颜色空间对非机动车车牌颜色进行匹配；
30.s2.2：依次遍历图像的所有像素，当h值落在200
‑
280之间并且s值与v值也落在采用自适应算法计算得到的区间之内，标记为白色像素，否则为黑色像素；
31.s2.3：对仅有白黑两个颜色的二值图进行形态学计算，获取明显的非机动车车牌区域，完成非机动车车牌区域的粗定位，步骤如下：
32.s2.3.1：腐蚀运算：腐蚀是将目标区域的边界收缩,直观上就是使得目标区域变
小,与膨胀是互为对偶的过程，ab表示用结构元素b来腐蚀a，即b完全包括在a中时b的原点位置的集合；
33.s2.3.2：膨胀运算：膨胀是将目标区域的背景点合并到该目标物中,使目标物边界向外部扩张的处理，表示用结构元素b来膨胀a，即b关于原点的映射的位移与a至少有一个非零元素相交时b的原点位置的集合；
34.s3：对s1所述的图像采用基于sobel算子的边缘检测算法提取边缘信息，包括如下步骤：
35.s3.1：对s1所述的图像进行灰度化，本发明主要采用加权平均值法，根据重要性给r、g、b赋予不同的权值，并使r、g、b等于它们的值的加权和平均，即：
[0036][0037]
其中wr、wc、wa，分别为r、g、b的权值，由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，当wr＝0.30，wa＝0.59，wc＝0.11时，能得到最合理的灰度图像；
[0038]
s3.2：对s3.1所述的灰度图像进行边缘检测，非机动车车牌必然包括很多垂直边缘(这些垂直边缘往往由车牌中的字符产生)，如果能够找到一个包含很多垂直边缘的矩形块，那么有很大的可能性它就是非机动车车牌区域，本发明采用sobel算子进行边缘信息提取，采用的水平算子与垂直算子定义如下：
[0039]
水平算子：垂直算子：
[0040]
s3.3：对s3.2所述的图像进行二值化，采用基于wall算法的自适应阈值方法进行图像二值化，算法遍历一次图像，计算一个移动的平均值，如果某个像素明显的低于这个平均值，则设置为黑色，否则设置为白色[考虑参考网页的原理]；
[0041]
s3.4：对s3.3所述的图像进行行列扫描投影，获取到明显的非机动车车牌区域：非机动车车牌由5个字符组成，基本呈水平排列，字符和牌照底色在二值图上存在较大的跳变，对经过二值化的图像进行逐行扫描，由下至上统计每行白像素的个数，当某行白像素数首次大于临界值时则该行为非机动车车牌的最低行，然后根据非机动车车牌的宽高比确定非机动车车牌的最高行，由此确定非机动车车牌的上下界；最后进行逐列由左至右扫描，依次统计每列白像素的个数，当某列白像素数首次大于临界值时则该列为非机动车车牌的左边界，然后根据非机动车车牌的宽高比确定非机动车车牌的右边界；
[0042]
s4：颜色特征与边缘特征融合进行粗定位，需要提取的区域为根据颜色信息二值化和根据边
[0043]
缘信息二值化灰度值都为1的区域，使用公式进行计算：
[0044]
y(x,y)＝c(x,y)&o(x,y)
[0045]
y(x,y)表示提取出的融合图像中(x,y)点的灰度值，c(x,y)表示根据颜色信息二值化的图像的灰度值，o(x,y)表示根据边缘信息二值化的图像的灰度值；
[0046]
s5：对s4所述的特征融合后的图像进行整体形态学操作，本发明先使用25*2模版
的形态学闭运算，然后再次使用5*2和2*5的形态学开运算，能够有效的去除背景中的孤立噪音并且让非机动车车牌区域很好的连接在一起，最后得到一个或多个疑似非机动车车牌区域，并获取相应的位置坐标；
[0047]
s6：对s5所述的疑似非机动车车牌区域进行筛选，包括如下步骤：
[0048]
s6.1：s5所述图像依然为二值图，为进行车牌区域的筛选，我们根据s5所述的疑似非机动车车牌区域坐标获取原始待定位图像中的车牌区域；
[0049]
s6.2：非机动车车牌宽高比大致范围在2.5～7.5之间，本发明按照这个比例先对s6.1所述图像做一个区域粗筛选，剔除掉一些过大或者过小的区域；
[0050]
s6.3：对s6.2所述粗筛选后的区域进行精确筛选，本发明使用径向基核函数映射的c
‑
svm实现车牌和非车牌的分类，首先要训练svm车牌判别模型，对通过s1
‑
s5得到车牌候选区域，进行手工分类处理，得到车牌区域的图片5000张，非车牌区域图片2000张，选取分类器特征向量为样本的水平和垂直直方图值，使用径向基核函数将特征向量转化为与数据总数一样的数量，即8000维，使用opencv函数svm.train_auto，设置相应参数可训练得到车牌判别模型，将候选车牌区域的特征向量输入训练好了的车牌判别模型，从而可预测候选区域是否为车牌，这样就实现了非机动车车牌区域的精确筛选；
[0051]
s7：对车牌图像进行倾斜角度矫正，输出最终的非机动车车牌图像，包括如下步骤：
[0052]
s7.1：在s6所述的图像中截取车牌区域图块，并保存为新的图像；
[0053]
s7.2：利用霍夫检测判断s7.1所述图像的水平倾斜角度，如果角度在
‑
5～5度之间，输出为最终的非机动车车牌图像，如果角度在
‑
60～
‑
5或者5～60度之间，则进行s7.3；
[0054]
s7.3：对s7.2所述角度在
‑
60～
‑
5或者5～60度之间的非机动车车牌图像进行扩大化旋转，对一个正方形进行旋转时，随着旋转角度变大，明显的外接矩形的大小也在扩增，在这里，外接矩形被称为视框，也就是我需要旋转的正方形所需要的最小区域，随着旋转角度的变大，视框明显增大；
[0055]
在图像旋转完以后，有三类点会获得不同的处理，一种是有原图像对应点且在视框内的，这些点被正常显示；一类是在视框内但找不到原图像与之对应的点，这些点被置0值(显示为黑色)；最后一类是有原图像与之对应的点，但不在视框内的，这些点被抛弃；
[0056]
为了保证旋转后的图像不被截断，因此我们需要计算一个合理的目标图像的大小，让我们的车牌区域得到完整的显示，本发明采用如下策略：
[0057]
首先新建一个尺寸为s7.1所述图像1.5倍的新图像，接着把s7.1所述图像映射到新图像上，于是我们得到了一个显示区域(视框)扩大化后的图像，显示区域扩大以后，那些在原图像中没有值的像素被置了一个初值，于是我们得到一个被完整显示的旋转后的图像，对此图像使用opencv函数getrectsubpix获取车牌区域，以进行后续处理；
[0058]
s7.4：对s7.3所述图像进行偏斜判断，此处偏斜角度的车牌图像为一平行四边形，首先对s7.3所述图像进行二值化处理；为了判断二值化图像中白色的部分是否为平行四边形，本发明从图像中选择一些特定的行，计算在这个行中，第一个全为0的串的长度，从几何意义上来看，这就是平行四边形斜边上某个点距离外接矩形的长度；
[0059]
我们选择的这些行位于二值化图像高度的1/4，2/4，3/4处的话，如果是白色图形是矩形的话，这些串的大小应该是相等或者相差很小的，相反如果是平行四边形的话，那么
这些串的大小应该不等，并且呈现一个递增或递减的关系，通过这种不同，我们就可以判断车牌图像是否为平行四边形，如果判断结果为矩形，则输出s7.3所述图像为最终的非机动车车牌图像，如果判断结果为平行四边形，则进行偏斜矫正；
[0060]
s7.5：利用仿射变换对s7.4中判断为平行四边形的图像进行偏斜矫正，仿射方法要求输入的参数是原始图像的左上点，右上点，左下点，以及相应输出图像的左上点，右上点，左下点；根据仿射方法的需要，我们计算出车牌区域的三个关键点坐标后，即可完成偏斜矫正，并将其输出为最终的非机动车车牌图像；
[0061]
如权利要求1所述的一种多特征融合的非机动车车牌区域定位方法，其特征在于所述步骤s2.1中s值与v值自适应算法计算，包括如下步骤：
[0062]
s2.1.1：初始化赋值：minref_sv＝64，minabs_sv＝95，max_sv＝255；
[0063]
s2.1.2：计算h值的均值：diff_h＝(max_h
‑
min_h)/2，avg_h＝min_h diff_h；
[0064]
s2.1.3：当h值落在min_h
‑
max_h之间，如果h≥avg_h，则hdiff＝h
‑
avg_h，
[0065]
如果h≤avg_h，则hdiff＝avg_h
‑
h；
[0066]
s2.1.4：计算：hdiff_p＝hdiff/diff_h；
[0067]
s2.1.5：计算自适应的s值与v值：min_sv＝minref_sv
‑
minref_sv/2*(1
‑
hdiff_p)，
[0068]
由此可得s值与v值的范围：[min_sv,max_sv]；
[0069]
如权利要求1所述的一种多特征融合的非机动车车牌区域定位方法，其特征在于所述步骤s7.5中车牌区域的三个关键点坐标计算，包括如下步骤：
[0070]
s7.5.1：平行四边形车牌区域的斜率slope：二值化图像高度的1/4，2/4，3/4处对应的串的大小分别为len1，len2，len3，车牌区域高度为height，计算斜率slope的计算公式为：
[0071][0072]
其中：angel为s7.2所计算出的角度；height为车牌区域的高度；
[0073]
s7.5.2：关键点坐标计算：
[0074]
原始图像左上点：(height*abs(slope),0)
[0075]
原始图像右上点：(width
‑
1,0)
[0076]
原始图像左下点：(0,height
‑
1)
[0077]
目标图像左上点：
[0078]
目标图像右上点：
[0079]
目标图像左下点：
[0080]
其中：slope为s7.5.1所计算出的斜率；height为车牌区域的高度；width为车牌区域的宽度。
[0081]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护
范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。