一种基于图像处理的车型识别方法与流程

1.本发明涉及图像处理领域，尤其涉及一种基于图像处理的车型识别方法。


背景技术：

2.中国是一个人口大国，随着经济的发展，越来越多的人过上的富裕的生活，汽车成为了人们日常出行的主要交通工具之一，这对交通也带来了巨大的挑战。国外由于公路建设起步早，车型识别技术的研究开始的也早，国内进入九十年代后才开始这方面的研究。达今为止，已有的车型识别技术主要包括以下几大类：
3.1、轮廓扫描法：利用无线电波、红外线或者激光来获取车辆的几何特征，该识别技术成熟比较早，易于投入，但是容易受风力、灰尘、雾霾等因素的影响，同时安装也不方便且容易损坏；
4.2、ic卡自动识别：这是种方法多运用于收费站收费，可以实现免停车识别与收费；
5.3、磁场变化法：其原理是将环形线圈埋于地下，不同车辆通过时，引起不一样的磁场变化，该识别方法的缺点有环形线圈的安装、维护比较麻烦，容易损坏地面，环形线圈容易损坏，使用寿命短；
6.4、基于图像的识别方法：该方法检测范围广泛，设备安装与维护比较方便，不受天气的干扰，有着先进性和可持续发展性，成为现如今车型识别的主流。
7.总体来看，现如今出现的基于图像的车型识别方法，虽然可以识别车型，但是算法结构较为复杂，识别的速度较慢，识别率还有待提高。


技术实现要素：

8.本发明的目的在于提供一种基于图像处理的车型识别方法，用以解决识别率低的问题，增强算法的鲁棒性。
9.为了实现上述目的，本发明采用如下技术方案：
10.一种基于图像处理的车型识别方法，步骤如下:
11.步骤1、采集不同类型的车辆图像；
12.步骤2、图像预处理；
13.步骤3、图像特征提取；
14.步骤4、分别对纹理特征和形状特征进行整合得到特征向量，并特征向量归一化，保存数据作为数据集；
15.步骤5、训练svm模型；
16.步骤6、获取待测试图像，对待测试进行步骤2-4，将提取到的纹理特征和形状特征分别输入对应的svm模型，对分类结果进行加权决策投票得到最终的车型识别结果。
17.进一步的，所述步骤1中，采集图像包括使用摄像机和图像采集卡对不同车型的车身侧面进行拍摄，包括背景图像和车辆图像，车辆的类型有：奔驰、宝马、吉普、兰博基尼和奥迪，每种图像不少于40张。
18.进一步的，所述步骤2中，预处理包括：背景差分、去噪、删除小面积区域、图像锐化；
19.其中背景差分是直接用要检测的含运动物体的图像和一个已知的背景进行差分，如下：
20.g(x,y)＝y(x,y)-b(x,y)
ꢀꢀꢀꢀ
(1)
21.公式(1)中，y(x,y)表示原始图像，b(x,y)表示背景图像，g(x,y)表示差分后图像；
22.其中去噪采用中值滤波对图像进行去噪；
23.其中删除小面积区域是去除非目标区域，这些区域对特征提取的影响；
24.其中图像锐化是为了增强图像中的轮廓边缘、细节以及灰度跳变部分，形成完整的物体边界，便于后续的边缘提取。
25.进一步的，所述步骤3中，图像特征提取包括纹理特征提取和形状特征提取，其中纹理特征提取是从灰度图像中提取，形状特征是从二值图像提取；其中纹理特征包括：对比度、熵、能量、相关和逆方差，其中形状特征包括扁度、不变矩和傅里叶描绘子；
26.其中纹理特征提取采用灰度共生矩阵，具体如下：
27.对比度反应了图像的清晰度和纹理的沟纹深浅，纹理越清晰反差越大对比度也就越大，公式如下：
[0028][0029]
熵度量了图像包含信息量的随机性，表现了图像的复杂程度，当共生矩阵中所有值均相等或者像素值表现出最大的随机性时，熵最大，公式如下：
[0030][0031]
能量是图像灰度分布均匀程度和纹理粗细的一个度量，反映了图像灰度分布均匀程度和纹理粗细度，公式如下：
[0032][0033]
相关用来度量图像的灰度级在行或列方向上的相似程度，公式如下：
[0034][0035]
其中，
[0036][0037][0038][0039][0040]
逆方差反映了图像纹理局部变化的大小，公式如下：
[0041][0042]
公式(2)-(10)中，p(i,j,d,θ)表示矩阵中第i行第j列的元素，i*j∈l*l，l表示量
化级数，d表示i和j之间的距离，θ表示方向；本发明中，l取值为32，d＝1，θ＝0
°
,45
°
,90
°
,135
°
；
[0043]
其中形状特征提取具体包括：
[0044]
首先需要进行二值化处理，具体为把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值，从而实现二值化，表示如下:
[0045][0046]
公式(11)中，t表示阈值，f(x,y)表示灰度值，阈值t可由直方图方法来确定；
[0047]
其次要进行边缘提取，本发明采用canny算子进行边缘提取；
[0048]
最后对图像进行腐蚀和填充后得到所需的二值图像，用于之后对形状特征的提取，形状特征包括扁度、不变矩和傅里叶描绘子，具体如下：
[0049]
扁度定义为最小外接矩形长轴与短轴的比值，计算公式如下：
[0050][0051]
公式(12)中，a表示最小外接矩形长轴，b表示最小外接矩形短轴，ε表示扁度；
[0052]
对于二维的(n*m)数字化图像f(x,y)，(p q)阶普通矩可以定义为：
[0053][0054]
其对应的(p q)阶中心矩可以定义为：
[0055][0056]
公式(14)中，是质心坐标；
[0057]
直接使用普通矩或者中心矩进行特征表示，不能使特征同时具有平移、旋转和比例不变性，但是如果利用归一化中心矩，则特征具有平移、旋转和比例不变性，f(x，y)的归一化(p q)阶中心矩可以定义为：
[0058][0059]
hu.m.k提出的7个不随水平、旋转、等比缩放变化的矩组，可以定义为：
[0060]
t1＝μ
20
μ
02
ꢀꢀꢀꢀꢀꢀ
(16)
[0061]
t2＝(μ
20-μ
02
)2 4μ
112
ꢀꢀꢀꢀꢀ
(17)
[0062]
t3＝(μ
30-3μ
12
)2 (3μ
21-μ
03
)2ꢀꢀꢀꢀꢀꢀ
(18)
[0063]
t4＝(μ
30
μ
12
)2 (μ
21
μ
03
)2ꢀꢀꢀꢀꢀ
(19)
[0064]
t5＝(μ
30-3μ
12
)(μ
30
μ
12
)[(μ
30
μ
12
)
2-3(μ
21
μ
03
)2] (3μ
21-μ
03
)(μ
21
μ
03
)[3(μ
30
μ
12
)
2-(μ
21
μ
03
)2]
ꢀꢀꢀꢀ
(20)
[0065]
t6＝(μ
20-μ
02
)[(μ
30
μ
12
)
2-(μ
21
μ
03
)2] 4μ
11
(μ
30
μ
12
)(μ
21
μ
03
) (21)
[0066]
t7＝(3μ
21-μ
03
)(μ
30
μ
12
)[(μ
30
μ
12
)
2-3(μ
21
μ
03
)2]-(μ
30-3μ
12
)(μ
21
μ
03
)[3(μ
30
μ
12
)
2-(μ
21
μ
03
)2]
ꢀꢀꢀ
(22)
[0067]
傅里叶描述子是描述物体形状边界的傅里叶变换系数，它是物体边界曲线信号的频域分析结果，具体如下：
[0068]
假设一个由n点组成的封闭边界，从任一点p开始绕边界一周得到：
[0069]
s(k)＝x(k) jy(k)，k＝0，1，
…
，n-1
ꢀꢀꢀꢀ
(23)
[0070]
公式(23)中，x(k)和y(k)是动点p的坐标，j为系数；
[0071]
s(k)的离散傅里叶变换(dft)为：
[0072][0073]
公式(24)中，u＝0，1，...，n-1，a(u)是边界的傅里叶描述子
[0074]
归一化傅里叶描述子d
′
(k)为：
[0075][0076]
本发明中，取前10个系数作为傅立叶描述子特征。
[0077]
进一步的，所述步骤4中具体包括：分别对纹理特征和形状特征进行整合，得到20维的纹理特征向量和18维的形状特征向量，表示如下：
[0078]
纹理特征向量：
[0079]vw
＝[con(d，0
°
)，ent(d，0
°
)，
…
，corr(d，135
°
)，idm(d，135
°
)] (26)
[0080]
形状特征向量：
[0081]vx
＝[ε，t1，t2，...，t7，d
′
(1)，d
′
(2)，...，d
′
(10)]
ꢀꢀꢀꢀ
(27)
[0082]
特征向量归一化，归一化采用线性归一化，公式如下：
[0083][0084]
公式(28)中，x为原始数据，x
min
表示原始数据集的最小值，x
max
表示原始数据集的最大值，x
norm
表示归一化后数据。
[0085]
进一步的，所述步骤5中具体包括：以两个svm并联的形式训练得到svm模型，本发明使用软件libsvm进行训练svm模型，其中核函数选用rbf核函数其表示如下：
[0086]
k(x，xi)＝exp(-γ||x-xi||2)，γ＞0
ꢀꢀꢀꢀ
(29)
[0087]
公式(29)中，γ表示核参数，x和xi表示支持向量，‖x-xi||表示差向量的模。
[0088]
进一步的，所述步骤6中，加权决策投票是对两个svm模型的分类结果分别赋予一个权值，最后进行加权决策投票得到最终的车型识别结果加权决策投票表示如下：
[0089]
p＝μw1 σw2ꢀꢀꢀꢀ
(30)
[0090]
公式(30)中，μ σ＝1，μ和σ表示两个svm模型所占最终分类结果的权值，w1和w2表示两个svm模型的分类结果。
[0091]
本发明的有益效果：
[0092]
1、通过对图像进行背景差分、去噪等预处理，便于后续对图像特征的提取和识别车辆类型。
[0093]
2、通过获取多个车辆的参数，可以较为容易地进行车型识别，算法也较为简单，提高了识别的速率。
[0094]
3、通过采用libsvm训练svm模型，减轻了工作量，节省大量时间，很方便的解决大量的问题。
[0095]
4、通过采用加权决策投票，对两个svm模型赋予不一样的权值，增强了算法的鲁棒性，提高了识别的准确率。
附图说明
[0096]
图1为本发明提供的预处理流程示意图；
[0097]
图2为本发明提供的灰度直方图；
[0098]
图3为本发明提供的libsvm训练svm模型流程示意图；
[0099]
图4为本发明提供的一种基于图像处理的车型识别方法流程图。
具体实施方式
[0100]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0101]
实施例1
[0102]
如图4所示，本实施例提供了一种基于图像处理的车型识别方法，包括如下步骤：
[0103]
步骤1、采集不同类型的车辆图像；
[0104]
图像采集是车型识别的前提，采集到的图像好坏关系到之后对图像的处理、图像特征的提取以及对车型的识别，做好图像采集不容忽视。本发明采用ssd摄像机和图像采集卡对不同车型的车身侧面进行拍摄，包括背景图像和车辆图像，车辆的类型有：奔驰、宝马、吉普、兰博基尼和奥迪；
[0105]
步骤2、图像预处理；
[0106]
图像预处理是车型识别的重点，如图1所示，预处理包括：背景差分、去噪、删除小面积区域、图像锐化；
[0107]
背景差分是直接用要检测的含运动物体的图像和一个已知的背景进行差分，如下：
[0108]
g(x，y)＝y(x，y)-b(x，y)
ꢀꢀꢀꢀ
(1)
[0109]
公式(1)中，y(x，y)表示原始图像，b(x，y)表示背景图像，g(x，y)表示差分后图像；
[0110]
经过背景差分后，图像可能会有一些噪声，为了去除噪声的影响，需要进行去噪处理，去噪的方法有：中值滤波、高斯滤波、小波去噪以及均值滤波，本发明采用中值滤波对图像进行去噪，中值滤波是一种非线性滤波，是图像滤波后某个像素的输出等于该像素领域中各个像素灰度的中值，中值滤波降噪明显，在灰度变化比较小的情况下，可以得到很好的平滑效果。
[0111]
去除噪声后，因为光照等影响，图像上存在一些小面积区域，这些小面积区域不是我们需要的目标，因此需要去除这些小面积区域；
[0112]
图像锐化是为了增强图像中的轮廓边缘、细节以及灰度跳变部分，形成完整的物体边界，便于后续的边缘提取。
[0113]
步骤3、图像特征提取；
[0114]
图像特征提取车型识别的重点和难点，特征提取的质量，关系到识别和分类的速度和准确度。进行特征提取之前，需要选择要提取什么特征。图像目标识别特征的提取可采用多种方法，主要方法有傅立叶描述子、矩特征、变换域特征、边缘轮廊特征、角点特征等。本发明对预处理后图像分两个方向进行提取图像特征,其中一个是将图像转换成灰度图像
提取纹理特征，另一个是转换成二值图像提取形状特征。其中纹理特征包括：对比度、熵、能量、相关和逆方差，其中形状特征包括扁度、不变矩和傅里叶描绘子，如表1所示。
[0115][0116]
表1
[0117]
纹理特征提取指的是通过一定的图像处理技术抽取出纹理特征理的定量或定性描述的方法，纹理特征提取的方法包括：统计方法、几何法、模型法、信号处理法以及结构法，其中统计方法使用的最为广泛，统计方法有：lbp方法、直方图统计法、灰度共生矩阵、tarmura纹理特征、自相关函数分析法和行程长度统计法等，本发明采用灰度共生矩阵来提取图像的纹理特征，具体如下：
[0118]
设f(x，y)为一幅二维数字图像，其x轴方向的像素总数为n
x
，y轴方向的像素总数为ny，量化级数为l，则共生矩阵为l
×
l，表示如下：
[0119]
l
x
＝{1，2，...，n
x
}
ꢀꢀꢀꢀ
(2)
[0120]
ly＝{1，2，...，ny}
ꢀꢀꢀꢀꢀ
(3)
[0121]
公式(2)和(3)中，l
x
和ly表示矩阵中的元素；
[0122]
设s为目标区域r中具有特定空间关系的像素集合，则共生矩阵p可以定义共生矩阵为：
[0123]
p＝p(i，j，d，θ)
ꢀꢀꢀꢀ
(4)
[0124]
公式(4)中，p(i，j，d，θ)表示矩阵中第i行第j列的元素，i*j∈l*l，d表示i和j之间的距离，θ表示方向；
[0125]
取d＝1，θ＝0
°
，45
°
，90
°
，135
°
，分别计算这四个方向的灰度共生矩阵，表示如下：
[0126][0127]
[0128][0129][0130]
从灰度共生矩阵中，前人总结了14种特征来表征图像的纹理，但是在实际应用中计算所有的14种特征，显然计算量很大，而且这些特征也具有一定的冗余度，也必须通过某种特征提取算法加以取舍，本发明取对比度、熵、能量、相关、逆方差这5个特征作为图像的纹理特征，具体如下：
[0131]
对比度(contrast，con)反应了图像的清晰度和纹理的沟纹深浅，纹理越清晰反差越大对比度也就越大，公式如下：
[0132][0133]
熵(entropy，ent)度量了图像包含信息量的随机性，表现了图像的复杂程度，当共生矩阵中所有值均相等或者像素值表现出最大的随机性时，熵最大，公式如下：
[0134][0135]
能量(angular second moment，asm)是图像灰度分布均匀程度和纹理粗细的一个度量，反映了图像灰度分布均匀程度和纹理粗细度，当图像纹理均一规则时，能量值较大；反之灰度共生矩阵的元素值相近，能量值较小，公式如下：
[0136][0137]
相关(correlation，corr)用来度量图像的灰度级在行或列方向上的相似程度，因此值得大小反应了局部灰度相关性，值越大，相关性也越大，公式如下：
[0138][0139]
其中，
[0140][0141][0142][0143][0144]
逆方差(inverse differential moment，idm)反映了图像纹理局部变化的大小，若图像纹理的不同区域间较均匀，变化缓慢，逆方差会较大，反之较小，公式如下：
[0145][0146]
本发明提取的形状特征包括区域内部的形状特征和区域边界的形状特征，区域内部的形状特征为扁度和7个不变矩，区域边界的形状特征为前10个傅里叶系数，具体如下：
[0147]
首先需要进行二值化处理，二值化处理是将预处理后图像转换成二值图像，二值化的作用就是将图像分成黑和白，更加有利于做图像处理判别，本发明采用的是阈值法，具体为把大于某个临界灰度值(阈值)的像素灰度设为灰度极大值(255)，把小于这个值的像素灰度设为灰度极小值(0)，从而实现二值化，表示如下:
[0148][0149]
公式(18)中，t表示阈值，f(x,y)表示灰度值；
[0150]
其中阈值t可由直方图方法来确定，例如图2所示，可以看出，阈值t的取值为180；
[0151]
边缘提取采用的边缘提取算子有一阶算子和二阶算子之分，其中一阶算子有：roberts算子、sobel算子、prewitt算子、kirsch算子和robinson算子，二阶：laplacian算子、canny算子和marr-hildreth(log算子)，本发明采用canny算子进行边缘提取，这种方法不容易受噪声干扰，能够检测到真正的弱边缘。
[0152]
canny算子边缘检测一共四个部分：
[0153]
step1、用高斯滤波器平滑图像(图像去噪)；
[0154]
step2、用一阶偏导有限差分计算梯度幅值和方向(特征增强)；
[0155]
step3、对梯度幅值进行非极大值抑制(边缘检测)；
[0156]
step4、用双阈值算法检测和连接边缘(形态学处理)。
[0157]
腐蚀和填充是为了填充图像中的一些孔洞，便于后续对图像特征的提取；
[0158]
扁度定义为最小外接矩形长轴与短轴的比值，计算公式如下：
[0159][0160]
公式(19)中，a表示最小外接矩形长轴，b表示最小外接矩形短轴，ε表示扁度；
[0161]
对于二维的(n*m)数字化图像f(x，y)，(p q)阶普通矩可以定义为：
[0162][0163]
其对应的(p q)阶中心矩可以定义为：
[0164][0165]
公式(21)中，是质心坐标；
[0166]
直接使用普通矩或者中心矩进行特征表示，不能使特征同时具有平移、旋转和比例不变性，但是如果利用归一化中心矩，则特征具有平移、旋转和比例不变性，f(x，y)的归一化(p q)阶中心矩可以定义为：
[0167][0168]
hu.m.k提出的7个不随水平、旋转、等比缩放变化的矩组，可以定义为：
[0169]
t1＝μ
20
μ
02
ꢀꢀꢀꢀꢀ
(23)
[0170]
t2＝(μ
20-μ
02
)2 4μ
112
ꢀꢀꢀꢀꢀ
(24)
[0171]
t3＝(μ
30-3μ
12
)2 (3μ
21-μ
03
)2ꢀꢀꢀꢀꢀ
(25)
[0172]
t4＝(μ
30
μ
12
)2 (μ
21
μ
03
)2ꢀꢀꢀꢀꢀ
(26)
[0173]
t5＝(μ
30-3μ
12
)(μ
30
μ
12
)[(μ
30
μ
12
)
2-3(μ
21
μ
03
)2] (3μ
21-μ
03
)(μ
21
μ
03
)[3(μ
30
μ
12
)
2-(μ
21
μ
03
)2]
ꢀꢀꢀꢀ
(27)
[0174]
t6＝(μ
20-μ
02
)[(μ
30
μ
12
)
2-(μ
21
μ
03
)2] 4μ
11
(μ
30
μ
12
)(μ
21
μ
03
) (28)
[0175]
t7＝(3μ
21-μ
03
)(μ
30
μ
12
)[(μ
30
μ
12
)
2-3(μ
21
μ
03
)2]-(μ
30-3μ
12
)(μ
21
μ
03
)[3(μ
30
μ
12
)
2-(μ
21
μ
03
)2]
ꢀꢀꢀꢀ
(29)
[0176]
傅里叶描述子是描述物体形状边界的傅里叶变换系数，它是物体边界曲线信号的频域分析结果。
[0177]
假设一个由n点组成的封闭边界，从任一点p开始绕边界一周得到：
[0178]
s(k)＝x(k) jy(k)，k＝0，1，...，n-1
ꢀꢀꢀꢀ
(30)
[0179]
公式(16)中，x(k)和y(k)是动点p的坐标，j为系数；
[0180]
s(k)的离散傅里叶变换(dft)为：
[0181][0182]
公式()中，u＝0，1，...，n-1，a(u)是边界的傅里叶描述子
[0183]
归一化傅里叶描述子d
′
(k)为：
[0184][0185]
本发明中，取前10个系数作为傅立叶描述子特征。
[0186]
步骤4、分别对纹理特征和形状特征进行整合得到特征向量，并特征向量归一化，保存数据作为数据集；
[0187]
分别对纹理特征和形状特征进行整合，得到20维的纹理特征向量和18维的形状特征向量，表示如下：
[0188]
纹理特征向量：
[0189]vw
＝[c0n(d，0
°
)，ent(d，0
°
)，...，corr(d，135
°
)，idm(d，135
°
)](33)
[0190]
形状特征向量：
[0191]vx
＝[ε，t1，t2，...，t7，d
′
(1)，d
′
(2)，...，d
′
(10)]
ꢀꢀꢀꢀ
(34)
[0192]
特征向量归一化，归一化采用线性归一化，公式如下：
[0193][0194]
公式(35)中，x为原始数据，x
min
表示原始数据集的最小值，x
max
表示原始数据集的最大值，x
norm
表示归一化后数据。
[0195]
步骤5、训练svm模型；
[0196]
训练svm模型是车型识别的核心，本发明以两个svm并联的形式训练得到svm模型，本发明使用软件libsvm进行训练svm模型，libsvm是一个开源的软件包，由于它提供了很多默认参数，对svm所涉及的参数调节较少，这样可以很方便的解决大量的问题。
[0197]
libsvm使用的一般步骤如图3所示，具体如下：
[0198]
step1、准备数据集，转化为libsvm支持的数据格式；
[0199]
step2、对数据进行简单的缩放操作；
[0200]
step3、考虑选用核函数；
[0201]
默认选择rbf核函数，其表示如下：
[0202]
k(x，xi)＝exp(-γ||x-xi||2)，γ＞0
ꢀꢀꢀꢀ
(36)
[0203]
公式(36)中，γ表示核参数，x和xi表示支持向量，‖x-xi||表示差向量的模；
[0204]
step4、采用交叉验证，选择最佳参数c和g；
[0205]
step5、用得到的最佳参数c与g，对整个训练集进行训练得到svm模型；
[0206]
步骤6、获取待测试图像，对待测试进行步骤2-4，将提取到的纹理特征和形状特征
分别输入对应的svm模型，对分类结果进行加权决策投票得到最终的车型识别结果。
[0207]
加权决策投票表示如下：
[0208]
p＝μw1 σw2ꢀꢀꢀꢀ
(37)
[0209]
公式(37)中，μ σ＝1，μ和σ表示两个svm模型所占最终分类结果的权值，w1和w2表示两个svm模型的分类结果。
[0210]
采用上述方法，对车辆图像进行识别，其识别的结果如表2所示。
[0211]
车型数量识别正确数量识别准确率奔驰504896％宝马504794％吉普504998％兰博基尼5050100％奥迪504896％
[0212]
表2
[0213]
由上表可知，对车辆图像进行识别，其平均识别率为96.4％，取得了较好的效果。
[0214]
至此完成了整个方法的流程。
[0215]
结合具体实施，可以得到本发明的优点是，通过提取图像的纹理特征和形状特征的多个特征量，更叫详细的表征了图像的特征，通过多分类器，采用投票决策机制，提高的识别的准确率，取得了较好的效果。
[0216]
本发明未详述之处，均为本领域技术人员的公知技术。
[0217]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。