一种城轨列车车号图像定位方法

1.本发明属于交通安全工程技术领域，特别是一种城轨列车车号图像定位方法。


背景技术：

2.为了保障列车的安全可靠运行，对车辆系统的关键部件及运行状态(例如，轴温、受电弓磨耗、羊角状态等)进行在线监控是目前城轨列车系统运行安全保障的重点。车号作为车辆的唯一标志信息，它的准确高效识别对列车运行状态监控及故障定位具有重要意义。
3.目前的城轨列车车号识别技术大多依赖rfid技术，该车号识别系统由两部分组成：安装在列车底部的电子标签以及地面的读取设备。虽然该车号识别系统已经得到广泛应用，但仍存在标签易脱落损坏、丢失车号、维护流程复杂等缺点。随着机器视觉相关的发展，目前基于图像识别的汽车车牌识别技术已经相当成熟，并且在国内外的重要道路口与停车场已经得到广泛的应用。同时，随着工业相机和相关图像处理算法的发展，基于图像处理的城轨列车车号识别系统也逐渐开始得到认可和应用。因隧道中光线昏暗且列车运行速度较快，拍摄到的车号图像存在一定的畸变。同时在城轨列车车号图像中，车门、车窗等边缘元素较多，单纯采用边缘检测的车号图像定位算法无法满足现场使用要求。


技术实现要素：

4.本发明的目的在于提供一种实用性强、计算简单以及定位准确率高的基于surf和swt的城轨列车车号图像定位方法，且稍加扩展能够实现列车车号的自动化识别。
5.实现本发明目的的技术解决方案是：一种城轨列车车号图像定位方法，包括以下步骤：
6.步骤1、采用基于亮度控制的单尺度retinex算法，对现场拍摄的车号图像进行预处理，得到第一车号图像；
7.步骤2、对步骤1预处理得到的第一车号图像，采用surf算法进行特征点的提取；
8.步骤3、计算步骤2中提取到的特征点的特征描述；
9.步骤4、利用自制的车号图像与第一车号图像进行特征点配准，筛选出车号的潜在区域；
10.步骤5、通过笔画宽度测量算子smo对swt算法进行改进，对步骤4中筛选出的车号潜在区域进行车号区域准确定位，得到车号区域。
11.进一步地，步骤1所述采用基于亮度控制的单尺度retinex算法，对现场拍摄的车号图像进行预处理，具体步骤为：
12.步骤1.1、现场拍摄获取车号图像，该车号图像尺寸为m
×
n，得到高斯环绕函数g(x,y)：
[0013][0014]
其中，m、n为正整数，(x,y)为像素点在图像的像素坐标，k是归一化因子，β是调谐常数，满足β≥0；
[0015]
步骤1.2、根据光照模型及retinex理论，计算单尺度retinex算法的输出结果ri(x,y)：
[0016]ri
(x,y)＝log[fi(x,y)]-log[fi(x,y)/g(x,y)]
[0017]
其中fi(x,y)表示图像的第i个通道；
[0018]
步骤1.3、针对单尺度retinex算法中调谐常数β＞2时产生的多余亮度，添加改进的sigmoid函数以调节过高亮度，改进的sigmoid函数表示为：
[0019][0020]
其中，s(g)是对比度调整后的图像，g是退化图像，t是调节值，γ是调整常数；
[0021]
步骤1.4、对s(g)进行标准化处理以更改像素强度值范围，归一化图像n(s)计算公式为：
[0022]
。
[0023]
进一步地，步骤2所述对步骤1预处理得到的第一车号图像，采用surf算法进行特征点的提取，具体步骤为：
[0024]
步骤2.1、对第一车号图像进行积分计算得到积分图像，积分图像中任意一点的值ii(i,j)，为第一车号图像左上角到任意点(i,j)相应的对角线区域灰度值的总和；
[0025]
步骤2.2、在多个不同方向上用不同尺寸参数的箱式滤波器模板对积分图像做卷积运算，构建尺度空间；
[0026]
步骤2.3、计算在尺度空间内每一层图像上的快速hessian矩阵，hessian矩阵h表示如下：
[0027][0028]
其中，d
xx
,d
yy
,d
xy
分别表示dog空间中的图像在x轴和y轴方向上的二阶偏导数和混合偏导数；
[0029]
因为特征点的主曲率与hessian矩阵的两个特征值α与β成正比，且有：
[0030][0031]
其中tr(h)＝d
xx
d
yy
表示该矩阵的迹，det(h)＝d
xxdyy-(d
xy
)2表示该矩阵行列式的值；
[0032]
设α＝rβ，为了检查特征点是否对边缘响应较为敏感，将不满足下式的点看作不稳定边缘响应点，进行去除：
[0033][0034]
其中，tr(h)和det(h)分别为hessian矩阵h的秩和行列式值，对hessian矩阵的行列式计算表示为：det(h)＝d
xxdyy-(ωd
xy
)2，ω为权重系数；
[0035]
步骤2.4、将经过hessian矩阵处理过的每个像素点，与该像素点的上下层中对应3*3*3的立体邻域来进行非极大值抑制，将比立体近邻内的26个响应值都大的点选定为特征点，并在尺度空间采用插值法，得到特征点的准确位置信息和尺度信息。
[0036]
进一步地，步骤3所述计算步骤2中提取到的特征点的特征描述，具体步骤为：
[0037]
步骤3.1、以特征点为中心，取特征点周围半径为6s的圆形区域，s为特征点所在的dog尺度空间的尺度值；计算邻域内的像素点在x,y两个方向上的哈尔小波响应值，按照像素点与特征点的距离来赋予该像素点设定的权值，随后对加权后的响应值进行直方图统计，选择直方图中权重最大的作为该特征点的主方向；
[0038]
步骤3.2、通过统计像素点的哈尔小波响应值来对特征点进行描述，计算公式如下：
[0039]
v＝(∑d
x
,∑dy,∑|d
x
|,∑|dy|)
[0040]
其中，d
x
,dy为每个像素点的哈尔小波在x方向和y方向的响应值，将圆形区域划分为16个子区域，∑d
x
,∑dy为16个子区域中所有的像素点的x方向的响应值之和、y方向的响应值之和，∑|d
x
|,∑|dy|为每个子区域x方向响应值的绝对值之和、y方向响应值的绝对值之和。
[0041]
进一步地，步骤4所述利用自制的车号图像与第一车号图像进行特征点配准，筛选出车号的潜在区域，具体步骤为：
[0042]
设置一张没有背景干扰的车号图像作为自制的车号图像模板，保证自制的车号图像特征与实际车号一致；
[0043]
针对步骤3获取到车号图像每一个特征点的特征描述符，利用自制的车号图像与第一车号图像进行特征点配准；现场拍摄的车号图像中存在较多的边缘要素，因此存在特征点误匹配的现象；根据特征点匹配情况，对整个图像区域进行匹配结果划分，将符合特征匹配的区域设为潜在车号区域。
[0044]
进一步地，步骤5所述通过笔画宽度测量算子smo对swt算法进行改进，具体过程为：
[0045]
步骤5.1、对潜在车号区域，利用canny边缘检测算法得到边缘图像；
[0046]
步骤5.2、采用sobel算子在水平方向和竖直方向上对潜在车号区域分别做卷积运算，得到水平方向和竖直方向上的梯度g
x
、gy，再得到图像的梯度方向θ＝arctan(gy/g
x
)；
[0047]
步骤5.3、对于任一边缘像素点p，沿着p的梯度方向d
p
，确定一条射线沿着射线方向，直到遇到第一个边缘像素点q；q的梯度方向为dq，若满足|d
p
dq|＜π/6，则将把p和q之间的欧式距离|p-q|作为p的笔画宽度，把p到q路径上的像素点赋值为||p-q||，如果沿着梯度方向没有合适的q点，那么则舍弃当前像素点p；
[0048]
步骤5.4、基于图像的距离变换映射和内部骨架映射，采用笔画宽度测量算子smo，测量被测对象的笔画宽度；
[0049]
步骤5.5、根据smo算子得到笔画宽度，为车号字符笔画宽度设置一个阈值范围[min，max]，遍历所有满足阈值的边缘像素点，得到车号图像的swt图；
[0050]
步骤5.6、提取字符，形成字符候选区域，完成车号定位。
[0051]
进一步地，所述步骤5.4具体如下：
[0052]
步骤5.4.1、生成距离变换映射；
[0053]
距离变换映射携带使用欧几里得距离度量相对于其最近的背景像素计算的每个对象像素的距离信息；
[0054]
步骤5.4.2、生成内部骨架图；
[0055]
使用骨架化技术从对象的二值图像生成单像素宽的内部骨架图，骨架图从边界区域逐渐移除对象像素，只保留中轴像素；
[0056]
步骤5.4.3、计算笔画宽度测量算子smo；
[0057]
考虑距离变换和内部骨架映射，距离变换映射的实际距离权重表示为其中p和q分别表示矩阵行数和列数；同时，内部骨架映射ms表示为[ms(m,n)]
p
×q，其中[ms(m,n)]
p
×q∈[0,1]，其中(m,n)为像素点在图像的像素坐标；
[0058]
然后执行两个映射的逐像素乘法，生成一个新的特征映射f，表示为[f(m,n)]
p
×q，新的特征映射包含内部骨架点的对象像素的距离值τ，也就是实际笔画宽度的一半，用距离平均值λ表示所有对象的笔画宽度，数学表达式如下：
[0059][0060]
其中，τ表示内部骨架像素的距离值，f(τ)表示距离τ的频率。
[0061]
本发明与现有技术相比，其显著优点为：(1)相对于rfid技术，定位准确率提高且成本较低，更符合现场使用要求；(2)相对于现有车号定位技术，能显著提高车号图像亮度，更适应列车的隧道运行环境；(3)适应车号图像中边缘元素较多的基础条件，减少图像特征点误匹配现象及运算采用的像素点数量，提高车号图像定位准确率和计算效率；(4)对传统的swt算法进行改进，减小伪笔画的干扰，提高了车号字符定位的准确度。
附图说明
[0062]
图1是本发明城轨列车车号图像定位方法的流程图。
[0063]
图2是输入的原始图像。
[0064]
图3是采用surf算法后的特征匹配图。
[0065]
图4是使用改进的swt算法得到的车号定位结果图。
具体实施方式
[0066]
下面结合附图对本发明进一步描述。
[0067]
本发明一种城轨列车车号图像定位方法，结合图1，包括以下步骤：
[0068]
步骤1、采用基于亮度控制的单尺度retinex算法，对现场拍摄的车号图像进行预处理，得到第一车号图像；
[0069]
步骤2、对步骤1预处理得到的第一车号图像，采用surf算法进行特征点的提取；
[0070]
步骤3、计算步骤2中提取到的特征点的特征描述；
[0071]
步骤4、利用自制的车号图像与第一车号图像进行特征点配准，筛选出车号的潜在区域；
[0072]
步骤5、通过笔画宽度测量算子smo对swt算法进行改进，对步骤4中筛选出的车号潜在区域进行车号区域准确定位，得到车号区域。
[0073]
作为一种具体实施例，步骤1所述采用基于亮度控制的单尺度retinex算法，对现场拍摄的车号图像进行预处理，具体为输入图2所示的原始图像，采用基于亮度控制的单尺度retinex改进算法对图像进行预处理，过程如下：
[0074]
步骤1.1、现场拍摄获取车号图像，该车号图像尺寸为m
×
n，得到高斯环绕函数g(x,y)：
[0075][0076]
其中，m、n为正整数，(x,y)为像素点在图像的像素坐标，k是归一化因子，β是调谐常数，满足β≥0；
[0077]
步骤1.2、根据光照模型及retinex理论，计算单尺度retinex算法的输出结果ri(x,y)：
[0078]ri
(x,y)＝log[fi(x,y)]-log[fi(x,y)*g(x,y)]
[0079]
其中fi(x,y)表示图像的第i个通道；
[0080]
步骤1.3、针对单尺度retinex算法中调谐常数β＞2时产生的多余亮度，添加改进的sigmoid函数以调节过高亮度，改进的sigmoid函数表示为：
[0081][0082]
其中，s(g)是对比度调整后的图像，g是退化图像，t是调节值，默认情况下t＝2，γ是一个调整常数，默认情况下γ＝2。
[0083]
步骤1.4、对s(g)进行标准化处理以更改像素强度值范围，归一化图像n(s)计算公式为：
[0084][0085]
作为一种具体实施例，步骤2所述对步骤1预处理得到的第一车号图像，采用surf算法进行特征点的提取，具体步骤为：
[0086]
步骤2.1、对第一车号图像进行积分计算得到积分图像，积分图像中任意一点的值ii(i,j)，为第一车号图像左上角到任意点(i,j)相应的对角线区域灰度值的总和；
[0087]
步骤2.2、在多个不同方向上用不同尺寸参数的箱式滤波器模板对积分图像做卷积运算，构建尺度空间；
[0088]
步骤2.3、计算在尺度空间内每一层图像上的快速hessian矩阵，hessian矩阵h表示如下：
[0089][0090]
其中，d
xx
,d
yy
,d
xy
分别表示dog空间中的图像在x轴和y轴方向上的二阶偏导数和混合偏导数；
[0091]
因为特征点的主曲率与hessian矩阵的两个特征值α与β成正比，且有：
[0092][0093]
其中tr(h)＝d
xx
d
yy
表示该矩阵的迹，det(h)＝d
xxdyy-(d
xy
)2表示该矩阵行列式的值；
[0094]
设α＝rβ，为了检查特征点是否对边缘响应较为敏感，将不满足下式的点看作不稳定边缘响应点，进行去除：
[0095][0096]
其中，tr(h)和det(h)分别为hessian矩阵h的秩和行列式值，对hessian矩阵的行列式计算表示为：det(h)＝d
xxdyy-(ωd
xy
)2，ω为权重系数。
[0097]
步骤2.4、将经过hessian矩阵处理过的每个像素点，与该像素点的上下层中对应3*3*3的立体邻域来进行非极大值抑制，将比立体近邻内的26个响应值都大的点选定为特征点，并在尺度空间采用插值法，得到特征点的准确位置信息和尺度信息。
[0098]
作为一种具体实施例，步骤3所述计算步骤2中提取到的特征点的特征描述，具体步骤为：
[0099]
步骤3.1、以特征点为中心，取特征点周围半径为6s的圆形区域，s为特征点所在的dog尺度空间的尺度值；计算邻域内的像素点在x,y两个方向上的哈尔小波响应值，按照像素点与特征点的距离来赋予该像素点设定的权值，随后对加权后的响应值进行直方图统计，选择直方图中权重最大的作为该特征点的主方向；
[0100]
步骤3.2、通过统计像素点的哈尔小波响应值来对特征点进行描述，计算公式如下：
[0101]
v＝(∑d
x
,∑dy,∑|d
x
|,∑|dy|)
[0102]
其中，d
x
,dy为每个像素点的哈尔小波在x方向和y方向的响应值，将圆形区域划分为16个子区域，∑d
x
,∑dy为16个子区域中所有的像素点的x方向的响应值之和、y方向的响应值之和，∑|d
x
|,∑|dy|为每个子区域x方向响应值的绝对值之和、y方向响应值的绝对值之和。
[0103]
作为一种具体实施例，步骤4所述利用自制的车号图像与第一车号图像进行特征点配准，筛选出车号的潜在区域，具体步骤为：
[0104]
设置一张没有背景干扰的车号图像作为自制的车号图像模板，保证自制的车号图像特征与实际车号一致；
[0105]
针对步骤3获取到车号图像每一个特征点的特征描述符，利用自制的车号图像与第一车号图像进行特征点配准，特征点匹配结果如图3所示；现场拍摄的车号图像中存在较多的边缘要素，因此存在特征点误匹配的现象；根据特征点匹配情况，对整个图像区域进行
匹配结果划分，将符合特征匹配的区域设为潜在车号区域。
[0106]
作为一种具体实施例，步骤5所述通过笔画宽度测量算子smo对swt算法进行改进，具体过程为：
[0107]
步骤5.1、对潜在车号区域，利用canny边缘检测算法得到边缘图像；
[0108]
步骤5.2、采用sobel算子在水平方向和竖直方向上对潜在车号区域分别做卷积运算，得到水平方向和竖直方向上的梯度g
x
、gy，再得到图像的梯度方向θ＝arctan(gy/g
x
)；
[0109]
步骤5.3、对于任一边缘像素点p，沿着p的梯度方向d
p
，确定一条射线沿着射线方向，直到遇到第一个边缘像素点q；q的梯度方向为dq，若满足|d
p
dq|＜π/6，则将把p和q之间的欧式距离||p-q||作为p的笔画宽度，把p到q路径上的像素点赋值为||p-q||，如果沿着梯度方向没有合适的q点，那么则舍弃当前像素点p；
[0110]
步骤5.4、基于图像的距离变换映射和内部骨架映射，采用笔画宽度测量算子smo，测量被测对象的笔画宽度，具体如下：
[0111]
步骤5.4.1、生成距离变换映射；
[0112]
距离变换映射携带使用欧几里得距离度量相对于其最近的背景像素计算的每个对象像素的距离信息；
[0113]
步骤5.4.2、生成内部骨架图；
[0114]
使用骨架化技术从对象的二值图像生成单像素宽的内部骨架图，骨架图从边界区域逐渐移除对象像素，只保留中轴像素；
[0115]
步骤5.4.3、计算笔画宽度测量算子smo；
[0116]
考虑距离变换和内部骨架映射，距离变换映射的实际距离权重表示为其中p和q分别表示矩阵行数和列数；同时，内部骨架映射ms表示为[ms(m,n)]
p
×q，其中[ms(m,n)]
p
×q∈[0,1]，其中(m,n)为像素点在图像的像素坐标；
[0117]
然后执行两个映射的逐像素乘法，生成一个新的特征映射f，表示为[f(m,n)]
p
×q，新的特征映射包含内部骨架点的对象像素的距离值τ，也就是实际笔画宽度的一半，用距离平均值λ表示所有对象的笔画宽度，数学表达式如下：
[0118][0119]
其中，τ表示内部骨架像素的距离值，f(τ)表示距离τ的频率。
[0120]
步骤5.5、根据smo算子得到笔画宽度，为车号字符笔画宽度设置一个阈值范围[min，max]，遍历所有满足阈值的边缘像素点，得到车号图像的swt图；
[0121]
步骤5.6、提取字符区域，完成车号定位，结果如图4，得到原始图像中对车号区域的准确定位，方便下一步对准确的车号区域图像进行处理。
[0122]
综上所述，本发明城轨列车车号图像定位方法，具有以下特点：第一、相对于rfid技术，定位准确率提高且成本较低，更符合现场使用要求；第二、相对于现有车号定位技术，能显著提高车号图像亮度，更适应列车的隧道运行环境；第三、适应车号图像中边缘元素较多的基础条件，减少图像特征点误匹配现象及运算采用的像素点数量，提高车号图像定位准确率和计算效率；第四、对传统的swt算法进行改进，减小伪笔画的干扰，提高了车号字符定位的准确度。