改进MSR的地铁轮对踏面图像增强方法、设备及存储介质与流程

改进msr的地铁轮对踏面图像增强方法、设备及存储介质
技术领域
1.本发明涉及地铁车辆检测技术领域，更具体地说涉及一种改进msr的地铁轮对踏面图像增强方法、设备及存储介质。


背景技术：

2.轮对是铁路机车上走行部的重要部件，由于其直接承受轨道的冲击力，易在轮对踏面形成不均匀的磨耗。踏面表面的磨耗不断恶化，可能会引发车辆运行的安全事故，给铁路运输带来巨大的损失，给人们的财产和人生安全造成巨大的威胁。因此，对机车轮对动态检测及故障诊断至关重要。无论通过人工看图还是机器识别的方式，故障诊断的准确率都直接取决于踏面图像的图像质量，所以在故障排查前需对图像进行图像增强。目前常用的图像增强方式包括基于灰度变换的gamma变换、直方图均衡化等，还有基于局部特征的各类视网膜皮层理论 (retinal cortex theory, retinex)。
3.retinex理论是land等在1971年提出的一种色彩恒常的理论，该理论指出物体的颜色只与其本身有关，与入射光强无关。随后land提出了一种路径模型，将像素点的各随机路径像素的平均值作为当前像素点的新值。horn等提出了pde（partial differential equations）模型，首次提出将图像分解为光照图像和反射图像。变分模型通过构造约束项将问题转化为最优化求解问题。而目前表现最好的是中央周边模型，其使用周围像素的亮度与当前像素的亮度比值来表示retinex结果，具有代表性的中央周边模型是多尺度retinex（multi-scale retinex, msr）和多尺度视网膜增强算法（multi-scale retinex with color restoration, msrcr）。
4.上述算法在大雾、水下、光照不足等图像的颜色校正和图像增强等方面取得了一定的效果，但由于retinex算法估算光照图像采用的高斯滤波是一种均匀的卷积核，缺少对于中心像素的位置信息和卷积核内方向特征的敏感性，而地铁轨旁设备的补光采用的是点光源，在各处的光照欠均匀，因此上述算法并不适用于地铁车辆轮对检测场景。此外，retinex算法采用固定大小的卷积核，rgb图像对高斯滤波核大小选取敏感性较低，所以影响较小；而轮对设备采集的都是单通道灰度图像，需要更灵活地选取卷积核的尺寸才能达到较好的图像增强效果。
5.另外，对于轮对踏面设备图像的场景下，传统msr算法存在局限性，主要表现在以下三点：1、高斯卷积核的大小选取通常基于人为经验值，适用场景单一，而轮对踏面检测设备采集的图像会出现亮度变化导致的灰度分布变动，拍摄距离导致的纹理深浅变化，焦距变化导致的纹理粗细变化，固定大小卷积核不能适应上述情景。
6.2、高斯卷积核的数值是根据二维正态分布计算得到的，所以卷积核各位置的参数值只与该位置距离中心像素的距离有关，缺少对于中心像素的位置信息和卷积核内方向特征的敏感性，即对全局像素均采用相同的处理方式，这样可能会导致部分信息的损失。
7.3、原始图像经卷积滤波得到的光照图像灰度值的分布不均匀，接近0和255的区间
内像素点分布稀疏，导致有效灰度区域被压缩，影响后续图像处理和人眼辨识度。


技术实现要素：

8.为了克服上述现有技术中存在的缺陷，本发明公开了一种改进msr的地铁轮对踏面图像增强方法、设备及存储介质，以解决上述固定大小卷积核不适用于地铁轮对踏面图像、对全局像素均采用相同的处理方式导致部分信息的损失、有效灰度区域被压缩影响后续图像处理和人眼辨识度等问题。
9.为了实现以上目的，本发明采用的技术方案：第一方面，本发明提供了一种改进msr的地铁轮对踏面图像增强方法，包括以下步骤：s1、获取地铁轮对踏面原始图像，计算原始图像的灰度共生矩阵，并根据灰度共生矩阵的能量和对比度构建纹理补偿参数；现有研究的msr阈值选取方式有基于人工经验值和自适应提取两种。人工经验值选取往往不能适应图像的变化，无法应用于轮对检测图像数据。本发明采用自适应提取方式选取msr阈值。
10.msr算法一般选取3个尺度的卷积核来进行加权计算，分为小、中、大三种。三种卷积核大小的人工经验值为15，80，200。为了适应地铁轮对踏面图像，本发明将人工经验值与一个纹理补偿系数相乘得到实际使用的系数。纹理补偿参数计算基于图像的灰度共生矩阵（glcm， gray-level co-occurrence matrix）的统计量。灰度共生矩阵定义为灰度为i的像素点出发，离开某个固定位置（相隔距离为d，方位为θ）的点上灰度值为j的概率，其反映了图像中的灰度分布的纹理特性。灰度共生矩阵的能量（energy）指标反映了图像灰度分布均匀程度和纹理粗细度，灰度共生矩阵的对比度（contrast）指标反映了图像的清晰度和纹理的深浅程度。本发明能根据轮对踏面图像的纹理粗细和深浅程度，自适应计算高斯卷积核的大小，实现兼容对于各种地铁轮对踏面图像灰度情形的滤波方式。
11.优选的，所述灰度共生矩阵的能量为：；所述灰度共生矩阵的对比度为：；式中，energy为灰度共生矩阵的能量，contrast为灰度共生矩阵的对比度，p为灰度共生矩阵，i、j分别为灰度共生矩阵的行和列坐标。
12.优选的，所述纹理补偿参数为：其中，表示三种人工经验值对应的缩放尺寸，，e0为图像的灰度共生矩阵求得的能量值，es为经验能量值，conv0为原始图像的对比度，convs为对比度经验值，i表示三种不同的纹理补偿参数编号，。
13.s2、根据所述纹理补偿参数计算3个尺度的高斯卷积核的方差；对于图像纹理特征明显，纹理较粗较深的图像，可以适当放大高斯卷积核的尺度，弱化灰度收缩的效应的同时，不丢失过多的纹理特性。基于上述推论，设计高斯卷积核的方
差。
14.优选的，所述高斯卷积核的方差为：式中，为不同的高斯卷积核的方差，表示人工经验值的卷积核大小，，表示纹理补偿参数，i为msr算法的3种不同大小卷积核标识。
15.由上式可知，高斯卷积核方差的大小随能量和对比度的增大而增大。
16.s3、基于点光源下的像素分布规律和高斯卷积核的方差，对3个尺度的高斯卷积核分别进行亮度补偿，得到3个尺度的光照补偿卷积核；传统高斯滤波的卷积核在各个方向的参数值服从二维正态分布，同时中心像素变化时，分布规律不变，也就是说高斯卷积核在提取邻域内光照特征信息时，默认各像素点对中心像素的贡献服从正态分布，不能符合实际场景要求，需要对其进行补偿。补偿方式基于点光源下像素的分布规律。
17.优选的，所述光照补偿卷积核为：式中，为未旋转前的卷积核，g0为未补偿前的高斯卷积核，g
σ
为最终光照补偿后的卷积核，xc、yc为当前卷积中心在图像中的坐标，x
l
、y
l
为点光源在照射平面的照射中心点图像坐标，σ为高斯滤波方差，，h为光源直射距离，i、j分别为当前卷积核的坐标信息。
18.本发明中，由于得到的卷积核并不是对称的，根据卷积运算的原理，需要对卷积核进行旋转180度，而且要保证卷积核中代数和为0，所以要对其进行归一化处理。
19.点光源在照射平面某点的照射强度，与该点距照射中心点的距离成反比。图像的光照图像各像素点的灰度值，与该像素点所对应的物体实际位置所受到的光照强度成对应关系。因此，对于任意一个卷积核中，以卷积核中心为基准，卷积核各个位置参数的值就等于该位置灰度的值与卷积核中心灰度的比值，也就等于上述光照补偿卷积核式中该点（i，j）距离光照中心(x
l
，y
l
)的距离和卷积中心点(xc，yc)的距离之比。
20.s4、基于光照补偿卷积核构建反射图像；优选的，所述反射图像为：式中，r
msr
为反射图像，wi为3个不同高斯核对应的系数，i为原始图像，g为高斯卷积核，σ为高斯卷积核方差，x、y分别为图像像素点的坐标位置信息，i为标号，用于区分三种不同尺寸的卷积核，。
21.s5、对反射图像进行全局图像增强，得到地铁轮对踏面增强图像。
22.由高斯滤波的图像和原始图像在对数域做差得到的反射图像，会存在一定程度的灰度区间压缩现象。反射图像的灰度值往往大量集中于高频和低频之间，而两端部分像素值较为稀疏，导致整体图像质量变低，辨识度降低。
23.同时，轮对踏面图像中的物体具有一定的分布特性。例如在轮对踏面图像中，铁轨为检测任务的干扰物体，圆形轮对区域为我们的兴趣区域。铁轨区域从远处延伸而来，在图像中灰度跨度大，图像中面积占比高，很容易干扰对于轮对踏面的分析。
24.针对上述问题本发明通过以下方法解决此缺陷。
25.优选的，所述s5步骤，包括以下步骤：s51、采用图像分割去除反射图像中干扰部分；s52、分割后保留剩余感兴趣roi区域的灰度区间；s53、对灰度区间进行拉伸并进行gamma校正；s54、对校正后的图像进行直方图均衡，得到增强后图像。
26.优选的，所述图像分割采用基于边缘提取的图像分割方式，采用canny算子的边缘提取方式对轮对检测图像进行边缘提取，并采用图像霍夫变换提取边缘化后图像中的直线，通过直线斜率、直线分布、直线两侧灰度梯度三点来提取钢轨边缘，并根据钢轨边缘分割图像的自适应兴趣区域。
27.分割后的兴趣区域灰度值往往压缩于一定区间内，为了加强图像质量，本发明对兴趣区域进行区间gamma校正。传统的gamma校正用于全局灰度，即[0，255]向[0，255]映射。而本发明提出将其作用域从全局变为区间，对其变换函数添加线性系数，对于兴趣区域以外的灰度值进行截断。
[0028]
优选的，所述gamma校正为：式中，g(x，y)为变换后的灰度值，g0为反射图像灰度值，gr为分割得到的兴趣区域灰度值。
[0029]
本发明提供的上述提供的地铁轮对踏面图像增强方法，首先，基于图像整体灰度均值和灰度分布，根据灰度统计量自适应计算高斯卷积核大小。其次，优化卷积计算方法，依据点光源在平面的光强分布特征，在单次卷积计算中加入当前位置的光补偿量，同时，光补偿量中引入了基于当前位置的方向信息，在上下左右添加方向补偿值，构成非对称高斯卷积核。最后，在得到最终的反射图像时，对图像进行区间线性拉伸，对高亮和低亮区域进行抑制，对于部分目标部件灰度范围进行区间gamma校正，突出兴趣区域，从而解决灰度区间压缩问题。
[0030]
第二方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，执行地铁轮对踏面图像增强方法中的步骤。
[0031]
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述
计算机程序被处理器执行时，实现地铁轮对踏面图像增强方法中的步骤。
[0032]
本发明的有益效果：1、本发明提供的地铁轮对踏面图像增强方法，灰度共生矩阵的能量指标反映了图像灰度分布均匀程度和纹理粗细度，灰度共生矩阵的对比度指标反映了图像的清晰度和纹理的深浅程度，根据轮对踏面图像的纹理粗细和深浅程度，自适应计算高斯卷积核的大小，实现兼容对于各种地铁轮对踏面图像灰度情形的滤波方式。
[0033]
2、本发明提供的地铁轮对踏面图像增强方法，根据点光源照射模型，对高斯核的参数进行基于距光照中心距离的光照补偿，进一步提升了msr光照图像提取的准确性。
[0034]
3、本发明提供的地铁轮对踏面图像增强方法，采用基于图像边缘和霍夫变换的图像分割对全局图像进行增强处理，对非兴趣区域进行灰度截断，再对图像兴趣区域进行gamma校正，提升了图像的质量和可视性。
附图说明
[0035]
图1为本发明的方法流程图；图2为采用人工经验值15，80，200卷积核大小进行msr的结果图像；图3为采用自适应卷积核大小进行msr的结果；图4为不采用光照补偿的图像；图5为本发明高斯核亮度补偿的处理结果；图6为补偿前后图像差；图7为未使用gamma校正的图像；图8为本发明gamma校正的图像；图9为原始图像he增强；图10为本发明gamma校正后he增强。
具体实施方式
[0036]
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、特征和效果。
[0037]
实施例1一种改进msr的地铁轮对踏面图像增强方法，如图1所示，包括以下步骤：s1、获取地铁轮对踏面原始图像，计算原始图像的灰度共生矩阵，并根据灰度共生矩阵的能量和对比度构建纹理补偿参数；s2、根据所述纹理补偿参数计算3个尺度的高斯卷积核的方差；s3、基于点光源下的像素分布规律和高斯卷积核的方差，对3个尺度的高斯卷积核分别进行亮度补偿，得到3个尺度的光照补偿卷积核；s4、基于光照补偿卷积核构建反射图像；s5、对反射图像进行全局图像增强，得到地铁轮对踏面增强图像。
[0038]
本实施例中，灰度共生矩阵的能量指标反映了图像灰度分布均匀程度和纹理粗细度，灰度共生矩阵的对比度指标反映了图像的清晰度和纹理的深浅程度，根据轮对踏面图像的纹理粗细和深浅程度，自适应计算高斯卷积核的大小，实现兼容对于各种地铁轮对踏
面图像灰度情形的滤波方式。
[0039]
实施例2本实施例在实施例1的基础上对s1步骤作进一步的阐述。现有研究的msr阈值选取方式有基于人工经验值和自适应提取两种。人工经验值选取往往不能适应图像的变化，无法应用于轮对检测图像数据。
[0040]
msr算法一般选取3个尺度的卷积核来进行加权计算，分为小、中、大三种。三种卷积核大小的人工经验值为15，80，200。为了适应地铁轮对踏面图像，本实施例将人工经验值与一个纹理补偿系数相乘得到实际使用的系数。纹理补偿参数计算基于图像的灰度共生矩阵（glcm， gray-level co-occurrence matrix）的统计量。灰度共生矩阵定义为灰度为i的像素点出发，离开某个固定位置（相隔距离为d，方位为θ）的点上灰度值为j的概率，其反映了图像中的灰度分布的纹理特性。灰度共生矩阵的能量（energy）指标反映了图像灰度分布均匀程度和纹理粗细度，灰度共生矩阵的对比度（contrast）指标反映了图像的清晰度和纹理的深浅程度。本实施例能根据轮对踏面图像的纹理粗细和深浅程度，自适应计算高斯卷积核的大小，实现兼容对于各种地铁轮对踏面图像灰度情形的滤波方式。
[0041]
具体的，本实施例中，灰度共生矩阵的能量为：；灰度共生矩阵的对比度为：；式中，energy为灰度共生矩阵的能量，contrast为灰度共生矩阵的对比度，p为灰度共生矩阵，i、j分别为灰度共生矩阵的行和列坐标。
[0042]
本实施例中，纹理补偿参数为：其中，表示三种人工经验值对应的缩放尺寸，，e0为图像的灰度共生矩阵求得的能量值，es为经验能量值，conv0为原始图像的对比度，convs为对比度经验值，i表示三种不同的纹理补偿参数编号，。
[0043]
实施例3本实施例在实施例2的基础上对s2步骤作进一步的阐述。对于图像纹理特征明显，纹理较粗较深的图像，可以适当放大高斯卷积核的尺度，弱化灰度收缩的效应的同时，不丢失过多的纹理特性。基于上述推论，设计高斯卷积核的方差。
[0044]
具体的，本实施例中，高斯卷积核的方差为：式中，为不同的高斯卷积核的方差，表示人工经验值的卷积核大小，，表示纹理补偿参数，i为msr算法的3种不同大小卷积核标识。
[0045]
由上式可知，高斯卷积核方差的大小随能量和对比度的增大而增大。
[0046]
图2为采用人工经验值15，80，200卷积核大小进行msr的结果图像，图3为采用自适应卷积核大小进行msr的结果，可以看出图3图像的灰度区间更广泛，可视性更强。
[0047]
实施例4本实施例在实施例3的基础上对s3步骤作进一步的阐述。传统高斯滤波的卷积核在各个方向的参数值服从二维正态分布，同时中心像素变化时，分布规律不变，也就是说高斯卷积核在提取邻域内光照特征信息时，默认各像素点对中心像素的贡献服从正态分布，不能符合实际场景要求，需要对其进行补偿。补偿方式基于点光源下像素的分布规律。
[0048]
具体的，本实施例中，光照补偿卷积核为：式中，为未旋转前的卷积核，g0为未补偿前的高斯卷积核，g
σ
为最终光照补偿后的卷积核，xc、yc为当前卷积中心在图像中的坐标，x
l
、y
l
为点光源在照射平面的照射中心点图像坐标，σ为高斯滤波方差，，h为光源直射距离，i、j分别为当前卷积核的坐标信息。由于得到的卷积核并不是对称的，根据卷积运算的原理，需要对卷积核进行旋转180度，而且要保证卷积核中代数和为0，所以要对其进行归一化处理。
[0049]
点光源在照射平面某点的照射强度，与该点距照射中心点的距离成反比。图像的光照图像各像素点的灰度值，与该像素点所对应的物体实际位置所受到的光照强度成对应关系。因此，对于任意一个卷积核中，以卷积核中心为基准，卷积核各个位置参数的值就等于该位置灰度的值与卷积核中心灰度的比值，也就等于上述光照补偿卷积核式中该点（i，j）距离光照中心(x
l
，y
l
)的距离和卷积中心点(xc，yc)的距离之比。
[0050]
经光照补偿卷积核计算后的图像结果如图4、5和6所示：图4为不采用光照补偿的图像，图5为本实施例算法的处理结果。肉眼可能很难分辨其不同之处，但通过两图像做差，可清晰的看出本实施例算法在图像四周灰度值有明显的增强，见图6。
[0051]
实施例5本实施例在实施例4的基础上对s4步骤作进一步的阐述。所述s4步骤中，所述反射图像为：式中，r
msr
为反射图像，wi为3个不同高斯核对应的系数，i为原始图像，g为高斯卷积核，σ为高斯卷积核方差，x、y分别为图像像素点的坐标位置信息，i为标号，用于区分三种不同尺寸的卷积核，。
[0052]
实施例6本实施例在实施例5的基础上对s5步骤作进一步的阐述。由高斯滤波的图像和原始图像在对数域做差得到的反射图像，会存在一定程度的灰度区间压缩现象。反射图像的灰度值往往大量集中于高频和低频之间，而两端部分像素值较为稀疏，导致整体图像质量变低，辨识度降低。
[0053]
同时，轮对踏面图像中的物体具有一定的分布特性。以图2或3为例，其中右侧铁轨
为检测任务的干扰物体，左侧圆形轮对区域为我们的兴趣区域。铁轨区域从远处延伸而来，在图像中灰度跨度大，图像中面积占比高，很容易干扰对于轮对踏面的分析。
[0054]
针对上述问题本实施例采用图像分割去除图像中干扰部分，再提取剩余感兴趣区域的灰度区间，对区间进行拉伸并进行gamma校正，再进行直方图均衡，最终得到增强后图像。
[0055]
本实施例采用基于边缘提取的图像分割方式，采用canny算子的边缘提取方式对轮对检测图像进行边缘提取。利用轮对踏面图像的构图特性，图像中的干扰项钢轨位于图像的一侧且与踏面区域有明显的分界线，本实施例采用图像霍夫变换提取边缘化后图像中的直线，通过直线斜率，直线分布，直线两侧灰度梯度三点来提取钢轨边缘。根据钢轨边缘实现对图像的自适应兴趣区域分割。
[0056]
分割后的兴趣区域灰度值往往压缩于一定区间内，为了加强图像质量，对兴趣区域进行区间gamma校正。传统的gamma校正用于全局灰度，即[0,255]向[0,255]映射。而本实施例提出将其作用域从全局变为区间，对其变换函数添加线性系数，对于兴趣区域以外的灰度值进行截断。
[0057]
优化后的gamma校正公式如下：式中，g(x，y)为变换后的灰度值，g0为反射图像灰度值，gr为分割得到的兴趣区域灰度值。经gamma校正的图像如图7和8所示。
[0058]
由图7和图8可知，经gamma校正后，图像质量有明显的改善。此时再进行直方图均衡（he）增强算法，相比原图直接进行增强能得到更好的效果，如图9和10所示。
[0059]
实施例7一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，执行上述实施例1-6任意一项所述地铁轮对踏面图像增强方法中的步骤。
[0060]
在本实施例中处理器可以为中央处理器(central processing unit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0061]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述实施例中的方法。
[0062]
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存
器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选择包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0063]
一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例1-6中任意一项的方法。
[0064]
实施例8一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1-6任意一项所述的地铁轮对踏面图像增强方法中的步骤。
[0065]
以上对本发明的实施方式进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种等同变型或替换，这些等同或替换均包含在本发明权利要求所限定的范围内。