一种基于摄像的火车轨道松动非接触实时检测方法与流程

1.本发明属于结构运动测量技术领域，特别涉及一种基于摄像的火车轨道松动非接触实时检测方法。


背景技术：

2.火车轨道系统是交通运输系统中的重要部分，主要由轨道、枕木、扣件和路基组成。轨道由扣件固定在枕木上，在列车行驶过程中，其产生周期性冲击动载荷容易造成扣件发生振动，长此以往，会引发轨道松动。随着轨道松动的加剧，轨道结构的动力响应振幅明显变大，严重时会造成列车脱轨事故。因此，火车轨道松脱检测对保障列车行驶安全具有重大意义。
3.目前，常用的火车轨道松动检测方法主要为人工巡检，通常由经验丰富的巡检人员用肉眼判断扣件状态。该方法操作简单、效率低、成本高、漏检率高、安全隐患大。近年来，随着图像处理技术的发展，计算机视觉技术也逐渐被应用于火车轨道的结构健康监测。目前，使用的计算机视觉的检测方法需要对结构进行标记，通过跟踪标记点的方式对轨道振动进行测量。然而，由于火车轨道数量多，且长期处于室外环境，标记点容易脱落，给测量带来极大的挑战。


技术实现要素：

4.为了克服上述现有技术的缺点，解决基于人工巡检的火车轨道松动检测方法效率、精度低的问题，本发明的目的在于提供一种基于摄像的火车轨道松动非接触实时检测方法，利用火车轨道和枕木间交错排布的特征，提出了基于图像像素灰度梯度和特征聚类算法的虚拟特征点检测方法，采用光流算法对虚拟特征点的光流进行计算，进而对轨道的时域振动进行测量，通过fft分解得到轨道固有振动频率，进而通过固有振动频率的变化实时判断轨道是否发生了松动。
5.为了实现上述目的，本发明采用的技术方案是：
6.一种基于摄像的火车轨道松动非接触实时检测方法，包括以下步骤：
7.步骤1)，利用高速摄像机对火车轨道的振动进行视频记录；
8.步骤2)，对记录的视频，逐帧对图像进行灰度化处理；
9.步骤3)，计算第一帧图像像素的灰度梯度，采用k-means聚类算法对灰度梯度进行聚类，确定轨道和扣件区域，将区域内像素灰度极值作为该区域的虚拟特征点；
10.步骤4)，通过图像多尺度分解技术构建图像多尺度金字塔，基于短时亮度恒定理论建立不同尺度上图像的光流方程，采用最小二乘算法计算不同尺度图像上虚拟特征点的光流；
11.步骤5)，利用金字塔图像间的尺度关系，对不同尺度图像上虚拟特征点的光流进行融合，得到虚拟特征点光流的计算结果，基于图像标定技术，获取轨道和扣件时域振动信号；
12.步骤6)，对轨道和扣件时域振动信号进行频域分析，得到轨道的固有频率，通过固有频率变化特征对轨道松动进行检测。
13.进一步的，所述步骤2具体为，为提高虚拟特征点的筛选效率，对相机获取的彩色图像逐帧进行灰度化处理，获取灰度图像：
14.i9x,y)＝0.299*r9x,y) 0.579*g9x,y) 0.114*b(x,y)
15.式中：i(x,y)为像素(x,y)的灰度值；r(x,y)、g(x,y)、b(x,y)分别为像素(x,y)的三个通道的像素值。
16.进一步的，所述步骤3具体为，基于图像像素灰度梯度和特征聚类算法对虚拟特征点进行筛选。
17.在本发明中，设第一帧图像像素所计算的水平方向上的梯度集合为采用k-means聚类算法对水平方向上的梯度进行聚类分析：
[0018][0019]
式中：e
x
为水平方向上分类平方和的计算结果，其值最小时，为最佳聚类；v为聚类的种类，在本发明中v为2，v＝1代表轨道区域，v＝2代表其他区域；表示水平方向梯度均值；l为图像像素的数目。
[0020]
设第一帧图像像素所计算的竖直方向上的梯度集合为采用k-means聚类算法对竖直方向上的梯度进行聚类分析：
[0021][0022]
式中：ey为竖直方向上分类平方和的计算结果，其值最小时，为最佳聚类；h为聚类的种类，在本发明中h为2，h＝1代表扣件和枕木区域，h＝2代表其他区域；表示竖直方向梯度均值；l为图像像素的数目。
[0023]
本发明中，设检测出的轨道和扣件区域记为ω＝(ω1,ω2,...,ωq)，q为确定的轨道和扣件的区域数目。利用不同区域内像素灰度极值点作为该区域的虚拟特征点。对于区域ω1，该区域内像素灰度极值表示为：
[0024][0025]
式中：为ω1区域内灰度值最大的点的像素坐标，在本发明中，将该点作为ω1区域虚拟特征点，虚拟特征点的灰度值，i(x,y)为像素(x,y)位置处的灰度值，n2为ω1区域内的像素数目。
[0026]
对不同位置处的轨道和扣件区域内的灰度极值点进行检测，获得不同位置处的虚拟特征点。
[0027]
进一步的，所述步骤4具体为，对于虚拟特征点(k
x
,ky)，基于短时亮度恒定理论及空间一致性假设得到不同尺度下图像的光流方程。选取虚拟特征点邻域窗口大小m
×
m，根据邻域内像素运动一致性原则，虚拟特征点邻域内m
×
m个像素满足：
[0028][0029]
式中：u,v为虚拟特征点(k
x
,ky)在水平和竖直方向上的光流，(k
x-m,k
y-m),
…
,(k
x
m,ky m)分别为虚拟特征点(k
x
,ky)的邻域内像素坐标，iy(k
x
m,ky m)和iy(k
x
m,ky m)分别表示虚拟特征点邻域内像素的灰度在x和y方向上的梯度，i
t
(k
x
m,ky m)表示虚拟特征点邻域内像素的灰度关于时间t的导数。
[0030]
考虑上述方程为超静定方程，在本发明中，采用最小二乘法对方程进行求解，可得任意尺度下虚拟特征点的光流信息。
[0031]
进一步的，所述步骤5具体为，根据图像间的尺度关系，将不同尺度下虚拟特征点的光流信息进行融合，得到虚拟特征点光流。利用虚拟特征点的光流，计算像素坐标系下的轨道和扣件的振动。
[0032]
设不同帧虚拟特征点的光流在水平和竖直方向上分别为{uk,vk|k＝1,2,3,...,k}，单位为像素/帧，k为视频的总帧数，通过虚拟特征点的光流可以得到结构的运动：
[0033][0034]
式中：m
x
、my分别为虚拟特征点在水平和竖直方向上的运动，f为拍摄帧率。
[0035]
在本发明中，采用格子标定板对相机进行标定，通过格子大小与其在像素坐标系下的大小关系获取尺度因子，计算物理坐标系下轨道和扣件的时域振动。
[0036]
设标定的灰度图像为i(x,y)，图像在水平和竖直方向上的灰度梯度分别为：
[0037][0038][0039]
式中：为卷积运算，h
x
、hy分别为x方向及y方向上的梯度算子。
[0040]
梯度幅值为：
[0041][0042]
通过对比梯度幅值可以确定格子在像素坐标系下的大小，记为j，单位为像素(pixel)，格子实际大小为r，单位为毫米(mm)，则尺度因子sf为：
[0043]
[0044]
轨道的时域振动为：
[0045][0046]
式中：s
x
、sy分别为物理坐标系下轨道和扣件在水平和竖直方向上的时域振动。
[0047]
进一步的，所述步骤6具体为，对轨道时域振动信号进行fft分解，得到轨道固有振动频率：
[0048][0049]
通过固有振动频率的变化实时判断轨道是否发生了松动。
[0050]
与现有的轨道松动检测方法相比，本发明的有益效果为：
[0051]
1)测量效率高，能够同时对视野内的所有轨道进行监测；
[0052]
2)无需标记，用虚拟特征点替代了原有的人工标记，具有更广的适用范围。
附图说明
[0053]
图1为本发明中钢轨扣件监测方法的检测装置示意图。
[0054]
图2为本发明中钢轨扣件的监测流程图。
[0055]
图3为基于像素梯度与聚类算法的轨道和扣件区域辨识原理示意图。
[0056]
图4为虚拟特征点的检测示意图。
[0057]
图5为一段时间内像素位置变化及灰度矩阵变化示意图。
[0058]
图6为尺度因子的计算流程示意图。
[0059]
图7为扣件时域振动的计算流程示意图。
具体实施方式
[0060]
下面结合附图和实施例详细说明本发明的实施方式。
[0061]
如图1所示，本发明一种基于摄像的火车轨道松动非接触实时检测方法，采用高速摄像机获取轨道在火车通过或者人为激励下振动视频，利用火车轨道和枕木间交错排布的特征，提出了基于图像像素灰度梯度和特征聚类算法的虚拟特征点检测方法，采用光流算法对虚拟特征点的光流进行计算，进而对轨道的时域振动进行测量，通过fft分解得到轨道固有振动频率，进而通过固有振动频率的变化实时判断轨道是否发生了松动。下面结合附图，对本发明做进一步描述。
[0062]
步骤1：如图2所示，用高速摄像机对轨道扣件的振动进行视频记录。
[0063]
步骤2：为提高虚拟特征点的筛选效率，对相机获取的彩色图像逐帧进行灰度处理，获取灰度图像：
[0064]
i(x,y)＝0.299*r(x,y) 0.579*g(x,y) 0.114*b(x,y)
ꢀꢀꢀꢀ
(1)
[0065]
式中：i(x,y)为像素(x,y)的灰度值；r(x,y)、g(x,y)、b(x,y)分别为像素(x,y)的三个通道的像素值。
[0066]
步骤3：如图3所示，在本发明中，设第一帧图像像素所计算的水平方向上的梯度集
合为采用k-means聚类算法对水平方向上的梯度进行聚类分析：
[0067][0068]
式中：e
x
为水平方向上分类平方和的计算结果，v为聚类的种类，在本发明中v为2，v＝1代表轨道区域，v＝2代表其他区域，表示水平方向梯度均值，l为图像像素的数目。
[0069]
设第一帧图像像素所计算的竖直方向上的梯度集合为采用k-means聚类算法对竖直方向上的梯度进行聚类分析：
[0070][0071]
式中：ey为竖直方向上分类平方和的计算结果，h为聚类的种类，在本发明中h为2，h＝1代表扣件和枕木区域，h＝2代表其他区域，表示竖直方向梯度均值，l为图像像素的数目。
[0072]
在本发明中，如图4所示，设检测出的轨道和扣件区域记为ω＝(ω1,ω2,...,ωq)，q为确定的轨道和扣件的区域数目，在本发明中，利用不同区域内像素灰度极值点作为该区域的虚拟特征点。对于区域ω1，该区域内像素灰度极值表示为：
[0073][0074]
式中：为ω1区域内灰度值最大的点的像素坐标，在本发明中，将该点作为ω1区域虚拟特征点，虚拟特征点的灰度值，i(x,y)为像素(x,y)位置处的灰度值，n2为ω1区域内的像素数目。
[0075]
对不同位置处的轨道和扣件区域内的灰度极值点进行检测，获得不同位置处的虚拟特征点。
[0076]
步骤4：如图5所示，对于虚拟特征点(k
x
,ky)，基于短时亮度恒定理论及空间一致性假设得到不同尺度下图像的光流方程。选取虚拟特征点邻域窗口大小m
×
m，根据邻域内像素运动一致性原则，虚拟特征点邻域内m
×
m个像素满足：
[0077][0078]
式中：u,v为虚拟特征点(k
x
,ky)在水平和竖直方向上的光流，(k
x-m,k
y-m),
…
,(k
x
m,ky m)分别为虚拟特征点(k
x
,ky)的邻域内像素坐标，iy(k
x
m,ky m)和iy(k
x
m,ky m)分别表示虚拟特征点邻域内像素的灰度在x和y方向上的梯度，i
t
(k
x
m,ky m)表示虚拟特征点邻域内像素的灰度关于时间t的导数。
[0079]
考虑上述方程为超静定方程，在本发明中，采用最小二乘法对方程进行求解，可得
任意尺度下虚拟特征点的光流信息。
[0080]
步骤5：根据图像间的尺度关系，将不同尺度下虚拟特征点的光流信息进行融合，得到虚拟特征点光流。利用虚拟特征点的光流，计算像素坐标系下的轨道和扣件的振动。
[0081]
设不同帧虚拟特征点的光流在水平和竖直方向上分别为{uk,vk|k＝1,2,3,...,k}，单位为像素/帧，k为视频的总帧数，通过虚拟特征点的光流可以得到结构的运动：
[0082][0083]
式中：m
x
、my分别为虚拟特征点在水平和竖直方向上的运动，f为拍摄帧率。
[0084]
在本发明中，采用格子标定板对相机进行标定，通过格子大小与其在像素坐标系下的大小关系获取尺度因子，计算物理坐标系下轨道和扣件的时域振动。
[0085]
参考图6和图7，设标定的灰度图像为i(x,y)，图像在水平和竖直方向上的灰度梯度：
[0086][0087]
式中：为卷积运算，h
x
、hy分别为x方向及y方向上的梯度算子。
[0088]
梯度幅值为：
[0089][0090]
通过对比梯度幅值可以确定格子在像素坐标系下的大小，记为j，单位为像素(pixel)，格子实际大小为r，单位为毫米(mm)，则尺度因子sf为：
[0091][0092]
轨道的时域振动为：
[0093][0094]
式中：s
x
、sy分别为物理坐标系下轨道和扣件在水平和竖直方向上的时域振动。
[0095]
步骤6：对轨道时域振动信号进行fft分解，得到轨道固有振动频率：
[0096][0097]
通过固有振动频率的变化实时判断轨道是否发生了松动。