一种基于计算机视觉的动车组裙板状态自动检测方法及系统与流程

1.本发明属于自动检测技术领域，更具体地，涉及一种基于计算机视觉的动车组裙板状态自动检测方法。


背景技术：

2.高铁动车组裙板也被称为全封闭车下设备舱，是一种布置在高铁动车组下车体两侧的挡板。动车组裙板可以起到保护车体及设备、引导车内外气流、方便检修人员查看关键设备等作用。动车组高速运行中会产生振动，再加上其它恶劣因素的影响，会导致裙板松动，这不仅使得裙板原本的作用丧失，还可能危及车上乘客以及铁路工作人员的安全，因此需要对裙板进行检修。
3.目前，相关部门需要在动车组入库的短暂时间里安排专人对每一组裙板的状态进行检查，这不仅耗时耗力，而且容易出现误判及漏判的情况，效率低下。另外，虽然目前已经出现了一些利用计算机视觉检测技术进行动车组故障诊断的方案，但是其多聚焦在车体附着异物的识别和零部件缺损的识别上，例如检测裙板上螺栓的缺失等。这些方案的问题在于，实际上零部件缺失这种情况发生的频率是非常小的，通常紧固件并不是完全掉落，而是有所松动。对于裙板而言，振动可能会导致裙板松动，但是此时紧固件依然存在，传统检测方法的检出率就会大大降低。如果能检测出裙板绕底部折页接口的旋转状态的变化，就可以对裙板可能出现的进一步松动做出预警，从而降低危险情况发生的可能性。


技术实现要素：

4.针对现有技术的至少一个缺陷或改进需求，本发明提供了一种基于计算机视觉的列车裙板状态自动检测方法及系统，可以实现非接触式地测算裙板与列车侧壁所成的夹角，从而提前预警裙板可能出现的松动甚至脱落等危险情况。
5.为实现上述目的，按照本发明的第一方面，提供了一种基于计算机视觉的列车裙板状态自动检测方法，预先在每个裙板上布置至少两个涂有指定颜色且互相平行的色条，预先在安装裙板的车体侧壁上布置至少两个涂有指定颜色且互相平行的色条，且裙板上的色条与车体侧壁上的色条的长边均垂直于裙板转动轴，采集裙板和车体侧壁的图像，在图像中识别裙板及车体侧壁上的色条，根据色条识别结果计算裙板转动角度。
6.进一步地，所述识别裙板及车体侧壁上的色条前，包括：
7.对采集图像的相机进行标定，获得相机内参矩阵和畸变系数，利用相机内参矩阵和畸变系数对图像进行校正。
8.进一步地，所述识别裙板上的色条与车体侧壁上的色条前，还包括：
9.将校正后的图像变换到hsv颜色空间下的图像；
10.将hsv颜色空间下的图像进行直方图均衡化；
11.将直方图均衡化后的图像进行hsv三通道分离，并根据色条的颜色选取h通道阈值，利用h通道阈值将分离后的图像进行二值化处理，获得二值化图像；
12.对二值化图像进行降噪处理；
13.对降噪处理后的图像进行形态学处理。
14.进一步地，所述识别裙板及车体侧壁上的色条包括：
15.对图像进行轮廓提取操作，获得多个轮廓对应的多组点集合；
16.对每组点集合采用最小包围矩形拟合轮廓，根据矩形确定裙板及车体侧壁的色条。
17.进一步地，裙板及车体侧壁的色条均满足预设面积范围要求和长宽比范围要求，所述根据矩形确定裙板及车体侧壁的色条包括：
18.将所有矩形的四个顶点坐标解算出来；
19.根据每个矩形的顶点坐标确定矩形的长和宽，只保留矩形长边垂直于裙板转动轴，且满足预设面积范围要求和长宽比范围要求的矩形。
20.进一步地，所述根据色条识别结果计算裙板转动角度包括：
21.对每个识别到的色条，求解与色条长边平行的色条对称轴直线方程；
22.识别属于裙板的色条对称轴直线方程和属于车体侧壁的色条对称轴直线方程；
23.分别求解属于裙板的色条对称轴直线方程的灭点坐标及属于车体侧壁的色条对称轴直线方程的灭点坐标；
24.根据灭点坐标和相机内参矩阵计算裙板及车体侧壁的比例因子；
25.根据裙板及车体侧壁的比例因子、灭点坐标及相机内参矩阵计算裙板与车体侧壁的夹角。
26.进一步地，若裙板上的色条数量不少于三个，车体侧壁上的色条数量不少于三个，所述求解属于裙板的色条对称轴直线方程的灭点坐标包括：
27.将属于裙板的色条对称轴直线方程两两联立，求解出裙板上的多个灭点坐标，通过最小二乘法对裙板上的多个灭点坐标进行拟合，获得裙板的灭点坐标精确值；
28.将属于车体侧壁的色条对称轴直线方程两两联立，求解出车体侧壁上的多个灭点坐标，通过最小二乘法对车体侧壁上的多个灭点坐标进行拟合，获得车体侧壁的灭点坐标精确值。
29.进一步地，采用以下公式计算裙板及车体侧壁的比例因子：
[0030][0031]
式中，(u1，υ1)为裙板对应的灭点坐标，(u2，υ2)为车体侧壁对应的灭点坐标，k为相机内参矩阵记，ρ1、ρ2分别为裙板及车体侧壁的比例因子，t表示矩阵倒置；
[0032]
采用以下公式计算裙板与车体侧壁的夹角：
[0033][0034]
式中，θ为裙板和侧壁所成的夹角。
[0035]
进一步地，通过在列车轨道两侧布置ccd相机来采集列车裙板及车体侧壁的图像。
[0036]
按照本发明的第二方面，提供了一种基于计算机视觉的列车裙板状态自动检测系
统，包括：
[0037]
包括图像采集模块，用于采集裙板和车体侧壁的图像，其中裙板上被预先布置至少两个涂有指定颜色且互相平行的色条，车体侧壁上被预先布置至少两个涂有指定颜色且互相平行的色条，且裙板上的色条与车体侧壁上的色条的长边均垂直于裙板转动轴；
[0038]
数据处理模块，用于在图像中识别裙板及车体侧壁上的色条，根据色条识别结果计算裙板转动角度。
[0039]
总体而言，本发明与现有技术相比，具有有益效果：实现了精密化、自动化、非接触式的裙板与列车侧壁夹角测量，从而提前预警裙板可能出现的松动甚至脱落等危险情况，并且方法简单直接，硬件条件要求较低。具体表现在：
[0040]
(1)可以获得关于动车组裙板位姿较为精细的信息，可以自动发现裙板细微的变化，从而提前预警裙板可能发生的失效情况，提升了动车组缺陷自动检测系统的安全保障性和故障检出率。
[0041]
(2)使用颜色识别这样一种目标识别方式，相比于直线检测更为直接，降低了检测的复杂度，避免了无关物的干扰以及大量筛除无关物的操作，还可以提高检测的准确性。
[0042]
(3)在本方案中只要求对每一块裙板拍摄一张彩色图片，据此即可算出位姿信息，这样也降低了对硬件的相关要求。
附图说明
[0043]
图1是本发明实施例的列车裙板及车体侧壁示意图；
[0044]
图2是本发明实施例的图像采集示意图。
具体实施方式
[0045]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0046]
如图1所示，本发明实施例的一种基于计算机视觉的列车裙板状态自动检测方法，预先在每个裙板1上布置至少两个涂有指定颜色且互相平行的色条3，预先在安装裙板的车体侧壁2上布置至少两个涂有指定颜色且互相平行的色条4，且裙板上的色条与车体侧壁上的色条的长边均垂直于裙板转动轴5，采集裙板和车体侧壁的图像，在图像中识别裙板及车体侧壁上的色条，根据色条识别结果计算裙板转动角度。
[0047]
色条被涂有指定颜色，可以但不限于蓝色。图1中示出了2个裙板，其中1个裙板为闭合状态，另一个裙板为打开状态，每个裙板均预先布置了2个色条，该裙板附近的车体侧壁上也预先布置了2个色条。
[0048]
如图2所示，通过在列车轨道两侧布置ccd相机来采集列车裙板和侧壁的图像。
[0049]
在另一个实施例中，本发明实施例的一种基于计算机视觉的列车裙板状态自动检测方法，包括步骤(1)至(16)。
[0050]
(1)使用固定焦距的ccd工业相机和一块相机参数标定板对相机进行标定，从而获取相机的内部参数矩阵k及其畸变系数；在动车组的裙板和侧壁上的合适位置涂上指定颜
色的色条。假设一个裙板上有n个，与其对应的车体侧壁上有n个。
[0051]
当动车组驶过布置在轨道两侧的ccd工业相机时，相机连续获取动车组的侧面照片。
[0052]
获取图像之后可以通过计算机利用前面获得的相机内参矩阵及畸变系数来实时地校正所摄图像。通常使用ccd相机进行物体的成像时，会涉及到信息在几个坐标系间的转换。物体的世界坐标到摄像机坐标、再到图像物理坐标、再到图像像素坐标，而由于透镜成像原理，相机成像中不可避免会产生一定的畸变，这就需要对所摄图像进行校正。
[0053]
(2)使用计算机视觉相关软件将上一步中得到的图像从r(红色)g(绿色)b(蓝色)的颜色空间变换到h(色相)s(饱和度)v(色调)颜色空间。h、s、v值均为r、g、b三个值的函数，转换方法可以有多种选择。
[0054]
(3)将上一步得到的结果进行直方图均衡化。通常，暗图像直方图的分量集中在灰度值较低的一端，而亮图像直方图分量偏向于分布在灰度级较高的一端。如果一副图像的灰度直方图几乎覆盖整个灰度的取值范围，同时整个灰度值分布近似于均匀分布，那么图像就具有较大的灰度动态范围和较高的对比度，其细节会更加丰富。如此处理是为了方便后续的识别。
[0055]
(4)将上一步得到的结果进行h、s、v三通道分离，并根据所施涂功能色条的具体颜色选取h通道阈值，进而将整个图像二值化，从而识别出裙板和车体侧壁上的色条。但是此时也可能会识别到干扰部分，后续将进行处理。h通道阈值的选取与色条颜色有关。
[0056]
(5)将上一步得到的结果进行中值滤波以及高斯滤波等图像预处理操作。通常直接获得的图像伴随着许多噪声，来源可能是硬件设备缺陷、图像传输、编解码不当、采集环境影响等，为了提升后续识别的可靠性，必须处理这些图像中的噪声。中值滤波常用来处理图像中的椒盐噪声，同时可以使得信号边沿不被噪声或滤波方法本身所模糊。高斯滤波常用来消除高斯噪声。这些操作目的都是降噪。
[0057]
(6)将上一步得到的结果进行开操作、闭操作以及膨胀的形态学处理，以达到减小无关物干扰和增强拟合精度的目的。上一步中获得二值化图像以后，色条(或者其它无关干扰物)与背景分别为黑色(灰度值为0)和白色(灰度值为255)，或者相反(白色及黑色，两种方法都可以)。实际上，这里进行的是腐蚀-膨胀-膨胀-腐蚀-膨胀的过程。其中开操作使得二值图轮廓更为光滑、使狭窄连接断开、消除毛刺，闭操作使得轮廓光滑、弥合狭窄间断、填充细小孔洞。
[0058]
(7)将上一步得到的结果进行轮廓提取的操作，获得多个轮廓对应的多组点集合。在图像中，提取出的多个轮廓应当是多组点集合，这些点反映二值图像中目标对象的轮廓拓扑信息。
[0059]
(8)对每组点集合采用最小包围矩形拟合轮廓，根据矩形确定裙板及车体侧壁的色条。
[0060]
此时，图像中依然可能有非色条对应的矩形，例如图1车体上方横向矩形，此时需要设计算法将非色条对应的矩形筛选掉。
[0061]
因此优选采用以下处理方法：预先确定裙板及车体侧壁的色条满足的面积范围要求和长宽比范围要求；将图像中所有矩形的四个顶点坐标解算出来，首先将所有的顶点坐标分组求距离，由于涂有指定颜色的色条长边均垂直于裙板转动轴，依据顶点之间的距离
判断对应矩形的方向，从而筛选掉矩形长边不垂直于裙板转动轴的矩形，需要注意的是，由于考虑到喷涂色条时的操作误差，这里并非严格垂直，而是在一定范围阈值内即可；接着依据解算出的顶点坐标求算剩余每一个矩形的面积和长宽比，并与色条对应矩形面积范围要求和长宽比范围要求进行循环对比，筛选掉过大及过小的矩形，只保留满足预设面积范围要求和长宽比范围要求的矩形，至此，将可靠地得到所有色条所对应的矩形坐标信息。
[0062]
(9)将上一步得到的结果中的矩形分别各自求得与自身长边平行的色条对称轴直线方程。这样处理之后，图像中每一个矩形都对应一个对称轴直线方程。
[0063]
(10)上一步得到的结果中，对称轴直线方程都被存储在一定的数据结构中。接下来，求算每一个矩形各自的质心坐标，按照它们在图像中的纵坐标进行聚类，从而实现分类，即将所有矩形的对称轴直线方程分为两类：属于裙板的对称轴直线方程和属于车体侧壁的对称轴直线方程。
[0064]
(11)将上一步中分类好的直线方程按照类别，将同一类中的直线两两联立求解出个灭点坐标。灭点是指现实世界中的平行线在相机中成像时所形成的交点，换句话说，灭点可以看作无限远处一点形成的像点。
[0065]
(12)在上一步的结果中，一共有两类灭点，各个，再将其分别各自通过最小二乘法拟合出一个更为精确的灭点坐标，得到两个灭点坐标，它们分别属于裙板和侧壁。若裙板上及车体侧壁上的色条数据均为两个，则不需要进行此步骤，直接通过上一步骤即可获得各自唯一的灭点坐标。
[0066]
(13)利用上一步中得到的灭点坐标和之前得到的相机内参矩阵k解算裙板及侧壁的比例因子ρ1、ρ2，公式为(1)。
[0067][0068]
式中，(u1，υ1)为裙板对应的灭点坐标，(u2，υ2)为车体侧壁对应的灭点坐标，k为将相机内参矩阵记，ρ1、ρ2分别为裙板及车体侧壁的比例因子，t表示矩阵倒置。
[0069]
(14)利用上一步中得到的属于裙板和侧壁的比例因子ρ1、ρ2以及灭点坐标(u1，υ1)、(u2，υ2)，并结合相机内参矩阵k，可以求得裙板和侧壁所成的夹角余弦值，公式为(2)。
[0070][0071]
式中，θ为裙板和侧壁所成的夹角。
[0072]
(15)利用上一步中得到夹角余弦值，通过反余弦函数求得裙板和侧壁所成的夹角，从而获得裙板位姿状态的精确信息。
[0073]
(16)将上一步中得到的角度信息进行存储、汇总和对比，进而结合人为设定的阈值来判断裙板是否发生不可忍受的松动，从而通过信息系统向相关人员发出警告。
[0074]
本发明实施例的一种基于计算机视觉的列车裙板状态自动检测系统，包括：
[0075]
包括图像采集模块，用于采集裙板和车体侧壁的图像，其中裙板上被预先布置至
少两个涂有指定颜色且互相平行的色条，车体侧壁上被预先布置至少两个涂有指定颜色且互相平行的色条，且裙板上的色条与车体侧壁上的色条的长边均垂直于裙板转动轴；
[0076]
数据处理模块，用于在图像中识别裙板及车体侧壁上的色条，根据色条识别结果计算裙板转动角度。
[0077]
系统的实现原理、技术效果与上述方法类似，此处不再赘述。
[0078]
必须说明的是，上述任一实施例中，方法并不必然按照序号顺序依次执行，只要从执行逻辑中不能推定必然按某一顺序执行，则意味着可以以其他任何可能的顺序执行。
[0079]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。