一种基于深度学习的列车侧部裙板丢失故障的检测方法与流程

1.本发明属于列车侧部裙板丢失故障检测技术领域，具体涉及一种基于深度学习的列车侧部裙板丢失故障的检测方法。


背景技术：

2.动车组侧部裙板部位有多种盖板、格栅、电池箱等部件，侧部裙板保护着动车组侧部的各种零部件，对列车的安全行驶有着重要的作用。但是列车高速运行的过程中容易出现侧部裙板丢失状况，如果不及时发现，将会严重危及行车安全。采用人工检查图像的方式进行故障检测时，由于动车组运行的密度大，检车时间短，检车人员在工作过程中极易出现疲劳、遗漏等情况，造成对侧部裙板丢失故障的漏检、错检，影响行车安全。因而，为了克服人工检测方法存在的不足，现有方法通过图像处理算法对侧部裙板丢失故障进行识别。但是由于光照，天气等外界因素的影响，将使得采集到的列车图像质量不一，而传统的图像处理算法对图像质量依赖性强，造成故障识别算法泛化能力差。


技术实现要素：

3.本发明的目的是为解决传统故障识别算法的泛化能力差的问题，而提出一种基于深度学习的列车侧部裙板丢失故障的检测方法。
4.本发明为解决上述技术问题所采取的技术方案是：一种基于深度学习的列车侧部裙板丢失故障的检测方法，该方法包括以下步骤：
5.步骤一、获取列车侧部图像，并从获取的图像中截取出裙板部件所在区域的图像；
6.步骤二、将步骤一中截取出的图像作为输入图像，将输入图像输入到训练好的yolof网络；
7.yolof网络的结构包括backbone模块、encoder模块和head模块，输入图像输入backbone模块后，将backbone模块的输出结果输入到encoder模块，再将encoder模块的输出结果输入到head模块，通过head模块输出故障检测结果；
8.encoder模块包括第一卷积层、第二卷积层和串联的4个不同空洞率的残差单元，backbone模块的输出依次经过encoder模块的第一卷积层和第二卷积层后，第二卷积层的输出结果输入第一残差单元，将第二卷积层的输出结果与第一残差单元的输出结果相融合，得到融合结果a1；
9.将融合结果a1输入第二残差单元，融合结果a1再与第二残差单元的输出结果相融合，得到融合结果b1；
10.将融合结果b1输入到第三残差单元，融合结果b1再与第三残差单元的输出结果相融合，得到融合结果c1；
11.将融合结果c1输入到第四残差单元，融合结果c1再与第四残差单元的输出结果相融合，获得融合结果d1，将融合结果d1作为encoder模块的输出结果。
12.进一步地，步骤一的具体过程为：
13.利用设置在列车轨道周围的成像设备采集列车侧部图像，参考车轴在列车侧部图像中的位置，从采集的图像中截取出裙板部件所在区域的图像。
14.进一步地，裙板部件所在区域的图像包括侧部转向架处的裙板图像以及侧部非转向架处的裙板图像。
15.进一步地，第一残差单元的空洞率为1，第二残差单元的空洞率为3，第三残差单元的空洞率为5，第四残差单元的空洞率为7。
16.进一步地，backbone模块的结构具体为：
17.从backbone模块的输入端开始，backbone模块依次包括卷积层、最大池化层、第一卷积块、第二卷积块、第三卷积块和第四卷积块，其中：
18.第一卷积块包括3个串联的卷积单元，第二卷积块包括4～8个串联的卷积单元，第三卷积块包括6～36个串联的卷积单元，第四卷积块包括3个串联的卷积单元；每个卷积单元均包含3个卷积层。
19.进一步地，backbone模块中，第一卷积块的每个卷积单元均包括一个64通道1*1卷积核大小的卷积层、一个64通道3*3卷积核大小的卷积层以及一个256通道1*1卷积核大小的卷积层；
20.第二卷积块的每个卷积单元均包括一个128通道1*1卷积核大小的卷积层、一个128通道3*3卷积核大小的卷积层以及一个512通道1*1卷积核大小的卷积层；
21.第三卷积块的每个卷积单元均包括一个256通道1*1卷积核大小的卷积层、一个256通道3*3卷积核大小的卷积层以及一个1024通道1*1卷积核大小的卷积层；
22.第四卷积块的每个卷积单元均包括一个512通道1*1卷积核大小的卷积层、一个512通道3*3卷积核大小的卷积层以及一个2048通道1*1卷积核大小的卷积层。
23.进一步地，head模块用于对encoder模块的输出结果进行分类和回归，若head模块的输出结果为图像中有目标属于侧部裙板丢失故障、得分score大于等于分数阈值且裙板丢失位置的最小外接矩形的长大于设定的长度阈值、宽大于设定的宽度阈值，则认为输入图像中存在侧部裙板丢失故障，否则不存在侧部裙板丢失故障。
24.进一步地，head模块进行分类时，采用的损失函数为：
[0025][0026]
其中，l
fl
为损失函数，α是平衡因子，γ是调节因子，y
′
是经过head模块的激活函数后检测结果的概率，y是真实标签的概率。
[0027]
进一步地，head模块进行回归时，采用的损失函数giou_loss为：
[0028][0029][0030]
giou_loss＝1
‑
giou
[0031]
其中，a是预测框，b是目标框，iou是交并比，c是预测框和目标框的最小外接矩形。
[0032]
更进一步地，yolof网络的训练过程为：
[0033]
对历史采集的列车侧部转向架处的裙板所在区域图像和列车侧部非转向架处的裙板所在区域图像进行数据扩增，对数据扩增后的图像进行标记，将图像中的裙板丢失故障标记为正样本，将图像中的水渍、油渍以及列车的其它部件标记为负样本，再利用标记好的图像对yolof网络进行训练；
[0034]
直至达到设置的最大训练次数或yolof网络的检测准确率不再提升时停止训练，获得训练好的yolof网络。
[0035]
本发明的有益效果是：本发明提出一种基于深度学习的列车侧部裙板丢失故障的检测方法，本发明在列车轨道周围搭建高清成像设备，当列车通过设备后即可获取高清图像；将车轴的位置作为参考，获得侧部转向架处小裙板所在区域图像和非转向架处的裙板所在区域图像，然后利用训练好的yolof网络结构对获得的侧部裙板所在区域图像进行丢失故障的检测，最后对裙板丢失的故障进行上传报警，工作人员根据识别结果进行相应的处理，保证列车安全运行。
[0036]
本发明方法通过神经网络层对特征进行提取，可以更加充分的利用图像的信息，在yolof网络模型训练过程中，需要利用批量样本图像作为训练集，这样yolof网络模型的参数训练就考虑了批量样本的特征，在检测时就降低了对单一图像质量的依赖性；而且，本发明设计的yolof网络模型中包含encoder模块，encoder模块通过串联多个不同空洞率的残差单元来覆盖不同大小物体，从而得到不同感受野的特征，保证多尺寸侧部裙板丢失故障都能得到检测；当采集到的待检测图像的质量欠佳或者裙板部件图像的尺寸变化时，本发明利用yolof网络模型仍然可以实现高精度的检测，具有更好的泛化能力。
附图说明
[0037]
图1为本发明方法的流程图；
[0038]
图2为backbone模块的网络结构图；
[0039]
图3为encoder模块的网络结构图。
具体实施方式
[0040]
需要特别说明的是，在不冲突的情况下，本技术公开的各个实施方式之间可以相互组合。
[0041]
具体实施方式一、结合图1和图3说明本实施方式。本实施方式的一种基于深度学习的列车侧部裙板丢失故障的检测方法，该方法具体通过以下步骤实现：
[0042]
步骤一、获取列车侧部图像，并从获取的图像中截取出裙板部件所在区域的图像；
[0043]
步骤二、将步骤一中截取出的图像作为输入图像，将输入图像输入到训练好的yolof网络；
[0044]
yolof网络的结构包括backbone模块、encoder模块和head模块，输入图像输入backbone模块后，将backbone模块的输出结果输入到encoder模块，再将encoder模块的输出结果输入到head模块，通过head模块输出故障检测结果；
[0045]
encoder模块包括第一卷积层、第二卷积层和串联的4个不同空洞率的残差单元，backbone模块的输出依次经过encoder模块的第一卷积层和第二卷积层后，第二卷积层的输出结果输入第一残差单元，将第二卷积层的输出结果与第一残差单元的输出结果相融
合，得到融合结果a1；
[0046]
将融合结果a1输入第二残差单元，融合结果a1再与第二残差单元的输出结果相融合，得到融合结果b1；
[0047]
将融合结果b1输入到第三残差单元，融合结果b1再与第三残差单元的输出结果相融合，得到融合结果c1；
[0048]
将融合结果c1输入到第四残差单元，融合结果c1再与第四残差单元的输出结果相融合，获得融合结果d1，将融合结果d1作为encoder模块的输出结果。
[0049]
如果将backbone模块的输出特征直接输入到head模块进行处理，算法将无法应对列车侧部裙板丢失故障检测场景中，裙板尺寸变化大的目标检测。对于列车侧部的裙板，转向架处的裙板和非转向架处的裙板图像尺寸大小差异很大(转向架处的裙板比较小)，因此，将导致算法(此处的算法指将backbone模块的输出特征直接输入到head模块进行处理)对裙板故障检测的准确率很低。本发明方法设计了包含encoder模块的yolof网络，encoder模块通过串联多个不同空洞率的模块用以覆盖不同大小物体，改善感受野单一的问题，从而得到不同感受野的特征，保证多尺寸侧部裙板丢失故障都能得到检测，使网络很好的应对裙板尺寸的变化，提高裙板故障检测的准确率。
[0050]
本实施方式中采用图像自动识别的方式可以提高故障检测的效率和稳定性。由于不同天气，环境因素的影响，导致不同时间下拍摄的图像的灰度不一，通过yolof的深度学习网络结构对侧部裙板进行故障检测，一方面可以提高故障检测算法的泛化性，避免天气光照等外界因素对图像质量产生影响，进而影响故障识别的问题，另一方面，yolof这种simo方式的特征提取，相比mimo方式的算法复杂度降低，在对整车大量裙板图像进行识别的时候，能够提高检测效率，为保证达到列均故障检查时间目标提供了前提条件。同时解决了裙板丢失真实故障偏少，数据集受侧部注水口等部件多的负样本影响的问题。
[0051]
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一的具体过程为：
[0052]
利用设置在列车轨道周围的成像设备采集列车侧部图像，参考车轴在列车侧部图像中的位置，从采集的图像中截取出裙板部件所在区域的图像。
[0053]
采用线扫描的方式，在列车通过成像设备后，可以形成视野广、精度高的二维高清图像。参考列车车轴的位置，将侧部裙板分为转向架处裙板和非转向架处裙板两部分，分别对这两部分的裙板图像进行截取，然后再对两部分图像进行识别处理，可以减少整车侧部裙板图像处理所占用的时间，提升识别准确率。
[0054]
具体实施方式三：本实施方式与具体实施方式一或二不同的是：裙板部件所在区域的图像包括侧部转向架处的裙板图像以及侧部非转向架处的裙板图像。
[0055]
具体实施方式四：本实施方式与具体实施方式一不同的是：第一残差单元的空洞率为1，第二残差单元的空洞率为3，第三残差单元的空洞率为5，第四残差单元的空洞率为7。
[0056]
具体实施方式五：本实施方式与具体实施方式一不同的是：backbone模块的结构具体为：
[0057]
从backbone模块的输入端开始，backbone模块依次包括卷积层、最大池化层、第一卷积块、第二卷积块、第三卷积块和第四卷积块，其中：
[0058]
第一卷积块包括3个串联的卷积单元，第二卷积块包括4～8个串联的卷积单元，第
三卷积块包括6～36个串联的卷积单元，第四卷积块包括3个串联的卷积单元；其中，每个卷积单元均包含3个卷积层。
[0059]
本发明采用的backbone模块中，第二卷积块和第三卷积块分别包括4个和6个串联的卷积单元，backbone模块的示意图如图2所示。
[0060]
具体实施方式六：本实施方式与具体实施方式五不同的是：backbone模块中，第一卷积块的每个卷积单元均包括一个64通道1*1卷积核大小的卷积层、一个64通道3*3卷积核大小的卷积层以及一个256通道1*1卷积核大小的卷积层；
[0061]
第二卷积块的每个卷积单元均包括一个128通道1*1卷积核大小的卷积层、一个128通道3*3卷积核大小的卷积层以及一个512通道1*1卷积核大小的卷积层；
[0062]
第三卷积块的每个卷积单元均包括一个256通道1*1卷积核大小的卷积层、一个256通道3*3卷积核大小的卷积层以及一个1024通道1*1卷积核大小的卷积层；
[0063]
第四卷积块的每个卷积单元均包括一个512通道1*1卷积核大小的卷积层、一个512通道3*3卷积核大小的卷积层以及一个2048通道1*1卷积核大小的卷积层。
[0064]
backbone模块的工作过程为：
[0065]
(1)输入的图像经过64通道7*7conv，stride＝2的卷积层的计算，然后再经过3*3，stride＝2的maxpool的计算，得到c1特征层；
[0066]
(2)将(1)得到的结果先后通过3个由64通道1*1conv，64通道3*3conv，256通道1*1conv卷积组成的卷积块，得到c2特征层；
[0067]
(3)将(2)得到的结果先后通过4个由128通道1*1conv，128通道3*3conv，512通道1*1conv卷积组成的卷积块，得到c3特征层；
[0068]
(4)将(3)得到的结果先后通过6个由256通道1*1conv，256通道3*3conv，1024通道1*1conv卷积组成的卷积块，得到c4特征层；
[0069]
(5)将(4)得到的结果先后通过3个由512通道1*1conv，512通道3*3conv，2048通道1*1conv卷积组成的卷积块，得到c5特征层。
[0070]
具体实施方式七：本实施方式与具体实施方式一不同的是：head模块用于对encoder模块的输出结果进行分类和回归，若head模块的输出结果为图像中有目标属于侧部裙板丢失故障、得分score大于等于分数阈值且裙板丢失位置的最小外接矩形的长大于设定的长度阈值、宽大于设定的宽度阈值，则认为输入图像中存在侧部裙板丢失故障，否则不存在侧部裙板丢失故障。
[0071]
根据实际截取裙板子图的大小来设定对应的长、宽阈值，由于裙板子图中有类似注水口/排污口等部件，所以设定的长宽阈值需要大于子图中注水口/排污口等部件的长宽，以减少排污口/注水口等部件盖板丢失故障引起的误报。分数阈值的取值为0.7。最后将故障位置的box(左上点和右下点的坐标)映射到整个列车图像坐标上，生成报文信息。
[0072]
具体实施方式八：本实施方式与具体实施方式七不同的是：head模块进行分类时，采用的损失函数为：
[0073][0074]
其中，l
fl
为损失函数，α是平衡因子，γ是调节因子，y
′
是经过head模块的激活函数
后检测结果的概率，y是真实标签的概率。
[0075]
通过γ因子的调节减少易分类样本的损失，让训练出来的模型更加关注困难的、错分的样本。α是平衡因子，通过α参数的调节，用来平衡正负样本本身比例的不均匀，提高检测的准确率。
[0076]
具体实施方式九：本实施方式与具体实施方式七不同的是：head模块进行回归时，采用的损失函数giou_loss为：
[0077][0078][0079]
giou_loss＝1
‑
giou
[0080]
其中，a是预测框，b是目标框，iou是交并比，c是预测框和目标框的最小外接矩形。
[0081]
giou具有尺度不变性，不仅关注重叠区域，还关注非重合区域，解决了无重叠框之间差距无法评估的问题。当预测框和目标框完全重叠：giou＝iou＝1；当预测框和目标框无重叠，giou随着距离增大而减小，趋近于
‑
1。
[0082]
具体实施方式十：本实施方式与具体实施方式一不同的是：yolof网络的训练过程为：
[0083]
对历史采集的列车侧部转向架处的裙板所在区域图像和列车侧部非转向架处的裙板所在区域图像进行数据扩增，对数据扩增后的图像进行标记，将图像中的裙板丢失故障标记为正样本，将图像中的水渍、油渍以及列车的其它部件标记为负样本，再利用标记好的图像对yolof网络进行训练；
[0084]
直至达到设置的最大训练次数或yolof网络的检测准确率不再提升时停止训练，获得训练好的yolof网络。
[0085]
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。