一种基于深度学习的铁路货车管盖脱落故障识别方法与流程

1.本发明涉及图像处理技术领域，具体为一种基于深度学习的铁路货车管盖脱落故障识别方法。


背景技术：

2.铁路货车加热及排油装置主要由内置排管式加热装置和排油装置组成，包括内加热排管与外进汽排水管路。加热管盖与排油管盖可保证装置正常工作，货车行驶过程中，若排油管盖脱落会导致漏油，若加热管盖脱落会导致管内进水，堵塞管路。
3.现有技术中处理检测零部件异常采用深度学习方法，但深度学习方法难以直接检测大分辨率图像，进而给利用深度学习检测铁路货车管盖脱落故障设置了障碍。


技术实现要素：

4.本发明的目的是：针对现有技术中难以直接检测大分辨率图像的问题，提出一种基于深度学习的铁路货车管盖脱落故障识别方法。
5.本发明为了解决上述技术问题采取的技术方案是：
6.一种基于深度学习的铁路货车管盖脱落故障识别方法，包括：
7.步骤一：获取铁路货车线阵图像；
8.步骤二：对线阵图像中加热管与排油管区域图像进行标记，构建训练集1；
9.步骤三：对线阵图像中加热管盖与排油管盖的区域图像进行标记，构建训练集2；
10.步骤四：利用线阵图像和训练集1、线阵图像和训练集2分别训练faster rcnn网络，得到加热管与排油管检测网络和加热管盖与排油管盖检测网络；
11.步骤五：将待识别图像输入加热管与排油管检测网络得到包含加热管与排油管区域的子图像，然后将包含加热管与排油管区域的子图像输入加热管盖与排油管盖检测网络进行管盖脱落故障识别。
12.进一步的，所述faster rcnn网络为改进的faster rcnn网络，所述改进的faster rcnn网络具体执行如下步骤：
13.步骤四一：获取训练集中标签样本，计算ground-truth box的长宽比，并计算ground-truth box长宽比的均值然后生成1:1与三种区域；
14.步骤四二：利用ciou将1:1与三种区域与真实标签样本进行重合度计算及将三种区域根据重合度由大到小的排序，并根据排序结果选取前目标数量个候选框区域；
15.步骤四三；将排序选取结果与真实标签样本重合区域中所有特征点进行回归操作，得到偏移量；
16.步骤四四：对所有特征点进行回归操作后，计算所有偏移量的平均值，将得到的所有偏移量的平均值作为最终的偏移量，之后将回归后的特征图送入全连接层，得到类别信息。
17.进一步的，所述均值表示为：
[0018][0019]
其中，n表示样本总数，ri表示第i个ground-truth box长宽比的均值。
[0020]
进一步的，所述ciou表示为：
[0021][0022]
其中，b，b
gt
分别代表预测框和真实框的中心点，p代表预测框和真实框中心点之间的欧氏距离，c表示两个区域最小外接矩形的对角线的距离，a是权重函数，v表示预测框和标注框的相似性参数。
[0023]
进一步的，所述回归操作表示为：
[0024]
li＝(x
i-x
l
)/w
p
，ti＝(y
i-y
t
)/h
p
，
[0025]ri
＝(x
r-xi)/w
p
，bi＝(y
b-yi)/h
p
.
[0026]
其中(x1，y
t
)与(xr，yb)分别为真实标签左上角与右下角的坐标，(xi，yi)为特征点的坐标，li，ti，ri，bi表示特征点在左，上，右，下方向的偏移量，w
p
，h
p
为候选区域宽高。
[0027]
进一步的，所述预测框和标注框的相似性参数表示为：
[0028][0029]
其中，w，h，w
gt
，h
gt
分别表示预测框和真实框的宽和高。
[0030]
进一步的，所述权重函数表示为：
[0031][0032]
进一步的，所述改进的faster rcnn网络损失函数为：
[0033][0034]
其中，ncls表示一批数据中所有样本的数量，nreg表示rpn生成的锚框位置个数，λ表示平衡分类损失与回归损失的参数，pi表示第i个样本预测为真实标签的概率，pi*当第i个样本为正样本时为1，负样本时为0，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。
[0035]
进一步的，所述步骤二之前对待测图像进行高斯滤波处理。
[0036]
进一步的，所述高斯滤波表示为：
[0037][0038]
其中，x，y为像素坐标，σ为标准差。
[0039]
本发明的有益效果是：
[0040]
1、将自动识别技术引入货车故障检测，实现故障自动识别及报警，操作人员只需对报警结果进行确认，有效节约人力成本，提高作业质量和作业效率；
[0041]
2、提出了一种分级式的检测方法，先将管盖部件及其周围区域视作整体进行检
测，之后对该区域进行二次检测，解决了深度学习方法难以直接检测大分辨率图像的问题；
[0042]
3、对网络中的针对检测目标，优化网络中的锚框生成方法，提高检测准确率；
[0043]
4、优化锚框交并比计算方式，使用完全交并比(complete iou)，同时考虑锚框距离以及形状相似性。
附图说明
[0044]
图1为中间部图像示意图；
[0045]
图2为增强后的中间部图像示意图；
[0046]
图3为faster rcnn网络结构图；
[0047]
图4为排油管盖图像；
[0048]
图5为加热管盖图像；
[0049]
图6为故障识别流程。
具体实施方式
[0050]
需要特别说明的是，在不冲突的情况下，本技术公开的各个实施方式之间可以相互组合。
[0051]
具体实施方式一：参照图6具体说明本实施方式，本实施方式所述的一种基于深度学习的铁路货车管盖脱落故障识别方法，包括：
[0052]
步骤一：获取铁路货车线阵图像；
[0053]
步骤二：对线阵图像中加热管与排油管区域图像进行标记，构建训练集1；
[0054]
步骤三：对线阵图像中加热管盖与排油管盖的区域图像进行标记，构建训练集2；
[0055]
步骤四：利用线阵图像和训练集1、线阵图像和训练集2分别训练faster rcnn网络，得到加热管与排油管检测网络和加热管盖与排油管盖检测网络；
[0056]
步骤五：将待识别图像输入加热管与排油管检测网络得到包含加热管与排油管区域的子图像，然后将包含加热管与排油管区域的子图像输入加热管盖与排油管盖检测网络进行管盖脱落故障识别。
[0057]
具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是faster rcnn网络为改进的faster rcnn网络，改进的faster rcnn网络具体执行如下步骤：
[0058]
步骤四一：获取训练集中标签样本，计算ground-truth box的长宽比，并计算ground-truth box长宽比的均值然后生成1:1与三种区域；
[0059]
步骤四二：利用ciou将1:1与三种区域与真实标签样本进行重合度计算及将三种区域根据重合度由大到小的排序，并根据排序结果选取前目标数量个候选框区域；
[0060]
步骤四三；将排序选取结果与真实标签样本重合区域中所有特征点进行回归操作，得到偏移量；
[0061]
步骤四四：对所有特征点进行回归操作后，计算所有偏移量的平均值，将得到的所有偏移量的平均值作为最终的偏移量，之后将回归后的特征图送入全连接层，得到类别信息。
[0062]
具体实施方式三：本实施方式是对具体实施方式二的进一步说明，本实施方式与具体实施方式二的区别是均值表示为：
[0063][0064]
其中，n表示样本总数，ri表示第i个ground-truth box长宽比的均值。
[0065]
具体实施方式四：本实施方式是对具体实施方式三的进一步说明，本实施方式与具体实施方式三的区别是ciou表示为：
[0066][0067]
其中，b，b
gt
分别代表预测框和真实框的中心点，p代表预测框和真实框中心点之间的欧氏距离，c表示两个区域最小外接矩形的对角线的距离，a是权重函数，v表示预测框和标注框的相似性参数。
[0068]
具体实施方式五：本实施方式是对具体实施方式四的进一步说明，本实施方式与具体实施方式四的区别是预测框和标注框的相似性参数表示为：
[0069]
li＝(x
i-x
l
)/w
p
，ti＝(y
i-y
t
)/h
p
，
[0070]ri
＝(x
r-xi)/w
p
，bi＝(y
b-yi)/h
p
.
[0071]
其中(x
l
，y
t
)与(xr，yb)分别为真实标签左上角与右下角的坐标，(xi，yi)为特征点的坐标，li，ti，ri，bi表示特征点在左，上，右，下方向的偏移量，w
p
,h
p
为候选区域宽高。
[0072]
具体实施方式六：本实施方式是对具体实施方式五的进一步说明，本实施方式与具体实施方式五的区别是相似性参数表示为：
[0073][0074]
其中，w，h，wg
t
，hg
t
分别表示两个区域的宽和高。
[0075]
具体实施方式七：本实施方式是对具体实施方式六的进一步说明，本实施方式与具体实施方式六的区别是权重函数表示为：
[0076][0077]
具体实施方式八：本实施方式是对具体实施方式七的进一步说明，本实施方式与具体实施方式七的区别是改进的faster rcnn网络损失函数为：
[0078][0079]
其中，ncls表示一批数据中所有样本的数量，nreg表示rpn生成的锚框位置个数，λ表示平衡分类损失与回归损失的参数，pi表示第i个样本预测为真实标签的概率，pi*当第i个样本为正样本时为1，负样本时为0，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。
[0080]
具体实施方式九：本实施方式是对具体实施方式八的进一步说明，本实施方式与具体实施方式八的区别是步骤二之前对待测图像进行高斯滤波处理。
[0081]
具体实施方式十：本实施方式是对具体实施方式九的进一步说明，本实施方式与
具体实施方式九的区别是高斯滤波表示为：
[0082][0083]
其中，x，y为像素坐标，σ为标准差。
[0084]
1、线阵图像获取
[0085]
分别在货车轨道两侧以及底部搭建高清设备，对高速通过的货车进行拍摄，获取货车的多个大小为1440
×
1440的图像。采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。
[0086]
2、待检测图像获取
[0087]
将原始线阵图像进行拼接，获得货车原始图像，并将原始图像重采样为2000
×
500分辨率，如图1所示。并针对图像光照不足问题，进行自适应直方图均衡化这里借助了opencv图像开发工具，调用函数equalizehist。同时针对相机拍摄过程中可能出现的椒盐噪声等干扰，采用高斯滤波对图片进行处理，过滤噪声。
[0088]
高斯滤波公式：
[0089][0090]
其中，x，y为像素坐标，σ为标准差
[0091]
3、优化网络结构，过程如下：
[0092]
本发明采用改进型faster rcnn网络作为检测网络。faster rcnn有区域建议网络(rpn)和目标检测网络fast rcnn组成。faster rcnn采用交替训练使两个网络共享卷积层，区域建议网络采用“注意力”机制产生候选区域，并利用fast rcnn进行目标检测，同时缩短检测时间并提升检测精度，网络示意图如图3所示。
[0093]
区域建议网络的基本思想是在特征图中随机生成候选区域，这些区域可能包含目标，以任意大小的图像作为输入，输出一组矩形的目标提议。为了生成区域提议，将输入特征映射的n
×
n空间窗口作为输入，每个滑动窗口映射到一个低维特征，并被输入到边框回归层和分类层。区域建议网络在每个滑动位置预测多个区域提议，预测不同尺度和长宽的候选区域，在改进后的网络中，先获取所有标记区域的长宽比，然后取长宽比的多个峰值，并生成多个锚框。
[0094]
fast rcnn目标检测网络的基本思想是得到最终物体的位置和相应的概率。检测网络与区域建议网络相同，都是利用卷积层对图像进行特征提取，因此与区域建议网络共享权值。
[0095]
其中，分类损失如下：
[0096][0097]
其中，pi表示第i个样本预测为真实标签的概率，pi*当第i个样本为正样本时为1，负样本时为0。
[0098]
回归损失如下：
[0099]
[0100][0101]
其中，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。因此网络的整体损失函数如下：
[0102][0103]
其中，ncls表示一批数据中所有样本的数量，nreg表示rpn生成的锚框位置个数，λ表示平衡分类损失与回归损失的参数。
[0104]
对网络的优化：
[0105]
在货车的部件中，有很多长宽比例不满足相应比例及尺度，造成区域生成网络难以生成与正样本标签相似的标记，降低检测准确率。尽管网络有边界回归方法对提出的边界框进行微调，但当目标面积或长宽比与预设的锚框差异过大时，边界回归很难得到与真实边界框更接近的回归边界。因此，本发明提出了一种自适应锚框生成方法，可以生成与正样本更加接近的锚框。其原理主要为在训练阶段，先一次性读取所有训练样本，获取其中待检测目标标签信息。利用该信息获取待检测目标的面积以及长宽比的峰值点，并以此更新区域建议网络参数，使网络生成更接近待检测目标面积与长宽比的建议区域。
[0106]
3.1基于先验信息的区域生成网络
[0107]
利用训练阶段图像及标签作为先验信息修改区域生成网络参数。首先，获取训练集所有标签样本，计算ground-truth box的长宽比，并计算均值，计算公式如下：
[0108][0109]
其中，n为样本总数，为样本长宽比均值，ri为第i个ground-truth box长宽比均值。一般faster-rcnn网络的区域生成网络会生成2:1、1:1与1:2三种候选区域，改进后的网络会生成1:1与三种区域，更接近真实样本。
[0110]
3.2使用区域生成网络生成的区域和真实值的iou筛选候选区域
[0111]
区域生成网络会生成大量候选区域，利用候选区域与真实标签的重合情况进行筛选。
[0112]
在一般faster-rcnn网络中，利用iou计算重合情况其计算方式如下：
[0113][0114]
其中，a与b分别表示候选框区域与原标记框区域。原始的iou计算方式有明显的不足，如两个区域没有相交时，无法比较两个图像的距离远近，还有无法体现两个图像到底是如何相交的等。因此本发明中使用了更全面的ciou，计算公式如下：
[0115][0116]
其中，b，b
gt
分别代表两个区域的中心点，p代表两个中心点之间的欧氏距离，c表示
两个区域最小外接矩形的对角线，a是权重函数，v用来度量长宽比的相似性。a，v的计算公式如下：
[0117][0118][0119]
其中，w，h，w
gt
，h
gt
分别表示两个区域的宽和高。
[0120]
3.3得到检测分类结果，过程如下：
[0121]
将整张图片输入卷积层，进行特征提取；把筛选后的候选区域映射到卷积层的最后一层卷积特征图上；在faster-rcnn网络中，利用边框回归计算候选区域与真实标签的偏移量，计算公式如下：
[0122]
δ
x
＝(x
g-x
p
)/w
p
，δy＝(y
g-y
p
)/h
p
，
[0123]
δw＝log(wg/w
p
)，δh＝log(hg/h
p
)，
[0124]
其中xp,yp,wp,hp为候选区域横纵坐标以及宽高，xg,yg,wg,hg为真实标签的横纵坐标以及宽高，δx，δy，δh，δw分别为横纵坐标以及宽高的偏移量。对于每一个候选框p，faster-rcnn进行一次回归操作并获取一个偏移量。
[0125]
在改进型faster-rcnn网络中，将候选区域于真实标签重合区域的所有点视为特征点，对每个特征点进行一次回归操作，计算公式如下：
[0126]
li＝(x
i-x
l
)/w
p
，ti＝(y
i-y
t
)/h
p
，
[0127]ri
＝(x
r-xi)/w
p
，bi＝(y
b-yi)/h
p
.
[0128]
其中(xl，yt)与(xr，yb)分别为真实标签左上角与右下角的坐标，(xi，yi)为特征点的坐标，li，ti，ri，bi表示特征点在左，上，右，下方向的偏移量。在计算所有特征点的回归偏移量后，计算平均值，获得候选区域最终的偏移量。之后将回归后的特征图送入全连接层，获得类别信息。
[0129]
4、标记数据及网络训练
[0130]
利用labelimg工具，对步骤二获得的图像进行标记，获取货车加热管与排油管检测数据集1。同时，对加热管与排油管区域进行提取，生成包含加热管与排油管区域的子图像，对子图像进行标记，获取加热管盖与排油管盖检测数据集2。
[0131]
使用数据集1训练加热管与排油管检测网络，数据集2训练加热管盖与排油管盖检测网络。加热管与排油管检测网络与加热管盖与排油管盖检测网络都是利用改进型faster-rcnn网络训练，有着相同的网络结构，但是由于使用不同数据集进行训练，因此二者网络参数有所区别。
[0132]
5、利用加热管与排油管检测网络获取图像中管盖的位置信息，将图像输入到加热管与排油管检测网络中，网络输出加热管与排油管的位置信息，利用此位置信息提取管盖区域子图。之后将子图输入到管盖检测网络中，网络输出管盖的位置信息以及类别信息，若网络输出的类别信息中出现脱落类或者打开类，则进行报警。
[0133]
需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的，仍应落
入本发明的保护范围内。