一种制动缸活塞推杆开口销丢失故障检测方法与流程

1.本发明涉及一种制动缸活塞推杆开口销丢失故障检测方法，属于故障检测技术领域。


背景技术：

2.传统人工查图的故障检测方法费时费力，人工成本高，且由于检车人员的疲劳、粗心等，会出现漏检、误检现象。采用深度学习的铁路货车故障检测方法可以有效的降低检测成本，提高检测的效率。但由于制动缸活塞推杆位于列车底部，其上开口销面积较小，图像模糊且开口销角度多变，采用传统的faster-rcnn检测网络进行故障检测的效果并不理想，误报警较多。


技术实现要素：

3.针对现有利用faster-rcnn检测网络进行制动缸活塞推杆开口销丢失故障检测误报警较多的问题，本发明提供一种制动缸活塞推杆开口销丢失故障检测方法。
4.本发明的一种制动缸活塞推杆开口销丢失故障检测方法，包括：
5.s1、在铁路四周架设高清成像设备，铁路货车通过后，获取过车图像；
6.s2、截取过车图像中包含制动缸活塞推杆的图像，将截取的图像送入训练好的故障检测网络中进行制动缸活塞推杆开口销丢失故障检测，如果像中检测到开口销丢失故障或没有检测到开口销，则认为出现故障，否则认为无故障；
7.故障检测网络包括共享卷积块1、卷积块2-卷积块5、fpn特征金字塔、rpn网络、建议框、roi池化层1、位置回归头、分类头1、roi池化层2、分类卷积块2-分类卷积块5和分类头2；
8.共享卷积块1、卷积块2-卷积块5组成特征提取网络，特征提取网络中的卷积块2-卷积块5与fpn特征金字塔连接，
9.截取的图像送入共享卷积块1，依次经特征提取网络与fpn特征金字塔后同时输入至建议框和roi池化层1，建议框的输出输入至roi池化层1，roi池化层1的输出同时输入至位置回归器和分类器1；
10.同时，建议框的输出与分类器1的输出进行融合后再输入至roi池化层2，共享卷积块1的输出输入至roi池化层2，roi池化层2的输出输入至分类卷积块2-分类卷积块5组成的分类特征学习网络，分类特征学习网络的输出输入至分类器2，位置回归器和分类器1和分类器2进行综合后，输出分类结果。
11.作为优选，所述fpn特征金字塔采用efficientdet网络中的bifpn网络实现。
12.作为优选，所述方法还包括：
13.收集图像，建立数据集，利用数据集中包括制动缸活塞推杆开口销正常的图像与制动缸活塞推杆开口销丢失的图像；对数据集中的图像进行多角度的仿射变换，对经过仿射变换后的图像进行数据集扩增操作，所述数据扩增操作包括旋转、裁剪和对比度变换；
14.利用数据集对故障检测网络进行训练。
15.作为优选，采用focal loss损失函数对故障检测网络进行训练，focal loss损失函数为：
16.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
[0017][0018]
其中，fl(p
t
)表示损失函数，y为样本标签，p
t
反映了预测类别与样本标签y的接近程度，α、γ均为可变约束参数。
[0019]
作为优选，α＝0.25，γ＝2。
[0020]
本发明的有益效果，本发明的故障检测网络可进行制动缸活塞推杆开口销丢失故障检测，减少开口销丢失误报警。本发明的故障检测网络包括两支并行的分类网络，其中一个分支将定位于分类解耦，提高网络检测准确程度。本发明采用bifpn特征金字塔优化分类网络，增加网络对特征的利用程度。本发明采用focal loss替代原本的交叉熵损失函数，解决简单样本与困难样本不均衡问题。本发明对数据集进行仿射变换扩增，减轻由于开口销角度多变造成的网络识别效果差的问题。
附图说明
[0021]
图1为本发明方法的流程示意图；
[0022]
图2为本发明故障检测网络的原理示意图；
[0023]
图3为传统的fpn特征金字塔结构。
具体实施方式
[0024]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0025]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0026]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0027]
本实施方式的一种制动缸活塞推杆开口销丢失故障检测方法，包括：
[0028]
步骤1、在铁路四周架设高清成像设备，铁路货车通过后，获取过车图像；
[0029]
步骤2、截取过车图像中包含制动缸活塞推杆的图像，将截取的图像送入训练好的故障检测网络中进行制动缸活塞推杆开口销丢失故障检测，如果像中检测到开口销丢失故障或没有检测到开口销，则认为出现故障，上传故障报文，否则认为无故障；继续检测下一张图像，检车人员根据上传的故障报文，依据人工先验原则，对故障部位进行进一步处理。
[0030]
开口销丢失是一种状态，正常开口销是一种状态，如果检测到开口销丢失这类认为发生了开口销丢失，如果图像中什么都没有检测到(即没有检测到开口销)，认为同样发生了开口销丢失故障。
[0031]
故障检测网络包括共享卷积块1、卷积块2-卷积块5、bifpn特征金字塔、rpn网络、
建议框、roi池化层1、位置回归头、分类头1、roi池化层2、分类卷积块2-分类卷积块5和分类头2；
[0032]
共享卷积块1、卷积块2-卷积块5组成特征提取网络，特征提取网络中的卷积块2-卷积块5与bifpn特征金字塔连接，
[0033]
截取的图像送入共享卷积块1，依次经特征提取网络与bifpn特征金字塔后同时输入至建议框和roi池化层1，建议框的输出输入至roi池化层1，roi池化层1的输出同时输入至位置回归器和分类器1；
[0034]
同时，建议框的输出与分类器1的输出进行融合后再输入至roi池化层2，共享卷积块1的输出输入至roi池化层2，roi池化层2的输出输入至分类卷积块2-分类卷积块5组成的分类特征学习网络，分类特征学习网络的输出输入至分类器2，位置回归器和分类器1和分类器2进行综合后，输出分类结果。
[0035]
由于制动缸活塞推杆开口销较小，图像对比度低，图像模糊，且开口销丢失故障图像与开口销正常图像差异较小，采用传统的faster-rcnn网络进行制动缸活塞推杆开口销丢失的故障检测时将正常开口销识别成开口销丢失的情况较多，即误报警较多，网络对于开口销目标的定位较为准确，但分类正常开口销与故障开口销的能力较弱。本实施方式在分类与定位解耦时，利用两个并行的分类网络，综合分类网络的分类结果与定位，生成最终的检测结果。同时采用fpn特征金字塔优化故障检测网络，提高网络对特征的利用程度，提升网络的检测性能。本实施方式中的故障检测网络如图2所示，shared conv1、conv2～conv5为resent50特征提取网络；除了fpn特征金字塔的其余部分为同样采用resnet50，网络参数设置与faster-rcnn特征提取网络相同。
[0036]
为了充分利用卷积网络的不同尺度的特征，故障检测网络采用efficientdet网络中的bifpn网络实现fpn特征金字塔的功能，对特征提取网络中的深层与浅层特征进行充分融合。如图2中虚线框所示，白色圆圈表示特征图，箭头表示特征图的流向，箭头汇聚处进行特征图的融合操作。融合操作过程为：将小尺度特征图上采样到与大尺度尺度特征图相同的大小，将特征图级联，然后与1
×
1大小的卷积进行卷积，降低特征图维度，减少计算量。fpn特征金字塔的参数设置与efficientdet中bifpn网络相同。传统的fpn特征金字塔结构如图3所示，仅完成了浅层特征到深层特征的自顶至下的融合，对特征提取网络不同层次(不同尺度)的特征融合不全面，本实施方式bifpn特征金字塔不仅进行了浅层特征图到深层特征图的融合，也进行了深层到浅层的融合，特征融合更加充分，提升了对不同尺度特征的利用程度，进而提升网络的检测性能。
[0037]
本实施方式中，在对故障检测网络进行训练时，首先收集图像，建立数据集，利用数据集中包括制动缸活塞推杆开口销正常的图像与制动缸活塞推杆开口销丢失的图像；对数据集中的图像进行多角度的仿射变换，对经过仿射变换后的图像进行数据集扩增操作，所述数据扩增操作包括旋转、裁剪和对比度变换，具体包括：
[0038]
在铁路四周架设高清成像设备，获取铁路货车通过后的过车图像，截取图像中的制动缸活塞推杆部分图像，进行后续数据集建立。收集制动缸活塞推杆开口销正常的图像与制动缸活塞推杆开口销丢失的图像作为检测数据集图像，由于制动缸活塞推杆开口销丢失的图像数量较少，需在开口销正常的图像上ps出开口销丢失故障，作为开口销丢失数据集的补充。对数据集进行标记，生成标记文件，完成数据集的收集制作。标记过程采用
labelimg标记软件实现，生成图像对应的标记文件，其中正常开口销目标标记为开口销类，发生开口销丢失的开口销目标标记为开口销丢失类，标记文件中记录了图像的名字、大小、路径、目标的位置、目标的类别等信息。
[0039]
制动缸活塞推杆开口销角度多变，造成网络识别困难，为了减轻网络学习压力，对数据集中的图像进行多角度的仿射变换，尽量多的模拟多种角度的开口销，增加训练数据集的开口销角度多样性，提高网络识别的准确率。然后对经过仿射变换后的数据集图像进行旋转、裁剪、对比度变换等数据扩增操作。数据扩增操作可以有效降低故障检测网络过拟合的概率，提升故障检测网络的泛化性能。
[0040]
利用数据集对故障检测网络进行训练。
[0041]
在训练过程中本实施方式将rpn网络中原本的交叉熵损失函数替换为focal loss损失函数。制动缸活塞推杆开口销丢失图像较难获得，在未发生开口销丢失故障的图像上ps开口销丢失故障的人力成本也比较大，而开口销丢失特征不明显较难识别，开口销样本个数少更增加了识别的困难程度。同时由于开口销在图像上的面积占比较小，检测网络中正样本(有目标)和负样本(背景)也会发生不均衡现象。focal loss损失函数在原本的交叉熵损失函数中根据样本分辨的难易程度给样本对应的损失添加权重，解决了简单样本和困难样本不均衡问题与正负样本不均衡问题，提升网络训练效果。rpn网络中传统的交叉熵损失函数如公式(1)、(2)所示。其中p表示网络模型预测该样本为正样本的概率，y为样本标签，当y＝ 1时表示正样本，y＝-1表示负样本，p
t
反映了预测类别与标签y的接近程度，p
t
越大表示样本越接近类别y，分类越准确，交叉熵损失函数ce(p,y)越小。focal loss损失函数如公式(3)、(4)所示。其中p
t
、y与交叉熵损失函数相同，α、γ为可变约束参数，本专利中设置α＝0.25、γ＝2。在交叉熵损失函数中增加α
t
可以解决正负样本分布不均衡的问题，α越小，负样本(数量较多的背景)的fl(p
t
)越小，损失函数占比越小。(1-p
t
)
γ
可以解决简单和困难样本不均衡问题。p
t
越大(分类越准确)，(1-p
t
)
γ
越接近于0，p
t
越小(分类不准确)，(1-p
t
)
γ
越大，focal loss增加了分类困难(分类不准确)样本的损失占比，解决了样本个数少，分类困难的问题。
[0042]
ce(p,y)＝ce(p
t
)＝-log(p
t
)
ꢀꢀꢀꢀ
(1)
[0043][0044]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀ
(3)
[0045][0046]
本实施方式采用focal loss损失函数解决简单和困难样本不均衡问题。
[0047]
利用数据集对故障检测网络训练参数过程中，采用sgd优化方式进行训练，初始学习率设置为0.01。将数据集分为训练集、验证集与测试集，比例为7：2：1，采用训练集图像训练故障检测网络，在验证集上进行测试，然后将验证集中识别错误的图像加入到训练集中重新进行训练，最后在测试集上测试故障检测网络的性能。
[0048]
实验发现采用faster-rcnn网络进行制动缸活塞推杆开口销丢失故障检测时，网络通常能正确定位开口销或开口销丢失类的位置，但对开口销与开口销丢失两个类别的分
类稍显逊色，易产生过多的误报警。分析原因是由于faster-rcnn为多任务学习网络，同时进行目标的定位与分类任务的学习，且定位与分类共享同一个特征提取网络。分类任务需学习到的特征是具有旋转和平移不变性的特征，而定位回归任务需要学习到的特征需要对位置比较敏感，faster-rcnn网络为了平衡定位与分类任务，对分类任务所需的特征学习并不全面，而开口销与开口销丢失特征较为相似，需要更精准的分类特征才能正确的实现正确的分类。因此本实施方式采用了两个并行的分类网络进行目标分类，解耦定位与分类任务，减少网络的误报。本实施方式对rpn网络输出的置信度超过s的fp(假阳性样本，目标被错误分类，例如将开口销丢失类别识别为正常开口销类别)建议框进行进一步的精细分类，将该建议框映射到共享卷积块1上输出的特征图，然后对特征图进行roi池化层操作，随后通过分类卷积块conv2～分类卷积块conv5进行分类特征的学习，最后通过全连接与softmax分类器c2进行分类。由于卷积神经网络底层仅学习低级特征如纹理特征，共用底层特征提取层可以有效的降低网络参数量，减少网络运行时间。本实施方式共用一个底层的特征提取卷积块共享卷积块1，仅在高层分类卷卷积块2～分类卷积块5进行任务的解耦，本实施方式的一分支同时学习定位与分类特征，另一分支进行分类特征的学习。在本实施方式中为了平衡网络计算时间于网络准确率将fpn特征金字塔输出的分类置信度阈值为0.5。在故障检测网络测试时，综合分类器c1、分类器c2的分类结果与位置回归器的定位结果生成最终的故障检测结果。
[0049]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。