铁路货车托板螺母丢失的故障识别方法与流程

1.本发明涉及铁路货车托板螺母丢失的故障识别方法，属于铁路货车安全检测技术领域。


背景技术：

2.对于铁路货车的安全检测，传统的方法为探测设备拍到照片后，通过人工观察找到列车的故障点所在。这种方法能够在列车行进中进行故障检测，而无需停靠。但是采用人工观察存在易疲劳、强度大、需要培训等缺点。
3.目前，越来越多的工作采用机器代替了人工。机器检测具有成本低，规则统一，24小时无疲劳的特点，所以使用机器图像识别技术代替传统的人工检测，具有可行性。
4.铁路货车托板螺母属于小部件，对于其螺母丢失故障，人眼观察容易漏检。传统图像处理方法对小部件图像质量要求高，对于低质量的小部件图像，采用深度学习神经网络进行故障识别存在准确性较低误报警较多的问题。


技术实现要素：

5.针对现有深度学习神经网络用于螺母丢失故障检测，准确率低的问题，本发明提供一种铁路货车托板螺母丢失的故障识别方法。
6.本发明的一种铁路货车托板螺母丢失的故障识别方法，包括，
7.构建改进的resnet50特征提取网络：依次包括卷积层、最大池化层、layer1层、layer2层、layer3层、layer4层、up0层、up1层和up2层；
8.构建改进的centernet网络：包括定位模块和目标种类预测模块；所述定位模块包括中心点定位模块、中心点偏移模块和目标半径识别模块；
9.up2层的输出作为定位模块的输入；
10.获取包含螺母区域的托板子图像，在托板子图像上螺母的对应位置用正方形框作标记得到样本图像，所有样本图像构成样本数据集；正方形框的边长等于螺母的直径；
11.采用样本图像对改进的resnet50特征提取网络和定位模块进行第一级训练，并在定位模块的准确率达到预设阈值以后，采用样本图像再对训练后的改进的resnet50特征提取网络和改进的centernet网络共同进行训练，训练后的整体网络作为螺母丢失识别网络；
12.获取运行中铁路货车的待识别托板图像，采用螺母丢失识别网络对待识别托板图像进行识别，获得螺母丢失故障识别结果。
13.根据本发明的铁路货车托板螺母丢失的故障识别方法，所述托板子图像的获取方法包括：
14.通过轨边探测站安装的高速线阵相机获取原始图像，在原始图像上根据位置信息截取托板子图像。
15.根据本发明的铁路货车托板螺母丢失的故障识别方法，所述托板子图像在图像灰度值计算结果小于30时，进行亮度调节。
16.根据本发明的铁路货车托板螺母丢失的故障识别方法，采用样本图像对改进的resnet50特征提取网络进行训练的过程包括：
17.样本图像经卷积层卷积处理后得到1/2样本图像大小的特征图像，再经最大池化层处理后得到1/4样本图像大小的特征图像，经layer1层特征提取后得到1/4样本图像大小的特征图像，经layer2层特征提取后得到1/8样本图像大小的特征图像，经layer3层特征提取后得到1/16样本图像大小的特征图像，经layer4层特征提取后得到1/32样本图像大小的特征图像；
18.layer4层输出的1/32样本图像大小的特征图像经1
×
1卷积核卷积处理后作为up0层的输入，up0层对输入图像进行卷积处理后，得到初级上采样后1/32样本图像大小的特征图像；
19.初级上采样后1/32样本图像大小的特征图像经2倍上采样后与layer3层输出的1/16样本图像大小的特征图像经1
×
1卷积核卷积处理后的结果相加后，得到up1层的输入；
20.up1层的输入经2倍上采样后与layer2层输出的1/8样本图像大小的特征图像经1
×
1卷积核卷积处理后的结果相加后，得到up2层的输入；
21.up2层的输入经2倍上采样后与layer1层输出的1/4样本图像大小的特征图像经1
×
1卷积核卷积处理后的结果相加后，得到最终特征图。
22.根据本发明的铁路货车托板螺母丢失的故障识别方法，对定位模块进行训练的过程包括：
23.最终特征图经中心点定位模块后确定螺母中心点位置；
24.最终特征图经中心点偏移模块后确定螺母预测中心点与标准中心点的中心点偏置位移；
25.最终特征图经目标半径识别模块确定螺母半径预测值。
26.根据本发明的铁路货车托板螺母丢失的故障识别方法，对目标种类预测模块进行训练的过程包括：
27.目标种类预测模块根据获得的螺母中心点位置、中心点偏置位移和螺母半径预测值确定最终特征图上的目标识别框；采用反向高斯核函数对目标识别框内的最终目标特征图进行权重调整，再对权重调整后的最终目标特征图进行分类识别，得到分类识别结果；所述识别结果包括螺母丢失和螺母未丢失。
28.根据本发明的铁路货车托板螺母丢失的故障识别方法，所述目标种类预测模块在分类识别的过程中使用反向高斯核函数调节目标识别框内最终目标特征图的目标边缘与中心点的权重，使目标中心点位置的权重为0，使目标边缘的权重为0.865。
29.根据本发明的铁路货车托板螺母丢失的故障识别方法，所述反向高斯核函数如下：
[0030][0031]
式中x为最终特征图中特征点的横轴坐标，y为最终特征图中特征点的纵轴坐标，xc为螺母预测中心点的横轴坐标，yc为螺母预测中心点的纵轴坐标，r为螺母半径预测值，w
为对最终目标特征图的权重调整值。
[0032]
根据本发明的铁路货车托板螺母丢失的故障识别方法，所述预设阈值为95％。
[0033]
根据本发明的铁路货车托板螺母丢失的故障识别方法，托板子图像上使用labelimg作正方形框标记。
[0034]
本发明的有益效果：本发明利用图像自动识别技术代替人工检测，可以解决人工检测长时间重复看图的疲劳问题，对于同种故障统一标准，可提高检测效率与准确率。
[0035]
本发明设计的改进的resnet50特征提取网络和改进的centernet网络对螺母丢失故障进行识别，其检测能力对螺母轮廓有更高的重叠度，且具有旋转不变性。它根据故障与正常图像特点，将图像识别过程中定位与分类分步骤进行，定位时主要靠螺栓特征，识别时主要靠螺母及边缘特征，增加故障识别的准确性。
附图说明
[0036]
图1是本发明所述铁路货车托板螺母丢失的故障识别方法的流程框图；
[0037]
图2是改进的resnet50特征提取网络图像处理流程图；
[0038]
图3是本发明方法的整体实现流程图；
[0039]
图4是故障与正常样本图像对比示意图；图中左侧为螺母丢失状态，右侧为螺母正常状态。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0041]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0042]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0043]
具体实施方式一、结合图1至图4所示，本发明提供了一种铁路货车托板螺母丢失的故障识别方法，包括，
[0044]
构建改进的resnet50特征提取网络：依次包括卷积层、最大池化层、layer1层、layer2层、layer3层、layer4层、up0层、up1层和up2层；
[0045]
构建改进的centernet网络：包括定位模块和目标种类预测模块；所述定位模块包括中心点定位模块、中心点偏移模块和目标半径识别模块；
[0046]
up2层的输出作为定位模块的输入；
[0047]
获取包含螺母区域的托板子图像，在托板子图像上螺母的对应位置用正方形框作标记得到样本图像，所有样本图像构成样本数据集；正方形框的边长等于螺母的直径；
[0048]
采用样本图像对改进的resnet50特征提取网络和定位模块进行第一级训练，并在定位模块的准确率达到预设阈值以后，采用样本图像再对训练后的改进的resnet50特征提取网络和改进的centernet网络共同进行训练，训练后的整体网络作为螺母丢失识别网络；
[0049]
获取运行中铁路货车的待识别托板图像，采用螺母丢失识别网络对待识别托板图
像进行识别，获得螺母丢失故障识别结果。
[0050]
进一步，所述托板子图像的获取方法包括：
[0051]
通过轨边探测站点安装的高速线阵相机获取原始图像，在原始图像上根据位置信息截取托板子图像。
[0052]
所述高速线阵相机在货车组通过探测站点时，得到2d线阵图像。因为拍摄像机一致，拍摄范围及大小变化很小，所以在原始图像上根据硬件及轴距信息，可以截取托板及螺栓子图，用于训练识别网络。
[0053]
本实施方式通过托板螺母丢失与螺母正常的图像分析，设计了一种拆分式目标检测网络，使网络定位和分类分别注重不同特征，增加识别算法的准确性。结合图3所示，可将螺母丢失识别网络布置到识别服务器，当服务器端接收到有过车的信号时，启动识别程序。当过车存在故障时，输出报警信息，上传至平台人工确认报警。
[0054]
获得样本图像时，通过在不同地区的探测站点采集不同天气、不同时段、不同月份下的过车图像，保证数据样本的全面性，为后续模型做准备。
[0055]
所述托板子图像在图像灰度值计算结果小于30时，进行亮度调节，增加图像亮度使目标更加清晰可见。
[0056]
再进一步，结合图2所示，采用样本图像对改进的resnet50特征提取网络进行训练的过程包括：
[0057]
样本图像经卷积层卷积处理后得到1/2样本图像大小的特征图像，再经最大池化层处理后得到1/4样本图像大小的特征图像，经layer1层特征提取后得到1/4样本图像大小的特征图像，经layer2层特征提取后得到1/8样本图像大小的特征图像，经layer3层特征提取后得到1/16样本图像大小的特征图像，经layer4层特征提取后得到1/32样本图像大小的特征图像；
[0058]
layer4层输出的1/32样本图像大小的特征图像经1
×
1卷积核卷积处理后作为up0层的输入，up0层对输入图像进行卷积处理后，得到初级上采样后1/32样本图像大小的特征图像；
[0059]
初级上采样后1/32样本图像大小的特征图像经2倍上采样后与layer3层输出的1/16样本图像大小的特征图像经1
×
1卷积核卷积处理后的结果相加后，得到up1层的输入；up1层输入图像的大小为1/16样本图像；
[0060]
up1层的输入经2倍上采样后与layer2层输出的1/8样本图像大小的特征图像经1
×
1卷积核卷积处理后的结果相加后，得到up2层的输入；up2层输入图像的大小为1/8样本图像；
[0061]
up2层的输入经2倍上采样后与layer1层输出的1/4样本图像大小的特征图像经1
×
1卷积核卷积处理后的结果相加后，得到最终特征图。最终特征图的大小为1/4样本图像。
[0062]
再进一步，结合图1所示，对定位模块进行训练的过程包括：
[0063]
最终特征图经中心点定位模块后确定螺母中心点位置；
[0064]
最终特征图经中心点偏移模块后确定螺母预测中心点与标准中心点的中心点偏置位移；
[0065]
最终特征图经目标半径识别模块确定螺母半径预测值。
[0066]
再进一步，结合图1所示，对目标种类预测模块进行训练的过程包括：
[0067]
目标种类预测模块根据获得的螺母中心点位置、中心点偏置位移和螺母半径预测值确定最终特征图上的目标识别框；采用反向高斯核函数对目标识别框内的最终目标特征图进行权重调整，再对权重调整后的最终目标特征图进行分类识别，得到分类识别结果；所述识别结果包括螺母丢失和螺母未丢失。
[0068]
关于网络的搭建及训练：
[0069]
网络搭建：本发明根据螺母特征，基于centernet网络设计一种圆形目标检测算法，可以更好的利用目标边缘信息，使检测结果与目标有更高的重叠度。根据部件故障时与正常时的结构特点优化网络结构，拆分定位与预测网络。在定位时不区分种类只定位位置，使用高斯核函数增加中心数据的权重减少边缘区域权重，对于螺母丢失及正常图像，所用特征主要为螺栓特征，定位更加简单。在进行分类的时候，增加对于区分目标种类的外圈边缘信息权重，减少内部螺栓信息的影响，增加识别的准确性。
[0070]
特征提取网络：本发明使用resnet50作为特征提取网络，但传统restnet50下采样为32倍，根据识别部件在拍摄图像中的直径尺寸约为40-55像素，当下采样32倍时，目标在特征图中信息过少影响识别。所以对特征图进行类似fpn式特征链接。fpn结构用于大小差距较大的多尺度目标检测效果较好，但本发明在固定探测站点，相机与货车距离不变，目标大小及拍摄范围不变，所以对于多尺度没需求。使用该特征融合思想，对特征图上采样及横向融合，可增加特征图的尺寸，保留更多的目标信息。特征提取网络结构如图2所示。
[0071]
目标定位分类分支(head)，用于输出定位和种类信息的网络层：
[0072]
采用改进centernet对圆形螺母目标进行检测，本发明检测故障点为螺母丢失，正常目标图像为螺栓螺母加垫片，故障图像只剩螺栓且留有垫片与托板刮蹭痕迹，或者只有螺栓自身。结合图4可以看出正常及故障目标为类圆形，将原始目标检测网络的矩形检测，预测宽高，修改为圆形目标检测后只需要预测半径r，减少了预测参数，并且圆形较矩形对目标有更大的重叠度能够更好地表示出目标所在区域，以及圆形具有旋转不变性可以更好地适应图像小范围歪曲的站点。
[0073]
本实施方式中改进centernet网络输出层，原始网络中目标定位及分类分支热图(heatmap)为n个特征图，n为目标类别个数，每一个特征图负责预测一个种类的目标位置，同一个特征图既预测位置又区分种类。
[0074]
本发明中故障为螺母及垫片丢失，但是螺栓依然存在，其目标中心区域螺栓在发生故障时和正常时特征保持不变。所以在中心点区域故障图像与正常图像特征相同，使用高斯核函数的时候，中心点位置权重大边缘位置权重小，这对于分类来说，对分类重要的特征将被淡化，难以准确的区分故障与正常图像，影响分类效果，会导致漏报误报增加。由于定位信息主要为目标中心区域特征，且故障与正常图像中心区域特征类似，所以本发明拆分原始heatmap的定位和分类功能，只保留其定位功能，不同种类使用同一特征图进行定位。
[0075]
本发明中，在centernet网络基础上新增目标种类预测模块(分类网络分支classmap)，在得到目标预测中心点、位移偏置及半径后，根据以上信息及目标种类预测分支classmap进行种类识别。
[0076]
再进一步，所述目标种类预测模块在分类识别的过程中使用反向高斯核函数调节目标识别框内最终目标特征图的目标边缘与中心点的权重，使目标中心点位置的权重为0，
使目标边缘的权重为0.865。反向高斯核函数可增加边缘对分类的影响，减少中心区域的影响，增加识别准确率。整体网络结构如图1所示。
[0077]
所述反向高斯核函数如下：
[0078][0079]
式中x为最终特征图中特征点的横轴坐标，y为最终特征图中特征点的纵轴坐标，xc为螺母预测中心点的横轴坐标，yc为螺母预测中心点的纵轴坐标，r为螺母半径预测值，w为对最终目标特征图的权重调整值。
[0080]
所述反向高斯核函数中，if部分表示对最终特征图中特征点是否在预测的螺母范围内进行判断，若最终特征图中特征点位于螺母半径预测值以内时，使用对应的公式进行加权，增加边缘信息对分类的影响。当最终特征图中特征点位于螺母半径预测值以外时，权重置零，不影响分类。
[0081]
作为示例，所述预设阈值为95％。
[0082]
本发明采用分段式网络训练，优先训练目标定位、偏移及半径部分网络分支，此时冻结分类网络分支；当定位网络准确率到达95％以后解冻分类网络，进行全部模型整体训练。
[0083]
作为示例，托板子图像上使用labelimg作正方形框标记，正方形框的宽高等于目标直径。将数据集图像及标注数据一一对应做训练样本。
[0084]
本发明的具体实现过程如下：当货车通过探测基站时，相机获取线阵图像。通过使用先验知识与硬件数据等，截取托板部分图像。将图像输入到识别网络中，若识别到螺栓丢失的目标，则对图像区域输出报警信号，上传报警至平台。否则判定为正常，如图3所示。
[0085]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。