铁路货车部件检测网络的优化方法及护栏折断故障识别方法与流程

1.本发明涉及一种铁路货车部件检测网络的优化方法以及一种铁路货车护栏折断故障识别方法，属于货车故障识别技术领域。


背景技术：

2.铁路货车的护栏是为了辅助维修工人进行日常维护与检修而设置，如出现护栏折断故障，会产生安全隐患，危机维修工人的人身安全。而对于目标检测技术，现有技术包括：传统图像处理检测零部件异常、深度学习中的基于目标检测和物体识别检测零部件异常。目前的目标检测存在以下问题：
3.1.传统图像处理检测零部件异常需要人工设计激励特征，工作量大且鲁棒性较低，同时基于滑动窗口的区域选择策略没有针对性，时间复杂度高。
4.2.在基于深度学习的目标检测中，不同样本的重要性是不同的，分类和回归之间一致性较高的候选框十分重要。然而现有的检测网络大多侧重于正样本的权重，忽略了负样本的重要性，限制了检测器的学习能力。尤其是针对铁路货车部件的检测而言，由于实际的正负样本是不均衡的，因此会严重影响铁路货车部件的检测效果。


技术实现要素：

5.本发明为了解决基于深度学习的目标检测忽略了负样本的重要性从而限制了铁路货车部件检测器学习能力而影响检测效果的问题。
6.铁路货车部件检测网络的优化方法，包括以下步骤：
7.选用faster r-cnn作为铁路货车部件检测网络，利用获取的铁路货车部件训练集对faster r-cnn进行训练时，整体损失函数如下：
[0008][0009][0010][0011]
其中，l
det
为总体损失，l
cls
为分类损失，l
reg
为回归损失，β为平衡因子；m，n分别为在候选样本内和整体候选框的数量，m、n为对应的变量；fl为焦点损失，s为预测的分类得分，b和b
′
为分别为预测框和真值标签；w
pos
为正样本权重调制因子，w
neg
为负样本权重调制因子；giou(b，b
′
)为giou损失。
[0012]
正样本权重调制因子如下：
[0013]wpos
＝e
μt
×
t
[0014]
t＝s
×
iou
β
[0015]
其中，β是平衡预测的分类得分s与iou的超参数，μ是一个控制不同正样本权重的
相对间隙的超参数。
[0016]
负样本权重调制因子如下：
[0017][0018]
其中，γ1为调节负样本概率的超参数，且当交并比iou∈[0.5，0.95]时，函数通过点(0.5，1)与(0.95，0)两点，并以此确定k、b”的值；γ2是给予重要负样本优先的超参数。
[0019]
铁路货车护栏折断故障识别方法，包括以下步骤：
[0020]
首先获取待检测的含有路货车护栏的图像，然后使用fast rcnn目标检测网络进行故障检测；fast rcnn目标检测网络为训练好的网络，训练过程中，基于含有路货车护栏的图像的训练集，利用铁路货车部件检测网络的优化方法实现对fast rcnn网络的优化及训练。
[0021]
一种用于铁路货车部件检测网络的优化的存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车部件检测网络的优化方法。
[0022]
一种铁路货车部件检测网络的优化设备，设备包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车部件检测网络的优化方法。
[0023]
一种用于铁路货车护栏折断故障识别的存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车护栏折断故障识别方法。
[0024]
一种铁路货车护栏折断故障识别设备，设备包括处理器和存储器，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车护栏折断故障识别方法。
[0025]
有益效果：
[0026]
1、将自动识别技术引入货车故障检测，实现故障自动识别及报警，人工只需对报警结果进行确认，有效节约人力成本，提高作业质量和作业效率。
[0027]
2、提出了一种双重加权范式，分别学习正样本与负样本的权重，其中通过分类与定位的一致性来决定正样本的权重，通过样本为负样本的概率以及负样本的难易程度决定负样本的权重。
[0028]
3、对网络生成的候选框进行细化，获取更高质量的样本，是网络具有更高的鲁棒性。
[0029]
4、使用焦点损失函数，通过减少易分类样本的权重，使得模型在训练时更专注于难分类的样本，解决样本不均衡的问题。
附图说明
[0030]
图1为网络优化示意图。
[0031]
图2为护栏子图。
[0032]
图3为faster rcnn网络结构。
[0033]
图4为货车底部线阵图像。
[0034]
图5为故障识别流程示意图。
具体实施方式
[0035]
具体实施方式一：结合图1说明本实施方式，
[0036]
本实施方式为铁路货车部件检测网络的优化方法，包括以下步骤：
[0037]
选用faster r-cnn作为铁路货车部件检测网络，利用获取的铁路货车部件训练集对faster r-cnn进行训练时，整体损失函数如下：
[0038][0039][0040][0041]
其中，l
det
为总体损失，l
cls
为分类损失，l
reg
为回归损失，β为平衡因子；m，n分别为在候选样本内和整体候选框的数量，m、n为对应的变量；fl为焦点损失，s为预测的分类得分，b和b
′
为分别为预测框和真值标签；w
pos
为正样本权重调制因子，w
neg
为负样本权重调制因子；giou(b，b
′
)为giou损失。
[0042]
具体实施方式二：
[0043]
本实施方式为铁路货车部件检测网络的优化方法，正样本权重调制因子如下：
[0044]wpos
＝e
μt
×
t
[0045]
t＝s
×
iou
β
[0046]
其中，β是平衡预测的分类得分s与iou的超参数，μ是一个控制不同正样本权重的相对间隙的超参数。
[0047]
其他步骤与具体实施方式一相同。
[0048]
具体实施方式三：
[0049]
本实施方式为铁路货车部件检测网络的优化方法，负样本权重调制因子如下：
[0050][0051]
其中，γ1为调节负样本概率的超参数，且当交并比iou∈[0.5，0.95]时，函数通过点(0.5，1)与(0.95，0)两点，并以此确定k、b”的值；γ2是给予重要负样本优先的一个超参数。
[0052]
其他步骤与具体实施方式一或二相同。
[0053]
具体实施方式四：
[0054]
本实施方式为铁路货车护栏折断故障识别方法，包括以下步骤：
[0055]
首先获取待检测的含有路货车护栏的图像，然后使用fast rcnn目标检测网络进行故障检测；fast rcnn目标检测网络为训练好的网络，训练过程中，基于含有路货车护栏的图像的训练集，利用铁路货车部件检测网络的优化方法实现对fast rcnn网络的优化及训练。
[0056]
具体实施方式五：
[0057]
本实施方式为铁路货车部件检测网络的优化方法，待检测的含有路货车护栏的图
像经过图像增强后送入fast rcnn目标检测网络进行故障检测；图像增强的过程包括自适应直方图均衡化和高斯滤波处理。
[0058]
其他步骤与具体实施方式四相同。
[0059]
具体实施方式六：
[0060]
本实施方式为铁路货车部件检测网络的优化方法，获取待检测的含有路货车护栏的图像经过图像的过程包括以下步骤：
[0061]
首先获取铁路货车图像，然后根据先验知识对货车存在护栏的位置进行提取，得到包含护栏的子图，即待检测的含有路货车护栏的图像。
[0062]
其他步骤与具体实施方式四或五相同。
[0063]
具体实施方式七：
[0064]
本实施方式为一种用于铁路货车部件检测网络的优化的存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车部件检测网络的优化方法。
[0065]
应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，指令可以用于编程计算机系统，或其他电子装置。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器rom、随机存取存储器ram、可擦除可编程存储器(例如，eprom和eeprom)以及闪存层；或者适合于存储电子指令的其他类型的介质。
[0066]
具体实施方式八：
[0067]
本实施方式为一种铁路货车部件检测网络的优化设备设备，设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；
[0068]
存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车部件检测网络的优化方法。
[0069]
具体实施方式九：
[0070]
本实施方式为用于铁路货车护栏折断故障识别的存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车护栏折断故障识别方法。
[0071]
应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，指令可以用于编程计算机系统，或其他电子装置。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器rom、随机存取存储器ram、可擦除可编程存储器(例如，eprom和eeprom)以及闪存层；或者适合于存储电子指令的其他类型的介质。
[0072]
具体实施方式十：
[0073]
一种铁路货车护栏折断故障识别设备，设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；
[0074]
存储器中存储有至少一条指令，至少一条指令由处理器加载并执行以实现铁路货车护栏折断故障识别方法。
[0075]
实施例
[0076]
基于深度学习的铁路货车护栏折断故障识别方法，包括以下步骤：
[0077]
1、图像获取：
[0078]
获取铁路货车线阵图像(如图4)，并根据先验知识对货车存在护栏的位置进行提取，得到包含护栏的子图(如图2)，子图图像的获取可有效减少故障识别所需时间、区分不同的故障并降低环境背景干扰，提升识别准确率。
[0079]
2、待检测图像获取：
[0080]
对于上一步获取的子图进行图像增强，具体处理方式为进行自适应直方图均衡化，本发明借助了opencv图像开发工具，调用函数equalizehist。同时针对相机拍摄过程中可能出现的椒盐噪声等干扰，采用高斯滤波对图片进行处理，过滤噪声。
[0081]
高斯滤波公式：
[0082][0083]
式中，g(x，y)为滤波后传感器图像，σ为标准差，x为子图的横轴像素坐标，y为子图的纵轴像素坐标；
[0084]
3、训练集构建：
[0085]
利用labelimg工具，对子图中加护栏、车体边缘、钩提杆等区域图像进行标记，构建训练集。其中，对钩提杆等其他部件的标记是为了提高网络的准确性。
[0086]
4、网络介绍：
[0087]
本发明采用faster rcnn网络作为检测网络，整体网络结构如图3所示。faster rcnn有区域建议网络(rpn)和目标检测网络fast rcnn组成。faster rcnn采用交替训练使两个网络共享卷积层，区域建议网络采用“注意力”机制产生候选区域，并利用fast rcnn进行目标检测。
[0088]
1)区域建议网络的基本思想是在特征图中找到所有可能的目标候选区域，以任意大小的图像作为输入，输出一组矩形的目标提议。为了生成区域提议，将输入特征映射的n
×
n空间窗口作为输入，每个滑动窗口映射到一个低维特征，并被输入到边框回归层和分类层。区域建议网络在每个滑动位置预测多个区域提议，预测不同尺度和长宽的候选区域，在原始的网络中，每个滑动窗口产生9种锚框，包括边长为128，256和512三种尺度以及1:1、1:2和2:1三种比例。
[0089]
2)fast rcnn目标检测网络的基本思想是得到最终物体的位置和相应的概率。检测网络与区域建议网络相同，都是利用卷积层对图像进行特征提取，因此与区域建议网络共享权值。其中，分类损失如下：
[0090][0091]
其中，pi表示第i个样本预测为真实标签的概率，pi*表示真实标签，当第i个样本为正样本时为1，负样本时为0。
[0092]
回归损失如下：
[0093][0094]
[0095]
其中，ti表示第i个锚框的边界框位置坐标，ti*表示第i个锚框的真实标签位置坐标。因此网络的整体损失函数如下：
[0096][0097]
其中，n
cls
表示一批数据中所有样本的数量，l
cls
表示分类损失；λ表示平衡分类损失与回归损失的参数；n
reg
表示rpn生成的锚框位置个数，l
reg
表示回归损失。
[0098]
5、网络优化：
[0099]
在本发明中，对网络的优化主要分为使用双重加权范式、优化损失函数两部分。
[0100]
5.1对于检测网络来说，应该能够预测同时具有较高分类得分和精确位置的候选框。然而，在faster r-cnn中，所有样本的标签值非0即1，也就是说所有的训练样本都被同等处理。这可能导致分类与定位之间出现错位：类别得分最高的位置通常不是回归目标边界的最佳位置，导致检测器的性能降低。
[0101]
标签分配(label assignment，la)给每一个训练样本分配一个正(positive，pos)损失权重和一个负(negative，neg)损失权重，这在目标检测中非常重要。本发明提出了一种以预测感知的方式分别设置正样本和负样本权重的方法，网络优化部分如图1所示。
[0102]
正样本加权函数以预测的分类得分s和预测框与gt目标之间的iou(交并比)作为输入，并通过估计分类与回归之间的一致性程度来设置正样本权重。首先定义一个一致性度量，记为t，来度量这2个条件之间的对齐程度：
[0103]
t＝s
×
iou
β
[0104]
其中，β是用来平衡预测的分类得分s(预测框是正样本的概率)与iou(预测框与标签的重合度)两个条件的超参数。
[0105]
为了促进不同候选框之间的pos权重拉开距离，提出了正样本权重调制因子，公式如下：
[0106]wpos
＝e
μt
×
t
[0107]
其中，μ是一个控制不同pos权重的相对间隙的超参数。
[0108]
最后，每个实例的每个候选框的pos权值由候选集内的所有pos权值之和进行归一化。
[0109]
负样本加权函数以判断为负样本的概率和为负样本时的重要性乘积来设置。判断样本是为负样本概率的公式如下：
[0110][0111]
其中，γ1为超参数，且当iou∈[0.5，0.95]时，函数通过点(0.5，1)与(0.95，0)两点(即通过iou为0.5时p
neg
为1的点和iou为0.95时p
neg
为0的点)，并以此确定k、b”的值。
[0112]
在推理中，一个负样本的预测不会影响召回率，但是会影响精度，为了防止这种情况发生，负样本的候选框应该尽可能排在排名列表的后面(网络输出结果时，是输出一组数据，其中前四个坐标是位置信息，第五个为概率信息，排名列表是这组数据，越靠前说明是正样本的概率越大，这里是希望负样本的框在输出的这组数据中排在后面)，分类得分应该尽可能小。将负样本的重要性定义为i
neg
将其设置为：
[0113]ineg
＝s
γ2
[0114]
其中，γ2是给予重要负样本多大优先的一个超参数。
[0115]
综合两个因素，负样本权重调制因子公式如下：
[0116][0117]
它与iou呈负相关，但与得分s呈正相关。对于2个正样本权重相同的候选框，iou较小的候选框的负样本权重较大。一个样本框里面有两个权重，既有正样本权重，又有负样本权重，比如说两个候选框ab，他们正样本权重都为0.9，a的iou为0.9，b的iou为0.8，那么可以假设a的负样本权重为0.05，b的负样本权重为0.1。这里就是标签分配(label assignment，la)的意义，原始网络一个框要不为正，要不为负，la是将一个框分为两种概率。
[0118]
5.2优化损失函数。
[0119]
损失函数的优化分类两部分，对于分类损失，使用焦点损失函以解决样本不均衡的问题；对于回归损失，使用广义交并比(generalized intersection over union，giou)解决候选框与真实标签没有重叠区域的问题。整体损失函数如下：
[0120][0121]
其中，l
det
为总体损失，l
cls
为分类损失，l
reg
为回归损失，β为平衡因子。
[0122]
分类损失函数与回归损失函数如下：
[0123][0124][0125]
其中，m、n分别为在候选样本内和整体候选框的数量，m、n为对应的变量；fl为focal loss，s为预测的分类得分，b和b'为分别为预测框和真值标签。
[0126]
传统的交叉熵损失函数在样本不均衡时，样本量大的类别相对容易区分，损失值较小，但是由于数量大，累积起来的损失仍然大于样本量小的类别产生的损失。因此，普通的交叉熵损失难以在样本不均衡时产生很好的检测结果。而焦点损失(focal loss)函数可以较好的解决这个问题，焦点损失函数公式如下：
[0127]
fl(p
t
)＝-(1-p
t
)
γ
log(p
t
)
[0128]
其中，p
t
为分类得分，γ为聚焦参数。
[0129]
iou反映了两个框的重叠程度，在两个框不重叠时，iou恒等于0，此时iou loss恒等于1。giou loss在iou loss的基础上考虑了两个框没有重叠区域时产生的损失。具体定义如下：
[0130][0131]
其中，c是包含真实目标边界框a与预测目标边界框b的最小框，如图中的蓝色框。
[0132]
6、利用数据集训练网络
[0133]
利用获取的数据集对fast rcnn目标检测网络进行训练，得到训练好的fast rcnn目标检测网络。
[0134]
使用fast rcnn目标检测网络进行故障检测。将待测试图像输入到网络中，获得不同部件的位置信息。若网络输出的类别信息中不存在护栏类或存在护栏折断类，则可能存在护栏折断故障，进行报警。整体流程如图5所示
[0135]
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。