基于深度学习的折角塞门卡子丢失故障检测方法与流程

1.本发明涉及一种基于深度学习的折角塞门卡子丢失故障检测方法，属于铁路货车故障检测领域。


背景技术：

2.货车折角塞门卡子丢失可能危及货运列车行车安全，故对折角塞门卡子的存在性检测十分必要。但现有检测方法存在缺陷，主要是相对于直接获取到的高分辨率底、侧部货运列车图像，折角塞门卡子尺度在原始图像中占比很小，属于小目标检测范畴。而对于小目标物体的人工检测，检车员极易因疲劳造成漏检、错检；而现有的单步图像目标自动识别方式又难以在大尺度图像的小目标检测中同时兼顾准确性和实时性。


技术实现要素：

3.针对现有目标自动识别方式难以在大尺度图像的小目标检测中同时兼顾准确性和实时性的问题，本发明提供一种基于深度学习的折角塞门卡子丢失故障检测方法。
4.本发明的一种基于深度学习的折角塞门卡子丢失故障检测方法，包括：
5.s1、获取货车底、侧部原始图像；
6.s2、利用阀体边界检测模型对货车底、侧部原始图像进行检测，获取折角塞门阀体边界信息；
7.s3、根据折角塞门阀体边界信息，在水平方向对侧部原始图像进行缩放，使底、侧部原始图像中折角塞门阀体边界宽度相等，将折角塞门卡子区域图像从底、侧部图像中裁剪出来，获得底、侧部二级子图像，再以折角塞门阀体边界水平对齐为条件，进行底、侧部二级子图像的垂直拼接，获得融合待检图像；
8.s4、利用卡子边界检测模型对融合待检图像进行检测，获取折角塞门卡子边界信息；
9.s5、根据折角塞门卡子边界信息判断融合待检图像是否存在底、侧部卡子，若是，检测结果为折角塞门卡子未丢失，若否，检测结果为折角塞门卡子丢失，进行告警。
10.作为优选，所述阀体边界检测模型采用cpndet网络，cpndet网络采用的损失函数为；
[0011][0012]
其中，l
α-ciou
表示cpndet网络损失，α为附加的幂次正则项，iou为预测框与真实框的交并比，ρ2(b,b
gt
)表示预测框中心点b与真实框中心点b
gt
的欧氏距离，c2表示预测框与真实框最小外接矩形的对角线长度；(βυ)表示纵横比一致性损失；
[0013]
作为优选，w
gt
和h
gt
分别为真实框的宽和高，w和h分别为预测框的宽和高。
[0014]
作为优选，所述卡子边界检测模型采用fasterrcnn网络，采用多头自注意力检测金字塔替换fasterrcnn网络中基于resnet50的fpn骨干网络中的下采样结构；
[0015]
多头自注意力检测金字塔包括图像区域分割模块、图像局部特征序列化模块、4个多头自注意力特征提取模块和3个图像局部特征下采样模块；
[0016]
图像区域分割模块，与图像局部特征序列化模块连接，用于接收输入图像，输入图像为维度(c,h,w)的图像，对输入图像以p*p大小的矩形空间对图像进行分割，并重组成维度的图像局部特征集合，并发送给图像局部特征序列化模块；c表示输入图像的通道数，h表示输入图像的高度，w表示输入图像的宽度；
[0017]
图像局部特征序列化模块，与1号多头自注意力特征提取模块连接，用于将接收的图像局部特征集合展平，形成维度的新集合，将新集合进行转置操作，生成序列化后的图像局部特征集合,维度为将序列化后的图像局部特征集合发送至1号多头自注意力特征提取模块；
[0018]
1号多头自注意力特征提取模块用于将序列化后的图像局部特征集合中的特征进行提取,提取出的特征向量输入至1号图像局部特征下采样模块；1号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0019]
1号图像局部特征下采样模块，与2号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至2号多头自注意力特征提取模块，2号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0020]
2号多头自注意力特征提取模块，与2号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至2号图像局部特征下采样模块；
[0021]
2号图像局部特征下采样模块，与3号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至3号多头自注意力特征提取模块，3号多头自注意力特征提取模块由6个多头相对位置编码自注意力模组堆叠组成；
[0022]
3号多头自注意力特征提取模块，与3号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至3号图像局部特征下采样模块；
[0023]
3号图像局部特征下采样模块，与4号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至4号多头自注意力特征提取模块，4号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0024]
4号多头自注意力特征提取模块，用于对输入的特征向量进行特征提取，提取出的特征向量为多头自注意力检测金字塔获得下采样结果。
[0025]
作为优选，每个图像局部特征下采样模块包括相连接的下采样层和全连接层，下采样层，用于利用数值为1、间隔为1的空洞卷积模板对输入的图像向量进行下采样，输入的图像向量的维度为(h,w,c)，输出维度为(h/2,w/2,4c)的特征向量至全连接层；
[0026]
全连接层，用于将维度为(h/2,w/2,4c)的特征向量重整维度为(h/2,w/2,2c)的特征向量输出。
[0027]
作为优选，每个多头相对位置编码自注意力模组包括一个注入相对位置编码的多头自注意力层、一个layernorm层和一个多层感知机；
[0028]
注入相对位置编码的多头自注意力层包括num_heads个并行的单头自注意力层，每个单头自注意力层的输出为：
[0029][0030]
其中，向量qi＝x1w
iq
，向量ki＝x1w
ik
，向量vi＝x1w
iv
，i表示单头自注意力层的索引值，w
iq
、w
ik
、w
iv
表示三种线性投影变换，x1表示多头自注意力层的输入，假设qi、ki、vi的维度为(m,l)，x1的维度为(m,n)，bi为相对位置重要性参数，维度为(m,m)，bi的计算依赖相对位置索引表和相对位置重要性数值表；
[0031]
对每个单头自注意力层的输出以concat的形式进行拼接，拼接后的结果为多头自注意力层的输出，该输出再依次经过layernorm层和多层感知机，多层感知机输出提取的特征向量维度为(m,n)。
[0032]
作为优选，bi的获取方法包括：
[0033]
通过相对位置索引表查找相对位置重要性数值表，得到不同位置图像局部特征集合间的相对位置重要性参数；
[0034]
所述相对位置索引表：已知输入x1中的维度m，每一维向量是一个图像局部特征集合，从二维图像角度出发，共有(m-1)2种相对位置编码关系，由此建立相对位置索引表；
[0035]
所述相对位置重要性数值表：是一个在网络训练过程中迭代更新的一维列表，共包含(m-1)2个可学习参数。
[0036]
本发明的有益效果，本发明利用了分步检测的方法，综合利用不同角度相机中折角塞门卡子图像信息，实现了对多图像中折角塞门卡子的快速、准确定位，提高了对大尺度高分辨率图像中小目标的检测效率和准确率。本发明在cpndet网络引入的损失函数，在高召回率的基础上提升了对折角塞门阀体边界的回归精度；本发明通过校准融合底、侧部图像的方式，缩减了检测步骤，增强了检测的准确率。本发明在fasterrcnn网络中引入多头自注意力机制，将卡子、折角塞门阀体、车体边界等位置相关性较强的目标间信息充分融合，通过提高fasterrcnn网络目标间全局依赖关系的建模能力，增强其对小目标物体的检测性能，使得卡子的定位更加精准。
附图说明
[0037]
图1侧部原始图像；
[0038]
图2底部原始图像；
[0039]
图3故障识别流程图；
[0040]
图4融合待检图像；
[0041]
图5多头自注意力检测金字塔；
[0042]
图6折角塞门卡子检测标记结果。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其
他实施例，都属于本发明保护的范围。
[0044]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0045]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0046]
如图3所示，本实施方式的一种基于深度学习的折角塞门卡子丢失故障检测方法，包括：
[0047]
步骤1、获取货车底、侧部原始图像，如图1和图2所示；
[0048]
在货车轨道沿途搭建高速线阵成像设备，货车通过设备后，可获取货车底、侧部完整高清图像，所有图像均为清晰的灰度图像。
[0049]
步骤2、利用阀体边界检测模型对货车底、侧部原始图像进行检测，获取折角塞门阀体边界信息；
[0050]
步骤3、根据折角塞门阀体边界信息，在水平方向对侧部原始图像进行缩放，使底、侧部原始图像中折角塞门阀体边界宽度相等，将折角塞门卡子区域图像从底、侧部图像中裁剪出来，获得底、侧部二级子图像，再以折角塞门阀体边界水平对齐为条件，进行底、侧部二级子图像的垂直拼接，获得融合待检图像，如图3所示；
[0051]
步骤4、利用卡子边界检测模型对融合待检图像进行检测，获取折角塞门卡子边界信息，如图6所示；
[0052]
步骤5、根据折角塞门卡子边界信息判断融合待检图像是否存在底、侧部卡子，若是，检测结果为折角塞门卡子未丢失，若否，检测结果为折角塞门卡子丢失，进行告警。
[0053]
本实施方式针对从底、侧部不同高清线阵相机获取的包含折角塞门卡子部件区域图像，采用阀体边界检测模型分别定位底部、侧部区域图像中折角塞门阀体边界。根据所得折角塞门阀体边界信息，以折角塞门阀体边界水平对齐为条件，分别对底部、侧部折角塞门卡子区域图像进行水平缩放、再截取及垂直拼接操作，获得融合待检图像。将融合待检图像输入卡子边界检测模型，得到折角塞门卡子定位信息，进而判断是否发生折角塞门卡子丢失故障。步骤5中，若检测结果为折角塞门卡子未丢失，确定底、侧部卡子在水平位置上的像素差，进一步判断检测结果是否合理，若判定检测结果不合理，则进行告警。对发生卡子丢失故障的车辆编号进行上传报警，工作人员根据识别结果进行相应的处理，保证列车安全运行。
[0054]
优选实施例中，阀体边界检测模型采用cpndet网络，cpndet网络采用的损失函数为；
[0055][0056]
其中，l
α-ciou
表示cpndet网络损失，α为附加的幂次正则项，iou为预测框与真实框的交并比，ρ2(b,b
gt
)表示预测框中心点b与真实框中心点b
gt
的欧氏距离，c2表示预测框与真实框最小外接矩形的对角线长度；(βυ)表示纵横比一致性损失；
[0057]
本实施方式中基于cpndet网络构建目标检测模型，采用alpha-ciou替换原cpndet网络中的l2边界框损失函数，通过调节α，使得cpndet可以更灵活地调整对不同iou回归水平的预测边界框的回归精度，同时使cpndet对小数据集和噪声的鲁棒性更强；
[0058]
本实施方式中，w
gt
和h
gt
分别为真实框的宽和高，w和h分别为预测框的宽和高。
[0059]
本实施方式中，对阀体边界检测模型进行训练的方法包括：
[0060]
对包含折角塞门卡子区域的工位图像进行标记，构建阀体边界检测训练集；
[0061]
采用均值为0，方差为0.01的正态分布模型对阀体边界检测模型的权重进行随机初始化，将阀体边界检测训练集中图像作为输入，通过重复迭代优化，直至得到阀体边界检测模型权重的最佳值。
[0062]
结合阀体边界检测模型与权重参数，对包含折角塞门卡子区域的底、侧部原始图像进行检测，获取预测的折角塞门阀体包围框的像素坐标信息。
[0063]
优选实施例中，本实施方式卡子边界检测模型采用fasterrcnn网络，采用多头自注意力检测金字塔替换fasterrcnn网络中基于resnet50的fpn骨干网络中的下采样结构；多头自注意力检测金字塔采用基于transformer架构构建；
[0064]
如图5所示，多头自注意力检测金字塔包括图像区域分割模块、图像局部特征序列化模块、4个多头自注意力特征提取模块和3个图像局部特征下采样模块；
[0065]
图像区域分割模块，与图像局部特征序列化模块连接，用于接收输入图像，输入图像为维度(c,h,w)的图像，对输入图像以p*p大小的矩形空间对图像进行分割，并重组成维度的图像局部特征集合，并发送给图像局部特征序列化模块；c表示输入图像的通道数，h表示输入图像的高度，w表示输入图像的宽度；
[0066]
图像局部特征序列化模块，与1号多头自注意力特征提取模块连接，用于将接收的图像局部特征集合展平，形成维度的新集合，将新集合进行转置操作，生成序列化后的图像局部特征集合,维度为将序列化后的图像局部特征集合发送至1号多头自注意力特征提取模块；
[0067]
1号多头自注意力特征提取模块用于将序列化后的图像局部特征集合中的特征进行提取,提取出的特征向量输入至1号图像局部特征下采样模块；1号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0068]
1号图像局部特征下采样模块，与2号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至2号多头自注意力特征提取模块，2号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0069]
2号多头自注意力特征提取模块，与2号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至2号图像局部特征下采样模块；
[0070]
2号图像局部特征下采样模块，与3号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至3号多头自注意力特征提取模块，3号多头自注意力特征提取模块由6个多头相对位置编码自注意力模组堆叠组成；
[0071]
3号多头自注意力特征提取模块，与3号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至3号图像局部特征下采样模块；
[0072]
3号图像局部特征下采样模块，与4号多头自注意力特征提取模块连接，用于对输
入的特征向量下采样后，得到的特征向量输入至4号多头自注意力特征提取模块，4号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；
[0073]
4号多头自注意力特征提取模块，用于对输入的特征向量进行特征提取，提取出的特征向量为多头自注意力检测金字塔获得下采样结果。
[0074]
每个图像局部特征下采样模块包括相连接的下采样层和全连接层，下采样层，用于利用数值为1、间隔为1的空洞卷积模板对输入的图像向量进行下采样，输入的图像向量的维度为(h,w,c)，输出维度为(h/2,w/2,4c)的特征向量至全连接层；
[0075]
全连接层，用于将维度为(h/2,w/2,4c)的特征向量重整维度为(h/2,w/2,2c)的特征向量输出。
[0076]
本实施方式中，每个多头相对位置编码自注意力模组包括一个注入相对位置编码的多头自注意力层、一个layernorm层和一个多层感知机；
[0077]
注入相对位置编码的多头自注意力层包括num_heads个并行的单头自注意力层，每个单头自注意力层的输出为：
[0078][0079]
其中，向量qi＝x1w
iq
，向量ki＝x1w
ik
，向量vi＝x1w
iv
，i表示单头自注意力层的索引值，w
iq
、w
ik
、w
iv
表示三种线性投影变换，x1表示多头自注意力层的输入，假设qi、ki、vi的维度为(m,l)，x1的维度为(m,n)，那么有bi为相对位置重要性参数，bi的计算依赖相对位置索引表和相对位置重要性数值表；
[0080]
对每个单头自注意力层的输出以concat的形式进行拼接，拼接后的结果为多头自注意力层的输出，该输出再依次经过layernorm层和多层感知机，多层感知机输出提取的特征向量维度为(m,n)。
[0081]
本实施方式中bi的获取方法包括：
[0082]
通过相对位置索引表查找相对位置重要性数值表，得到不同位置图像局部特征集合间的相对位置重要性参数；
[0083]
所述相对位置索引表：已知输入x1中的维度m，每一维向量是一个图像局部特征集合，从二维图像角度出发，共有(m-1)2种相对位置编码关系，由此建立相对位置索引表；
[0084]
所述相对位置重要性数值表：是一个在网络训练过程中迭代更新的一维列表，共包含(m-1)2个可学习参数。
[0085]
本实施方式中，对故障检测模型训练的方法包括：对融合待检图像中的折角塞门卡子进行标记，构建故障检测训练集；
[0086]
采用均值为0，方差为0.01的正态分布模型对故障检测模型权重进行随机初始化，将故障检测训练集中图像作为故障检测模型输入，通过重复迭代优化，直至得到故障检测模型权重的最佳值。结合故障检测模型与权重参数，对融合待检图像进行检测，获取预测的折角塞门卡子包围框的像素坐标信息。
[0087]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权
利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。