基于深度学习的折角塞门卡子丢失故障检测方法与流程

技术特征：
1.一种基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，包括：s1、获取货车底、侧部原始图像；s2、利用阀体边界检测模型对货车底、侧部原始图像进行检测，获取折角塞门阀体边界信息；s3、根据折角塞门阀体边界信息，在水平方向对侧部原始图像进行缩放，使底、侧部原始图像中折角塞门阀体边界宽度相等，将折角塞门卡子区域图像从底、侧部图像中裁剪出来，获得底、侧部二级子图像，再以折角塞门阀体边界水平对齐为条件，进行底、侧部二级子图像的垂直拼接，获得融合待检图像；s4、利用卡子边界检测模型对融合待检图像进行检测，获取折角塞门卡子边界信息；s5、根据折角塞门卡子边界信息判断融合待检图像是否存在底、侧部卡子，若是，检测结果为折角塞门卡子未丢失，若否，检测结果为折角塞门卡子丢失，进行告警。2.根据权利要求1所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，所述阀体边界检测模型采用cpndet网络，cpndet网络采用的损失函数为；其中，l
α-ciou
表示cpndet网络损失，α为附加的幂次正则项，iou为预测框与真实框的交并比，ρ2(b，b
gt
)表示预测框中心点b与真实框中心点b
gt
的欧氏距离，c2表示预测框与真实框最小外接矩形的对角线长度；(βυ)表示纵横比一致性损失。3.根据权利要求2所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，w
gt
和h
gt
分别为真实框的宽和高，w和h分别为预测框的宽和高。4.根据权利要求3所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，对阀体边界检测模型进行训练的方法包括：对包含折角塞门卡子区域的工位图像进行标记，构建阀体边界检测训练集；采用均值为0，方差为0.01的正态分布模型对阀体边界检测模型的权重进行随机初始化，将阀体边界检测训练集中图像作为输入，通过重复迭代优化，直至得到阀体边界检测模型权重的最佳值。5.根据权利要求1所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，所述卡子边界检测模型采用fasterrcnn网络，采用多头自注意力检测金字塔替换fasterrcnn网络中基于resnet50的fpn骨干网络中的下采样结构；多头自注意力检测金字塔包括图像区域分割模块、图像局部特征序列化模块、4个多头自注意力特征提取模块和3个图像局部特征下采样模块；图像区域分割模块，与图像局部特征序列化模块连接，用于接收输入图像，输入图像为维度(c，h，w)的图像，对输入图像以p*p大小的矩形空间对图像进行分割，并重组成维度的图像局部特征集合，并发送给图像局部特征序列化模块；c表示输入图像的通道数，h表示输入图像的高度，w表示输入图像的宽度；图像局部特征序列化模块，与1号多头自注意力特征提取模块连接，用于将接收的图像
局部特征集合展平，形成维度的新集合，将新集合进行转置操作，生成序列化后的图像局部特征集合，维度为将序列化后的图像局部特征集合发送至1号多头自注意力特征提取模块；1号多头自注意力特征提取模块用于将序列化后的图像局部特征集合中的特征进行提取，提取出的特征向量输入至1号图像局部特征下采样模块；1号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；1号图像局部特征下采样模块，与2号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至2号多头自注意力特征提取模块，2号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；2号多头自注意力特征提取模块，与2号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至2号图像局部特征下采样模块；2号图像局部特征下采样模块，与3号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至3号多头自注意力特征提取模块，3号多头自注意力特征提取模块由6个多头相对位置编码自注意力模组堆叠组成；3号多头自注意力特征提取模块，与3号图像局部特征下采样模块连接，用于对输入的特征向量进行特征提取，提取出的特征向量输入至3号图像局部特征下采样模块；3号图像局部特征下采样模块，与4号多头自注意力特征提取模块连接，用于对输入的特征向量下采样后，得到的特征向量输入至4号多头自注意力特征提取模块，4号多头自注意力特征提取模块由2个多头相对位置编码自注意力模组堆叠组成；4号多头自注意力特征提取模块，用于对输入的特征向量进行特征提取，提取出的特征向量为多头自注意力检测金字塔获得下采样结果。6.根据权利要求5所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，每个图像局部特征下采样模块包括相连接的下采样层和全连接层，下采样层，用于利用数值为1、间隔为1的空洞卷积模板对输入的图像向量进行下采样，输入的图像向量的维度为(h，w，c)，输出维度为(h/2，w/2，4c)的特征向量至全连接层；全连接层，用于将维度为(h/2，w/2，4c)的特征向量重整维度为(h/2，w/2，2c)的特征向量输出。7.根据权利要求5所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，每个多头相对位置编码自注意力模组包括一个注入相对位置编码的多头自注意力层、一个layernorm层和一个多层感知机；注入相对位置编码的多头自注意力层包括num_heads个并行的单头自注意力层，每个单头自注意力层的输出为：其中，向量q
i
＝x1w
iq
，向量k
i
＝x1w
ik
，向量v
i
＝x1w
iv
，i表示单头自注意力层的索引值，w
iq
、w
ik
、w
iv
表示三种线性投影变换，x1表示多头自注意力层的输入，假设q
i
、k
i
、v
i
的维度为(m，l)，x1的维度为(m，n)，那么有而b
i
为相对位置重要性参数，维度为(m，m)，b
i
的计算依赖相对位置索引表和相对位置重要性数值表；
对每个单头自注意力层的输出以concat的形式进行拼接，拼接后的结果为多头自注意力层的输出，该输出再依次经过layernorm层和多层感知机，多层感知机输出提取的特征向量维度为(m，n)。8.根据权利要求7所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，b
i
的获取方法包括：通过相对位置索引表查找相对位置重要性数值表，得到不同位置图像局部特征集合间的相对位置重要性参数；所述相对位置索引表：已知输入x1中的维度m，每一维向量是一个图像局部特征集合，从二维图像角度出发，共有(m-1)2种相对位置编码关系，由此建立相对位置索引表；所述相对位置重要性数值表：是一个在网络训练过程中迭代更新的一维列表，共包含(m-1)2个可学习参数。9.根据权利要求8所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，对故障检测模型训练的方法包括：对融合待检图像中的折角塞门卡子进行标记，构建故障检测训练集；采用均值为0，方差为0.01的正态分布模型对故障检测模型权重进行随机初始化，将故障检测训练集中图像作为故障检测模型输入，通过重复迭代优化，直至得到故障检测模型权重的最佳值。10.根据权利要求1所述的基于深度学习的折角塞门卡子丢失故障检测方法，其特征在于，所述s5中，若检测结果为折角塞门卡子未丢失，确定底、侧部卡子在水平位置上的像素差，进一步判断检测结果是否合理，若判定检测结果不合理，则进行告警。

技术总结
基于深度学习的折角塞门卡子丢失故障检测方法，解决了现有目标自动识别方式难以在大尺度图像的小目标检测中同时兼顾准确性和实时性的问题，属于铁路货车故障检测领域。本发明包括：获取货车底、侧部原始图像；利用阀体边界检测模型对货车底、侧部原始图像进行检测，获取折角塞门阀体边界信息；根据折角塞门阀体边界信息，将折角塞门卡子区域图像从底、侧部图像中裁剪出来，获得底、侧部二级子图像，将底、侧部二级子图像的垂直拼接，获得融合待检图像；利用卡子边界检测模型对融合待检图像进行检测，获取折角塞门卡子边界信息；根据折角塞门卡子边界信息判断融合待检图像是否存在底、侧部卡子，确定是否发生丢失故障。确定是否发生丢失故障。确定是否发生丢失故障。


技术研发人员：杨宇
受保护的技术使用者：哈尔滨市科佳通用机电股份有限公司
技术研发日：2022.07.15
技术公布日：2022/10/11