一种铁路货运列车螺栓丢失故障图像自动生成方法与流程

1.本发明涉及一种铁路货运列车螺栓丢失故障图像自动生成方法，属于故障检测领域。


背景技术：

2.车辆段长期以来采用人工查看图像的方式对铁路货运列车进行全车检查，这种方式效率有限且由于懈怠等原因容易产生漏检和误检。随着深度学习的发展，基于深度学习的故障自动识别系统逐渐替代了传统的人工检车。
3.深度学习模型的训练离不开大量图像数据的支撑，并且图像数据的数量与质量直接影响深度学习模型的准确度。然而对于铁路货运列车的故障图像而言，其采集难度大、成本高，虽然可以参照真实故障在正常图像上进行人工ps操作，但由于人工的工作时间存在限制、ps思维容易固定等原因，故障图像的产出效率较低，形态多样性也不够丰富。


技术实现要素：

4.针对螺栓故障图像的产出效率较低，样本形态不够多样性的问题，本发明提供一种铁路货运列车螺栓丢失故障图像自动生成方法。
5.本发明的一种铁路货运列车螺栓丢失故障图像自动生成方法,所述方法包括：
6.s1、获取货运列车的底盘图像；
7.s2、将底盘图像输入至卷积神经网络模型，卷积神经网络模型对底盘图像中的螺栓进行定位，得到螺栓子图及其在底盘图像中的位置坐标；
8.s3、将螺栓子图输入至生成对抗网络模型中，生成对抗网络模型输出螺栓子图中螺栓丢失后的孔洞图像；
9.s4、根据螺栓子图在底盘图像中的位置坐标，将s3的孔洞图像与底盘图像合成，利用孔洞图像替换螺栓，获得带孔洞的底盘图像。
10.作为优选，所述卷积神经网络采用faster r-cnn网络实现，faster r-cnn网络的骨干网络采用拥有4组残差单元的resnet50来提取底盘图像中的特征，获得维度从浅层到深层的4路原特征图；
11.所述faster r-cnn网络还包括特征金字塔和4个跨通道注意力模块；
12.4路原特征图分别输入至4个跨通道注意力模块中，获得4路带有注意力的特征图；
13.4路带有注意力的特征图输入至特征金字塔中，特征金字塔将深层的特征图叠加到浅层特征图上，并输出维度从浅层到深层的4路特征图。
14.作为优选，每个跨通道注意力模块包括全局平均池化层和卷积核尺寸为5的一维卷积层、sigmoid激活函数和逐点相乘层；
15.1路原特征图依次经过全局平均池化层、一维卷积层和sigmoid激活函数后获得权重，在逐点相乘层内所述权重与输入的1路原特征图逐点相乘，输出1路带有注意力的特征图。
16.4、根据权利要求3所述的铁路货运列车螺栓丢失故障图像自动生成方法，其特征在于，特征金字塔包括4个检测分支和3个2倍上采样模块；每个检测分支包括一个1*1卷积层和一个3*3卷积层；
17.4路带有注意力的特征图分别输入至4个检测分支的1*1卷积层中，深层的特征图对应的1*1卷积层中的输出进行2倍上采样后叠加到浅层特征图的1*1卷积层的输出上，再输入至相应3*3卷积层中，四个3*3卷积层输出维度从浅层到深层的4路特征图。
18.作为优选，所述生成对抗网络模型采用cyclegan网络实现，所述生成对抗网络模型的生成损失、循环损失和id损失的权重分别为1、10、2。
19.作为优选，所述s1包括：
20.根据铁路货运列车的移动速度计算拍摄频率，线阵相机按照拍摄频率对铁路货运列车的底盘进行拍摄，获得多张图像，将多张图像合成一张完整的底盘图像。
21.作为优选，所述s1还包括对底盘图像进行预处理，预处理包括自适应提升亮度、直方图均衡化和图像缩放。
22.作为优选，所述卷积神经网络模型还用于对底盘图像中的孔洞进行定位，得到孔洞子图；
23.利用卷积神经网络模型得到螺栓子图和孔洞子图及对应孔洞图像构建生成对抗网络模型的训练集。
24.作为优选，所述生成对抗网络模型的训练方法包括：
25.将训练集中所有子图缩放到相同大小和比例，分辨率为128*128，用gan loss进行生成损失计算，用l1 loss进行循环损失和id损失的计算，用pytorch搭建和训练生成对抗网络模型，优化器选择adam，学习率0.0001。
26.作为优选，所述卷积神经网络模型的训练方法包括：
27.构建原始数据集，原始数据集中包含螺栓及螺栓丢失的底盘图像，及从底盘图像中获取螺栓子图及螺栓丢失的孔洞子图；
28.将原始数据集中所有图片缩放到相同大小和比例，分辨率为512*512，用cross entropy loss对类别预测进行训练，用l1 loss对位置预测进行训练，用pytorch搭建和训练卷积神经网络模型，优化器选择sgd，学习率0.02，动量0.9。
29.本发明的有益效果，本发明减小人工ps工作量、提高样本形态多样性。能够对螺栓及孔洞进行自动分类和定位，可以代替人工裁切和恢复图像，提高工作效率。针对螺栓及孔洞目标尺寸过小的问题，本发明通过添加注意力机制和4个尺度的特征融合来提高螺栓和孔洞目标的识别准确度。本发明为生成对抗网络的三个损失函数添加了一组权重来减少生成故障与原图之间的色差，提升生成故障与真实故障的相似性。
附图说明
30.图1为本发明的特征金字塔，input表示输入特征图，output表示输出特征图，conv表示卷积层，upsample表示上采样；
31.图2为本发明的跨通道注意力模块，input表示输入特征图，output表示输出特征图，globalaveragepooling表示全局平均池化，σ表示sigmoid激活函数，
·
表示逐点相乘层；
32.图3为本发明的流程图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
35.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
36.本实施方式的一种铁路货运列车螺栓丢失故障图像自动生成方法，包括：
37.步骤1、获取货运列车的底盘图像；
38.步骤1根据铁路货运列车的移动速度计算拍摄频率，线阵相机按照拍摄频率对铁路货运列车的底盘进行拍摄，获得多张图像，将多张图像合成一张完整的底盘图像。所述步骤1还包括对底盘图像进行预处理，预处理包括自适应提升亮度、直方图均衡化和图像缩放。
39.步骤2、将底盘图像输入至卷积神经网络模型，卷积神经网络模型对底盘图像中的螺栓进行定位，得到螺栓子图及其在底盘图像中的位置坐标；
40.步骤3、将螺栓子图输入至生成对抗网络模型中，生成对抗网络模型输出螺栓子图中螺栓丢失后的孔洞图像；
41.步骤4、根据螺栓子图在底盘图像中的位置坐标，将s3的孔洞图像与底盘图像合成，利用孔洞图像替换螺栓，获得带孔洞的底盘图像。
42.本实施方式通过卷积神经网络模型对螺栓进行自动定位，可以代替人工裁切和恢复图像，提高工作效率。利用生成对抗网络模型自动生成故障图像方法，减小人工ps工作量、提高样本形态多样性。螺栓用于固定货运列车的多种重要部件，保证列车的行车安全。通过深度学习对货运列车的螺栓丢失图像进行生成，可以丰富故障图像的多样性，提升故障图像数量和产生效率，节约成本。
43.本实施方式的铁路货运列车螺栓丢失故障图像自动生成方法，是利用卷积神经网络模型和生成对抗网络模型实现的，具体实施时包括两个阶段：训练阶段和自动生成阶段；
44.其中在训练阶段，构建卷积神经网络模型和生成对抗网络模型，构建训练集，分别对卷积神经网络模型和生成对抗网络模型进行训练，确定卷积神经网络模型和生成对抗网络模型的权重后，在自动生成阶段，利用确定权重后的卷积神经网络模型和生成对抗网络模型，采用步骤1至步骤4，生成带孔洞的底盘图像。
45.一、卷积神经网络模型的训练阶段：
46.本实施方式的卷积神经网络模型采用faster r-cnn网络实现，faster r-cnn拥有不错的识别准确率和定位精度，faster r-cnn网络的骨干网络采用拥有4组残差单元的resnet50来提取底盘图像中的特征，获得维度从浅层到深层的4路原特征图；这4组残差单元的输出维度从浅层到深层依次为256、512、1024、2048。
47.faster r-cnn网络还包括特征金字塔和4个跨通道注意力模块；
48.4路原特征图分别输入至4个跨通道注意力模块中，获得4路带有注意力的特征图；
49.4路带有注意力的特征图输入至特征金字塔中，特征金字塔将深层的特征图叠加到浅层特征图上，并输出维度从浅层到深层的4路特征图。
50.为了提高每一个检测分支的预测准确性，本实施方式对骨干网络之后添加了跨通道注意力模块，如图2所示，每个跨通道注意力模块包括全局平均池化层和卷积核尺寸为5的一维卷积层、sigmoid激活函数和逐点相乘层；
51.1路原特征图依次经过全局平均池化层、一维卷积层和sigmoid激活函数后获得权重，在逐点相乘层内所述权重与输入的1路原特征图逐点相乘，输出1路带有注意力的特征图。特征图经过池化和卷积后，每一个维度会获得一个权重，将权重乘回原特征图就会得到带有注意力的特征图。
52.由于螺栓在图像数据中尺寸较小，为了获得更准确的定位信息，需要神经网络在浅层的特征图上进行预测。而深层的特征图中包含了丰富的语义信息，所以本实施方式在4组残差单元上都搭建了检测分支用于构建特征金字塔。本实施方式的特征金字塔包括4个检测分支和3个2倍上采样模块，每个检测分支包括一个1*1卷积层和一个3*3卷积层，如图1所示；4路带有注意力的特征图分别输入至4个检测分支的1*1卷积层中，深层的特征图对应的1*1卷积层中的输出进行2倍上采样后叠加到浅层特征图的1*1卷积层的输出上，使得浅层特征图同时具备良好的位置与语义信息，每一个检测分支都会输出256维度的特征图，再输入至相应3*3卷积层中，四个3*3卷积层输出维度从浅层到深层的4路特征图。
53.在训练阶段，构建原始数据集，根据列车轴距信息及相关部件的位置等先验知识，从线阵相机拍摄的列车底盘大图中提取出含有螺栓或螺栓丢失的部件的底盘图像。由于列车新旧、速度、环境光等都会对成像质量产生影响，产生低亮度、低对比度、图像拉伸等问题，需要对底盘图像采取自适应提升亮度、直方图均衡化和图像缩放处理。除此之外，螺栓丢失故障发生的概率不高，真实故障的图像数据数量较少，需要对故障图像额外进行随机翻转、仿射变换、x和y方向随机平移来丰富训练集中的故障样本，提高定位模型的鲁棒性。
54.将原始数据集中所有图片缩放到相同大小和比例，分辨率为512*512，用cross entropy loss对类别预测进行训练，用l1 loss对位置预测进行训练，用pytorch搭建和训练卷积神经网络模型，优化器选择sgd，学习率0.02，动量0.9。
55.二、生成对抗网络模型的训练阶段：
56.本实施方式选择cyclegan网络来生成螺栓丢失后的孔洞图像，cyclegan网络无需使用成对的数据进行训练，对数据集的要求较低。螺栓子图进入生成对抗网络模型后，生成对抗网络模型会对螺栓子图进行生成并与孔洞子图进行损失计算，使生成的图像更趋近于真实孔洞图像。为保证生成的孔洞图像更像是螺栓图像中的螺栓丢失后的样子，网络会对生成的图像再次进行生成，并与真实的螺栓图像进行损失计算。
57.cyclegan网络生成的孔洞图像会存在边缘不规则，色差明显的问题，本实施方式对生成对抗网络模型的生成损失、循环损失和id损失分别赋予1，10，2的权重，大幅提高循环损失占比解决孔洞边缘不规则问题，适当提高id损失占比解决色差明显问题。
58.本实施方式cyclegan网络在训练阶段需要螺栓子图和孔洞子图的训练集，本实施方式的卷积神经网络模型可同时对底盘图像中的螺栓和丢失螺栓的孔洞进行分类和定位，即还包括对底盘图像中的孔洞进行定位，得到孔洞子图；利用卷积神经网络模型得到螺栓
子图和孔洞子图及对应孔洞图像构建生成对抗网络模型的训练集。将训练集中所有子图缩放到相同大小和比例，分辨率为128*128，用gan loss进行生成损失计算，用l1 loss进行循环损失和id损失的计算，用pytorch搭建和训练生成对抗网络模型，优化器选择adam，学习率0.0001。
59.虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。