一种闸瓦折断和铆钉丢失故障检测方法与流程

1.本发明涉及一种基于改进后的s2a-net网络的闸瓦折断和铆钉丢失故障检测方法，属于铁路列车故障检测领域。


背景技术：

2.闸瓦是列车制动的重要装置，对行车安全有重大影响。若闸瓦发生损坏，可能造成该节车厢失去制动或仅剩单向制动，产生侧向应力，危及行车安全。而在闸瓦的工作过程中，由于其与车轮之间存在较大应力，其与车轮直接接触的磨耗体部分易于发生一定的损坏，如闸瓦下半部的磨耗体产生折断等。为保证列车平稳、安全运行，需对闸瓦故障进行识别检测，一旦发现闸瓦出现破损变形，则需立即处理。目前采用人工检查图像的方式对闸瓦进行故障检查，而检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全，且闸瓦在列车底部数量多、分布较广，每一列过车中闸瓦数量可以达到200个左右，人工查验效率低下，故障检查需要耗费大量时间。


技术实现要素：

3.针对如何提高闸瓦状态检测效率的问题，本发明提供一种基于改进后的s2a-net网络的闸瓦折断和铆钉丢失故障检测方法。
4.本发明的一种闸瓦折断和铆钉丢失故障检测方法，包括：
5.s1、采集列车侧部图像，截取出包括闸瓦的图像作为待测图像；
6.s2、将待测图像输入至闸瓦故障检测模型中，闸瓦故障检测模型输出检测结果，检测结果包括闸瓦的故障形态与故障位置；故障形态包括闸瓦折断和/或铆钉丢失；
7.闸瓦故障检测模型采用s2anet网络实现，s2anet网络中fam模块的卷积为对齐卷积层alignconv；对齐卷积层alignconv输出的检测框的维度为{(x,b,α,β,θ)}，x表示检测框的中心点坐标，θ表示检测框的倾斜角，b表示检测框原始大小，表示α检测框宽度比例系数，β表示检测框高度比例系数，检测框的宽度为w＝b
×
10
α
，检测框的高度为h＝b
×
10
β
；b、α、β均为可学习参数；
8.所述对齐卷积层alignconv中的像素偏移量编码参数包括采样点密度ds，ds为可学习参数；
9.s3、根据映射关系，将检测结果映射到待测图像中，进行报警上传。
10.作为优选，所述b、α、β在训练过程中尺寸偏差计算公式为：
11.δb＝log(bg)-log(b)
12.δα＝log(αg)-log(α)
13.δβ＝log(βg)-log(β)
14.bg、αg、βg分别为目标实际大小、实际宽度比例系数、实际高度比例系数。
15.作为优选，重采样特征点的数量
16.作为优选，所述ds在训练过程中偏差计算公式为：δds＝log(d
sg
)-log(ds)，d
sg
为目标实际采样点密度。
17.作为优选，在铁道车辆两侧搭建高清线阵成像设备，所述s1包括：
18.当列车通过时，触发传感器，采集图像，利用轴距信息与闸瓦位置的先验知识，截取出包括闸瓦的图像作为待测图像。
19.作为优选，所述闸瓦故障检测模型的训练集构建方法包括：
20.sa1、获取货车各部位的高清线阵灰度图像，并拼接成列车侧部和底部的完整图像；
21.sa2、利用轴距信息与闸瓦位置的先验知识，确定闸瓦的起止位置，根据起止位置对所述完整图像中闸瓦的区域进行截取，得到目标图像；
22.sa3、在目标图像的基础上模拟故障图像，对故障图像进行扩增，扩增后的故障图像作为训练集。
23.作为优选，所述sa1中，获取货车各部位的高清线阵灰度图像包括不同时间段不同环境下的图像。
24.作为优选，所述sa3中，对故障图像进行扩增包括图像平移、缩放和锐化。
25.本发明利用图像自动识别的方式代替人工检测，降低人工成本。本发明将深度学习算法应用到闸瓦故障的自动识别中，提高整体算法的稳定性及精度，并有效缩短故障检测的时间。使用s2anet网络并对其进行一定的改进，在闸瓦故障检测中，对大目标和小目标均实现了较好的检测效果。
附图说明
26.图1列车上闸瓦示意图，大圈部分为闸瓦磨耗体检测范围，小圈部分为闸瓦铆钉检测范围；
27.图2s2anet网络改进前后的检测框示意图；
28.图3改进前的alignconv检测框采样示意图；
29.图4改进后的alignconv检测框采样示意图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
32.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
33.结合图说明本实施方式，本实施方式的一种闸瓦折断和铆钉丢失故障检测方法，包括：
34.步骤1、铁道车辆两侧搭建高清线阵成像设备，步骤1包括：当列车通过时，触发传感器，采集图像，利用轴距信息与闸瓦位置的先验知识，截取出包括闸瓦的图像作为待测图
像。
35.步骤2、将待测图像输入至闸瓦故障检测模型中，闸瓦故障检测模型输出检测结果，检测结果包括闸瓦的故障形态与故障位置；故障形态包括闸瓦折断和/或铆钉丢失；
36.闸瓦故障检测模型采用s2anet网络实现；
37.s2anet网络中fam模块的卷积为对齐卷积层alignconv；对齐卷积层alignconv输出的检测框的维度为{(x,b,α,β,θ)}，x表示检测框的中心点坐标，θ表示检测框的倾斜角，b表示检测框原始大小，表示α检测框宽度比例系数，β表示检测框高度比例系数，检测框的宽度为w＝b
×
10
α
，检测框的高度为h＝b
×
10
β
；b、α、β均为可学习参数；
38.所述对齐卷积层alignconv中的像素偏移量编码参数包括采样点密度ds，ds为可学习参数；
39.步骤3、根据映射关系，将检测结果映射到待测图像中，进行报警上传。
40.列车上的某一位置闸瓦示意图如图1所示。
41.由于闸瓦故障检测模型当中，同时包含闸瓦铆钉丢失故障和闸瓦折断故障，前者需要检测闸瓦上尺寸较小的一颗铆钉，后者需要检测整个闸瓦磨耗体，二者尺寸差别大，所以需要识别程序在多尺度上均有良好的检测效果。此外，由于采集列车侧部图像的相机角度变化等原因，导致闸瓦磨耗体在图片当中的倾斜角度偶有变化，如果使用正常的检测模型，对某一角度的闸瓦实现了较好的检测效果，但一旦某些图片中闸瓦磨耗体角度发生较大变化，模型就不能将其很好地识别出来，由此造成漏报或者误报。因此，需要所采用的闸瓦故障检测模型需要对目标在不同旋转角度下具有较高的鲁棒性。
42.为此，使用能对旋转目标进行检测的s2anet网络，并根据对多尺度识别的要求，对模型进行相应的改进，以保证对闸瓦铆钉丢失和闸瓦折断两种故障同时实现较好的识别效果。
43.原有的s2anet网络包括一个骨干网络，一个特征金字塔网络，一个fam(feature alignment module)模块和一个omd(oriented detection module)模块。其中前两个是深度学习领域中的基础网络结构，fam模块和omd模块共同组成用于特征金字塔网络中每一尺度下的检测头。在fam模块中，主要是提出了旋转锚框和对齐卷积层alignconv(alignment convolution layer，acl)，而在omd中，主要是生成方向敏感特征并将其池化以提取其中方向不变的特征。该网络能实现对旋转目标的检测，主要是因为fam模块和omd模块，相对于原有方法的一个重要改进是在fam模块中提出了一种新的对齐卷积层alignconv，用于对齐旋转目标的特征。该卷积相比于用于通用对象检测的retinanet而言，将其输出的检测框由四维度的{(x,w,h)}，(其中x＝(x1,x2)表示检测框的中心点横纵坐标，包含两个维度信息，w和h分别表示检测框的宽和高)，调整为五维度的{(x,w,h,θ)}(其中θ表示倾斜角)，改进前后的检测框示意图如图2所示。由于引入了倾斜角这一变量，检测框可以旋转，利用本实施方式中的对齐卷积层alignconv构成原网络中的fam(feature alignment module)模块，再经由s2anet网络后续的omd(oriented detection module)模块对方向不变特征进行提取等操作，最终实现对旋转目标的检测。在这一基础上，为了满足闸瓦故障识别对多尺度目标的检测要求，需要对s2anet网络的对齐卷积层alignconv部分进行相应的改进。
44.第一个改进部分是修改了对齐卷积层alignconv部分中有向检测框的参数{(x,w,h,θ)}。考虑到闸瓦故障检测模块中不同检测目标的尺寸、长宽比例存在较大差异，当w和h
参数相差较大，在模型进行反向传播时，二者的偏差量较大，对模型学习有不利影响，因此引入比例因子替代原本的w和h参数，而使用检测框原始大小b、检测框宽度比例系数α、检测框高度比例系数β这三个参数代替上述宽高两参数，进而将上述参数修改为六维度的{(x,b,α,β,θ)}，其中检测框的实际宽高与宽高比例系数成指数关系，具体可以表示为w＝b
×
10
α
，h＝b
×
10
β
。选取指数形式的优点是可以放大宽高比例系数对实际检测框宽高的影响，可以在学习得的宽高比例系数变动不大的情况下实现对检测框实际大小的较大调整，进而扩大目标尺寸的检测范围，进而可以对长宽比变化较大的目标实现较好的检测效果。
45.第二个改进部分是对对齐卷积层alignconv中的像素偏移量编码部分进行改进，使其变为可学习像素偏移量编码。原本的s2anet网络对每个五维度检测框均匀地采样3行3列共9个点，并获取其偏移量，得到共计18维度的特征，如图3所示。这样做的缺点是，对于较大的检测目标而言，固定选取的9个点不能对其可识别特征进行充分采样。因此需要在网络中引入对于特征分布密度这一参数的学习，并且依据学习到的特征分布密度，对于检测框进行对齐卷积层alignconv特征点的重新分配和选取。具体而言，引入额外的可学习参数ds，修改后的长与宽的最少采样点数各为3，最少采样点总数为9，总维度为18，对于不同大小的检测目标，实际采样点数量随检测框的高度h变化而发生变化。改进后的alignconv检测框采样示意图如图4所示。
46.本实施方式利用闸瓦折断和铆钉丢失的故障图像构建数据集对构建的闸瓦故障检测模型进行训练，使用该模型对采集得到的待测图像进行识别，确定故障形态与故障位置。根据映射关系，将识别结果映射到原始图像中，进行报警上传。工作人员根据识别结果做出相应的处理，保证列车安全运行。
47.本实施方式中，由于检测框的参数发生改变，在网络进行反向传播时，对网络输出与真实值的偏差计算方法也需要进行相应的改动。对于学习得的候选框w和h参数，其原本的偏差计算公式为(δwg,δhg)＝log(wg,hg)-log(w,h)，其中，wg和hg表示实际目标大小，w和h表示学习得到的候选框大小，而经过修改后的候选框的b、α、β在训练过程中尺寸偏差计算公式为：
48.δb＝log(bg)-log(b)
49.δα＝log(αg)-log(α)
50.δβ＝log(βg)-log(β)
51.bg、αg、βg分别为目标实际大小、实际宽度比例系数、实际高度比例系数。
52.本实施方式中，重采样特征点的数量
53.ds是可学习参数，因此也需要在反向传播过程中计算偏差值，同样使用指数形式，偏差计算公式为δds＝log(d
sg
)-log(ds)，d
sg
为目标实际采样点密度。通过学习，在检测图中的大目标时，随着h的增大，模型可以相应地选取更大的ds，让采样点分布相对稀疏，但每行每列的采样点通常大于3个，采样点总数大于9，保证模型能在提取到较多信息的同时，不至于造成采样点过多，进而导致总维度的过分冗余。反之，在检测小目标时，随着h的减小而选组更小的ds，每行每列的采样点最少可以减少为3个，与改进前相同。通过这一改进，可以对同一张图片里的大尺寸目标和小尺寸目标同时实现较为精准的检测。
54.本实施方式中闸瓦故障检测模型的训练集构建方法包括：
55.(1)获取货车各部位的高清线阵灰度图像，并拼接成列车侧部和底部的完整图像：
56.搭建高速成像设备，收集不同时间段不同环境下的图像，扩充样本，保证数据样本中存在各种自然干扰，如光照、雨水、泥渍等，增强算法的鲁棒性，保证算法能适用于列车的不同工况。
57.(2)由于检测的闸瓦目标只分布在列车底部转向架部分，且在车身上的位置基本固定，因此利用轴距信息与闸瓦位置的先验知识，确定闸瓦的起止位置，根据起止位置对所述完整图像中闸瓦的区域进行截取，得到目标图像；缩小待识别的图像尺寸，增加目标在识别图像中的相对占比，减少干扰，便于模型的训练，并且可以提高识别率。
58.(3)、铁道货车关乎人命、财产安全，其安全标准十分严格，使得其在运行过程中稳定性高、故障率低，故障图像不易收集，故障样本较少，导致在模型训练时出现数据及不平衡的问题。因此需要在获得的目标图像的基础上模拟故障图像，对故障图像进行扩增，扩增后的故障图像作为训练集。
59.在实际使用时，采集列车侧部的完整图片并截取出待检测的目标图像；通过前面所述的检测模型检测得到检测结果，根据映射关系，将检测结果映射到待测图像中，对检测结果进行分析，进行告警。
60.虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。