一种铁路扣件缺陷检测方法和装置与流程

1.本发明涉及铁路检测技术领域，特别涉及一种铁路扣件缺陷检测方法和装置。


背景技术：

2.随着铁路网络布局的推进和高铁技术的快速发展，铁路运营维护检测承担着越来越重要的责任。列车的安全运行需要铁路系统的安全保障，而铁路扣件是连接铁轨和枕木，保证轨道距离的重要组件，在高速铁路检测系统中起着重要的作用。然而，由于铁路基础设施分布跨度大、环境变化大，以及列车振动等的影响，铁路扣件会出现松脱、断裂，甚至缺失等缺陷，这会严重影响铁路运行安全，甚至会引发铁路脱轨事故。因此，铁路扣件需要定期进行检测，以保证铁路的安全运行。
3.目前，我国铁路线路的扣件类型各有差异，传统的检测方法需要依靠人工操作，该方法耗费大量时间、劳动强度高、效率低，同时会给检查人员带来未知的安全隐患。随着高速铁路的快速发展，铁路扣件的检测面临着大的挑战，因此，研究快速准确的铁路扣件识别算法具有很大的需求。
4.现有技术中基于二维图像的铁路扣件缺陷检测方法发展迅速，结合深度学习算法加快了扣件的检测速度和检测精度，并且已经发展了相应的检测系统。但是由于二维图像受光照方向和光线条件影响大，使得图像质量较低的铁路铁路扣件缺陷检测较为困难，召回率较低。除此之外，由于铁路扣件的样本数量庞大且缺陷样本的数量远少于正常样本的数量，使得检测模型不能有效记录和提取缺陷样本的特征，尤其在利用深度学习算法模型检测时，模型更多的学习到正常样本的特征属性，使得误检误报率增加，影响最后的检测结果。
5.现有技术中利用三维信息进行扣件检测的研究较少且不成熟，并且多是利用模板匹配进行扣件分割和定位，速度较慢，针对缺陷样本不均衡的问题没有有效解决方法。
6.综上所述，基于机器视觉的二维图像铁路扣件缺陷检测方法中的弊端是：铁路扣件缺陷样本少，样本标注困难以及二维铁路扣件缺陷检测受光照条件影响大；基于三维信息进行扣件检测的方法不成熟，针对缺陷样本不均衡的问题没有有效解决。


技术实现要素：

7.本发明实施例提供一种铁路扣件缺陷检测方法和装置，以解决现有技术的检测方法中针对样本不均衡和样本标注效率低的问题。
8.为了解决上述技术问题，本发明采用如下技术方案：
9.本发明实施例提供一种铁路扣件缺陷检测方法，包括：
10.根据采集的铁路扣件图像信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本；
11.根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本；
12.根据所述第二目标样本和所述第一目标样本，生成用于检测铁路扣件的检测模
型；
13.将所述待检测样本输入所述检测模型，确定检测结果。
14.可选的，根据采集的铁路扣件图像信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本，包括：
15.获取铁路扣件图像信息，所述铁路扣件图像信息包括深度图像和强度图像；所述深度图像和强度图像的像素一一对应；
16.根据所述深度图像的像素，确定所述铁路扣件图像信息中铁路扣件的位置信息；
17.根据所述铁路扣件的位置信息和所述强度图像的像素，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本。
18.可选的，根据所述深度图像的像素，确定所述铁路扣件图像信息中铁路扣件的位置信息，包括：
19.根据所述深度图像的像素，确定铁路扣件区域和铁轨区域；
20.根据所述铁路扣件区域和铁轨区域，确定所述铁路扣件图像信息中铁路扣件的位置信息。
21.可选的，所述根据所述铁路扣件区域和铁轨区域，确定所述铁路扣件图像信息中铁路扣件的位置信息，包括：
22.根据所述铁路扣件区域和所述铁轨区域，确定所述铁路扣件的横向坐标；
23.根据所述横向坐标和所述深度图像，确定所述铁路扣件的横向位置；
24.其中，所述横向坐标满足以下公式：
25.x
k
∈[x
a
‑
d
x
,x
a
]∪[x
a
h,x
a
h d
x
]；其中，x
k
表示所述铁路扣件区域的横向坐标，x
a
为所述铁轨区域的铁轨一侧面的横向坐标，h为所述铁轨区域的铁轨宽度，d
x
为第一预设阈值。
[0026]
可选的，所述根据所述铁路扣件区域和铁轨区域，确定所述铁路扣件图像信息中铁路扣件的位置信息，包括：
[0027]
根据所述深度图像，将确定的所述铁路扣件的横向位置，沿所述铁路扣件的横向方向滤波，确定所述铁路扣件的目标高度阈值和目标高度曲线；
[0028]
根据所述目标高度阈值和目标高度曲线，确定所述铁路扣件的纵向坐标；
[0029]
其中，所述纵向坐标满足以下公式：
[0030]
y
k
∈[y1‑
δy,y2 δy]；其中，y
k
表示所述铁路扣件区域的纵向坐标，y1和y2表示所述铁轨区域的铁轨的高度坐标，
△
y为第二预设阈值。
[0031]
可选的，根据所述铁路扣件的位置信息和所述强度图像的像素，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本，包括：
[0032]
根据所述强度图像的像素，对所述铁路扣件的区域进行均值滤波；
[0033]
根据滤波后的所述铁路扣件和所述铁路扣件的位置信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本。
[0034]
可选的，所述根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本，包括：
[0035]
根据生成式对抗神经网络算法对所述第一目标样本的缺陷扣件样本进行扩充，确定扩充后的第二目标样本；
[0036]
其中，所述生成式对抗神经网络算法包括生成器和判别器；所述生成器用于根据缺陷扣件样本进行扩充；所述判别器用于确定扩充样本和原始样本的类别。
[0037]
可选的，所述根据所述第二目标样本和所述第一目标样本，生成用于检测铁路扣件的检测模型，包括：
[0038]
将所述第二目标样本和所述第一目标样本合并为一个目标训练集；
[0039]
根据所述目标训练集，生成用于检测铁路扣件的检测模型；
[0040]
其中，所述目标训练集的中间层均采用3*3的卷积核。
[0041]
可选的，根据所述深度图像的像素，根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本后，所述方法还包括：
[0042]
获取确定位置信息后的铁路扣件的类型；所述铁路扣件的类型至少包括：正常铁路扣件、缺失螺母铁路扣件、弹条断裂铁路扣件、缺失弹条铁路扣件；
[0043]
根据所述铁路扣件的类型，对所述确定位置信息后的铁路扣件设置对应的标签，每一标签包括：铁路扣件的类型。
[0044]
本发明实施例还提供一种铁路扣件缺陷检测装置，包括：
[0045]
第一确定模块，用于根据采集的铁路扣件图像信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本；
[0046]
第二确定模块，用于根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本；
[0047]
生成模块，用于根据所述第二目标样本和所述第一目标样本，生成用于检测铁路扣件的检测模型；
[0048]
第三确定模块，用于将所述待检测样本输入所述检测模型，确定检测结果。
[0049]
本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如上任一项所述的铁路扣件缺陷检测方法的步骤。
[0050]
本发明的有益效果是：
[0051]
上述技术方案中，所述方法根据采集的铁路扣件图像信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本；根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本；根据所述第二目标样本和所述第一目标样本，生成用于检测铁路扣件的检测模型；将所述待检测样本输入所述检测模型，确定检测结果。本发明的技术方案根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本，解决了现有技术中样本不均衡的问题，且本发明生成的检测模型，提高了检测准确率。
附图说明
[0052]
图1表示本发明实施例提供的铁路扣件缺陷检测方法的流程示意图；
[0053]
图2表示本发明实施例提供的铁路扣件的深度图；
[0054]
图3表示本发明实施例提供的铁路扣件纵向高度变化曲线；
[0055]
图4a表示降噪前的铁路扣件图；
[0056]
图4b表示降噪后的铁路扣件图；
[0057]
图5表示本发明的扣件缺陷检测网络结构；
[0058]
图6表示本发明的测试模型训练过程中的loss曲线；
[0059]
图7表示本发明的平均准确率曲线；
[0060]
图8表示本发明实施例提供的铁路扣件缺陷检测装置的模块示意图。
具体实施方式
[0061]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
[0062]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
[0063]
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0064]
本发明针对现有技术的检测方法中针对样本不均衡和样本标注效率低的问题，提供一种铁路扣件缺陷检测方法和装置。
[0065]
应当知道的是，高速铁路中有多种类型的扣件，每种扣件均包括金属弹条、以及位于所述金属弹条中心的中心螺栓组成，在连接钢轨和轨枕，保证轨道稳定性可靠性方面起着重要作用。通常扣件的缺陷分为三种：缺失中心螺栓、缺失金属弹条及金属弹条断裂等。
[0066]
如图1所示，本发明实施例提供一种铁路扣件缺陷检测方法，包括：
[0067]
步骤100，根据采集的铁路扣件图像信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本；
[0068]
步骤200，根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本；
[0069]
该实施例中，根据目标算法对所述第一目标样本进行扩充，可以理解为对所述第一目标样本中的缺陷样本进行扩充，本发明针对现有技术的样本不均衡的问题，利用目标算法扩充缺陷样本的数量。这里，所述目标算法为样本扩充算法。
[0070]
步骤300，根据所述第二目标样本和所述第一目标样本，生成用于检测铁路扣件的检测模型；
[0071]
步骤400，将所述待检测样本输入所述检测模型，确定检测结果。
[0072]
该和实施例中，本发明提出的铁路扣件缺陷检测过程，利用结构光设备采集铁路场景样本，包括深度图和强度图，通过本发明提出的分割方法利用深度图将扣件从场景中定位和分割，依靠强度图和深度图的对应关系可以将强度图从场景中定位和分割出来；为解决样本不均衡的问题，本发明提出利用生成式对抗神经网络扩充样本的数量，结合原始的样本组成新的训练集后，训练一个检测模型(深度神经网络)，将所述待检测样本输入所述检测模型，最终输出铁路扣件的检测结果。本发明解决了针对样本不均衡的问题，扩充缺陷样本的数量，即根据目标算法对所述第一目标样本进行扩充；最后利用生成的所述检测
模型完成铁路扣件的缺陷检测和识别。
[0073]
应当知道的是，准确定位铁路扣件位置是完成扣件自动检测的关键，通常，高速铁路上扣件与钢轨之间的距离为固定值d
x
，据此，可以缩小扣件在场景中的位置范围。虽然扣件之间的间距也相对固定，但由于铁路网诸多且变化大，扣件间距会存在不同程度的变化，不能直接利用间距定位扣件位置。因此，本发明根据步骤100提供自适应高度的位置定位方法，具体流程如下。
[0074]
可选的，所述步骤100，包括：
[0075]
步骤110，获取铁路扣件图像信息，所述铁路扣件图像信息包括深度图像和强度图像；所述深度图像和强度图像的像素一一对应；
[0076]
步骤120，根据所述深度图像的像素，确定所述铁路扣件图像信息中铁路扣件的位置信息；
[0077]
步骤130，根据所述铁路扣件的位置信息和所述强度图像的像素，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本。
[0078]
该实施例中，采集铁路扣件图像信息可以应用采集样本设备，所述采集样本设备优选为3d相机，可以直接获得整个场景的深度图和强度图，包含钢轨，枕木，铁路扣件三部分，深度图和强度图在像素位置上是一一对应的，深度图包含更多的位置坐标信息，可以用于完成铁路扣件的定位和分割；而强度图包含了更多的语义信息，可以用于缺陷样本的扩充及缺陷检测。利用深度图及采集分辨率可以生成铁路场景的三维点云。
[0079]
具体地，根据图2所示的铁路扣件的深度图，所述步骤120，包括：
[0080]
步骤121，根据所述深度图像的像素，确定铁路扣件区域和铁轨区域；
[0081]
步骤122，根据所述铁路扣件区域和铁轨区域，确定所述铁路扣件图像信息中铁路扣件的位置信息。
[0082]
该实施例中，根据所述深度图像的像素，确定铁路扣件区域和铁轨区域，并根据所述铁路扣件区域和铁轨区域构建如图2所示的图，根据所述铁路扣件区域和铁轨区域，确定所述铁路扣件图像信息中铁路扣件的位置信息，这里，可以实时计算铁路扣件的位置信息，减小了实际采样中的误差，增加了数据的准确性。
[0083]
具体地，所述步骤122，包括：
[0084]
根据所述铁路扣件区域和所述铁轨区域，确定所述铁路扣件的横向坐标；
[0085]
根据所述横向坐标和所述深度图像，确定所述铁路扣件的横向位置；
[0086]
其中，所述横向坐标满足以下公式：
[0087]
x
k
∈[x
a
‑
d
x
,x
a
]∪[x
a
h,x
a
h d
x
]；其中，x
k
表示所述铁路扣件区域的横向坐标，x
a
为所述铁轨区域的铁轨一侧面的横向坐标，h为所述铁轨区域的铁轨宽度，d
x
为第一预设阈值。
[0088]
该实施例中，根据所述步骤122对所述铁路扣件的横向坐标进行定位。在深度图(图2中所述铁路扣件的横向坐标可以表示为d(i,j))中，扣件的横向区域位置应满足，x
k
∈[x
a
‑
d
x
,x
a
]∪[x
a
h,x
a
h d
x
]；其中，x
k
表示所述铁路扣件区域的横向坐标，x
a
为所述铁轨区域的铁轨一侧面的横向坐标，h为所述铁轨区域的铁轨宽度，d
x
为第一预设阈值，通常所述铁路扣件的形状在确定范围之内。利用上述公式对原始三维图像进行截取后得到d'(i,j)。
[0089]
具体地，所述步骤122，包括：
[0090]
根据所述深度图像，将确定的所述铁路扣件的横向位置，沿所述铁路扣件的横向方向滤波，确定所述铁路扣件的目标高度阈值和目标高度曲线；
[0091]
根据所述目标高度阈值和目标高度曲线，确定所述铁路扣件的纵向坐标；
[0092]
这里，所述滤波的目的是为了降低所述深度图中的三维点云的噪声，并在确定目标高度阈值后，利用所述目标高度阈值与目标高度曲线的交点获得扣件的位置；
[0093]
其中，所述纵向坐标满足以下公式：
[0094]
y
k
∈[y1‑
δy,y2 δy]；其中，y
k
表示所述铁路扣件区域的纵向坐标，y1和y2表示所述铁轨区域的铁轨的高度坐标，
△
y为第二预设阈值。
[0095]
该实施例中，所述铁路扣件纵向自适应高度位置定位。在处理过的深度图d'(i,j)上，扣件的高于周围物体的高度，且在一定范围内，据此，将d'(i,j)沿x方向求和可得扣件高度在y方向的变化曲线。由于深度图噪声较大，高度变化曲线波动范围大且不平滑，这里，为了降低所述深度图中的三维点云的噪声，故对其进行滤波，定义移动均值滤波器为
[0096][0097]
其中，h
i
为滤波后的高度序列，h
i
为滤波前的高度序列，win为沿数据移动的窗口宽度。经过滤波后，原始数据更加平滑，设置目标高度阈值t
h
，利用该目标高度阈值与滤波后目标高度曲线的交点即可获得扣件在纵向的区域范围，确定最终位置，即利用所述目标高度阈值与目标高度曲线的交点获得扣件的位置，即如图3所示。交点y1和y2确定铁路扣件纵向位置，同时设置小阈值
△
y，保证铁路扣件区域分割时扣件的完整性。则铁路扣件纵向位置范围y
k
为：
[0098]
y
k
∈[y1‑
δy,y2 δy]；其中，y
k
表示所述铁路扣件区域的纵向坐标，y1和y2表示所述铁轨区域的铁轨的高度坐标，
△
y为第二预设阈值。
[0099]
需要说明的是，由于考虑存在弹条缺失、丢失缺陷等情况，设置高度阈值t
h
在枕木位置，如图3所示，弹条区域和螺母区域，两者都远高于t
h
，因此铁路扣件存在缺陷等情况时不会影响区域定位分割，故所提定位分割方法的稳定性强。
[0100]
可选的，所述步骤130，包括：
[0101]
步骤131，根据所述强度图像的像素，对所述铁路扣件的区域进行均值滤波；
[0102]
需要说明的是，由于采集样本设备优选为3d相机，即结构光相机，采集轨道样本数据时，由于受到外界干扰如视线遮挡、障碍物等因素，铁路扣件的强度图中存在诸多离散的噪点，影响后续特征提取的准确率，严重干扰图像检测结果，因此本发明提出利用均值滤波算法对扣件强度图去噪，提升图像质量，通过将图像像素值变为其本身和周围8个像素的像素平均值，将噪声分散到周围像素，减弱噪声对图像的影响。
[0103]
步骤132，根据滤波后的所述铁路扣件和所述铁路扣件的位置信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本。
[0104]
该实施例中，根据所述强度图像的像素，对强度图中目标区域设定一个模板，该模板包括目标像素及其周围的8个像素，对模板内所有像素求和取均值代替目标像素。设强度图中的目标像素为i(i,j)，选择一个3x3的模板，该模板由目标像素和其周围8个像素组成，利用下列公式求模板中所有像素的像素均值后作为i(i,j)的目标像素值g(i，j)，
[0105][0106]
其中，n为模板中的像素总数，s为选取的3x3领域范围。利用均值滤波处理铁路扣件样本图像后可以明显看出噪点减少，图像更加平滑，具体可以从图4a降噪前的铁路扣件图和图4b降噪后的铁路扣件图看出，利用均值降噪后的铁路扣件图明显消失了许多噪点，使图像的像素更加清晰。
[0107]
可选的，所述步骤200，包括：
[0108]
根据生成式对抗神经网络算法对所述第一目标样本的缺陷扣件样本进行扩充，确定扩充后的第二目标样本；
[0109]
其中，所述生成式对抗神经网络算法包括生成器和判别器；所述生成器用于根据缺陷扣件样本进行扩充；所述判别器用于确定扩充样本和原始样本的类别。
[0110]
需要说明的是，为解决样本不平衡的问题，本发明提出利用生成式对抗神经网络算法扩充缺陷样本数量，从缺陷样本的总体分布中学习特征，并在原始数据集与生成数据集上训练新的神经网络模型，完成扣件缺陷检测，这里，所述生成式对抗神经网络算法为生成式对抗神经网络dcgan。
[0111]
该实施例中，生成式对抗神经网络gan是一种生成式模型，通过两个生成式对抗神经网络组成的对抗过程完成学习训练，分别是判别器d和生成器g。判别器用于区分真实样本和生成样本，生成器学习真实样本的分布特征生成缺陷样本。为使能够控制生成缺陷样本的分布p
g
，定义先验噪声分布p
z
(z)，然后用g建立数据空间的映射关系，这里g(z；θ
g
)是用卷积神经网络表示的参数为θ
g
的可微函数；同时，判别器用d表示，输出判断真实样本和生成样本的可能性。训练d，使其能够正确区分真实样本和生成样本，同时训练g,使其能够学到分布p
g
与真实样本尽可能接近p
d
，故目标函数的公式可表示为：
[0112][0113]
本发明所采用的dcgan是在原始gan网络上的改进，使得gan的训练更加稳定，生成器能够学到更深层次的样本特征。具体的改进有：用全卷积层代替池化层，在生成器和判别器中增加批标准化(batch normalization)操作，在生成器中用线性整流函数(rectified linear unit，relu函数)作为激活函数，在判别器中用leakyrelu函数(relu函数是将所有的负值都设为零，相反，leaky relu函数是给所有负值赋予一个非零斜率)作为激活函数等。
[0114]
网络结构如图5所示，生成器和判别器分别由四个卷积层组成，其中生成器输入为服从高斯分布的100维向量，经过上采样卷积后生成与原始样本维度一致的图像。判别器相当于一个分类器，输入包括真实样本和生成样本，输出为两者的类别。
[0115]
可选的，所述步骤300，包括：
[0116]
将所述第二目标样本和所述第一目标样本合并为一个目标训练集；
[0117]
根据所述目标训练集，生成用于检测铁路扣件的检测模型；
[0118]
其中，所述目标训练集的中间层均采用3*3的卷积核。
[0119]
该实施例中，在利用dcgan生成铁路扣件缺陷样本时，先随机生成一个100维的向
量，利用卷积层1扩展尺度到4*4*1024，为扩张张量，使用4个尺寸为5x5的卷积核、步长为2的反卷积，每次反卷积之后利用relu函数作为激活函数和batch normalization操作。最后生成64*64*1的缺陷铁路扣件样本。判别器网络的输入包括真实样本和生成样本，使用具有四个卷积层对图像进行分类，同样，采用卷积核尺寸为5x5，步长为2，最后添加一个全连接层完成真假判别分类。
[0120]
在模型训练好后，随机生成100维的向量并输入到生成器中，输出即为生成的铁路扣件缺陷样本，在训练过程中不同铁路扣件缺陷类型的样本分别训练，保证网络不会将不同的缺陷类型合并，生成不合理的缺陷样本。
[0121]
本发明在铁路扣件识别部分，我们提出使用resnet作为骨干网络搭建一个具有8个残差块共18层的神经网络，采用预设函数，即focal loss函数作为损失函数，将原始数据与生成数据合并在一起作为新的训练集，整个检测的网络结构如图5所示。
[0122]
在该网络结构中，输入层为铁路扣件图像，中间层包括5个卷积层和1个全连接层，其中8个短连接的残差块使用3x3的卷积核，输出层维度5，对应4种缺陷铁路扣件和正常铁路扣件。
[0123]
可选的，所述步骤200后，所述方法还包括：
[0124]
获取确定位置信息后的铁路扣件的类型；所述铁路扣件的类型至少包括：正常铁路扣件、缺失螺母铁路扣件、弹条断裂铁路扣件、缺失弹条铁路扣件；
[0125]
根据所述铁路扣件的类型，对所述确定位置信息后的铁路扣件设置对应的标签，每一标签包括：铁路扣件的类型。
[0126]
需要说明的是，这个标签应该只包含铁路扣件的类型，不包含位置信息，在获取确定位置信息后，铁路扣件相当于已经从场景图片中分离出来了，这里只针对铁路扣件样本进行标签设置操作。
[0127]
该实施例中，由于采集样本设备优选为3d相机，即结构光相机，例如采集样本设备共采集铁路场景图像500张，完成扣件定位和分割后，即完成步骤100
‑
200后，共获得铁路扣件样本754张，由于样本缺少标注信息，本发明可以获取确定位置信息后的铁路扣件的类型，并对所述确定位置信息后的铁路扣件设置对应的标签，完成每张图像的标注，即可以通过定位分割以及标注后，共获得正常样本659张，缺陷样本95张，其中断裂样本32张，螺母缺失样本27张，弹条缺失样本36张，利用生成式对抗神经网络将每种缺陷样本扩充150张。将生成样本与原始样本合并，生成最终数据集，共计1204张，并按照7:3的比例划分为训练集和测试集。
[0128]
在一具体实施例中，本发明利用现有技术的sick 3d相机和osela 5mw波长为660nm的线激光器搭建结构光测量设备。实际试验时，钢轨表面到扣件的距离范围为210mm到310mm之间，通过实验测得样本采集设备在测量此深度范围时误差在0.1mm以内。将结构光测量设备安装在巡检列车上，巡检列车以固定速度行驶，完成现场动态测试，并对其进行精度验证，通过实验测得其测量精度在0.8mm以内。
[0129]
本发明的方法，铁路场景样本由结构光设备采集获得，包括：深度图和强度图。通过本发明的方法分割深度图中的扣件，深度图与强度图的对应关系可以进一步分割强度图中的扣件。生成对抗网络扩充样本数量，解决样本不均衡的问题，结合原始样本组成新的训练集，训练铁路扣件检测网络。另外，当进行在线检测时，可实时采集铁路样本图像并进行
分割，然后利用离线训练的检测模型进行预测，可快速准确的获得检测结果。
[0130]
具体地，所述步骤300中，根据所述第二目标样本和所述第一目标样本，生成用于检测铁路扣件的检测模型；需要说明的是，为适应图5所示的网络输入，需要对数据集的图像缩放到64*64大小，扣件缺陷检测采用带有权重的18层网络(resnet18)作为骨干网络，选择深度学习算法(adam算法)作为优化器，批量大小(batch_size)为64，设置迭代次数(epochs)为50，实验运行在一块预设的显卡上，运行时间为5min。
[0131]
如图6所示，图6为模型训练过程中的loss曲线，可以看出，随着epoch的增加，loss不断减小，在epoch为45左右时，loss达到最小，且维持稳定，此时loss为0.085，说明所述检测模型已经训练完成。
[0132]
具体地，所述步骤400中，如图7所示，测试集的四种扣件类型的平均准确率曲线如图7所示，可以看出在epoch为42左右时，平均准确率已经达到97.6％左右，模型的检测性能良好。
[0133]
通过步骤100至步骤400，这里以测试集样本共362张，其中正常样本198张，断裂样本55张，螺母缺失样本53张，弹条缺失样本56张，测试集上的混淆矩阵如表1所示。从图中可以看出，针对弹条缺失、螺母缺失和弹条断裂三种缺陷类型，模型预测分别只有1张、2张和1张预测错误，缺陷扣件检测的平均准确率达到97.6％，测试时间约为30s，平均每秒检测约12张图像，满足实际检测要求。
[0134]
表1：测试集的混淆矩阵
[0135][0136]
综上所述，(1)本发明提出一种基于深度学习的结合深度图和强度图的铁路扣件缺陷检测方法，融合位置信息和纹理信息，检测准确率高达97.6％；(2)本发明提出一种基于深度图的铁路扣件定位分割方法，利用扣件图像纵向高度自适应法完成扣件的自动定位和分割；(3)针对缺陷样本不平衡的问题，本发明首次提出一种利用生成式对抗神经网络扩充样本数量的方法，将生成的样本与原始样本合并形成新的数据集，提高缺陷扣件检测的准确率，降低误检误报率；(4)本发明利用resnet18作为骨干网络设计深度神经网络在合成数据集上完成缺陷扣件检测，并设计实验完成验证。今后工作可围绕网络结构和损失函数展开，根据铁路扣件的特点合理设计网络，提取可区分度更高的特征；对于不易识别的缺陷，在损失函数中增加正则项，提高困难样本识别的准确率，进一步提高模型的性能。
[0137]
如图8所示，本发明实施例还提供一种铁路扣件缺陷检测装置，包括：
[0138]
第一确定模块10，用于根据采集的铁路扣件图像信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本；
[0139]
第二确定模块20，用于根据目标算法对所述第一目标样本进行扩充，确定扩充后的第二目标样本；
[0140]
生成模块30，用于根据所述第二目标样本和所述第一目标样本，生成用于检测铁路扣件的检测模型；
[0141]
第三确定模块40，用于将所述待检测样本输入所述检测模型，确定检测结果。
[0142]
可选的，所述第一确定模块10，包括：
[0143]
第一获取子模块，用于获取铁路扣件图像信息，所述铁路扣件图像信息包括深度图像和强度图像；所述深度图像和强度图像的像素一一对应；
[0144]
第一确定子模块，用于根据所述深度图像的像素，确定所述铁路扣件图像信息中铁路扣件的位置信息；
[0145]
第二确定子模块，用于根据所述铁路扣件的位置信息和所述强度图像的像素，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本。
[0146]
可选的，所述第一确定子模块，包括：
[0147]
第一确定单元，用于根据所述深度图像的像素，确定铁路扣件区域和铁轨区域；
[0148]
第二确定单元，用于根据所述铁路扣件区域和铁轨区域，确定所述铁路扣件图像信息中铁路扣件的位置信息。
[0149]
可选的，所述第二确定单元，包括：
[0150]
第一确定子单元，用于根据所述铁路扣件区域和所述铁轨区域，确定所述铁路扣件的横向坐标；
[0151]
第二确定子单元，用于根据所述横向坐标和所述深度图像，确定所述铁路扣件的横向位置；
[0152]
其中，所述横向坐标满足以下公式：
[0153]
x
k
∈[x
a
‑
d
x
,x
a
]∪[x
a
h,x
a
h d
x
]；其中，x
k
表示所述铁路扣件区域的横向坐标，x
a
为所述铁轨区域的铁轨一侧面的横向坐标，h为所述铁轨区域的铁轨宽度，d
x
为第一预设阈值。
[0154]
可选的，所述第二确定单元，包括：
[0155]
第三确定子单元，用于根据所述深度图像，将确定的所述铁路扣件的横向位置，沿所述铁路扣件的横向方向滤波，确定所述铁路扣件的目标高度阈值和目标高度曲线；
[0156]
根据所述目标高度阈值和目标高度曲线，确定所述铁路扣件的纵向坐标；
[0157]
其中，所述纵向坐标满足以下公式：
[0158]
y
k
∈[y1‑
δy,y2 δy]；其中，y
k
表示所述铁路扣件区域的纵向坐标，y1和y2表示所述铁轨区域的铁轨的高度坐标，
△
y为第二预设阈值。
[0159]
可选的，所述第二确定子模块，包括：
[0160]
滤波单元，用于根据所述强度图像的像素，对所述铁路扣件的区域进行均值滤波；
[0161]
第三确定单元，用于根据滤波后的所述铁路扣件和所述铁路扣件的位置信息，确定具有位置信息的待检测样本以及具有位置信息的第一目标样本。
[0162]
可选的，所述第二确定模块20，包括：
[0163]
第四确定单元，用于根据生成式对抗神经网络算法对所述第一目标样本的缺陷扣件样本进行扩充，确定扩充后的第二目标样本；
[0164]
其中，所述生成式对抗神经网络算法包括生成器和判别器；所述生成器用于根据缺陷扣件样本进行扩充；所述判别器用于确定扩充样本和原始样本的类别。
[0165]
可选的，所述生成模块30，包括：
[0166]
合并单元，用于将所述第二目标样本和所述第一目标样本合并为一个目标训练集；
[0167]
生成单元，用于根据所述目标训练集，生成用于检测铁路扣件的检测模型；
[0168]
其中，所述目标训练集的中间层均采用3*3的卷积核。
[0169]
可选的，所述装置还包括：
[0170]
获取模块，用于获取确定位置信息后的铁路扣件的类型；所述铁路扣件的类型至少包括：正常铁路扣件、缺失螺母铁路扣件、弹条断裂铁路扣件、缺失弹条铁路扣件；
[0171]
处理模块，用于根据所述铁路扣件的类型，对所述确定位置信息后的铁路扣件设置对应的标签，每一标签包括：铁路扣件的类型。
[0172]
本发明实施例还提供一种可读存储介质，该可读存储介质上存储有程序，该程序被处理器执行时实现如上所述的铁路扣件缺陷检测方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，该可读存储介质，如只读存储器(read
‑
only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0173]
最后，还需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0174]
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。