一种基于数据增强策略的自监督弹簧缺陷检测方法

1.本发明涉及弹簧缺陷检测领域，尤其涉及一种基于数据增强策略的自监督弹簧缺陷检测方法。


背景技术：

2.随着社会经济的迅速发展，铁路客运量急剧增长。tvds(train coach machine vision detection system，客车故障轨边图像检测系统)作为铁路客车安全技术设备，在铁路客车安全防范系统中扮演者越来越重要的角色，现有tvds系统因其技术特点的要求，由于人力资源的问题，面对海量的实时图像数据，工作人员无法及时获得车辆零部件的异常信息和故障部位，这严重的威胁到了客车运行的安全。因此，建立有效的车辆故障实时检测方法，迅速发现车辆运行中的故障信息，是tvds图像异常检测领域必须解决的一个问题。而弹簧作为最普遍的车辆零部件，经常出现磨损老化，连接处松动断裂的故障，在所有车辆异常状态中具有代表性，因此，我们设计了针对tvds图像中的弹簧组件的异常检测方法。


技术实现要素：

3.本发明提供了一种基于数据增强策略的自监督弹簧缺陷检测方法，以解决现有tvds系统中对弹簧的异常检测效率不高的问题。
4.为了实现上述目的，本发明采用如下技术方案。
5.一种基于数据增强策略的自监督弹簧缺陷检测方法，包括：
6.获取待检测弹簧图像；
7.将待检测弹簧图像输入训练完成的弹簧缺陷检测模型，得到弹簧缺陷检测结果；
8.其中，弹簧缺陷检测模型通过如下方法得到：
9.获取若干正常的弹簧图像；
10.对于正常的弹簧图像，将其作为原始图像，并复制一张原始图像作为底板图像，制作一张与原始图像尺寸相同的纯黑图像作为蒙板图像；
11.分别将原始图像、底板图像、蒙板图像对应划分为多个片区；
12.从原始图像的每个片区中随机选取区域并裁剪出一块图像块，将其依次粘贴到蒙板图像的任一不相同片区的随机位置处，并记录粘贴后每个图像块的顶点坐标；
13.根据记录的每个图像块的顶点坐标在底板图像中的对应位置擦除该区域内的像素值，然后将处理后的底板图像与蒙板图像叠加，得到存在缺陷的弹簧图像；
14.基于若干正常的弹簧图像及得到的存在缺陷的弹簧图像构建带类别标签的训练样本集；
15.基于训练样本集对神经网络模型进行训练，得到弹簧缺陷检测模型。
16.进一步地，所述分别将原始图像、底板图像、蒙板图像对应划分为多个片区，包括：
17.分别在原始图像、底板图像、蒙板图像中建立直角坐标系，将图像划分为四个象限；
18.所述图像块为多边形不规则图像块。
19.进一步地，获取待检测弹簧图像之前还包括：
20.获取拍摄的弹簧图像；
21.将弹簧图像输入训练完成的弹簧目标检测模型对弹簧存在位置进行检测；
22.根据检测的弹簧存在位置分割单独的弹簧图像，裁剪成预设尺寸，得到待检测弹簧图像。
23.进一步地，所述弹簧目标检测模型通过如下方法得到：
24.获取若干拍摄的弹簧图像；
25.使用标注工具框选弹簧图像中的弹簧，并注明标签；
26.将处理后的弹簧图像作为有标签的样本输入detection transformer模型进行训练，得到弹簧目标检测模型。
27.进一步地，所述基于训练样本集对神经网络模型进行训练，得到弹簧缺陷检测模型，包括：
28.构建包括第一特征提取器及二分类器的神经网络模型，以训练样本集中的每张弹簧图像为输入，其对应的类别标签为输出，对包括第一特征提取器及二分类器的神经网络模型进行训练，得到弹簧缺陷二分类模型；
29.构建包括第二特征提取器及单分类器的弹簧缺陷检测模型；其中第二特征提取器基于第一特征提取器迁移得到，单分类器输出输入的弹簧图像存在缺陷的概率；
30.将得到的概率与预先设置的缺陷阈值进行比较，当概率不大于缺陷阈值时，认为不存在缺陷；当概率大于缺陷阈值时，认为存在缺陷。
31.进一步地，训练得到弹簧缺陷二分类模型过程中，采用如下损失函数：
[0032][0033]
式中，n表示训练样本集中的弹簧图像数目，cel表示交叉熵损失函数，xi表示训练样本集中正常的弹簧图像所组成的正类样本，用标签“0”代替，a(*)表示训练样本集中存在缺陷的弹簧图像所组成的模拟负类样本，用标签“1”代替；c(*)表示构建的二分类器。
[0034]
进一步地，所述单分类器输出输入的弹簧图像存在缺陷的概率，包括：
[0035]
获取第二特征提取器得到的弹簧图像深度视觉表征，计算其与预设的潜在真实表征之间的马氏距离d
mahalanobis
作为弹簧图像存在缺陷的概率；
[0036][0037]
式中，f(θ)表示第二特征提取器得到的弹簧图像深度视觉表征；xm表示预设的潜在真实表征，为若干正常的弹簧图像的经第二特征提取器得到的深度视觉特征向量的均值；x
conv
表示若干正常的弹簧图像的经第二特征提取器得到的深度视觉特征向量的协方差矩阵。
[0038]
进一步地，还包括：
[0039]
对识别为存在缺陷的弹簧图像，定位缺陷位置，并通过边界框或热力图进行展示。
[0040]
进一步地，通过边界框进行展示的方法如下：
[0041]
截取弹簧缺陷检测模型中特征提取网络最后一层的特征图，进行归一化处理；
[0042]
将归一化处理后的特征图中的每一个像素点位置的值作为该像素点的异常概率估计与预设阈值进行比较，当像素点的异常概率大于预设阈值时，记录该像素点的横纵坐标；
[0043]
选择所有异常的像素点中横纵坐标的最大值和最小值，作为缺陷区域边界顶点在待检测弹簧图像中画出预测的矩形边界框；
[0044]
通过热力图进行展示的方法如下：
[0045]
截取弹簧缺陷检测模型中特征提取网络最后一层的特征图，进行归一化处理；
[0046]
根据归一化处理后的特征图中每一个像素点位置的值赋予该像素点对应的颜色；
[0047]
将处理后的特征图与原始待检测弹簧图像进行叠加，得到热力图。
[0048]
进一步地，待检测弹簧图像根据拍摄机位、拍摄的车次车厢信息进行命名；
[0049]
当识别出待检测弹簧图像存在缺陷时，根据待检测图像的名称逆向定位待检测弹簧对应的拍摄机位、车次车厢信息。
[0050]
有益效果
[0051]
本发明提出了一种基于数据增强策略的自监督弹簧缺陷检测方法，通过随机“裁剪-粘贴”不规则原始图像块的数据增强策略为自监督学习提供监督信号，从而使得神经网络有能力从大量未标注数据中学习到真实模式的潜在表征，为后续弹簧缺陷检测提供有用的视觉表示。从而实现了能够快速准确地判断一张tvds测试图像中的弹簧部位是否存在缺陷，可以排除大量车辆弹簧正常运行状态图像，筛选出存在异常概率较大的图像并进行缺陷部位定位与展示，大大减轻工作人员的负担，同时提升异常检测的准确率和及时性。
附图说明
[0052]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0053]
图1是本发明实施例提供的基于数据增强策略的自监督弹簧缺陷检测方法流程图；
[0054]
图2是本发明实施例提供的部分正常的弹簧图像示意图；
[0055]
图3是本发明实施例提供的原始图像(左)与数据增强后缺陷图像(右)；
[0056]
图4是本发明实施例提供的热力图(左)和边界框(右)展示效果示意图。
具体实施方式
[0057]
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
[0058]
本发明主要目的在于检测tvds高分辨率图像中弹簧部位是否存在缺陷，以提供智能化的图像实时异常预警，实现海量数据前提下tvds图像中的弹簧部位是否存在故障的实时检测。当计算待检测弹簧图像中弹簧部位的异常概率较高时自动报告异常信息，并且对
潜在的异常(缺陷)区域进行定位与展示，提醒用户对出现的异常情况进行确认和管理。大大减少需要人工处理的车辆潜在故障图像，显著降低tvds图像检测所需要的时间成本和人力成本，同时保证检测的准确性和及时性。
[0059]
基于上述目的，本发明提供了一种基于数据增强策略的自监督弹簧缺陷检测方法，在实施该检测方法之前，需先构建弹簧目标检测模型、弹簧缺陷检测模型，具体构建方法如下：
[0060]
s1：构建弹簧图像数据集
[0061]
s11：获取部署在铁路沿线的tvds高速拍摄装置拍摄的车辆实时运行状态下的弹簧图像，按照拍摄机位、拍摄的车次车厢信息给弹簧图像命名；
[0062]
s12：选取部分弹簧图像，借助标注工具框选弹簧图像中的弹簧，并注明标签；
[0063]
s13：将处理后的带弹簧边界框的弹簧图像作为有标签的样本输入detection transformer模型进行训练，得到弹簧目标检测模型；
[0064]
其中，detection transformer模型是将目标检测当作一个集合预测问题，它采用基于transformer结构的“编码器-解码器”架构，包括提取图像特征表示的卷积神经网络主干网络和进行最终检测预测的简单前馈网络，实现了从大到小、由全局到局部的图像目标检测，并实现预测结果与真值间一对一匹配。
[0065]
s14：将剩余未标注的弹簧图像输入训练完成的弹簧目标检测模型，根据该模型预测的弹簧存在位置分割单独的弹簧图像；
[0066]
s15：将所有根据弹簧存在位置分割出来的弹簧图像裁剪成预设尺寸，得到弹簧图像数据集，图2所示为部分裁剪成预设尺寸的弹簧图像示意图。
[0067]
s2：通过数据增强扩充训练样本构造自监督信息
[0068]
s21：从弹簧图像数据集中获取若干正常的弹簧图像；
[0069]
s22：对于每一张正常的弹簧图像，将其作为原始图像，并复制一张原始图像作为底板图像，制作一张与原始图像尺寸相同的纯黑图像作为蒙板图像；
[0070]
s23：分别将原始图像、底板图像、蒙板图像对应划分为多个片区；具体地，分别在原始图像、底板图像、蒙板图像中建立直角坐标系，以图像的中心点为原点将图像划分为四个象限；
[0071]
s24：从原始图像的每个象限中随机选取区域并裁剪出一块多边形不规则图像块，将其依次粘贴到蒙板图像的任一不相同象限的随机位置处，并记录粘贴后每个多边形不规则图像块的顶点坐标；
[0072]
s25：根据记录的每个多边形不规则图像块的顶点坐标在底板图像中的对应位置擦除该区域内的像素值，并用rgb值(0,0,0)代替填充，然后将处理后的底板图像与蒙板图像叠加，便实现了借助蒙板完成原始图像中多边形不规则图像块的平移，得到数据增强后相较于原始图像具有局部不规则模式的缺陷图像，即存在缺陷的弹簧图像；部分原始图像及对应的缺陷图像如图3所示，左图为原始图像，右图为原始图像经过“裁剪-粘贴”数据增强策略增广后的具有局部缺陷的图像；
[0073]
s26：基于所有正常的弹簧图像及得到的存在缺陷的弹簧图像构建带类别标签的训练样本集。
[0074]
s3：构建弹簧缺陷检测模型
[0075]
构建自监督学习两阶段框架。第一阶段中预设代理任务，通过指导二分类器分类正常和存在人为构造的缺陷的弹簧图像，训练自监督网络学习不同类别的弹簧图像的深度视觉表征；第二阶段迁移第一阶段得到的预训练模型，构建tvds弹簧图像异常检测单类分类器，计算弹簧图像的异常概率，当概率高于预设阈值时，判定该弹簧图像中弹簧部位存在缺陷，输出异常检测日志报告给检测人员，否之判定弹簧图像为正常图像。
[0076]
s31：在第一阶段，构建包括第一特征提取器及二分类器的神经网络模型，以训练样本集中的每张弹簧图像为输入，其对应的类别标签为输出，对包括第一特征提取器及二分类器的神经网络模型进行训练，得到弹簧缺陷二分类模型。其中，第一特征提取器为卷积神经网络，用于提取高维的深度视觉表征，二分类器对不同类别的深度视觉表征进行分类。训练过程中，根据监督信息并结合下式所示的损失函数指导网络的优化：
[0077][0078]
式中，n表示训练样本集中的弹簧图像数目，cel表示交叉熵损失函数，xi表示训练样本集中正常的弹簧图像所组成的正类样本，用标签“0”代替，a(*)表示训练样本集中存在缺陷的弹簧图像所组成的模拟负类样本，用标签“1”代替；c(*)表示构建的二分类器。当训练一定的轮次损失函数收敛后，就可以得到弹簧缺陷二分类模型。
[0079]
s32：而在第二阶段，构建包括第二特征提取器及单分类器的弹簧缺陷检测模型；其中第二特征提取器基于第一特征提取器迁移得到，及第二特征提取器与第一特征提取器具有相同的神经网络结构及参数；单分类器输出输入的弹簧图像存在缺陷的概率，其包括多层的全连接神经网络层，单分类器获取第二特征提取器编码的深度视觉表征，并最终输出0到1范围内的小数，作为单分类器预测该弹簧图像存在缺陷的概率。
[0080]
具体实现上，单分类器获取第二特征提取器得到的弹簧图像深度视觉表征，计算其与预设的潜在真实表征之间的马氏距离d
mahalanobis
作为弹簧图像存在缺陷的概率；
[0081][0082]
式中，f(θ)表示第二特征提取器得到的弹簧图像深度视觉表征；xm表示预设的潜在真实表征，为若干正常的弹簧图像的经第二特征提取器得到的深度视觉表征的均值；x
conv
表示若干正常的弹簧图像的经第二特征提取器得到的深度视觉表征的协方差矩阵。
[0083]
其中，xm和x
conv
通过如下方法得到：
[0084]
使用第一特征提取器或第二特征提取器提取正常的弹簧图像的高维深度视觉表征，通过下面两个式子分别计算所有正常的弹簧图像的深度视觉表征的均值xm和协方差矩阵x
conv
：
[0085]
xm＝e
x∈x
(f(x))
[0086][0087]
其中，x表示所有正常的弹簧图像样本的集合，m表示x中的样本数量，f(x)表示正常的弹簧图像样本x特征提取后得到的高维深度视觉表征，e(期望)计算tvds中弹簧图像的潜在真实表征。
[0088]
s33：将得到的概率与预先设置的弹簧图像缺陷阈值进行比较，当概率不大于阈值
时，认为该弹簧图像的弹簧部位不存在缺陷；当概率大于阈值时，认为该弹簧图像的弹簧部位存在缺陷。当判定一张测试图像的弹簧部位存在潜在异常时，需要定位缺陷位置并报告异常日志。
[0089]
得到上述弹簧目标检测模型、弹簧缺陷检测模型后，即可进行弹簧缺陷检测，过程包括：
[0090]
a1：获取拍摄的弹簧图像；
[0091]
a2：将弹簧图像输入训练完成的弹簧目标检测模型对弹簧存在位置进行预测；
[0092]
a3：根据预测的弹簧存在位置分割单独的弹簧图像，裁剪成预设尺寸，得到待检测弹簧图像；
[0093]
a4：将待检测弹簧图像输入弹簧缺陷检测模型，得到弹簧缺陷检测结果；
[0094]
a5：对识别为存在缺陷的弹簧图像，定位缺陷位置，并通过边界框或热力图进行展示。如图4所示，左图为热力图，右图为边界框图。
[0095]
具体地，通过边界框进行展示的方法如下：
[0096]
截取弹簧缺陷检测模型中特征提取网络最后一层的特征图，进行归一化处理；
[0097]
将归一化处理后的特征图中的每一个像素点位置的值作为该像素点的异常概率估计与预设阈值进行比较，当像素点的异常概率大于预设阈值时，记录该像素点的横纵坐标；
[0098]
选择所有异常的像素点中横纵坐标的最大值和最小值，作为缺陷区域边界顶点在待检测弹簧图像中画出预测的矩形边界框；
[0099]
通过热力图进行展示的方法如下：
[0100]
截取弹簧缺陷检测模型中特征提取网络最后一层的特征图，进行归一化处理；
[0101]
根据归一化处理后的特征图中每一个像素点位置的值赋予该像素点对应的颜色；
[0102]
将处理后的特征图与原始待检测弹簧图像进行叠加，得到热力图。
[0103]
由于特征图中的每一个像素点位置的值体现了该位置处的存在缺陷的概率，通过预先设定像素点位置的值与不同颜色的对应关系，就可直接对各像素点赋予对应的颜色进行展示，所以特征图在和原始待检测弹簧图像叠加后就可以通过不同的颜色体现该位置处存在缺陷的概率。
[0104]
本实施例中，弹簧图像根据拍摄机位、拍摄的车次车厢信息进行命名；当识别出待检测弹簧图像存在缺陷时，根据待检测图像的名称逆向定位待检测弹簧对应的拍摄机位、车次车厢信息。
[0105]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0106]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。