基于改进YOLO-v5模型的子午线轮胎X光图像病疵自动检测方法

基于改进yolo-v5模型的子午线轮胎x光图像病疵自动检测方法
技术领域
1.本发明属于子午线轮胎检测技术领域，具体涉及一种基于改进yolo-v5模型的子午线轮胎x光图像病疵自动检测方法。


背景技术：

2.子午线轮胎作为汽车的主要零件，与人民生活、工业生产密切相关。子午线轮胎的胎冠厚度较大，抗压耐磨，且有高定伸、高硬度的带束层，可以起到缓冲和箍紧胎体的作用，单位接地面积大，附着能力大；接地压力更小，载荷更加均匀，可以更好的延长轮胎的行驶里程。因子午线轮胎的良好性能，已占据市场主导地位，而对轮胎生产质量和对出厂产品性能的要求也逐步升高。因此，最后的出厂成品检测，是轮胎在生产过程中对于产品品质控制的至关重要环节，其可以保证出厂轮胎达到优良质量和性能。
3.目前我国相应的轮胎病疵自动检测算法还不完善，一般是由人工对轮胎x光图像进行观察，判读轮胎是否有病疵，并且归类各种病疵的类型，检验效率低下。其次，通过x光机获取的轮胎x射线图像存在一定的噪声干扰，亮度较低，且各种病疵的图像形态不一，难以用单一的方法提取不同的病疵特征。


技术实现要素：

4.针对子午线轮胎存在多种型号，轮胎的胎面花纹纹路存在多样性，子午线轮胎也存在多种多样的病疵类型，同一种病疵在不同型号的子午线轮胎上得到的x光图像可能在形状、尺度、灰度上还存在着差别的问题，本发明提出了一种基于改进yolo-v5模型的子午线轮胎x光图像病疵自动检测方法，可以识别出多种病疵。
5.本发明的技术方案如下：
6.一种基于改进yolo-v5模型的子午线轮胎x光图像病疵自动检测方法，包括如下步骤：
7.步骤1、采集子午线轮胎x光图像进行分割处理，统一分辨率，制作模型训练样本数据；
8.步骤2、进行图像复原处理；
9.步骤3、设计改进yolo-v5模型；
10.步骤4、采用子午线轮胎病疵数据进行模型训练；
11.步骤5、利用训练完成的模型进行实际应用场景的轮胎病疵检测。
12.进一步地，步骤1的具体步骤为：
13.步骤1.1、首先，对于一张子午线轮胎x光图像原图，将其宽度缩小至1900像素，高度等比缩小，对应的病疵描述文件中的真实标注框也进行对应的缩小操作；
14.步骤1.2、采用1900*1900的窗口沿高度方向在原始图像中滑动，设置窗口滑动10次；
15.步骤1.3、如果窗口在滑动时不包含任何病疵，则继续向前滑动；否则，修正病疵的位置信息，生成子图以及所对应的相关病疵描述文件。
16.进一步地，步骤2的具体步骤为：
17.设子午线轮胎x光图像为一个三阶张量n1、n2、n3分别表示各阶的维数，所构建的复原模型为：
[0018][0019]
其中，为待求解的干净的图像，n代表张量的阶数，fctn为全连接张量网络，表示由张量全连接分解得到的n个因子张量，是基于深度学习的隐式正则化器，λ为正则化权重参数，σ为去噪参数，ω代表中观测到的像素点索引集合，代表按ω进行映射；
[0020]
该模型通过以下算法进行交替迭代更新求解：
[0021][0022]
其中，表示在自然图像数据集上训练的二维去噪卷积神经网络，q代表迭代次数，i＝1,
…
,n表示每个因子张量，ρ是近端参数，ωc表示集合ω的补集。
[0023]
进一步地，步骤3中，
[0024]
改进yolo-v5模型的结构包括输入端、主干网络、瓶颈网络和预测端；输入端表示输入的图片，该阶段进行图像预处理，将输入图像缩放到网络的输入大小，并进行归一化操作；主干网络用来提取一些通用的特征表示；瓶颈网络位于主干网络和预测端的中间位置，用于进一步提升特征的多样性及鲁棒性；预测端用来完成目标检测结果的输出；
[0025]
yolo-v5模型改进过程为：
[0026]
步骤3.1、在原始yolo-v5模型基础上，增加第四个检测层，对输出尺度最大的特征图进行上采样处理，继续扩大特征图，同时将获得的尺度最大的特征图与主干网络中相同尺寸的特征图进行级联融合；
[0027]
步骤3.2、在每个检测层特征处理阶段增加注意力模块；注意力模块的工作过程为：
[0028]
中间特征图谱t在空间维度分别进行maxpool最大池化和avepool平均池化，得到两个池化向量，然后将其输入到共享多层映射神经网络mlp中进行非线性映射，结果分别得到两个新的向量；之后对这两个向量进行逐位相加操作后再通过sigmoid激活函数对其进行非线性映射，最终获得通道注意力模块，变换公式如下：
[0029]
a1(t)＝σ1{mlp[avgpool(t)] mlp[maxpool(t)]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0030]
其中，a1表示通道注意力模块，σ1表示sigmoid函数；
[0031]
中间特征图谱t分别在通道维度上进行maxpool最大池化和avepool平均池化操作，然后进行堆叠，再通过卷积操作将其映射到一个单波段、相同尺寸的模型上，之后获得空间注意力模块a2；
[0032][0033]
其中，表示采用1
×
1的卷积神经网络进行特征变换，σ1代表sigmoid函数，函数方程为：
[0034][0035]
其中，x表示输入张量；
[0036]
步骤3.3、改进损失函数；加入影响因子，在检测框宽高比的数据上进行了度量，进一步使用了更加符合回归机制的diou_p，公式为：
[0037][0038]
其中，iou表示预测框与真实框的交叠率，b和b
gt
分别表示检测框和目标框的中心点；ρ1表示两个中心点之间的欧式距离；c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；μ为用于平衡比例的参数；m用来衡量预测框和真实框的宽和高之间的比例一致性。
[0039]
进一步地，步骤4的具体步骤为：
[0040]
步骤4.1、对步骤1中制作的模型训练样本数据进行处理，建立包括不同子午线轮胎x光图像病疵的数据集，对图像信息进行标注并做好分类得到待训练数据集；
[0041]
步骤4.2、搭建改进yolo-v5的网络模型，设置训练路径，读取训练的参数；
[0042]
步骤4.3、加载预训练模型，获得初始化网络模型参数；
[0043]
步骤4.4、选择训练优化器；
[0044]
步骤4.5、加载训练集；
[0045]
步骤4.6、开始训练，更新网络模型参数，直至迭代结束，模型训练结束。
[0046]
进一步地，步骤5的具体步骤为：
[0047]
步骤5.1、实时获取当前原始子午线轮胎x光图像，进行图像预处理：包括图像分割，统一分辨率、图像复原；
[0048]
步骤5.2、获得了预处理后的图像后，输入到训练完成的改进yolo-v5模型中，然后进行图像分区；
[0049]
步骤5.3、根据病疵出现的区域位置不同，分为局部类病疵和全局类病疵；通过在轮胎的不同区域上进一步提取细节特征，进行相应病疵检测，模型给出检测信息，包含病疵在图像中的位置信息，预测得到的各类置信度；
[0050]
步骤5.4、然后进行置信度筛选，根据预先设置的阈值，只保留置信度大于该阈值的候选框，展示在当前检测图像上，从而获得当前轮胎病疵检测情况。
[0051]
本发明所带来的有益技术效果：
[0052]
采用分割的方式对轮胎的x光图像进行处理，统一分辨率，使用分割后的图片进行
模型的训练，解决了轮胎的x光图像较大和成像设备不一致的问题；
[0053]
提出一种模型-数据联合驱动的图像去噪方法，在张量全连接分解模型基础上，使用预先训练的深度去噪器作为即插即用模块插入，该去噪方法具备张量模型良好的迁移性以及深度学习优越的去噪性能，解决了轮胎x光图像存在噪声干扰的问题；
[0054]
增加额外检测层和注意力模块对yolo-v5模型进行改进，同步改进原始损失函数，改进后的模型能够捕获子午线轮胎x光图像小尺度特征信息，较全面的归类和提取子午线轮胎x光图像病疵特征，检测病疵的位置更全面，解决了轮胎病疵检测中病疵目标可能比较小、缺乏充足的外观特征信息，难以将它们和背景或相似的目标区分、在真实的场景下存在x光成像差异、目标遮挡和目标尺度变化等问题；
[0055]
本发明是一种自动检测方法，基于改进模型能够自动识别多种病疵，针对不同病疵进行检测分类，检测效率和准确率较高。
附图说明
[0056]
图1为本发明子午线x光图像的分割流程图；
[0057]
图2为本发明改进yolo-v5模型的整体结构图；
[0058]
图3为本发明改进yolo-v5模型基础组件结构图
[0059]
图4为本发明通道注意力模块和空间注意力模块实现方法一的结构图；
[0060]
图5为本发明通道注意力模块和空间注意力模块实现方法二的结构图；
[0061]
图6为本发明基于训练完成的模型进行病疵检测的流程图；
[0062]
图7为本发明实施例中轮胎区域划分情况图；
[0063]
图8为本发明实施例中一个轮胎图像的病疵检测情况图。
具体实施方式
[0064]
下面结合附图以及具体实施方式对本发明作进一步详细说明：
[0065]
本发明提出一种基于改进yolo-v5模型的子午线轮胎x光图像病疵自动检测方法，主要包括以下步骤：
[0066]
步骤1、采集子午线轮胎x光图像进行分割处理，统一分辨率，制作模型训练样本数据。
[0067]
针对子午线轮胎的x光图像较大的问题，对轮胎的x光图像进行分割处理，统一分辨率，然后使用分割后的图片作为模型的训练样本。考虑到轮胎x光图像的原图尺寸大约为3000像素*10000像素左右，如此巨大的图像无法直接输入到检测模型中，并且一幅轮胎x光图像中往往仅在一些局部范围中存在某些病疵，大部分区域都是特征正常的纹理，因此需要根据病疵描述文件对原始图像做裁剪，将病疵从原始图像中“抠”出来，构建可以用于输入到模型的样本集，具体的裁剪流程如图1所示：
[0068]
步骤1.1、首先，对于一张子午线轮胎x光图像原图，将其宽度缩小至1900像素，高度等比缩小，对应的病疵描述文件中的真实标注框也需要进行对应的缩小操作；
[0069]
步骤1.2、采用1900*1900的窗口沿高度方向在原始图像中滑动，本发明中，设置窗口滑动10次，因此对于一张缩小后的轮胎x光图像，假设其缩小后的高度为9000，则每个相邻窗口间重叠了至少一半，基本不会遗漏病疵；
[0070]
步骤1.3、通过病疵描述文件，可以知道病疵的真实标注框的位置及大小，因此在窗口滑动时可以轻易的知道病疵与窗口的相对位置。如果窗口在滑动时不包含任何病疵，则继续向前滑动；否则，修正病疵的位置信息，生成子图以及所对应的相关病疵描述文件。
[0071]
步骤2、针对x光机不稳定造成的图像条状、块状缺失，从而影响检测效果的问题，进行图像复原处理；
[0072]
由于子午线轮胎x光机性能的优劣、图像采集设备的影响，轮胎x光图像会存在噪声、缺失、分辨率低等缺点，影响检测效果。
[0073]
针对轮胎x光图像存在缺失、噪声从而影响检测效果的问题，实施了图像复原处理，设子午线轮胎x光图像为一个三阶张量n1、n2、n3分别表示各阶的维数，所构建的复原模型为：
[0074][0075]
其中为待求解的干净的图像，n代表张量的阶数，fctn为全连接张量网络，表示由张量全连接分解得到的n个因子张量，是基于深度学习的隐式正则化器，λ为正则化权重参数，σ为去噪参数，ω代表中观测到的像素点索引集合，代表按ω进行映射。
[0076]
该模型通过以下算法进行交替迭代更新求解：
[0077][0078]
其中，表示在自然图像数据集上训练的二维去噪卷积神经网络，q代表迭代次数，i＝1,
…
,n表示每个因子张量，ρ是近端参数，ωc表示集合ω的补集。
[0079]
步骤3、设计改进yolo-v5模型。
[0080]
轮胎病疵检测任务的最终目的是用先进的计算机视觉技术来代替传统的人工检测，因此，轮胎病疵的检测算法最终要在业务应用场景进行部署，实现轮胎的病疵智能识别，这就要求病疵识别的模型满足实时识别与检测精度的要求，yolo系列算法识别速度快，实时性强，目标检测识别精度高。这与轮胎病疵的智能识别任务契合度较高，因此，可以采取yolo-v5模型作为轮胎的病疵识别基础模型。但由于原始yolo-v5模型存在一定弊端识别精度不够，因此本发明对yolo-v5模型进行改进，改进后的架构如图2所示。
[0081]
改进yolo-v5模型的结构包括输入端、主干网络、瓶颈网络和预测端。输入端表示输入的图片，该阶段通常包含一个图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作；主干网络用来提取一些通用的特征表示；瓶颈网络通常位于主干网
络和预测端的中间位置，利用它可以进一步提升特征的多样性及鲁棒性；预测端用来完成目标检测结果的输出。
[0082]
改进yolo-v5模型基础组件说明如下：
[0083]
(1)cbl模块由conv bn leaky_relu激活函数组成，如图3中的模块(a)所示。
[0084]
(2)res unit借鉴resnet网络中的残差结构，用来构建深层网络，如图3中的模块(b)所示。
[0085]
(3)csp1_x将输入分为两个分支，一个分支先通过cbl，经过res unit，再进行一次卷积；另一个分支直接进行卷积；然后两个分支进行concat，然后经过bn层，再通过一次leaky_relu激活函数。如图3中的模块(c)所示。
[0086]
(4)csp2_x相对于csp1_x来说，不一样的地方只有csp2_x将res unit换成了cbl，主要应用在瓶颈网络，如图3中的模块(d)所示。
[0087]
(5)spp采用1
×
1、5
×
5、9
×
9和13
×
13的最大池化方式，进行多尺度特征融合，如图3中的模块(e)。
[0088]
(6)focus结构首先将多个slice结果concat起来，然后将其送入cbl模块中。如图3中的模块(f)。
[0089]
其中基础组件中各个层解释如下：
[0090]
(1)conv层，又称卷积层，其作用是提取输入图像的特征信息。
[0091]
(2)bn层，又称批标准化层，其作用是对输入进行标准化处理，从而极大地抑制神经网络模型出现的过拟合与梯度弥散问题。
[0092]
(3)leakyrelu激活函数，其作用主要为在神经网络模型中引入非线性因素，使神经网络模型可以执行非线性任务。
[0093]
(4)concat层，又称拼接层，其作用主要是将两个及两个以上的特征图在通道维度进行拼接，以实现不同层次的特征信息融合。
[0094]
(5)slice运算，对输入图像进行切片操作，使focus模块能在信息不丢失的情况下实现二倍下采样。
[0095]
(6)maxpool层，又称池化层，其作用是提高神经网络训练速度且有效防止过拟合现象发生。
[0096]
主要对yolo-v5模型改进如下：
[0097]
(1)增加第四个检测层。
[0098]
针对轮胎病疵检测中有些病疵目标比较小、外观信息量不充足，难以将它们和背景或相似的目标区分、在真实的场景下存在x光成像差异、目标遮挡和目标尺度变化等问题，对yolo-v5的网络结构进行改进。原始的yolo-v5网络输出三个检测层，以输入尺寸为608
×
608
×
3为例，输出的尺度分别为76
×
76
×
25(对应第一个检测层)、38
×
38
×
25(对应第二个检测层)、19
×
19
×
25(对应第三个检测层)考虑到有些病疵点目标较小，原始的76
×
76输出特征图不能很好地显示病疵点特征。为获取更大的特征图进行小目标检测，提高对小目标病疵点的检测精度，改进后的模型中添加了第四个检测层，对yolo-v5模型输出的76
×
76特征图进行上采样处理，使得特征图继续扩大，同时将获得的152
×
152特征图与主干网络中的152
×
152特征图进行级联融合。
[0099]
(2)增加注意力模块。
[0100]
在每个检测层特征处理阶段增加注意力模块，进行注意力增强，实现图像目标检测点的自适应细化。
[0101]
本发明中提出两种注意力模块设计方法。
[0102]
方法一：给定一个中间特征图谱，通过对中间特征图谱在空间维度实行卷积操作处理得到通道注意力模块，在通道维度实行卷积操作处理得到空间注意力模块。该卷积操作均为有监督训练的过程。如图4所示，首先，中间特征图谱在空间维度进行多次卷积操作，保持通道数不变，最终得到p
×1×
1的一维向量，且该一维向量维度与t中单个通道的向量维度相同。同理，中间特征图谱在通道维度，进行多次卷积操作，保持每个波段的尺寸大小不变，最终得到1
×r×
r的二维向量，且该二维向量的维度与t中单个波段的维度相同。
[0103]
方法二：如图5所示，中间特征图谱t在空间维度分别进行maxpool最大池化和avepool平均池化，得到两个池化向量，然后将其输入到共享多层映射神经网络mlp中进行非线性映射，结果分别得到两个新的向量。之后对这两个向量进行逐位相加操作后再通过sigmoid激活函数对其进行非线性映射，最终获得通道注意力模块，变换公式如下：
[0104]
a1(t)＝σ1{mlp[avgpool(t)] mlp[maxpool(t)]}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0105]
其中，a1表示通道注意力模块，σ1表示sigmoid函数。
[0106]
中间特征图谱t分别在通道维度上进行maxpool最大池化和avepool平均池化操作，然后进行堆叠，再通过卷积操作将其映射到一个单波段、相同尺寸的模型上，之后获得空间注意力模块a2。
[0107][0108]
其中，表示采用1
×
1的卷积神经网络进行特征变换，σ1代表sigmoid函数，函数方程为：
[0109][0110]
其中，x表示输入张量。
[0111]
(3)改进损失函数。
[0112]
在原始yolo-v5模型中交并比损失函数采用giou，giou对重叠区域，非重叠区域的不同都有关注，对重合度也有很好的反应，它对误差越大的候选框惩罚越大，不同比例的候选框在这种方式的作用下能够取得很好的检测效果，公式为：
[0113][0114]
其中，iou表示预测框与真实框的交叠率，即它们的交集与并集的比值，c同时包含了预测框和真实框的最小框的面积，b表示预测框的面积，b
gt
表示真实框的面积。
[0115]
但是giou对于目标与anchor之间的距离、重叠率以及尺度等因素没有考虑，并且发散问题在训练过程中也会出现，这样会导致giou回归策略向iou的回归方式退化。产生这种现象的原因是当iou取值为0时，giou快速重叠检测框和目标框，而后损失函数惩罚措施迭代失效，这会使得检测框与目标框之间的包含而不重叠的情况也被认为是允许的。为改进这种方法本发明引入新的损失函数，并在其中加入了影响因子，在检测框宽高比的数据上进行了度量，进一步使用了更加符合回归机制的diou_p，公式为：
[0116][0117]
其中，b和b
gt
分别表示检测框和目标框的中心点；ρ1表示两个中心点之间的欧式距离；c表示能够同时包含预测框和真实框的最小闭包区域的对角线距离；μ为用于平衡比例的参数；m用来衡量预测框和真实框的宽和高之间的比例一致性。
[0118]
步骤4、采用子午线轮胎病疵数据进行模型训练；改进yolo-v5模型的具体训练过程如下：
[0119]
步骤4.1、对步骤1中制作的模型训练样本数据进行处理，建立包括不同子午线轮胎x光图像病疵的数据集，对图像信息进行标注并做好分类得到待训练数据集；
[0120]
步骤4.2、搭建改进yolo-v5的网络模型，设置训练路径，读取训练的参数；
[0121]
步骤4.3、加载预训练模型，获得初始化网络模型参数；
[0122]
步骤4.4、选择训练优化器；
[0123]
步骤4.5、加载训练集；
[0124]
步骤4.6、开始训练，更新网络模型参数，直至迭代结束，模型训练结束。
[0125]
步骤5、利用训练完成的模型进行实际应用场景的轮胎病疵检测。
[0126]
如图6所示，具体包括如下流程：
[0127]
步骤5.1、实时获取当前原始子午线轮胎x光图像，进行图像预处理：包括图像分割，统一分辨率、图像复原。
[0128]
步骤5.2、获得了预处理后的图像后，输入到训练完成的改进yolo-v5模型中，然后进行图像分区。根据造影的特征差异，轮胎主要组成成分可划分为胎冠、胎肩、胎侧以及胎圈，如图7所示。
[0129]
(1)胎冠
[0130]
胎冠位于轮胎的正中央，主要包括胎面、带束层以及帘布层等，是车辆行驶过程中与地面直接接触的主要部件。其中胎面泛常根据车辆的行驶需求，会设计不同的条形纹理，以期调整摩擦力等性能指标。带束层还被称为缓冲层，顾名思义，它起着舒缓冲击的作用，其结构依靠近乎平行排布的帘线作为增强材料，是轮胎的主要受力部件。帘布层则是轮胎的骨架，支撑起带束层进行负载的承担。
[0131]
(2)胎肩
[0132]
是胎冠与胎侧之间的过渡区。由于胎面与胎体两部分的帘线角度排布相差较大，因此胎面两侧边缘部分必须用胶料填充将两部分连接起来，从而形成了不同于其他结构的胎肩。胎肩厚度不宜过厚，否则由于仅仅是胶料填充而分布帘线较少的原因，会导致结构易干裂等问题。同样，通常在该部位也会同胎面一样制成花纹脉络，并与胎面花纹沟相连通，以便散热，且有助于提高抓着力。
[0133]
(3)胎侧
[0134]
介于胎肩与胎圈的部分，是指与轮胎的胎面垂直，覆盖在外胎侧壁的橡胶层段。它能够保护胎体内部帘线不受损伤。同时由于该部分在汽车行驶时垂直地面，在遇到不平整路面时要保证有充足的弹性来使胎面上下浮动。
[0135]
(4)胎圈
[0136]
是轮胎安装在轮圈上的部分，既要保障能够抵抗内压造成的垂直方向的应力，还
要保证弯道行驶时的轮圈对其的横向作用效果以使外胎不至于脱出轮辋。因此通常会选择质地密实、不易形变的稳固材料。
[0137]
步骤5.3、根据病疵出现的区域位置不同，分为局部类病疵和全局类病疵。比如稀线、弯曲、散线都出现在帘线和带束层区域，属于局部类病疵。杂质和气泡类病疵可能出现在x光图像上任何位置，属于全局类病疵。通过在轮胎的不同区域上进一步提取细节特征，进行相应病疵检测，模型给出检测信息，包含病疵在图像中的位置信息，预测得到的各类置信度。
[0138]
步骤5.4、然后进行置信度筛选，根据预先设置的阈值，只保留置信度大于该阈值的候选框，展示在当前检测图像上，从而获得当前轮胎病疵检测情况。如图8所示的一个病疵检测结果，图中的数值0.69、0.80、0.42即为置信度。此时可以看出胎冠区域有带束层开根病疵，胎肩区域有杂质病疵，整个轮胎区域内有胎体交叉病疵。
[0139]
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。