一种基于改进YOLO的道路裂缝检测方法及系统

一种基于改进yolo的道路裂缝检测方法及系统
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种基于改进yolo的道路裂缝检测方法及系统。


背景技术：

2.混凝土路面裂缝的检测一直都是近年的热点研究问题。混凝土路面在使用过程中受到恶劣天气、路面侵蚀，负重碾压以及道路老化等因素影响极易导致路面开裂。路面裂缝会影响道路的使用年限，在维护不足与超负荷使用的情况下，会加速混凝土路面的恶化，坍塌，造成严重的安全事故，威胁人们的生命财产安全；
3.传统算法对特征明显的裂缝具有良好的特征提取能力，但是在检测细小裂缝以及被噪声严重干扰的裂缝图像时，会对噪声产生伪分割现象，对裂缝检测效果产生较大的影响,针对这些问题卷积神经网络开始兴起，在裂缝检测方面大多采用unet网络对路面进行分割检测，但是unet网络比较慢无法满足实时处理的需求。
4.现有专利中基于深度学习的道路病害检测方法，采用原始yolo网络，该方法首先需要大量的训练集样本，训练速度慢；其次未对裂缝图像特征信息进行筛选，无法有效学习到裂缝相关特征，造成欠拟合；另外，未虑裂缝图像在时间上连续性，会造成漏检。


技术实现要素：

5.针对现有算法的不足，本发明考虑到道路裂缝类别单一，视频图像之间信息相关性大的特点，在yolo网络的框架上，将原有主干特征提取网络更改为mobilenetv3网络，同时在加强特征提取网络模块的特征拼接部分前加入attention机制，在预测网络与加强特征提取网络之间加入convlstm模块。
6.本发明所采用的技术方案是：一种基于改进yolo的道路裂缝检测方法及系统包括，以下步骤：
7.步骤一、收集裂缝公开数据集与构建待检测路面数据集，对数据增强并进行裂缝标注，得到预训练数据集与训练数据集；
8.进一步的，数据增强包括：反转，旋转对比度增强，亮度增强；
9.步骤二、构建改进yolo网络模型：使用mobilenetv3网络代替原有主干特征提取网络模块，在加强特征提取网络的特征拼接部分前加入attention机制，在预测网络与加强特征提取网络之间加入convlstm模块，针对裂缝特点对预测网络模型进行调整；
10.进一步的，改进yolo网络模型包括：第一层先进行步长为2的卷积块操作再进行步长为1卷积块操作，将第一层输出的特征图传输到第二层；第二层先进行步长为2的卷积块操作再进行步长为1的卷积块操作，将第二层输出的特征图传输到第三层；第三层先进行步长为2的卷积块操作再进行两次步长为1的卷积块操作，将第三层输出的特征图传输到第四层；第四层先进行步长为2的卷积块操作再进行五次步长为1的卷积块操作，将第四层输出的特征图传输到第五层；第五层先进行步长为2的卷积块操作再进行五次步长为1的卷积块
操作；
11.进一步的，加强特征提取网络包括：对第五层网络进行卷积得到第六层网络，对第六层网络进行上采样传到第七层，将第七层网络与第四层网络进行拼接与卷积得到第七层网络输出；对第七层网络输出进行下采样传输到第八层，将第八层网络与第六层网络进行拼接与卷积后得到第八层网络输出；
12.进一步的，预测网络包括：对第七层与第八层进行卷积操作得到最终的网络输出。
13.进一步的，对第七层与第八层进行卷积操作采用深度可分离卷积的convlstm模块。
14.步骤三、将预训练数据集传入改进yolo网络模型进行预训练，并生成预训练权重，并通过训练数据集对再训练。
15.基于改进yolo的道路裂缝检测方法的系统，包括摄像模块、树莓派检测设备和gps定位模块，摄像模块用于采集道路裂纹视频并传输到树莓派检测设备，gps定位模块用于当网络检测出裂缝时将裂缝所在位置传送给树莓派检测设备。
16.本发明的有益效果：
17.1、使用mobilenetv3作为yolo主干特征,减少网络模型参数量，降低模型复杂度，实现使用少量的样本数据集便可达到训练效果，同时还防止过拟合。
18.2、使用attention机制，选取输入特征中更为重要的特征信息来训练模型，使模型训练的结果精准有效。
19.3、使用convlstm模块，实现上一时刻的特征信息与当前时刻的信息相结合，综合考虑裂缝图像在时间上连续性。
20.4、首先使用裂缝公开数据集对网络模型进行训练提取有效特征，再使用真实道路裂缝进行迁移学习，减少训练集数量。
21.5、网络检测出路面出现裂纹时会自动记录裂纹所在gps位置，方便维护。
附图说明
22.图1是本发明的基于改进yolo的道路裂缝检测方法流程图；
23.图2是本发明的基于改进yolo的道路裂缝检测方法的整体网络结构图；
24.图3是本发明的convlstm网络结构图；
25.图4是本发明的深度可分离卷积操作示意图；
26.图5是本发明的道路缝标注图；
27.图6是本发明的道路缝检测效果图。
具体实施方式
28.下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
29.因为裂缝检测易受光照以及路面杂物的干扰，所以检测难度大；在道路出现的细小裂缝往往会被忽视，继而引发裂缝的突然扩张，极易造成安全隐患；为了解决以上问题，首先将收集的公开数据集进行整合并利用数据增强对数据集进行扩充，并对数据集进行标注得到预训练数据集，为了减少模型参数量，提高模型准确度，考虑时序信息，在网络模型
中添加注意力机制和时序卷积，使用预训练数据集对模型进行训练，并对训练的模型使用收集的真实道路裂纹进行迁移学习，进一步得到更为精确的结果。
30.如图1所示，一种基于改进yolo的道路裂缝检测方法及系统包括以下步骤：
31.步骤一、收集裂缝公开数据集与构建待检测路面数据集利用旋转，对比度增强，亮度增强的方式对数据集进行扩充，并对数据集进行标注得到预训练数据集与训练数据集；
32.旋转是指图像围绕其中心以一定的角度进行旋转；对比度增强是指将图像中的亮度值范围拉伸或压缩成显示系统指定的亮度显示范围，从而提高图像全部或局部的对比度；亮度增强是指按照一定的数值对图像中的亮度值进行放大或缩小。
33.标注采用大而化小的方法，即一条裂缝使用几个目标框来标注，如图5所示，以此来提高目标框的有效特征比，加快网络提取有效特征；
34.步骤二、构建yolo目标检测网络模型(改进yolo网络)，如图2所示，使用mobilenetv3网络代替原有主干特征提取网络模块，在加强特征提取网络模块的特征拼接部分前加入attention机制，在预测网络与加强特征提取网络之间加入convlstm模块，针对裂缝特点对预测网络模型进行调整；
35.改进yolo网络包括：主干特征提取网络、加强特征提取网络与预测网络,主干特征提取网络通过降低特征图尺寸增加特征图通道提取有用的信息；加强特征提取网络则是综合主干特征提取网络的语义信息与空间信息，预测网络通过预测结果与标签图像计算损失来训练网络；
36.其中主干特征提取具体为：采用mobilenetv3网络对输入图像进行特征提取，在第一层使用步长为2的卷积块操作与步长为1卷积块操作，将第一层输出的特征图传输到第二层，在第二层先进行步长为2的卷积块操作再进行步长为1的卷积块操作，将第二层输出的特征图传输到第三层，在第三层先进行步长为2的卷积块操作再进行两次步长为1的卷积块操作，将第三层输出的特征图传输到第四层，在第四层先进行步长为2的卷积块操作再进行五次步长为1的卷积块操作，将第四层输出的特征图传输到第五层，在第五层先进行步长为2的卷积块操作再进行五次步长为1的卷积块操作。
37.加强特征提取网络具体为：对第五层网络进行卷积得到第六层网络，对第六层网络进行上采样传到第七层，将第七层网络与第四层网络进行拼接与卷积得到第七层网络输出，对其七层网络输出进行下采样传输到第八层，将第八层网络与第六层网络进行拼接与卷积后得到第八层网络输出；加强特征提取网络是综合主干特征提取网络的语义信息与空间信息；
38.主干特征提取网络采用步长为2的卷积块代替池化操作，目的是在达到特征图高宽减半的同时尽可能利用网络提取的特征信息。
39.attention机制包括:通道注意力机制和空间注意力机制，通道注意力为：对输入进来的单个特征层进全局最大池化，然后使用全连接层进行处理，对处理后的结果使用sigmoid进行激活，再将这个权值乘上原输入特征层；空间注意力为：对输入进来的特征图，在每一个特征点的通道上取最大值和平均值，之后将两个结果拼接起来，利用一次通道数为1的卷积调整通道数，然后取一个sigmoid，接着将这个权值乘上原输入特征层。
40.预测网络具体为；对第七层与第八层进行卷积操作得到最终的网络输出。
41.如图3为convlstm模块包括：遗忘门、输入门、状态门、输出门、单元状态和单元输
出；遗忘门：将上一时刻单元输出与当前时刻单元输入进行拼接生成输入信息；对输入的信息进行卷积变换和sigmoid激活后生成遗忘门信息，公式为f
t
＝sigmoid(wf[h
t-1
,x
t
] bf)；输入门：将输入信息单独进行卷积变换和sigmoid激活后得到输入门信息，公式为i
t
＝sigmoid(wi[h
t-1
,x
t-1
] bi)；状态门：将输入信息单独进行卷积变换和tanh激活后得到状态门信息，公式为s
t
＝tanh(ws[h
t-1
,x
t-1
] bs)；输出门：将对输入的信息进行卷积变换生成输出门信息，公式为o
t
＝sigmoid(wo[h
t-1
,x
t-1
] bo)；单元状态：将遗忘门信息与上一单元状态相乘，输入门与状态门相乘，然后两者相加得到单元状态，公式为c
t
＝f
t
*c
t-1
i
t
*s
t
；单元输出：将单元状态激活之后与输出门相乘，公式为h
t
＝o
t
*tanh(c
t
)；
[0042]
由于convlstm卷积参数量较大，容易产生训练不充分的情况，所以采用深度可分离卷积代替原有卷积，并且将其用到用到运算量较少的预测网络与加强特征提取网络之间；考虑到convlstm涉及到乘法极易造成特征图参数变小的情况，所以在模型卷积后对其进行标准化。
[0043]
如图4为深度可分离卷积操作示意图，由于convlstm模块参数量大，通过深度可分离卷积之后参数量减少；
[0044]
普通卷积为：使用out_channel个卷积层数为in_channel的卷积核对输入特征层进行卷积，参数量为：out_channel(in_channnel*kernel_size^2)；
[0045]
而深度可分离卷积为：使用in_channel个卷积层数为1的卷积核分别对输入特征层的每一层进行卷积得到卷积结果，然后使用out_channel个卷积层数为in_channel的1*1卷积和对卷积结果进行融合，参数量为：out_channel*kernel_size^2 out_channel*in_channnel*1^2；
[0046]
预测网络模型调整具体为删除原有小目标预测网络，保留中，大目标检测网络。
[0047]
将预训练数据集传入模型进行预训练，并生成预训练权重便于迁移学习；
[0048]
预训练为：将模型先加载mobilenetv3官方权重，先对主干网络进行冻结仅训练预测网络，然后对主干网络进行解冻训练整个网络，使用focal loss来防止正负样本不均衡,选择sgd算法对改进的yolo进行优化，并选择cos学习率下降方式对每个epoch的学习率进行调整；其中初始学习率为0.01,动量参数设置为0.9；
[0049]
将训练数据集导入加载预训练权重的网络模型进行再训练，提高模型准确率与适用性；
[0050]
再训练为；网络加载预训练权重与训练数据集，由于预训练数据集与训练数据集都是裂纹图像所以只需对网络进行冻结训练；
[0051]
将yolo网络部署到移动设备，进行道路裂缝的实时实地检测，当检测到裂缝时便会记录gps模块的实时裂缝位置，方便日后道路维护；
[0052]
移动设备包括摄像模块、树莓派检测设备和gps定位模块，摄像模块用于采集道路裂纹视频并传输到树莓派检测设备，检测设备已嵌入训练好的yolo模型用来检测裂纹视频，检测效果如图5，gps定位模块用于当网络检测出裂缝时将裂缝所在位置传送给树莓派检测设备。
[0053]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。