一种基于注意力机制的桥梁健康监测方法

1.本发明涉及计算机视觉中的目标缺陷检测领域，尤其涉及一种基于注意力机制的桥梁健康监测方法。


背景技术：

2.目标检测是计算机视觉领域当中一个非常热门的研究领域，其技术不论是在商用无人机，还是消费级无人机上都有非常广泛的应用，实时目标检测功能是无人机当下和未来非常重要的功能之一，但是由于硬件设施如内存和计算能力的限制，无人机目标检测的发展受到了极大的限制，无法实现对桥梁的实时监测。


技术实现要素：

3.本发明提出一种基于注意力机制的桥梁健康监测方法，用于解决或者至少部分解决现有技术中由于无人机硬件设备限制导致目标检测网络无法做到实时监测的技术问题。
4.为了解决上述技术问题，本发明提供了一种基于注意力机制的桥梁健康监测方法，包括：
5.s1：获取数据集；
6.s2：搭建桥梁健康监测模型，桥梁健康监测模型为基于yolov5网络的改进模型：cn-yolov5，桥梁健康监测模型包括主干提取特征网络、加强特征提取网络以及检测头，其中，主干提取特征网络在yolov5网络的主干特征提取部分将残差模块的个数变为原来的1/3，并额外增加一个残差模块，在最后一个残差模块后增加一个注意力模块，同时将原始的spp模块替换为快速空间金字塔池化结构sppf模块，将sppf模块放置于主干特征提取部分的最后面，检测头部分增加一个检测头，用以检测一个尺度的特征图；
7.s3：对获取的数据集进行数据集划分和预处理；
8.s4：将预处理后的数据输入桥梁健康监测模型进行训练；
9.s5：将训练好的桥梁健康监测模型搭载到无人机上，然后使用无人机对待监测的桥梁路面进行实时监测。
10.在一种实施方式中，所述方法还包括步骤s6：自动预警通知，当检测到待监测桥面存在缺陷时，对缺陷地点进行定位及预警。
11.在一种实施方式中，步骤s1中获取的数据集包括混凝土裂缝数据集和桥梁裂缝数据集。
12.在一种实施方式中，步骤s2搭建的桥梁健康监测模型中，注意力模块具体用于执行下述步骤：
13.利用两个1维全局池化操作将沿垂直和水平方向的特征图分别聚合为两个单独的方向注意力图，两个单独的方向注意力图为具有嵌入的特定方向信息的特征图；
14.将具有嵌入的特定方向信息的两个特征图分别编码为两个注意力图，每个注意力图都沿一个空间方向捕获输入特征图的远距离依存关系；
15.通过乘法将两个注意力特征图应用于输入特征图，以强调注意区域的表示，得到输出的特征图。
16.在一种实施方式中，步骤s2搭建的桥梁健康监测模型中，将spp模块替换为快速空间金字塔池化结构sppf模块，包括：将原始yolov5网络中5、9、13三个尺寸的池化核统一为大小为9的池化核。
17.在一种实施方式中，步骤s3包括：
18.s3.1：将步骤s1获取的数据集按预设比例划分为训练集、验证集和测试集；
19.s3.2：将划分得到的训练集进行归一化处理。
20.在一种实施方式中，步骤s4还包括：得到的训练结果通过格式转化为onnx通用格式，然后部署到无人机上进行项目实践。
21.在一种实施方式中，步骤s5还包括：
22.当监测结果为待监测的桥梁路面有缺陷时，记录缺陷所在的位置坐标，并将记录的位置坐标和缺陷图像传给控制台，同时将监测到的缺陷图像作为标记好的数据并入到训练集中以扩充数据集。
23.本技术实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
24.本发明提出了一种基于注意力机制的桥梁健康监测方法，搭建了桥梁健康监测模型，桥梁健康监测模型为基于yolov5网络的改进模型，将训练好的桥梁健康监测模型搭载到无人机上，然后使用无人机对待监测的桥梁路面进行实时监测。基于yolov5网络的改进模型在yolov5的主干特征提取部分多加一个c3模块，并在最后一个c3模块(残差模块)后面添加一个ca注意力模块，同时将原始的spp模块替换为速度更快的sppf，然后将sppf模块放在主干特征提取部分的最后面，还增加一个检测头以此来提升模型的精度。总体来说，本发明提供的方法基于轻型网络cn-yolov5进行图像识别，对桥梁路面进行检测与预警，降低了无人机硬件设备的需求，提高了检测速度与精度，为实时高效维护桥梁路面情况提供了一套完整的解决方案。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明实施例提供的一种基于注意力机制的桥梁健康监测方法的流程图；
27.图2为本发明实施例对原始yolov5网络进行改进的示意图，其中，(a)部分为原始yolov5网络结构，(b)部分为本发明提出的cn-yolov5网络结构；
28.图3为本发明实施例中ca注意力模块结构图；
29.图4为本发明实施例提出的cn-yolov5在主干特征提取部分的改进示意图，其中，(a)部分为原始yolov5的主干特征提取部分，(b)部分为本发明提出的cn-yolov5的主干特征提取部分；
30.图5为本发明实施例提出的cn-yolov5在spp模块上的改进示意图，其中，(a)部分
为spp结构图，(b)部分为本发明提出的sppf结构图。
具体实施方式
31.本技术发明人通过大量的研究与实践发现：
32.现有技术中，由于硬件设施如内存和计算能力的限制，无人机目标检测的发展受到了极大的限制。
33.基于此，本技术发明人认为在保持一定精度的前提下对目标检测网络进行适当的轻量化，具有十分重要的应用价值。
34.计算机视觉中的注意力机制的基本思想就是想让视觉网络学会注意力，能够忽略无关信息而关注重点信息。在深度学习发展的今天，搭建能够具备注意力机制的神经网络则开始显得更加重要，一方面是这种神经网络能够自主学习注意力机制，另一方面则是注意力机制能够反过来帮助我们去理解神经网络看到的世界。
35.本发明提出的cn-yolov5网络模型属于one-stage目标检测算法，由于将候选框的生成与目标的分类回归合并为一步，使得算法的检测速度相较于基于two-stage的目标检测方法大大提升。随着yolo系列网络模型的发展，该网络模型的精度得到了有效的提升，相应的网络模型参数也变得复杂，对硬件设备的需求也变严格了。本发明提出的cn-yolov5网络模型是将yolov5网络结构的深度缩小为原来的1/3，将宽度缩小为原来的1/4，从而使得网络的参数量变为原来1/15左右，计算量变为原来的1/26，进而提高网络的实时检测速度。将网络如此轻量化以后势必造成检测精度的下降，于是在yolov5的主干特征提取部分多加一个c3模块，并在最后一个c3模块后面添加一个ca注意力模块，同时将原始的spp模块替换为速度更快的sppf，然后将sppf模块放在主干特征提取部分的最后面，还增加一个检测头以此来提升模型的精度。
36.关于缩小宽度，原始yolov5有两个超参用来控制模型的深度和宽度，其中宽度表示通道数的多少，通过更改控制模型宽度按的超参来实现。
37.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本发明实施例提供了一种基于注意力机制的桥梁健康监测方法，包括：
39.s1：获取数据集；
40.s2：搭建桥梁健康监测模型，桥梁健康监测模型为基于yolov5网络的改进模型：cn-yolov5，桥梁健康监测模型包括主干提取特征网络、加强特征提取网络以及检测头，其中，主干提取特征网络在yolov5网络的主干特征提取部分将残差模块的个数变为原来的1/3，并额外增加一个残差模块，在最后一个残差模块后增加一个注意力模块，同时将原始的spp模块替换为快速空间金字塔池化结构sppf模块，将sppf模块放置于主干特征提取部分的最后面，检测头部分增加一个检测头，用以检测一个尺度的特征图；
41.s3：对获取的数据集进行数据集划分和预处理；
42.s4：将预处理后的数据输入桥梁健康监测模型进行训练；
43.s5：将训练好的桥梁健康监测模型搭载到无人机上，然后使用无人机对待监测的
桥梁路面进行实时监测。
44.具体实施过程中，步骤s1获取的数据集可以通过网络获取。步骤s2通过改变残差模块(c3模块)的个数，额外增加残差模块、注意力模块，同时将原始的spp模块替换为快速空间金字塔池化结构sppf模块的方式，搭建了轻量型的cn-yolov5网络，步骤s3是对数据集的处理，步骤s4是模型的训练，步骤s5是模型的搭载以及具体应用，通过搭载cn-yolov5目标检测网络的无人机对所需检测桥梁路面实时监测，判断所监测桥面是否存在缺陷。
45.请参见图2，为本发明实施例对原始yolov5网络进行改进的示意图，其中，(a)部分为原始yolov5网络结构，(b)部分为本发明提出的cn-yolov5网络结构。
46.整体来说，本发明将yolov5网络结构的深度缩小为原来的1/3，将宽度缩小为原来的1/4，从而使得网络的参数量变为原来1/15左右，计算量变为原来的1/26，进而提高网络的实时检测速度。将网络如此轻量化以后势必造成检测精度的下降，于是在yolov5的主干特征提取部分多加一个c3模块，并在最后一个c3模块后面添加一个ca注意力模块，同时将原始的spp模块替换为速度更快的sppf，然后将sppf模块放在主干特征提取部分的最后面，还增加一个检测头以此来提升模型的精度。
47.在一种实施方式中，所述方法还包括步骤s6：自动预警通知，当检测到待监测桥面存在缺陷时，对缺陷地点进行定位及预警。
48.具体实施过程中，对所述桥梁缺陷实时检测步骤得到的结果进行展示，若桥面存在缺陷，则对缺陷地点进行定位及预警。
49.在一种实施方式中，步骤s1中获取的数据集包括混凝土裂缝数据集和桥梁裂缝数据集。
50.具体实施过程中，可以在github、kaggle、知乎以及公开目标检测比赛等网络上寻找公开的混凝土裂缝数据集和桥梁裂缝数据集，例如crackforest、crack和surface crack detection。其中crackforest数据集包含329张图片，crack数据集包含2068张图片，surface crack detection数据集包含带有和不带有裂纹的各种混凝土表面的图像，图片数据在单独的文件夹中分为负片(无裂纹)和正片(无裂纹)两部分，用于图片分类，每个类别有20000张图片，总共40000张图片，图片均为227
×
227像素大小的rgb彩色图片。
51.在一种实施方式中，步骤s2搭建的桥梁健康监测模型中，注意力模块具体用于执行下述步骤：
52.step1：利用两个1维全局池化操作将沿垂直和水平方向的特征图分别聚合为两个单独的方向注意力图，两个单独的方向注意力图为具有嵌入的特定方向信息的特征图；
53.step2：将具有嵌入的特定方向信息的两个特征图分别编码为两个注意力图，每个注意力图都沿一个空间方向捕获输入特征图的远距离依存关系；
54.step3：通过乘法将两个注意力特征图应用于输入特征图，以强调注意区域的表示，得到输出的特征图。
55.请参见图3，为本发明实施例中ca注意力模块结构图，其中，input表示输入特征图，x avg pool表示沿h方向的全局平均池化层，y avg pool表示沿w方向的全局平均池化层，concat表示拼接操作，conv2d表示普通二维卷积操作，batchnorm表示批量归一化操作。
56.具体实施过程中，step1：利用两个1维全局池化核(h,1)和(1,w)，将沿垂直和水平方向的特征图分别聚合为两个单独的方向注意力图，
57.沿h方向的第c个通道的输出用式(0.1)表示：
[0058][0059]
同样的，沿w方向的第c个通道的输出用式(0.2)表示：
[0060][0061]
其中，h表示该层特征图的高度，w表示该层特征图的宽度，表示沿h方向的第c个通道的输出结果，表示沿w方向的第c个通道的输出结果，xc(h,i)表示输入特征图x沿h方向的输入，xc(j,w)表示输入特征图x沿w方向的输入。
[0062]
step2：将具有嵌入的特定方向信息的这两个特征图分别编码为两个注意力图，该过程为坐标注意力生成。每个注意力图都沿一个空间方向捕获输入特征图的远距离依存关系。位置信息因此可以被保存在所生成的注意力图中，位置信息是指特征图沿x方向提取的信息和沿y方向提取的信息；
[0063]
f＝δ(f1([zh,zw]))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(0.3)
[0064]
其中[.,.]表示沿空间维度的拼接操作，f1表示卷积操作，δ表示sigmoid激活函数，其中表示在水平方向和垂直方向编码空间信息的中间特征图。r是一个控制注意力模块大小的超参。然后将f沿h和w两个方向拆分为和两个特征图，然后使用fh和fw两个卷积操作将fh和fw两个特征图的通道数转化为与输入特征x具有相同通道数的注意力权重gh和gw。
[0065]gh
＝σ(fh(fh))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(0.4)
[0066]gw
＝σ(fw(fw))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(0.5)
[0067]
step3：通过乘法将两个注意力权重gh和gw都应用于输入特征图x上，得到注意力模块的输出y，以强调注意区域的表示。
[0068][0069]
其中yc(i,j)表示第c个通道的输出、xc(i,j)表示第c个通道的输入、表示第c个通道上沿h方向的注意力权重、表示第c个通道上沿w方向的注意力权重。
[0070]
请参见图4，为主干特征提取网络部分的改进示意图，图4中(a)部分为原始的yolov5网络的主干特征提取部分结构图，图4中(b)部分为改进后cn-yolov5网络的主干特征提取部分结构图。由于yolov5中focus模块的部分操作在opencv库中没有对应的算子，不方便格式转化然后部署，于是本实施方式将focus模块修改为普通的卷积操作。为了轻量化网络，将原始yolov5中的残差结构c3模块的个数变为原来的1/3，从而达到减少原始网络的深度的目的。此外，在原始网络后面额外添加一个c3模块以减少精度的损失，同时保证整体网络尺寸是减小的。
[0071]
在一种实施方式中，步骤s2搭建的桥梁健康监测模型中，将spp模块替换为快速空间金字塔池化结构sppf模块，包括：将原始yolov5网络中5、9、13三个尺寸的池化核统一为大小为9的池化核。
[0072]
具体地，本实施方式将yolov5中的spp模块修改为速度更快的sppf模块，变化如图
5所示，将原始5、9、13三个尺寸的池化核统一为大小为9的池化核。
[0073]
在主干特征提取网络后面的改进如图2虚线框所示，多增加了一个尺度的检测头。这样可以让各个尺度的图片都能得到很好的训练以及检测，能显著抵消减少残差结构带来的精度下降。
[0074]
具体实施过程中，本发明使用flops来衡量算法和模型的复杂度，flops的定义如下公式所示，其中k是卷积核的大小，h
out
，w
out
分别为输出feature maps的高和宽，c
in
，c
out
分别是输入feature maps的通道数和输出feature maps的通道数。将yolov5网络结构中所有通道数变为原来的1/4，以此来降低模型的参数量和计算量。
[0075]
flops＝k2*h
out
*w
out
*c
in
*c
out
[0076]
在一种实施方式中，步骤s3包括：
[0077]
s3.1：将步骤s1获取的数据集按预设比例划分为训练集、验证集和测试集；
[0078]
s3.2：将划分得到的训练集进行归一化处理。
[0079]
在一种实施方式中，步骤s4还包括：得到的训练结果通过格式转化为onnx通用格式，然后部署到无人机上进行项目实践。
[0080]
在一种实施方式中，步骤s5还包括：
[0081]
当监测结果为待监测的桥梁路面有缺陷时，记录当前位置坐标，并将记录的位置坐标和裂纹图像传给控制台，同时将监测到的裂纹图像作为标记好的数据并入到训练集中以扩充数据集。
[0082]
请参见图1，为本发明实施例提供的一种基于注意力机制的桥梁健康监测方法的流程图。
[0083]
下面通过具体数据对本发明提供的基于注意力机制的桥梁健康监测方法进行介绍，主要包括三部分：数据集收集与制作、模型训练与桥梁缺陷实时检测以及监控报警，
[0084]
其中，数据集收集与制作包括：
[0085]
1、在github、kaggle、知乎以及公开目标检测比赛等网络上寻找公开的混凝土裂缝数据集和桥梁裂缝数据集，例如crackforest、crack和surface crack detection。其中crackforest数据集包含329张图片，crack数据集包含2068张图片，surface crack detection数据集包含带有和不带有裂纹的各种混凝土表面的图像，图片数据在单独的文件夹中分为负片(无裂纹)和正片(无裂纹)两部分，用于图片分类，每个类别有20000张图片，总共40000张图片，图片均为227
×
227像素大小的rgb彩色图片；
[0086]
2、将1中处理好的数据集按8:1:1的比例，划分为训练集、验证集和测试集；
[0087]
3、将2中划分的训练集进行归一化处理为227
×
227像素大小的图片。
[0088]
模型训练与桥梁缺陷实时检测，包括：
[0089]
1、通过数据集收集与制作得到的训练数据集对cn-yolov5网络进行训练，调整网络中的超参数。
[0090]
2、将得到的训练结果通过格式转化为onnx通用格式，然后部署到无人机上进行项目实践；使用无人机对所监测的桥梁路面进行实时监控与预测，将监控到的桥梁裂缝画面作为标记好的数据并入到训练集中以扩充数据集，从而更好的训练cn-yolov5网络模型，增加其鲁棒性。
[0091]
监控报警步骤：
[0092]
根据模型训练与桥梁缺陷实时检测的结果进行判断，当检测得到混凝土道路上有裂纹以后，记录当前位置坐标，并将此坐标和裂纹图像传给控制台，并发出预警信号，提醒工作人员进行及时有效的干预。若没有检测到混凝土道路上有裂纹则继续进行巡航，直到巡航任务结束。
[0093]
本发明的主要贡献在于通过改进的yolov5网络模型对桥梁路面进行检测与预警，降低了无人机硬件设备的需求，提高了检测速度与精度，为实时高效维护桥梁路面情况提供了一套完整的解决方案。
[0094]
本发明的保护范围不限于上述的实施例，显然，本领域的技术人员可以对本发明进行各种改动和变形而不脱离本发明的范围和精神。倘若这些改动和变形属于本发明权利要求及其等同技术的范围，则本发明的意图也包含这些改动和变形在内。