一种基于轻量级注意力机制的网状裂缝检测方法

1.本发明涉及桥梁裂缝检测领域，尤其涉及一种基于轻量级注意力机制的网状裂缝检测方法。


背景技术：

2.公路、桥梁网的构建推动了我国交通运输行业的快速发展，给人们的出行带来了极大的便利。由于道路使用年限的不断增加，道路路面在各型重载车辆的长期碾压下受损，导致路面内部的结构层难以承担负荷，主要以路面损伤初期的裂缝形式显现。若能够在公路路面破损初期就对其进行道路、桥梁养护工作，将大大减少工作量并减少相关费用。对于道路、桥梁养护工作者来说，若能够在路面损伤初期就进行及时的路况检测可以有效提高预防性养护的水平。相反，由于路面养护的封闭维修模式而导致损伤处理不及时，风险评估不到位，在各种外在因素的影响下会进而引发损伤二次加剧，严重干扰正常的交通秩序，危害驾驶人的安全。
3.传统的养护方式严重依赖一些专业的养护和检测设备，价格高且操作专业性强，导致相关任务完成难度大。在道路、桥梁的养护任务中，关键的一步便是对路面裂缝的检测和识别。传统的人工检测方式完全依赖于检测人员个人的相关经验和知识背景，在定量分析中缺乏客观性。基于数字图像处理技术以及边缘检测算法的裂缝检测方法虽然相对于人工检测可以在一定程度上提高检测效率，但其处理模式单一，且没有考虑到实际环境下的路面噪声情况，其检测准确性不高。
4.目前，基于深度学习的方法已经广泛应用于图像分类、目标检测、语义分割等领域，其检测精度远远超过了传统的基于数字图像处理技术的方法，甚至超过了人类的检测水平。近年来，深度学习研究取得了突破式进展，使利用深度卷积神经网络进行裂缝的目标检测成为了可能。根据裂缝的复杂化和多样化，将裂缝分为横向裂缝、纵向裂缝、斜向裂缝以及网状裂缝，每类裂缝的损伤程度有所差异，需要根据其实际情况采取相适应的处理措施，其中前三种裂缝属于规则裂缝。此类裂缝不仅具有平直的基本特性，而且还具有规律性。通常而言，网状裂缝相对于规则裂缝来说出现的时间更早、复杂度更高、检测难度更大，在混凝土制备时、养护期间、浇筑后都有可能会形成网状裂缝。
5.综上所述，设计高效、准确的道路、桥梁网状裂缝检测系统，成为道路、桥梁裂缝检测领域亟待攻克的技术难题。


技术实现要素：

6.针对现有技术存在的上述不足，本发明的目的在于解决上述技术问题，提供一种基于轻量级注意力机制的网状裂缝检测方法，能够快速、准确检测出道路、桥梁的网状裂缝情况。
7.为了解决上述技术问题，本发明采用的技术方案是这样的：一种基于轻量级注意力机制的网状裂缝检测方法，其特征在于：包括如下步骤：
8.1)采集并筛选桥梁表面图像的数据集，并对数据集进行预处理，其中，所述数据集包括若干张桥梁表面的图片；
9.2)将轻量级注意力机制引入u-net网络中，对网状裂缝信息进行加权，使得网络更加关注网状裂缝的像素信息；
10.3)引入轻量级卷积模块，增加非线性因素，保持网络感受野和精确率的同时，减少计算成本量；
11.4)引入池化叠加模块，减少网络的误差并叠加网状裂缝的像素信息，提升网状裂缝检测连续性。
12.进一步地，步骤1)中，对数据集的预处理过程如下：
13.a、使用labelimg软件对数据集中的图片的裂缝进行像素点标注；
14.b、用立方卷积插值法数据集中的图片进行尺寸缩放，使数据集中的图片的尺寸均为1024
×
1024；
15.c、对经过a和b处理过后的数据集进行数据扩充操作，分别从水平翻转、垂直翻转、水平和垂直翻转、旋转90
°
、旋转180
°
、旋转270
°
六个方面对其进行扩充；
16.d、将扩充后的数据集按照8：2的比例划分为网络的训练集和验证集。
17.进一步地，步骤2)中，轻量级注意力机制引入u-net网络具体操作如下：
18.a、将轻量级注意力机制(eca)中的全局平均池化替换为自适应最大池化，通过自适应最大池化操作来获得邻域内裂缝像素的最大值；
19.b、将替换后的轻量级注意力机制加入到u-net网络的跳跃层连接处，实现网络对网状裂缝的细节信息的提取。
20.进一步地，步骤3)中，轻量级卷积模块中，编码-解码结构中的卷积核的卷积计算采用1
×
1卷积、3
×
3卷积、1
×
1卷积计算。
21.进一步地，步骤4)中，引入池化叠加模块过程如下：
22.a、对最后一层的输入特征图进行最大池化和平均池化操作，得到最大池化图集和平均池化图集；
23.b、将得到的两个池化特征图相加，再重复步骤2)-3)；
24.c、最终得到解码结构的第一层输入特征图。
25.与现有技术相比，本发明具有如下优点：
26.1.引入主流的注意力机制，使神经网络学习的内容聚焦在关键的裂缝特征上，抑制其他无关特征，提升了网状裂缝检测结果中的主干(粗)裂缝的连续性。
27.2.针对网状裂缝中细小分支检测困难的问题，在编码-解码结构网络中建立了低级特征层和高级特征层之间的关系，使得高低层特征信息关联，利用低层特征的细节性和高层特征的抽象性之间的内在联系，叠加细小分支的信息，以此获取更多的细小分支的语义信息，并改进注意力机制，使得网状裂缝中细小分支的检测效果在精度方面有较大的提升。
28.3.引入卷积核为1的卷积操作，使得神经网络在学习过程中的参数量相比于使用卷积核为3的网络的参数量减少了30％左右，减轻了网络训练及检测的计算量，不仅提高了模型的检测精度，也提升了模型的检测的速度。
附图说明
29.图1为本发明的工作流程图。
30.图2为轻量级注意力机制的结构图。
31.图3为轻量级卷积块结构图。
32.图4为池化叠加模块结构图。
具体实施方式
33.下面将结合附图及实施例对本发明作进一步说明。
34.实施例：参见图1至图4，一种基于轻量级注意力机制的网状裂缝检测方法，包括如下步骤：
35.1)通过无人机采集桥梁表面的图像数据，然后人工筛选得到包含网状裂缝的桥面图像数据，形成数据集，其中，所述数据集包括若干张桥梁表面的图片；并对数据集进行预处理。其中，对数据集的预处理过程如下：
36.a、由于两个数据集没有对应的标注图，故需先通过labelimg软件对数据集进行人工标注，即将图像中裂缝对应的像素点标注，标注后的数据作为神经网络的训练集和验证集。
37.b、由于标注后数据集可能图片大小不一，为了统一网络的输入尺寸，用立方卷积插值法数据集中的图片进行尺寸缩放，使数据集中的图片的尺寸均为1024
×
1024。
38.c、为了避免网络过拟合，对经过a和b处理过后的数据集进行数据扩充操作，分别从水平翻转、垂直翻转、水平和垂直翻转、旋转90
°
、旋转180
°
、旋转270
°
六个方面对其进行扩充。
39.d、将扩充后的数据集按照8：2的比例划分为网络的训练集和验证集，裂缝检测模型从训练集中学习得到模型参数并保存，并通过验证集验证裂缝检测模型的检测性能。
40.2)将轻量级注意力机制引入u-net网络中，对网状裂缝信息进行加权，使得网络更加关注网状裂缝的像素信息；其中，轻量级注意力机制引入u-net网络具体操作如下：
41.a、通过分析网状裂缝带有较多细小分支的特点，将轻量级注意力机制(eca)中的全局平均池化替换为自适应最大池化，通过自适应最大池化操作来获得邻域内裂缝像素的最大值；从而提取更多的细节信息，并减少了无用信息的提取。
42.b、将替换后的轻量级注意力机制加入到u-net网络的跳跃层连接处，实现网络对网状裂缝的细节信息的提取。
43.作为一种实施方式，具体步骤如下：
44.步骤一：输入特征图f
ei
通过最大池化计算，得到池化特征图f
em
；
45.步骤二：池化特征图f
em
通过一个卷积核为1的卷积计算和sigmod激活函数，得到激活图f
es
；
46.步骤三：将激活图f
es
和输入特征图f
ei
相乘，得到最终的输出结果图f
eo
。
47.3)引入轻量级卷积模块，增加非线性因素，保持网络感受野和精确率的同时，减少计算成本量。由于网络输入的数据大小为1024
×
1024，且网络较为复杂，故考虑加入1
×
1卷积来使得整个网络在不降低网络精度的同时，降低网络的计算成本，从而提高网络的训练效率。此外，网状裂缝在图片中分布较广，两层3
×
3卷积难以很好地获取全局信息，故可以
通过1
×
1卷积实现跨通道信息交互。故采用轻量级卷积模块，轻量级卷积模块中，编码-解码结构中的卷积核的卷积计算采用1
×
1卷积、3
×
3卷积、1
×
1卷积计算。并且，将轻量级卷积模块用于编码-解码结构中的所有卷积层，以便能够保持网络感受野和精确率的同时减少计算成本量。
48.作为一种实施方式，具体步骤如下：
49.步骤一：输入特征图f
ci
通过1
×
1卷积、3
×
3卷积、1
×
1卷积得到卷积特征图f
cm
；
50.步骤二：卷积特征图f
cm
通过归一化处理和relu激活函数得到输出特征图f
co
。
51.4)引入池化叠加模块，减少网络的误差并叠加网状裂缝的像素信息，提升网状裂缝检测连续性。通过分析网状裂缝检测结果不连续主要是由背景像素和裂缝像素区分度较低造成的，故采用在深层网络中叠加细节信息和全局信息并减少相应误差来增强裂缝像素值的提取能力，即池化叠加模块。其中，引入池化叠加模块过程如下：
52.a、对最后一层的输入特征图进行最大池化和平均池化操作，得到最大池化图集和平均池化图集；
53.b、将得到的两个池化特征图相加，再重复步骤2)-3)；
54.c、最终得到解码结构的第一层输入特征图。
55.作为一种实施方式，具体步骤如下：
56.步骤一：输入特征图f
mi
通过最大池化操作得到最大池化特征图f
max
；
57.步骤二：输入特征图f
mi
通过平均池化操作得到平均池化特征图f
mean
；
58.步骤三：将最大池化特征图f
max
和平均池化特征图f
mean
相加，得到最终池化特征图f
pool
；
59.步骤四：最终池化特征图f
pool
通过改进的轻量级注意力机制(m-eca)和轻量级卷积块(cbr)的计算得到输出特征图f
mo
。
60.本方法通过注意力机制，为图像中的裂缝特征赋予了更大的权重，使得裂缝检测网络在通过训练集学习的时候更聚焦于裂缝像素点。从而有效提升了主干(粗)裂缝检测的连续性以及细小分支裂缝检测的准确性。另外，本方法根据网状裂缝的特性，调整了卷积核大小，使得网络在保证检测精度的条件下，提升了检测效率，使得网络对网状裂缝的检测更快、更好。
61.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。