基于无人机巡检的道路病害检测算法

摘要: 本技术涉及道路病害检测,具体而言,涉及基于无人机巡检的道路病害检测算法。背景技术:1、道路巡检是保障道路基础设施安全、畅通和延长使用寿命的核心工作,通过定期对道...
基于无人机巡检的道路病害检测算法

本技术涉及道路病害检测,具体而言,涉及基于无人机巡检的道路病害检测算法。

背景技术:

1、道路巡检是保障道路基础设施安全、畅通和延长使用寿命的核心工作,通过定期对道路主体及附属设施进行检查、记录、评估和处置,及时发现并解决潜在问题,避免交通事故或道路功能失效。现今道路最常见的问题是使用时间较长,导致道路开裂,如果不及时修补会导致车祸发生的概率增加。中国的公路总里程一直在逐年增加,截至2024年底,全国公路总里程达549.04万公里,其中高速公路里程19.07万公里(参见“交通运输部.(2025).2024年交通运输行业发展统计公报[eb/ol].https://xxgk.mot.gov.cn/2020/jigou/zhghs/202506/t20250610_4170228.html.”)。目前,道路养护部门在处理公路道路病害检测时,主要是依靠人力进行检测(参见“曹燕.市政道路工程养护存在问题及应对措施[j].中国建筑装饰装修,2022(4):120-121.”),但由于人力无法实现频繁检测,且裂缝的出现位置具有不确定性,因此,无法对道路病害及时进行修复。随着时代的发展,在交通领域,无人机巡检(参见“权德强;.“5g+无人机”技术在高速公路巡检中的应用探索[j].中国交通信息化,2023,no.289(11)”)正逐渐成为解决道路监测难题的关键手段。无人机凭借其卓越的灵活性、广泛的覆盖范围能力以及更为经济的成本,有效提高了巡检效率,减少了资源浪费。

2、在裂缝检测方面,非专利文献“ding k, ding z, zhang z, et al. scd-yolo: anovel object detection method for efficient road crack detection[j].multimedia systems, 2024, 30(6): 351.”披露了借鉴移位算子,通过稀疏机制和移位标准卷积模拟大卷积核效果,在控制计算量的同时显著扩大模型感受野;同时采用内置尺度感知注意力,动态调整特征表示以适配不同尺度的小物体。非专利文献“pei j, wu x, liux. yolo-rdd: a road defect detection algorithm based on yolo[c]//2024 27thinternational conference on computer supported cooperative work in design(cscwd). ieee, 2024: 1695-1703.”中披露了基于yolov8框架通过新增p2、p6特征层实现多尺度检测,并结合坐标注意力机制构建跨层连接,强化深浅层语义信息交互以提升裂缝特征捕捉能力。非专利文献“yanfei p, yue j. road crack detection algorithm basedon improved yolov8[c]//2023 5th international conference on artificialintelligence and computer applications (icaica). ieee, 2023: 28-32.”中披露了通过在骨干网络和颈部网络引入gam注意力机制并采用diou损失函数优化边界框损失,强化不同尺度裂缝特征提取能力并提升检测精准度。然而,上述三种方法使得模型复杂度上升,难以应用到无人机检测领域。非专利文献“ma d, fang h, wang n, et al. automaticdetection and counting system for pavement cracks based on pcgan and yolo-mf[j]. ieee transactions on intelligent transportation systems, 2022, 23(11):22166-22178.”中披露了通过生成对抗网络生成裂缝图像弥补训练数据不足的问题,并利用改进yolov3与中值流算法构建yolo-mf模型,实现视频序列中裂缝的检测、跟踪与精准计数。非专利技术文献“wang w, li l, han y. crack detection in shadowed images ongray level deviations in a moving window and distance deviations betweenconnected components[j]. construction and building materials, 2021, 271:121885.”中披露了依据图像分辨率自动确定合适窗口,通过局部窗口灰度标准差设定阈值分割图像以初步提取裂缝段,再利用连通区域的距离标准差筛选裂缝,最后结合裂缝段间隙长度与相邻段方向信息完成裂缝连接。非专利文献“hu h, li z, he z, et al. roadsurface crack detection method based on improved yolov5 and vehicle-mountedimages[j]. measurement, 2024, 229: 114443.”中披露了通过集成slim-neck、c2f、decoupled head与sppcspc结构,搭配silu激活函数和ciou损失函数,解决小裂缝模糊、信息提取不全的问题,兼顾检测精度与实时性。非专利文献“meng a, zhang x, yu x, etal. investigation on lightweight identification method for pavement cracks[j]. construction and building materials, 2024, 447: 138017.”提出多助教增强的知识蒸馏模型,并融入随机学习策略实现裂缝轻量化检测。上述方法虽然提升了检测精度,但是模型遇到强光、阴影等噪声场景会产生误检。非专利文献“chai h, zeng s, zhang c.enhanced real-time pavement damage analysis: integrating cnn edge detectionwith yolo for accurate classification[c]//2024 2nd international conferenceon computer, vision and intelligent technology (iccvit). ieee, 2024: 1-8.”中披露了通过最小滤波缩小图像、灰度转换完成预处理,同时利用拉普拉斯滤波器等边缘检测技术提取纵向、横向、网状裂缝特征,融合cnn的特征学习能力与yolo的实时检测优势实现裂缝分类。但是该方法难以估计裂缝关联的坑洞原始尺寸,且受处理设备移动性限制,难以实现大范围部署。

技术实现思路

1、有鉴于此,本技术提供基于无人机巡检的道路病害检测算法,以克服现有技术中的上述缺陷。

2、为实现上述目的,本技术采用的技术方案如下:

3、基于无人机巡检的道路病害检测算法,包括:

4、s1,解耦归一化卷积操作:将无人机采集的道路图像输入改进的yolov11模型,利用其中的conv_nbn模块(解耦归一化卷积模块)对输入的道路图像完成解耦归一化卷积操作;所述改进的yolov11模型是指在yolov11模型中加入conv_nbn模块、c3k2_wtconv模块和headf 模块;所述yolov11 模型包括依次连接的输入端、主干网络、颈部特征融合网络和检测头;所述 conv_nbn 模块设置于输入端,用于替代原始输入卷积模块并对输入道路图像进行解耦归一化卷积处理;所述 c3k2_wtconv 模块设置于颈部特征融合网络中,用于在上采样与特征拼接后的融合阶段引入小波卷积特征增强;所述 headf 模块设置于颈部特征融合网络输出端与检测头之间,用于对相邻尺度融合特征进行频域增强后送入检测头进行预测;

5、s2,主干网络特征提取:解耦归一化卷积后的图像进入主干网络进行特征提取,即解耦归一化卷积后的图像依次经过 conv 和 c3k2 基础模块进行逐层下采样和语义特征提取,得到多个不同分辨率的特征图;

6、s3,neck 层级扩展与多尺度特征融合:将neck层级由四层扩展为六层;并将主干网络提取的多层特征的深层高语义特征与浅层高分辨率特征融合;同时在颈部的c3k2_wtconv模块中加入小波卷积增强融合效果,经过多次上采样与特征拼接(upsample+concat),构建出多尺度的融合特征图;

7、s4,频域增强融合:将来自相邻层级的两路多尺度的融合特征图输入 headf模块。headf 模块利用小波变换将输入特征分解为低频结构信息和高频细节信息;其中,低频结构信息用于表征道路区域的整体结构,高频细节信息用于表征裂缝边缘和坑洞轮廓细节响应;

8、s5,多尺度检测输出:经过 headf 处理后的特征分别输入检测头,检测头对不同尺度的增强特征进行分类预测和边界框回归,生成道路病害类别、置信度以及目标边界框位置,最终,模型输出完整的道路病害检测结果。

9、进一步的,所述步骤s1中的解耦归一化公式为:(1);

10、其中,指对做l2归一化得到的单位向量,仅保留γ的方向信息,消除数值大小差异;是可学习的标量参数,统一控制所有通道γ的幅度大小;指对做l2归一化得到的单位向量,仅保留β的方向信息,消除数值大小差异;是可学习的标量参数,统一控制所有通道β的幅度大小;

11、损失函数的梯度公式的变化说明解耦归一化能实现更加均匀的权重和偏置β,以为例,它的梯度计算公式如下:(2);

12、其中,是跨不同通道的正缩放因子;,是梯度公式的关键调节项;是损失函数对参数的梯度;

13、>0时,损失函数会对进行惩罚,但是不同类别的惩罚程度并不相同,类别越频繁,惩罚程度越大;<0时,损失函数会对进行鼓励,但是不同类别的鼓励程度并不相同,类别越频繁,鼓励程度越大。通过这样的方式生成更均衡的权重和偏置。

14、进一步的,所述c3k2_wtconv模块的运算方法为:当 c3k=false 时,输入特征先经过初始卷积降维,再通过split操作分为两路并行分支,其中一路分支直接保留,另一路分支经过若干wtbottleneck模块进行多分量特征提取,最终通过concat融合两路特征,并经末尾卷积完成输出整合;当 c3k=true 时同样以将卷积结果拆分作为前置流程,但后续分支替换为融合了小波变换的 wt_c3k ,最终也通过concat与末尾卷积完成特征融合与输出。

15、进一步的,所述wt_c3k 模块的运算方法为:输入特征首先被划分为两条并行处理支路。第一支路通过 1×1 卷积进行通道压缩后,输入由多个 wtbottleneck 组成的特征提取单元;在每个 wtbottleneck 中,特征先经过卷积提取局部空间信息,再通过 wtconv小波卷积进行频域特征增强,以获取低频结构信息和高频边缘细节信息,并通过残差连接保持特征传递的稳定性。第二支路通过 1×1 卷积直接提取并保留输入特征的浅层语义信息。随后,将第一支路输出的深层增强特征与第二支路输出的浅层保留特征在通道维度上进行拼接,并通过末端 1×1 卷积完成通道融合,最终输出融合后的特征表示。

16、进一步的,headf 模块的运算方法为:将相邻尺度的两路特征 x1和 x2 同时输入headf 模块。首先,对两路输入特征进行尺寸对齐,使其在通道维度和空间维度上满足后续融合要求;随后,分别对 x1和 x2进行小波变换,将每一路特征分解为低频分量 ll 和高频分量 lh、hl、hh。其中,ll主要保留道路区域的整体结构和语义信息,lh、hl、hh主要保留裂缝边缘、坑洞轮廓以及局部纹理变化等细节信息。接着,在频域特征重组阶段,headf 模块选取高频分量 hh与低频分量 ll进行相加,得到ll+hh频域特征,用于同时表征道路整体结构信息和强边缘细节信息,同时保留hl和lh两个方向性高频分量,用于描述不同方向上的裂缝边缘响应,随后,将 hl、lh以及 ll+hh作为三个主要频域特征分支,分别通过全局最大池化获得对应的全局响应特征,记为 xhl、xlh和 xll+hh。其中,xhl和 xlh用于突出不同方向上的裂缝边缘响应,xll+hh用于同时保留道路整体结构信息和强边缘细节信息。

17、然后,在特征交互阶段,headf模块以xll+hh作为结构与边缘的综合引导特征,分别与 xhl和xlh进行矩阵相乘得到xhl和xlh,以建立方向性高频细节与结构增强特征之间的关联关系;通过该操作,headf模块能够强化与道路病害边缘、裂缝走向和坑洞轮廓相关的响应,同时削弱阴影、水渍和复杂路面纹理等无关背景干扰。

18、最后,将交互得到的xhl和xlh经过维度变换后进行拼接,并通过激活函数生成对应的增强权重,该增强权重分别与原始输入特征 x1和 x2相乘,实现对有效病害区域的自适应增强。最后,将两路增强后的特征进行相加融合,并通过 3×3卷积进行局部特征整合,输出频域增强后的融合特征图。

19、与现有技术相比,本技术的有益效果是:

20、1、本技术设计的c3k2_wtconv模块,既让小波变换的多尺度特征提取能力灵活嵌入到原 c3k2 模块中,又通过通道数判断机制保证了模块的结构兼容性,能够有效提升模型对多尺度目标的检测精度。

21、2、本技术引入的解耦归一化方法,极大的缓解了因数据集道路病害数量不均导致孔洞的检测效果较差的问题。

22、3、本技术引入了headf模块,增强了模型对不同尺度目标的检测性能和小目标

23、检测效果。

24、4、本技术对 neck 部分的层级进行扩展,将特征融合路径由原有层数增加至更多层级,使浅层高分辨率特征能够再次参与后续融合过程。通过增加 neck 层数,模型能够更充分地融合浅层细节特征与深层语义特征,从而改善无人机视角下小尺度道路病害目标在多次下采样过程中容易丢失的问题。