基于形变卷积与动态卷积的工程结构物检测方法及系统与流程

摘要: 本发明属于无人机影像目标检测,具体涉及一种基于形变卷积与动态卷积的工程结构物检测方法及系统。背景技术:1、随着无人机遥感航拍、计算机视觉与深度学习技术的飞速发展...
基于形变卷积与动态卷积的工程结构物检测方法及系统与流程

本发明属于无人机影像目标检测,具体涉及一种基于形变卷积与动态卷积的工程结构物检测方法及系统。

背景技术:

1、随着无人机遥感航拍、计算机视觉与深度学习技术的飞速发展,基于无人机航拍影像的工程基础设施智能化巡检,已逐步替代传统人工现场勘查模式,成为钻孔桩、承台、墩身、桩基等工程结构物检测的主流发展方向。传统工程结构物检测完全依赖人工现场踏勘、目视判读与手工测量,不仅检测效率极低、人力劳动强度大,还存在主观判读误差大、测量精度参差不齐的问题;同时施工现场多处于山地、基坑、野外复杂地形,人工难以抵达全覆盖检测区域,存在巡检盲区与安全隐患,无法满足大规模、高频次、高精度的工程运维检测需求。

2、近年来,卷积神经网络被逐步引入无人机影像目标检测领域,依托特征自主学习能力实现结构物自动识别,一定程度上摆脱了人工依赖。但现有常规卷积检测模型在实际施工落地中仍存在多重难以克服的技术缺陷:其一,施工现场户外光照条件昼夜、阴晴变化剧烈,场地内杂草、建材、渣土、临时设施背景干扰严重,承台目标易被遮挡、虚化,常规固定卷积核特征提取抗干扰能力弱,极易出现漏检、误检问题,模型复杂场景鲁棒性极差;其二,工程承台多为异形结构,边缘凹凸不规则、轮廓无固定标准形态,且整体属于小尺度目标,常规标准卷积采用固定方形采样网格,无法自适应贴合异形目标几何轮廓,边缘特征提取不完整,造成检测轮廓失真、像素定位偏差大,难以满足工程厘米级精度要求;其三,无人机航拍影像存在镜头畸变、光照不均、色彩偏移等问题,现有技术缺乏系统化标准化预处理流程,原始影像噪声直接输入网络,进一步放大检测误差;其四,航拍影像存在前景承台目标占比小、背景区域占比大的严重样本不均衡问题,常规单一损失函数训练易偏向背景样本,小目标漏检率偏高;其五,现有检测模型多采用单一固定卷积结构,无法根据不同施工场景自适应调整特征提取权重,泛化能力弱,且模型参数量与推理速度难以平衡,高精度模型推理延迟高,无法满足现场实时巡检需求;此外,现有技术多针对单一规则目标设计,无法灵活扩展至墩身、桩基、垫石等多类工程结构物同步检测,应用场景受限。

3、目前虽有形变卷积、动态卷积单独应用于通用目标检测领域,但尚无将二者有机融合、针对性适配工程承台异形小目标检测的完整技术方案,未形成从影像预处理、网络结构优化、专属训练策略到后处理优化的全链路解决方案,仍是工程智能巡检领域亟待解决的技术瓶颈。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于形变卷积与动态卷积的工程结构物检测方法及系统,通过对卷积神经网络的骨干特征提取结构、特征融合结构进行针对性优化,结合配套的训练策略与后处理方案,实现对无人机影像中承台目标的高精度、高鲁棒性、高效率自动化检测,用于解决现有工程结构物检测技术中,存在的小目标与不规则承台检测精度不足、复杂施工场景鲁棒性差、检测效率与精度难以平衡的技术问题。

2、本发明采用以下技术方案:

3、一种基于形变卷积与动态卷积的工程结构物检测方法,包括以下步骤:

4、s1、采集施工现场待检测区域的无人机航拍原始影像数据,对原始影像进行解码及格式标准化处理;

5、s2、对处理后的影像进行预处理,消除镜头畸变与光照不均带来的影像偏差,并将影像缩放至设定统一像素尺寸后完成像素值归一化处理,得到网络输入影像矩阵;

6、s3、搭建基于u-net架构的检测网络,所述检测网络包括编码层特征提取单元、neck特征融合单元和解码层上采样还原单元,编码层与解码层之间设置跨层跳连结构;其中,编码层采用resnet34骨干网络,将resnet34骨干网络最后两个阶段的标准卷积层替换为dcnv2形变卷积;neck单元采用fpn特征金字塔结构,将fpn结构中的卷积层替换为dyconv动态卷积;

7、s4、将归一化后的网络输入影像输入检测网络,对所述检测网络进行训练,并在模型推理阶段采用训练后的检测网络对输入影像进行检测,得到最终预测置信度图;

8、s5、对最终预测置信度图进行阈值分割得到二值化掩码,对二值化掩码进行形态学处理,输出工程结构物承台的像素级轮廓与坐标检测结果。

9、优选地,步骤s2中,所述预处理包括几何校正、颜色校正和对比度归一化处理,以消除无人机镜头畸变和光照不均带来的影像偏差。

10、优选地,步骤s2中,所述像素值归一化处理按照如下公式进行:

11、

12、其中,为原始影像像素值矩阵,为归一化后的影像矩阵。

13、优选地,步骤s3中,所述dcnv2形变卷积通过引入可学习的空间偏移量和调制权重,实现卷积采样网格对目标几何形变的自适应匹配,其计算公式为:

14、

15、其中,为输出特征图的采样位置,为固定采样网格,为卷积核在采样点处的权重,为可学习的二维空间偏移量,为可学习的采样点调制权重。

16、优选地,步骤s3中,所述dyconv动态卷积通过门控注意力机制实现多个专家卷积核的动态加权融合,其计算公式为:

17、

18、

19、其中,为动态卷积输出特征图,为输入特征图,为专家卷积核数量,为第个专家卷积核,为对应的注意力权重,且满足。

20、优选地,步骤s3中,所述跨层跳连结构通过对编码层浅层细节特征与解码层深层语义特征进行拼接融合实现多尺度特征融合,其计算公式为:

21、

22、其中,为编码层第层输出的特征图,为解码层对应层的上采样特征图,为融合后的输出特征图。

23、优选地,步骤s4中,训练阶段冻结resnet34骨干网络前两个阶段的权重,仅训练后续阶段、neck单元及解码层的网络参数,并采用adam优化器和余弦退火学习率衰减策略进行训练。

24、优选地,步骤s4中,训练过程采用二元交叉熵损失与损失构成的混合损失函数对网络参数进行约束,总损失函数为:

25、

26、其中,为二元交叉熵损失,为损失。

27、优选地,步骤s4和步骤s5中,模型推理阶段采用测试时增强策略,对输入影像进行多视角变换预测,并将各变换预测结果经逆变换后进行像素级融合得到最终预测置信度图;所述形态学处理包括依次执行形态学开运算和形态学闭运算,以去除检测噪点并填补目标边缘孔洞。

28、第二方面,本发明实施例提供了一种基于形变卷积与动态卷积的工程结构物检测系统,包括:

29、无人机影像获取模块,用于采集施工现场无人机航拍影像,完成影像解码、格式转换、几何校正与标准化预处理,输出符合检测网络输入要求的影像数据;

30、检测网络模块,基于u-net架构构建检测网络,在resnet34骨干网络后段嵌入dcnv2形变卷积,fpn特征金字塔结构全部卷积层替换为dyconv动态卷积,支持多卡分布式训练与模型并行推理,完成影像特征提取、多尺度特征融合与承台目标像素级预测;

31、结果输出模块,用于解析检测网络输出的置信度图,提取承台目标类别、像素级坐标、轮廓尺寸与置信度,生成包含承台位置、置信度、像素尺寸、物理尺寸的标准化json检测报告;

32、后处理模块,用于对检测网络原始输出结果执行置信度阈值分割、形态学开运算与闭运算,去除检测噪点、优化承台边缘轮廓,支持置信度阈值与形态学核大小动态可调;

33、配置管理模块,用于管理模型训练与推理全流程参数,提供可视化配置界面,无需修改底层代码即可调整模型超参数、推理配置及后处理规则。

34、第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于形变卷积与动态卷积的工程结构物检测方法的步骤。

35、第四方面,本发明实施例提供了一种计算机可读存储介质,包括计算机程序,所述计算机程序被处理器执行时实现上述基于形变卷积与动态卷积的工程结构物检测方法的步骤。

36、第五方面,一种芯片,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于形变卷积与动态卷积的工程结构物检测方法的步骤。

37、第六方面,本发明实施例提供了一种电子设备,包括计算机程序,所述计算机程序被电子设备执行时实现上述基于形变卷积与动态卷积的工程结构物检测方法的步骤。

38、与现有技术相比,本发明至少具有以下有益效果:

39、一种基于形变卷积与动态卷积的工程结构物检测方法,依托无人机遥感获取施工现场全景影像,通过标准化预处理统一数据分布;采用u-net编码-解码架构配合跨层跳连实现多尺度特征融合,在骨干网络后端嵌入dcnv2适配承台不规则轮廓,在fpn特征层替换dyconv适配复杂施工背景;通过网络训练学习目标特征,再经阈值分割与形态学处理滤除噪声、修复目标边缘。本发明从数据输入、网络结构、训练推理到后处理形成闭环,突破传统人工巡检与常规卷积检测的局限,无需人工目视判读,可全自动完成承台像素级检测。

40、进一步的,无人机航拍影像易受镜头物理畸变、户外光照强弱不均、施工场地杂物背景干扰影响,导致承台目标边缘模糊、与背景对比度低,常规直接输入模型易出现特征混淆、漏检误检。几何校正修正镜头透视与畸变偏差,还原目标真实几何尺寸;颜色校正统一影像色温与色彩分布,消除阴晴、早晚光照差异带来的色彩偏移;对比度归一化拉大承台目标与路面、土体、建材背景的灰度差异,强化目标辨识度。从源头消除影像采集环节的先天缺陷,降低后续网络特征提取的干扰噪声,无需人工手动调参修图,自动化适配各类航拍工况;有效提升模型对弱特征、小尺度承台目标的感知能力,为后续卷积特征提取、精准检测提供高质量输入数据,显著降低复杂光照与畸变场景下的检测误差。

41、进一步的,深度学习卷积网络对输入数据数值分布敏感,原始影像像素值跨度大、量级不统一,易造成网络训练梯度发散、收敛速度慢、权重更新不稳定;固定公式归一化可统一所有航拍影像的数值量级,消除不同批次、不同拍摄参数影像间的数据分布差异。归一化规则计算简单、无额外超参数依赖,适配768×768固定输入尺寸,可批量自动化处理影像;使网络训练过程梯度下降更平稳,加快模型收敛速度,避免过拟合与欠拟合问题;同时统一输入标准后,提升模型跨场景、跨时段航拍影像的泛化能力,保证不同施工现场、不同拍摄角度下检测结果的稳定性,无需针对单一场景重新调参适配。

42、进一步的,标准卷积采用固定3×3网格采样,仅能匹配规则矩形目标轮廓,而工程承台多为异形、边缘不规则,固定采样无法贴合目标边界,易造成边缘特征丢失、检测轮廓失真。dcnv2打破固定网格约束,通过训练自主学习偏移量适配承台弯曲、凹凸不规则边缘,通过调制权重抑制背景无用特征、强化目标有效特征。无需人工设计采样模板,自适应几何形变建模能力强,精准捕捉异形承台边缘细节;相比标准卷积大幅提升不规则小目标的特征提取精度,减少边缘漏检、轮廓残缺问题;仅在骨干网络后段替换,不额外大幅增加计算量,在提升精度的同时保证推理效率适配工程实时检测需求。

43、进一步的,施工现场存在光照强弱变化、杂草遮挡、建材干扰、地面反光等复杂场景,单一固定卷积核无法同时适配多种干扰工况,常规模型泛化能力弱、易受背景干扰误检。dyconv设置多组专家卷积核分别学习不同场景特征,通过全局池化+全连接门控模块实时生成注意力权重,动态加权融合最优卷积组合,权重和约束为1保证特征输出稳定性;使网络可自适应切换特征提取模式,强干扰背景下抑制噪声特征、突出承台目标特征;无需针对不同场景单独训练模型,大幅提升模型复杂工况鲁棒性;权重学习嵌入网络训练,无额外推理开销,平衡了多场景适配能力与检测实时性。

44、进一步的,浅层特征保留影像边缘、纹理、轮廓细节,深层特征具备目标语义分类与全局定位能力;常规u-net直接上采样易丢失浅层细节,造成承台边缘模糊、小目标定位偏移。跨层跳连通过通道拼接实现多尺度特征互补,再经卷积整合通道维度信息,同时保留细节纹理与高层语义。精准弥补上采样过程的特征损耗,强化承台像素级边缘定位能力;适配小尺度承台目标检测,避免因细节丢失导致的定位偏差;结构嵌入网络原生架构,无需额外增设特征分支,参数量增幅小,在不牺牲推理速度的前提下显著提升像素级分割与检测精度。

45、进一步的,resnet34前两阶段学习通用底层视觉特征,冻结可保留预训练模型通用能力,避免小样本工程数据集训练破坏基础特征;仅训练高层适配层,聚焦承台专属特征学习,减少无效参数更新。adam优化器自适应调节学习率,适配网络稀疏梯度;余弦退火周期性调整学习率,跳出局部最优解,提升模型收敛精度与泛化能力。降低小样本场景过拟合风险,减少训练参数量与计算开销,加快训练收敛;无需大规模标注数据集即可完成模型适配,降低工程落地的数据标注成本;学习率平滑衰减保证后期权重稳定,提升推理阶段检测结果一致性。

46、进一步的,工程影像中承台目标占比小、背景区域占比大,存在严重正负样本不均衡;单一bce损失侧重像素分类,易偏向背景样本导致小目标漏检;单一dice损失侧重区域重叠,像素分类精度不足。1:1组合,bce约束逐像素分类准确率,dice优化目标区域完整性、缓解样本不均衡,双重约束同步优化分类与分割效果。混合损失无需人工调整样本权重,自动适配小目标、稀疏目标检测场景;有效减少承台漏检、虚检,修复目标区域孔洞与残缺;提升模型对小尺度、遮挡承台的识别能力,训练收敛后检测精度更优,适配工程复杂样本分布特性。

47、进一步的,单一视角影像易受遮挡、角度偏差影响,预测结果存在随机噪声与方差;tta通过翻转、旋转多视角预测逆变换融合,抹平视角偏差、降低预测方差;形态学开运算去除孤立小噪点,闭运算填补承台边缘孔洞,修复检测轮廓缺陷。多视角融合无需增加模型结构,仅通过推理阶段数据增强提升泛化能力;形态学处理无需复杂算法,轻量化运算不影响实时推理;有效滤除背景误检噪点、优化承台边缘连续性,使检测轮廓更贴合实际物理形态;适配施工现场遮挡、角度偏移工况,进一步提升最终检测结果的精准度与可视化效果。

48、可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

49、综上所述,本发明方法融合dcnv2形变卷积与dyconv动态卷积,搭配标准化影像预处理、跨层特征融合、混合损失训练及tta与形态学后处理,解决现有技术异形小目标检测精度低、复杂场景鲁棒性差、样本不均衡、轮廓失真等问题;定位精度达厘米级,参数量与推理速度增幅可控,可扩展多类工程结构物检测,适配工程智能巡检落地。

50、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。