基于结构自适应归一化与空间引导聚合的裂缝图像分割方法及系统

本发明涉及无人机图像处理，特别涉及一种基于结构自适应归一化与空间引导聚合的裂缝图像分割方法及系统。

背景技术：

1、随着城市化进程加速与基础设施老化，道路、桥梁及墙体裂缝问题日益频发，严重威胁公共安全，裂缝的精准、实时检测已成为基础设施健康监测的关键技术。

2、基于裂缝分割任务，当前无人机图像目标检测领域的现有技术方案主要分为以下四种，具体如下：

3、（1）传统边缘检测方法

4、传统边缘检测方法基于数学推导实现裂缝边缘提取，核心是利用边缘滤波器检测图像中像素梯度变化的区域。其缺陷在于：抗干扰能力弱，对复杂背景（如阴影、地面油污、砖石花纹）中的噪声敏感，易出现裂缝误检、漏检；依赖手工定制的滤波器内核，灵活性差，无法适应不同角度、不同形态的裂缝变化；仅能提取边缘特征，无法实现裂缝的完整分割，分割精度难以满足工程需求。

5、（2）基于cnn的裂缝分割方法

6、基于cnn的裂缝分割方法以卷积神经网络为核心，通过编码器提取图像特征、解码器重建高分辨率分割结果。其缺陷在于：卷积操作的局部感受野局限，难以捕捉裂缝的长距离全局上下文依赖关系，对细长、不连续的裂缝分割效果差；池化操作会丢失空间细节信息，导致裂缝边缘分割模糊；部分模型为提升性能增加网络复杂度，导致计算开销上升，难以适配边缘设备。

7、（3）基于transformer的裂缝分割方法

8、基于transformer的裂缝分方法引入vision transformer的自注意力机制，实现裂缝长距离依赖建模，核心是将图像分块为token，通过自注意力计算捕捉全局特征。其缺陷在于：计算复杂度高，自注意力机制的二次计算特性导致参数量大、flops高，需要高性能计算资源支撑；推理速度慢，无法满足实时分割需求；难以部署至边缘计算等资源受限场景；部分模型缺乏对裂缝局部细节的捕捉，易出现分割不完整的问题。

9、（4）基于mamba的裂缝分割方法

10、基于mamba的裂缝分割方法以mamba模型为核心，利用其线性计算复杂度的优势，兼顾全局建模能力与计算效率。其缺陷在于：网络存在冗余设计，计算开销仍较高，flops和参数量未达到最优轻量化水平；缺乏针对裂缝边缘细节的专门优化，对小尺寸、细粒度裂缝的分割精度不足；未有效解决mamba模型展平操作导致的结构信息丢失问题，部分场景下会出现裂缝与背景混淆

11、综上所述，当前裂缝分割技术面临的核心痛点在于：

12、（1）裂缝边缘与细粒度特征捕捉不足的问题：现有轻量化模型缺乏针对裂缝特性的设计，无法有效捕捉裂缝的边缘细节和细粒度结构，对小尺寸、细长、不连续的裂缝分割效果差，边缘分割模糊。

13、（2）背景噪声干扰抑制能力弱的问题：裂缝分割场景中存在阴影、地面油污、砖石花纹等背景噪声，现有方法难以有效区分裂缝与噪声，易出现误检、漏检，导致分割精度下降。

14、（3）光照与结构分布偏移导致的特征表达不稳定问题：实际道路、桥梁和墙体裂缝图像常伴随阴影遮挡、局部反光、油污纹理、材料颗粒和拍摄曝光差异，同一裂缝在不同区域呈现出显著不同的灰度、对比度和边缘响应。现有归一化方式通常采用固定的缩放参数，难以根据裂缝结构状态和多尺度上下文动态校准特征分布，容易削弱细裂缝响应或放大伪裂缝背景纹理。

15、（4）多尺度特征融合效果差的问题：现有方法的多尺度特征融合缺乏局部细节优化，不同尺度特征图的空间结构不一致，无法兼顾不同尺寸裂缝的分割需求，导致大尺寸裂缝分割不完整、小尺寸裂缝漏检。现有技术在进行多尺度融合时，不可避免地会将浅层特征图中的大量背景噪声引入深层，导致最终分割边缘模糊、伪影严重、跨尺度特征融合时的局部细节流失问题。

技术实现思路

1、本发明的目的旨在至少解决所述技术缺陷之一。

2、为此，本发明的目的在于提出一种基于结构自适应归一化与空间引导聚合的裂缝图像分割方法及系统，可以显著增强模型对裂缝细长、不规则拓扑结构的精细化捕捉能力和对复杂背景的抗干扰能力，实现高精度、高连贯性的裂缝分割。

3、为了实现上述目的，本发明一方面的实施例提供一种基于结构自适应归一化与空间引导聚合的裂缝图像分割方法，包括：

4、s1，将裂缝rgb图像输入至stem层进行特征预处理，生成初始特征图；

5、s2，将所述初始特征图发送至结构引导的门控特征融合sgfm模块，由所述sgfm模块对所述初始特征图进行结构自适应归一化校准和结构门控特征提取，其中，所述sgfm模块由交替的下采样层与sgfm block串联组成，依次输出4个多尺度特征图；每个所述sgfmblock包括结构感知sam单元、结构自适应归一化单元、vision mamba骨干网络单元和transformer单元；

6、s21，所述sam单元采用自适应sobel算子对所述初始特征图进行卷积操作和加权融合，提取得到裂缝的结构感知特征；

7、s22，所述结构自适应归一化单元根据当前层输入特征、相邻或历史层级输出的多尺度状态特征和所述结构感知特征，构建出用于表征裂缝线状结构、局部对比度、边缘响应和背景纹理扰动的结构状态图，并根据所述结构状态图由多层感知机预测归一化缩放调制量，动态更新当前输入特征的结构自适应缩放参数得到校准特征，以实现面向裂缝结构响应的自适应特征校准；

8、s23，利用所述vision mamba骨干网络单元对所述校准特征进行处理，提取得到裂缝的长距离空间依赖特征；利用所述transformer单元用于对所述校准特征进行处理，取得到裂缝的全局上下文特征；

9、s24，由所述sam单元利用门控权重图对裂缝的长距离空间依赖特征和全局上下文特征进行逐元素加权，并将加权后的特征进行拼接，再通过线性层映射，输出当前层级的优化特征图；

10、s3，将所述4个多尺度特征图发送至空间引导的多尺度聚合smfa模块，由所述smfa模块对4个多尺度特征图依次进行特征投影上采样，对特征投影上采样后的深层特征进行过滤降噪，生成空间过滤后的多尺度特征；对多尺度特征进行自适应加权融合，生成尺度自适应融合特征；将尺度自适应融合特征与空间过滤后的多尺度特征沿通道维度进行拼接，并进行邻域注意力优化和卷积特征聚合，输出跨尺度融合特征图；

11、s4，将所述跨尺度融合特征图发送至分割头，由所述分割头对所述跨尺度融合特征图进行卷积和多层感知处理，生成裂缝分割掩码图。

12、进一步地，s1中，stem层将所述裂缝rgb图像进行卷积操作投影为视觉特征图，对所述视觉特征图进行初步特征提取和尺寸调整，生成初始特征图。

13、进一步地，s22中，所述结构自适应归一化单元将当前层输入特征、相邻或历史层级输出的多尺度状态特征和所述结构感知特征，构成状态特征集合；

14、对所述状态特征集合中的每个状态特征分别执行全局平均池化、全局最大池化和空间维度标准差统计，然后通过通道拼接和1×1卷积或线性映射生成对应的结构统计向量；

15、对不同来源和不同通道数的结构统计向量进行通道对齐和多状态聚合，得到聚合结构状态特征；

16、根据聚合结构状态特征预测归一化缩放调制量，并利用所述调制量动态更新当前输入特征的结构自适应缩放参数；

17、最终对当前输入特征执行动态归一化，得到发送至所述transformer单元和vision mamba模块的校准特征。

18、进一步地，通过零填充或可学习投影将各结构统计向量统一到相同通道维度，沿状态维度进行堆叠形成多尺度结构状态图：

19、

20、采用1×n、3×n和5×n的一维卷积核对该尺度结构状态图进行并行聚合，分别捕获局部结构变化、跨层级结构一致性和背景扰动趋势，并通过1×1投影得到聚合结构状态特征：

21、

22、其中，表示零填充或可学习通道投影，、和分别表示当前输入特征、第1个多尺度状态特征以及结构感知特征对应的结构统计向量，用于统一不同来源统计向量的通道维度，表示沿状态维度堆叠，l表示相邻或历史层级状态数量；n=l+2表示参与聚合的总状态数量，表示线性映射，和分别表示1×n、3×n和5×n的一维状态聚合卷积。

23、进一步地，将所述聚合结构状态特征经多层感知机和tanh激活函数处理后得到归一化缩放调制量，再与基础归一化缩放参数γ相加形成结构自适应缩放参数，最终对当前输入特征执行动态归一化，得到校准特征；

24、

25、

26、

27、其中，mlp表示多层感知机，表示双曲正切激活函数，λ表示调制强度系数，表示归一化缩放调制量，γ表示基础归一化缩放参数，表示结构自适应缩放参数，和分别表示当前输入特征的均值和方差，ε表示数值稳定项，β表示归一化平移参数。

28、进一步地，s3中，所述smfa模块对所述4个多尺度特征图的处理流程，包括：

29、s31，对所述4个尺度的多尺度特征图分别通过mlp机制投影到相同的通道维度；并将3个深层尺度特征图通过双线性插值上采样至与最浅层尺度特征图相同的空间分辨率尺；其中，所述4个多尺度特征图包括1个最浅层尺度特征图和3个深层尺度特征图；

30、s32，利用最浅层尺度特征图生成空间结构引导掩码，并对上采样后的三个深层尺度特征图进行逐元素相乘，得到空间过滤后的深层特征图；

31、s33，对经空间引导后的不同尺度特征进行卷积映射与归一化处理，生成各个尺度对应的逐像素权重图，并基于所述逐像素权重图对不同尺度特征进行加权融合，得到尺度自适应融合特征；

32、s34，将所述尺度自适应融合特征、所述空间过滤后的深层尺度特征图与最浅层尺度特征图沿通道维度进行拼接；

33、s35，采用邻域注意力机制对拼接后的特征图进行局部邻域像素相关性建模与细节优化，再通过卷积操作降维并输出跨尺度融合特征图。

34、进一步地，s32中，将最浅层尺度的高分辨率特征图作为空间结构先验，通过卷积映射和激活函数生成空间引导权重掩码：

35、

36、其中，，为特征图的空间分辨率，σ表示sigmoid激活函数，δ表示非线性激活函数，bn表示批归一化；

37、利用所述空间引导权重掩码分别与上采样后的三个深层尺度特征图进行逐元素相乘，得到空间过滤后的深层特征图：

38、

39、其中，表示经空间结构引导后的第i尺度特征；当i=1时，。

40、进一步地，s33中，对最浅层尺度特征图和空间过滤后的深层尺度特征图通过卷积映射获得各尺度的响应描述，并经归一化生成对应的逐像素尺度权重图，生成尺度自适应融合特征，以使得每个空间位置均能够根据裂缝宽度、连续性和背景干扰程度选择合适的尺度响应：

41、

42、

43、

44、

45、其中，表示第i个尺度的响应描述映射函数，表示第i尺度的尺度响应特征，concat表示通道拼接，表示沿尺度维度执行的softmax归一化，表示尺度权重张量，表示第i个尺度的逐像素权重图，表示尺度自适应融合特征，。

46、进一步地，s4中，所述分割头模块采用二值交叉熵bce损失、dice系数损失和边界约束的混合损失函数对裂缝分割掩码图进行网络训练，计算网络输出掩码与真实标签之间的误差。

47、本发明另一方面的实施例还提供一种基于结构自适应归一化与空间引导聚合的裂缝图像分割系统，包括：stem层预处理模块、结构引导的门控特征融合sgfm模块、空间引导的多尺度聚合smfa模块和分割头模块，其中，

48、所述stem层预处理模块用于对输入的裂缝rgb图像进行特征预处理，生成初始特征图；

49、所述sgfm模块用于对所述初始特征图进行结构自适应归一化校准和结构门控特征提取，所述sgfm模块由交替的下采样层与sgfm block串联组成，依次输出4个多尺度特征图；其中，每个所述sgfm block包括结构感知sam单元、结构自适应归一化单元、visionmamba骨干网络单元和transformer单元；

50、所述sam单元采用自适应sobel算子对所述初始特征图进行卷积操作和加权融合，提取得到裂缝的结构感知特征；

51、所述结构自适应归一化单元用于根据当前层输入特征、相邻或历史层级输出的多尺度状态特征和所述结构感知特征，构建出用于表征裂缝线状结构、局部对比度、边缘响应和背景纹理扰动的结构状态图，并根据所述结构状态图由多层感知机预测归一化缩放调制量，动态更新当前输入特征的结构自适应缩放参数得到校准特征，以实现面向裂缝结构响应的自适应特征校准；

52、所述vision mamba骨干网络单元用于对所述校准特征进行处理，提取得到裂缝的长距离空间依赖特征；

53、所述transformer单元用于对所述校准特征进行处理，取得到裂缝的全局上下文特征；

54、由所述sam单元利用门控权重图对裂缝的长距离空间依赖特征和全局上下文特征进行逐元素加权，并将加权后的特征进行拼接，再通过线性层映射，输出当前层级的优化特征图；

55、所述smfa模块用于对4个多尺度特征图依次进行特征投影上采样，对特征投影上采样后的深层特征进行过滤降噪，生成空间过滤后的多尺度特征；对多尺度特征进行自适应加权融合，生成尺度自适应融合特征；将尺度自适应融合特征与空间过滤后的多尺度特征沿通道维度进行拼接，并进行邻域注意力优化和卷积特征聚合，输出跨尺度融合特征图；

56、所述分割头模块用于对所述跨尺度融合特征图进行卷积和多层感知处理，生成裂缝分割掩码图。

57、与现有技术相比，本发明所具有的优点和有益效果为：

58、本发明的基于结构自适应归一化与空间引导聚合的裂缝图像分割方法及系统，构建了一种适配边缘计算场景的轻量化裂缝分割模型，通过对网络结构的针对性设计与优化，有效平衡分割性能与计算开销，增强模型在复杂场景下的适应能力。

59、1、采用轻量化裂缝分割网络整体架构设计，保证计算开销与性能的平衡。

60、本发明构建包含结构自适应归一化单元、交替下采样的结构引导门控特征融合sgfm模块和空间引导多尺度聚合smfa模块的端到端网络。

61、本发明的轻量化裂缝分割网络，是一种多范式协同的网络架构，其首次在统一框架下实现结构状态驱动的特征归一化、cnn的局部感知、transformer的全局上下文与mamba的高效长程建模的优势协同，通过浅层空间结构先验、尺度感知权重选择和深浅层特征的空间引导机制完成抗噪融合，全面提升对裂缝复杂拓扑结构的表征能力。本发明解决了现有网络难以兼顾全局长距离上下文依赖与局部细长拓扑结构捕捉的问题，同时解决传统网络在复杂背景下进行多尺度特征融合时极易引入环境噪声的问题。

62、轻量化裂缝分割网络的整体架构避免了单一模型的局限性，实现了复杂纹理下的特征稳定校准、宏观感受野与微观几何特征的统一。同时优化网络下采样倍数（[4，8，16，32]）和通道数（[16, 32, 64, 128]），在保证计算开销与性能的平衡。

63、通过实验对比表面，采用本发明的方法，其分割精度优于现有sota模型，在deepcrack、crack500、cfd、camcrack789和crackmap数据集上miou和f1分数均实现提升。

64、2、采用结构自适应归一化单元设计，实现面向裂缝结构响应的自适应特征校准。

65、本发明在sgfm block内设置结构自适应归一化单元，利用当前层输入特征、相邻层级或历史层级多尺度状态特征以及sam单元输出的结构感知特征，提取全局平均、全局最大和通道标准差等结构统计信息，并通过多核一维卷积聚合跨层级结构状态，由多层感知机预测归一化缩放调制量，动态更新归一化缩放参数，实现面向裂缝结构响应的自适应特征校准。

66、本发明在特征进入transformer与vision mamba分支前完成结构状态校准，使真实裂缝边缘和线状区域保持更稳定的响应，抑制阴影、反光和背景纹理造成的误检风险，并为后续结构门控融合提供更纯净的全局与长程依赖特征，解决了裂缝图像中阴影遮挡、局部反光、油污纹理、材料颗粒和曝光差异造成的特征分布偏移问题，避免固定归一化参数削弱细小裂缝边缘或放大伪裂缝背景纹理。

67、3、采用结构引导的门控特征融合sgfm模块的结构设计，增强了对裂缝特征的精细化捕捉能力。

68、本发明的sgfm模块设计并行的多分支特征提取架构，首先采用结构自适应归一化以用当前层特征、相邻层级特征以及结构感知特征构建结构状态描述（即，结构状态图），动态调整归一化缩放参数，使网络在复杂光照、阴影和纹理干扰下保持稳定的裂缝结构响应。

69、然后通过结构感知sam模块针对性地提取裂缝在水平和垂直方向的局部几何特征。将其输出通过激活函数转化为空间门控信号，对transformer提取的全局特征和visionmamba 提取的长序列特征进行逐元素加权，增强对细长、不规则裂缝的精准捕捉与显式建模，从而在语义空间实现transformer与mamba的对齐，实现了以局部几何结构特征主动引导全局语义特征融合的创新机制。

70、本发明显著增强了模型对细长、不规则、跨度大的裂缝特征的精细化捕捉能力；在特征提取阶段即利用几何先验过滤了非结构性噪声，大幅降低了误检、漏检率，极大地保留了裂缝的完整拓扑结构；相较于纯mamba的基线模型，f1分数提升9.03%~11.37%，miou提升3.78%~4.70%。本发明解决了现有深度学习模型缺乏针对裂缝线状、方向性拓扑结构的显式建模机制，导致复杂背景下极易将类似裂缝的干扰物误检，或在预测时出现裂缝断裂、不连贯的问题。

71、4、采用空间引导的多尺度特征聚合smfa模块的结构设计，兼顾大尺寸裂缝的完整性、小尺寸裂缝的细节精度。

72、本发明涉及高效的空间引导尺度自适应多尺度聚合smfa模块，该模块采用上采样对齐、浅层空间结构引导加权、尺度感知权重融合、特征拼接和邻域注意力优化的流程，实现优化噪声抑制与尺度选择机制。

73、smfa模块通过最浅层高分辨率特征形成空间结构引导掩码，对上采样后的深层特征进行空间加权过滤降噪，从而有效阻断背景噪声跨尺度传递。同时设置尺度感知权重，对不同尺度特征进行逐像素自适应加权融合，使网络能够根据裂缝宽度、走向和局部纹理复杂度动态选择合适感受野。

74、smfa模块进一步结合邻域注意力机制优化局部细节表征，以线性复杂度增强局部区域的像素级相关性建模，解决不同尺度特征间的语义鸿沟，使多尺寸裂缝的边缘分割更加清晰连贯。

75、本发明实现多尺度特征的细粒度融合与动态尺度选择，兼顾大尺寸裂缝的完整性、小尺寸裂缝的细节精度以及复杂背景下的抗噪稳定性，解决了常规解码器在进行多尺度融合（如直接拼接或相加）时，不可避免地会将浅层特征图中的大量背景噪声引入深层，导致最终分割边缘模糊、伪影严重的问题；同时解决跨尺度特征融合时的局部细节流失问题。

76、5、采用bce、dice和边界约束的混合损失函数的适配设计，提升裂缝分割的完整性和边缘精度。

77、本发明采用bce、dice和边界的混合损失函数，可以有效缓解类别不平衡影响，提升裂缝分割的完整性和边缘精度，减少漏检和误检的情况，进一步优化模型性能。本发明解决了裂缝分割中类别不平衡（裂缝像素占比低）导致的模型训练偏差问题，现有单一损失函数易出现漏检、分割不完整的情况，减少裂缝断裂、边缘模糊和伪影问题。

78、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。