一种基于RF-DETR与多尺度局部-全局注意力的桥梁表观病害实例分割方法及系统

摘要: 本发明具体涉及一种基于rf-detr与多尺度局部-全局注意力的桥梁表观病害实例分割方法及系统,属于桥梁健康监测、深度学习与计算机视觉。背景技术:1、桥梁表观病害...
一种基于RF-DETR与多尺度局部-全局注意力的桥梁表观病害实例分割方法及系统

本发明具体涉及一种基于rf-detr与多尺度局部-全局注意力的桥梁表观病害实例分割方法及系统,属于桥梁健康监测、深度学习与计算机视觉。

背景技术:

1、桥梁表观病害的智能识别对结构安全评估与养护管理具有重要意义。在桥梁巡检任务中,实例分割相比传统目标检测方法能够提供更精细的像素级病害区域信息,可用于后续的病害面积计算、边界形态分析及结构连续性评估,为病害精细化分析提供更直接的数据支持。

2、现有方法在复杂无人机巡检场景下仍存在一定技术瓶颈,其一,对于桥梁表观病害中普遍存在的细长裂缝及局部剥落边界,该类目标通常具有高纵横比、低纹理对比度以及与背景结构强耦合等特征。在特征提取过程中,由于标准卷积操作的局部感受野限制以及单一尺度特征对长程依赖建模能力不足,使得模型容易将其响应集中于局部显著区域,进而表现为对目标整体结构连续性的建模能力有限,难以充分表达跨空间位置的连续形态特征。其根本原因在于现有基于cnn或单尺度特征融合的网络结构,其扩展主要依赖层级堆叠,现有方法在多层特征融合过程中未充分考虑局部细节特征与全局语义信息之间的协同关系,导致细长结构在特征表达过程中连续性不足,易出现局部响应断裂及结构信息缺失现象。第二,在多类别病害共存情况下,不同病害在尺度分布、纹理复杂度及边界形态上差异显著。现有方法通常采用统一卷积或固定尺度特征融合策略,难以对不同尺度目标进行自适应建模。当卷积核尺度与目标结构尺度不匹配时,易产生两类典型问题:一是对大尺度剥落、锈蚀不规则区域产生边界外扩与语义溢出;二是对于裂缝、露筋等细长目标,模型容易出现响应不连续或局部缺失的问题。这主要是由于模型在特征提取过程中未能同时有效利用局部细节信息和全局语义信息,导致细小结构特征在传递过程中逐渐被削弱。第三,在复杂巡检环境中,由于无人机采集角度变化、光照不均以及背景结构,如桥面接缝、阴影、纹理混叠的干扰,病害区域与背景之间的判别边界往往不清晰。现有模型主要依赖局部纹理特征进行学习,对整体场景信息利用不足,因此在复杂背景下容易把背景区域误识别为病害,造成误检以及边界不准确的问题。其主要原因在于局部特征与整体语义信息之间缺乏有效的融合与协调。

3、此外,现有方法在模型训练与评估阶段通常仅依赖map、miou等基于像素重叠的统计指标进行优化,这类指标虽然能够反映整体分类与分割精度,但无法刻画病害区域在结构层面的连续性与完整性;对于裂缝类病害,即使像素重叠较高,也可能存在明显断裂或碎片化现象,模型优化过程中可能出现通过区域扩展或局部填充等方式提升指标、但未能充分反映真实病害结构一致性的情况。综上,现有方法在多尺度病害特征表达、局部–全局协同建模以及结构一致性评价方面仍存在一定不足,难以满足复杂桥梁无人机巡检场景下对检测精度、鲁棒性以及结构连续性表达的综合要求。

4、因此,亟需一种能够兼顾高精度实例分割、结构连续性约束以及实时推理能力的桥梁病害检测方法。

技术实现思路

1、为解决上述背景技术中提及的问题;本发明的目的在于提供一种基于rf-detr与多尺度局部-全局注意力的桥梁表观病害实例分割方法,包括:获取桥梁表观病害图像数据,对采集图像进行预处理,采用多边形标注方式对病害区域进行像素级实例标注,构建桥梁表观病害数据集,并将数据集划分为训练集、验证集及测试集;构建基于rf-detr-seg的桥梁病害实例分割网络,所述rf-detr-seg包括骨干网络、特征投影层projector、transformer编码器、transformer解码器以及实例分割预测头,并在rf-detr-seg的特征投影层与transformer编码器之间构建多尺度局部-全局注意力模块ms-lga,通过所述ms-lga模块在特征进入所述transformer编码器之前进行局部纹理增强操作与全局语义重构操作;通过所述训练集对所述实例分割网络进行迭代训练,通过损失函数反向传播更新网络参数,并利用所述验证集进行超参数优化与模型选择;对所述测试集进行连通性约束评价,选取训练完成的最优实例分割模型,评价指标包括基于像素重叠的检测指标以及面向病害结构连续性的辅助评价指标;根据训练完成的最优实例分割模型对输入桥梁图像进行前向推理,输出病害实例分割结果及特征参数。

2、作为优选方案,所述ms-lga模块位于所述骨干网络的输出与所述transformer编码器的输入之间的特征投影阶段,且仅在所述特征投影层所处的特征投影阶段执行编码前的特征增强处理,经增强后的多尺度特征再输入所述transformer编码器。

3、作为优选方案,所述构建多尺度局部-全局注意力模块ms-lga包括:构建全局上下文建模模块gcm、构建尺度自适应局部特征建模模块salfm和构建自适应特征融合模块af;其中,所述gcm用于对全局语义信息进行通道级重分配,所述salfm用于对局部纹理信息进行尺度自适应建模,所述aff用于将所述全局语义信息与所述局部纹理信息进行自适应融合。

4、作为优选方案,所述全局上下文建模模块gcm对输入特征执行全局平均池化,获取全局统计信息,通过两层逐点卷积构建通道非线性映射,根据sigmoid函数输出通道权重向量,对全局语义信息的通道进行级重分配,对应权重计算公式为: ;上式中,表示输入特征图,表示全局平均池化,表示非线性激活函数,表示sigmoid函数;表示第一层1×1卷积的可学习权重;表示第一层2×2卷积的可学习权重。

5、作为优选方案,所述尺度自适应局部特征建模模块salfm选取特征金字塔网络中p4层特征作为输入,采用3×3深度可分离卷积提取局部纹理信息,并在卷积操作后引入group normalization归一化层和gelu激活函数,对裂缝边缘、锈蚀纹理、剥落轮廓及露筋特征进行局部建模。

6、作为优选方案,所述自适应特征融合模块aff采用gcm输出的通道权重对salfm输出局部特征做动态调制,经通道加权后的增强特征通过group normalization进行归一化处理,并通过残差连接与输入特征融合,输出与输入特征维度相同的增强特征;其中,特征融合的表达式为:

7、;

8、;

9、;

10、特征增强的表达式为:

11、;

12、上式中,表示融合特征,表示局部特征,表示逐通道卷积,表示通道逐元素乘法,表示全局上下文特征,fin为输入特征,fout表示输出特征,表示增强特征,gn表示组归一化。

13、作为优选方案,所述基于像素重叠的检测指标包括mask ap@0.5、mask ar@0.5以及平均交并比miou;所述面向病害结构连续性的辅助评价指标包括区域覆盖率和连通域数量;其中,所述用于衡量预测病害区域与真实病害区域之间的面积覆盖程度,所述用于统计预测病害区域中的独立连通区域数量。

14、作为优选方案,平均交并比miou的表达式为:;

15、为衡量模型在iou阈值为0.5条件下的平均检测精度,其表达式为:;

16、为在iou阈值为0.5条件下,对不同置信度阈值下召回率的平均值,其表达式为:;

17、区域覆盖率rarea的表达式为:;

18、连通域数量nc的表达式为:;

19、上式中,n表示病害类别总数量,tpi表示正确预测为第i类病害像素的数量,fpi表示误预测为病害像素的数量,fni表示第i类病害被漏检为背景的像素数量,m表示所采样的置信度阈值数量,表示第i个置信度阈值,表示在置信度阈值且时的召回率;h和w分别表示图像的高度和宽度;表示预测掩膜在坐标(x,y)处的像素值,1表示病害区域像素,0表示背景区域;表示连通域统计函数,表示预测病害掩膜。

20、作为优选方案,所述病害实例分割结果包括病害类别、病害位置及对应的像素级实例分割掩膜;所述特征参数包括病害面积、病害边界、病害位置及病害区域连通性。

21、本发明还提供一种基于rf-detr与多尺度局部-全局注意力的桥梁表观病害实例分割系统,包括:

22、数据获取及处理模块,用于获取桥梁表观病害图像数据,对采集图像进行预处理,采用多边形标注方式对病害区域进行像素级实例标注,构建桥梁表观病害数据集,并将数据集划分为训练集、验证集及测试集;

23、网络构建模块,用于构建基于rf-detr-seg的桥梁病害实例分割网络,所述rf-detr-seg包括骨干网络、特征投影层projector、transformer编码器、transformer解码器以及实例分割预测头,并在rf-detr-seg的特征投影层与transformer编码器之间构建多尺度局部-全局注意力模块ms-lga,通过所述ms-lga模块在特征进入所述transformer编码器之前进行局部纹理增强操作与全局语义重构操作;

24、训练模块,用于通过所述训练集对所述实例分割网络进行迭代训练,通过损失函数反向传播更新网络参数,并利用所述验证集进行超参数优化与模型选择;

25、评价模块,用于对所述测试集进行连通性约束评价,选取训练完成的最优实例分割模型,评价指标包括基于像素重叠的检测指标以及面向病害结构连续性的辅助评价指标;

26、分割输出模块,用于根据训练完成的最优实例分割模型对输入桥梁图像进行前向推理,输出病害实例分割结果及特征参数。

27、与现有技术相比,本发明的有益效果为:

28、第一,在特征投影层与transformer编码器之间设置多尺度局部–全局注意力模块ms-lga,在特征进入transformer编码器之前完成局部纹理增强与全局语义重构,能够避免直接在骨干网络或解码器阶段引入注意力机制造成的特征冲突,有利于在保持网络整体结构稳定的同时增强transformer输入特征的表达能力,从而提升复杂场景下桥梁病害实例分割的准确性与稳定性。

29、第二,gcm通过全局平均池化与通道重标定对全局语义信息进行通道级重分配,能够增强病害轮廓、裂缝走向及关键结构信息的响应,并通过全局门控的通道选择与局部-全局互补筛选抑制阴影、水渍及背景纹理等无关响应,有利于降低复杂背景干扰下的误检率;gcm以gelu替代relu,非线性约束更加平滑,有利于提升细粒度响应的稳定性并降低裂缝断裂误判。

30、第三,salfm在高分辨率p4层特征上采用深度可分离卷积进行局部建模,能够在降低计算量的同时保留裂缝等细长结构的空间连续性,结合group normalization缓解小批量训练条件下统计量波动的影响,有利于对裂缝、锈蚀、剥落及露筋等不同尺度病害进行自适应局部建模。

31、第四,aff将全局语义信息与局部纹理信息进行自适应融合,并经残差连接保留原始特征分布,能够实现局部细节信息与全局语义信息的自适应协同表达,有利于提高模型在复杂背景条件下定位病害区域的稳定性,同时保持梯度稳定传播、缓解特征退化。

32、第五,提出辅助评价机制,评价机制在传统基于像素重叠的指标基础上引入区域覆盖率与连通域数量,从拓扑连通角度对分割结果进行补充约束,能够刻画裂缝等细长病害区域的结构连续性与碎片化程度,提升复杂巡检场景下的分割精度与结构一致性。

33、第六,本方法能够对桥梁表观病害进行自动识别、精确定位与定量分析,输出病害类别、位置及像素级实例分割掩膜,并进一步提取病害面积、边界、位置及连通性等特征参数,有利于提高桥梁病害检测效率,为桥梁健康监测、状态评估及养护管理提供数据支撑。