基于轻量化网络与二维-三维映射的大型桥梁病害三维定位检测方法

摘要: 本发明涉及大型桥梁病害检测领域,特别涉及一种基于轻量化网络与二维-三维映射的大型桥梁病害三维定位检测方法。背景技术:1、大型桥梁作为交通基础设施的重要组成部分,...
基于轻量化网络与二维-三维映射的大型桥梁病害三维定位检测方法

本发明涉及大型桥梁病害检测领域,特别涉及一种基于轻量化网络与二维-三维映射的大型桥梁病害三维定位检测方法。

背景技术:

1、大型桥梁作为交通基础设施的重要组成部分,其长期服役过程中容易受到车辆荷载、环境侵蚀及材料老化等因素影响,产生裂缝、剥落、露筋、渗水等多种表观病害。若不能及时发现并进行维修养护,将严重影响大型桥梁结构安全及服役寿命,因此大型桥梁病害检测具有重要的工程应用价值。

2、目前大型桥梁病害检测主要采用人工巡检、大型桥梁检测车及无人机巡检等方式。其中,人工巡检存在劳动强度大、检测效率低、危险性高及主观性强等问题;大型桥梁检测车虽然能够完成部分大型桥梁检测任务,但设备成本高、作业效率低,且对于大跨度大型桥梁、斜拉桥、悬索桥等复杂大型桥梁结构存在检测盲区。

3、随着无人机与计算机视觉技术的发展,无人机已广泛应用于大型桥梁巡检任务中,并可搭载高清成像设备获取大型桥梁表观图像,为自动化病害检测提供数据基础。同时,基于深度学习的目标检测算法在大型桥梁病害识别中取得了一定应用效果,但仍存在模型计算量较大、对微小病害特征提取能力不足以及难以实现病害三维空间定位等问题,限制了其在实际工程中的进一步应用。

技术实现思路

1、因此,本发明提出了一种基于轻量化网络与二维-三维映射的大型桥梁病害三维定位检测方法,使其能够在满足检测精度的同时,实现无人机搭载网络轻量化的目标。包括如下步骤:

2、步骤s1:获取大型桥梁原始采集数据:根据大型桥梁不同结构部位的空间构型和检测视点需求规划对应的飞行航迹,采用搭载成像设备的无人机采集大型桥梁表观图像,并为每幅表观图像配置对应的图像帧标识,同步记录与图像帧标识关联的采集时间和相机位姿数据;同步或分航次获取激光雷达点云或空间控制点数据中的至少一种辅助定位数据,并将辅助定位数据统一至目标空间坐标系,形成大型桥梁原始采集数据集。

3、步骤s2:构建大型桥梁病害检测数据集:从步骤s1得到的大型桥梁原始采集数据集中提取表观图像,对表观图像进行预处理和病害标注;按照桥梁构件或采集航段,将标注后的表观图像划分为互不重叠的训练集和验证集;在完成训练集和验证集划分后,仅对训练集进行数据增强,得到大型桥梁病害检测数据集。标注后的原始表观图像保留对应的图像帧标识;根据原始表观图像生成的数据增强样本仅用于模型训练;用于病害检测及二维-三维映射的待检测图像保留对应的图像帧标识,以使病害二维检测结果能够通过图像帧标识与相机参数及大型桥梁实景三维模型建立关联。

4、步骤s3:建立大型桥梁实景三维模型及相机参数关联表:从步骤s1得到的大型桥梁原始采集数据集中提取表观图像、图像帧标识和相机位姿数据,对表观图像进行特征提取和匹配,恢复并优化各图像帧对应的相机内参和外参,并依次生成稀疏点云、稠密点云、三维网格和纹理模型,得到三维重建结果。利用步骤s1中记录的相机位姿数据、激光雷达点云或空间控制点中的至少一种,对三维重建结果进行尺度约束和坐标系对齐,将三维网格及各图像帧对应的相机外参统一至目标空间坐标系,得到具有统一空间坐标基准的大型桥梁实景三维模型。

5、按照图像帧标识,将各图像帧对应的相机内参矩阵、畸变参数以及统一至目标空间坐标系后的相机旋转矩阵、平移向量和相机光心位置关联存储,形成相机参数关联表;同时,对大型桥梁实景三维模型中的三维网格三角面片建立层次包围盒空间索引。相机参数关联表用于步骤s5中构建对应图像帧的反投影射线,层次包围盒空间索引用于步骤s5中查询反投影射线经过的三角面片并进行表面求交;二者为步骤s3并列建立的关联数据结构。

6、步骤s4:获取大型桥梁病害二维检测结果集:

7、构建包括主干网络、特征融合网络和检测头的轻量化大型桥梁病害检测模型;主干网络包括lwds模块和多个c3k2特征提取模块,所述主干网络与所述特征融合网络之间设置sftem模块,所述特征融合网络包括ffmconcat2模块;

8、lwds模块用于对输入特征进行下采样和通道融合,多个c3k2特征提取模块用于在不同下采样尺度上逐级提取病害特征、融合局部细节信息与上下文信息,并输出多个尺度的主干特征;sftem模块用于对主干网络对应尺度输出的浅层特征进行定向增强,得到病害增强特征;ffmconcat2模块设置于特征融合网络的至少一个跨尺度特征融合节点,用于接收所述病害增强特征和特征融合网络上一层输出并经上采样得到的深层语义特征,将所述病害增强特征作为浅层特征输入,并对两路特征进行空间尺寸对齐、通道映射、分支加权、通道拼接和空间注意力重标定,得到不同尺度的跨尺度融合特征;将跨尺度融合特征分别传递至检测头中对应尺度的检测分支,输出病害类别、二维边界框和检测置信度;利用步骤s2得到的训练集和验证集对轻量化大型桥梁病害检测模型进行训练和参数选择,并将带有图像帧标识的待检测图像输入训练后的轻量化大型桥梁病害检测模型,得到由图像帧标识、病害类别、二维边界框和检测置信度组成的大型桥梁病害二维检测结果集;

9、步骤s5:获取大型桥梁病害三维定位结果:读取由图像帧标识、病害类别、二维边界框和检测置信度组成的大型桥梁病害二维检测结果集;根据所述图像帧标识从步骤s3形成的相机参数关联表中获取对应图像帧的相机内参和外参;根据所述二维边界框确定一个或多个采样像素,根据所述采样像素构建反投影射线,并计算反投影射线与大型桥梁实景三维模型表面的交点,形成病害候选三维点集;对于不同图像帧中的病害二维检测结果,当病害类别一致,且对应候选三维点满足三维空间邻近关系或跨视图重投影一致性中的至少一种时,判定其对应同一病害,并将对应的候选三维点合并至同一病害候选三维点集;对合并后的病害候选三维点集进行聚类和离群点过滤,根据检测置信度和几何一致性信息确定有效候选三维点的权重,并根据有效候选三维点的加权空间位置得到包含病害类别、病害三维坐标、检测置信度和原始图像帧标识集合的大型桥梁病害三维定位结果。

10、其中,步骤s2和步骤s3分别基于步骤s1得到的大型桥梁原始采集数据形成病害检测数据支路和三维重建数据支路;步骤s4根据步骤s2形成病害二维检测结果;步骤s5将步骤s3得到的大型桥梁实景三维模型及相机参数关联表与步骤s4得到的病害二维检测结果进行空间映射,获得病害三维定位结果。

11、进一步的,步骤s1中,根据大型桥梁不同结构部位设置差异化飞行航迹,其中,桥面采用等高蛇形航迹进行水平面区域采集;桥塔和桥墩采用环绕式航迹,从多个方向对高耸结构进行图像采集;桥梁底部采用仰视航迹,使成像设备的光轴方向接近梁底表面法向,对梁底隐蔽区域进行图像采集;桥梁侧面采用矩阵扫描式航迹,对桥梁侧立面进行网格化图像采集;拉索采用跟踪式航迹,沿拉索延伸方向进行近距离图像采集。

12、进一步的,步骤s1中,各飞行航迹采集的相邻表观图像之间设置预定的航向重叠度和旁向重叠度,以满足病害检测和多视角三维重建对图像重叠区域的需求。

13、进一步的,步骤s2中的预处理包括图像去噪、光照均衡和对比度增强;病害标注采用二维边界框标注方式,标注类别包括裂缝、剥落、锈蚀、露筋和渗水;在训练集和验证集划分完成后,对训练集执行mosaic增强、mixup增强、随机裁剪、随机旋转、色彩抖动和高斯噪声注入中的至少一种数据增强操作,验证集不执行数据增强操作。

14、进一步的,步骤s2中,训练集和验证集的划分比例为8∶2;按照桥梁构件或采集航段进行数据集划分,使训练集和验证集不包含来自同一连续采集序列的重复图像或高度相似图像。

15、进一步的,完成训练集和验证集划分后,对训练集执行mosaic增强、mixup增强、随机裁剪、随机旋转、色彩抖动和高斯噪声注入中的至少一种数据增强操作,验证集不执行数据增强操作。

16、进一步的,步骤s3具体包括:采用运动恢复结构算法对大型桥梁表观图像进行特征点提取和匹配,获取或优化各图像帧对应的相机内参、相机外参和稀疏点云;采用多视角立体视觉算法生成稠密点云;根据稠密点云进行表面重建,生成由多个三角面片组成的三维网格;采用多视角纹理映射算法,将原始表观图像中的纹理信息映射至三维网格,生成带纹理的大型桥梁实景三维模型。根据步骤s1记录的相机位姿数据、激光雷达点云或空间控制点中的至少一种,估计三维重建坐标系与目标空间坐标系之间的尺度、旋转和平移变换,并根据变换将三维网格和相机外参统一至目标空间坐标系。

17、进一步的,对大型桥梁实景三维模型中的三维网格三角面片建立空间索引,空间索引用于查询反投影射线经过的三角面片,并计算反投影射线与三维网格表面的交点。

18、进一步的,步骤s4中lwds模块包括主分支和残差分支;主分支依次采用步长为2的逐通道卷积和逐点卷积对输入特征进行下采样及通道融合,并通过通道注意力机制对所得特征进行重标定;残差分支采用步长为2的1×1卷积对输入特征进行尺寸和通道映射;利用可学习缩放因子对主分支输出特征进行缩放,并将缩放后的主分支输出特征与残差分支输出特征进行融合,得到lwds模块的输出特征。

19、lwds模块的具体处理步骤如下:

20、a1:输入特征,首先经过深度卷积完成空间特征提取及下采样,再通过逐点卷积实现跨通道特征融合,其计算过程表示为:

21、;

22、;

23、其中,表示深度卷积,表示逐点卷积,输出特征尺寸变为。表示逐通道卷积输出的下采样特征,表示逐点卷积输出的通道融合特征;

24、a2:对融合后的特征进行全局平均池化,再通过两层1×1卷积及非线性激活函数生成通道权重,并通过sigmoid函数得到通道注意力系数,对各通道特征进行自适应重标定,以增强病害相关特征并抑制背景噪声,其计算公式为:

25、;

26、随后,得到增强特征:,其中为逐元素相乘;

27、其中,为全局平均池化,表示通道注意力权重,表示两层可学习的1×1卷积映射参数,为relu激活函数;为sigmoid函数,表示经通道注意力重标定后的增强特征;

28、a3:同时,将输入特征图输入残差分支,采用1×1卷积并结合步长下采样,使残差分支输出与主分支保持一致的空间尺寸及通道维度;

29、a4:利用可学习缩放因子γ对主分支输出进行动态调节,并与残差分支输出进行逐元素相加,实现特征融合,以减缓下采样过程中细节信息的损失;

30、a5:对融合后的特征图采用silu激活函数进行非线性映射,输出lwds模块最终特征图,并输入后续网络进行特征提取。

31、进一步的,sftem模块包括标准卷积分支、水平卷积分支、垂直卷积分支和空洞卷积分支;将输入特征分别输入四个卷积分支,得到对应的分支特征;分别对各分支特征进行全局平均池化和特征映射,并通过softmax函数生成各分支的融合权重;根据融合权重对各分支特征进行加权融合,再依次通过通道注意力机制、空间注意力机制和残差连接,得到sftem模块的输出特征。

32、sftem模块的具体处理步骤如下:

33、b1:输入特征图x,分别输入四个并行卷积分支,包括标准卷积、水平卷积、垂直卷积以及空洞卷积,以提取不同方向与不同感受野的特征表示:

34、;

35、;

36、;

37、;

38、其中,表示基础空间特征,、分别表示横向与纵向结构特征,表示多尺度上下文特征;

39、b2:对四个分支特征进行全局平均池化,并通过softmax生成自适应融合权重:

40、;

41、其中,表示第i个分支的权重系数;

42、融合后的特征表示为:;

43、其中,表示分支序列;

44、b3:对融合特征同时施加通道注意力与空间注意力机制,以增强病害区域响应,其计算过程如下:

45、通道注意力为:;

46、空间注意力为:;

47、联合增强特征为:;

48、b4:将增强后的特征与输入特征进行残差融合,并通过激活函数输出最终结果:

49、;

50、其中,y为sftem模块的输出特征。

51、进一步的,步骤s4中,ffmconcat2模块接收浅层特征和深层特征;所述浅层特征为主干网络对应尺度输出并经sftem模块定向增强得到的病害增强特征,所述深层特征为特征融合网络上一层输出并经上采样得到的深层语义特征;分别对浅层特征和深层特征进行空间尺寸对齐和通道映射;通过softmax函数对浅层分支和深层分支的可学习权重参数进行归一化,得到对应的分支融合权重;利用分支融合权重分别对完成空间尺寸对齐和通道映射的浅层特征和深层特征进行加权,并将加权后的浅层特征和深层特征沿通道维度进行拼接,得到拼接特征;对拼接特征沿通道维度分别进行平均池化和最大池化,根据池化结果生成空间注意力权重;利用空间注意力权重对拼接特征进行重标定,并将重标定后的拼接特征与拼接特征的残差映射结果进行融合,得到ffmconcat2模块的输出特征。

52、ffmconcat2模块的具体处理步骤如下:

53、c1:将输入ffmconcat2模块的浅层特征记为,深度特征记为,分别对浅层特征和深层特征进行空间尺度对齐和通道映射:,;

54、其中,和分别表示由上采样、下采样和卷积映射中的至少一种构成的特征对齐操作;完成特征对齐后,与具有相同的空间尺寸;

55、c2:设置浅层分支和深层分支的可学习权重参数和,并通过softmax函数进行归一化:

56、;

57、其中;和分别表示浅层分支和深层分支的归一化融合权重;

58、利用归一化后的分支权重对两路特征进行加权,并沿通道维度进行拼接:;

59、其中,表示沿通道维度进行特征拼接;

60、c3:对拼接特征沿通道维度分别进行平均池化和最大池化,根据池化结果生成空间注意力权重:

61、;

62、利用空间注意力权重对拼接特征进行重标定:;

63、其中,表示sigmoid函数,表示逐元素相乘;

64、c4:将重标定后的特征与拼接特征的残差映射结果进行融合,得到ffmconcat2模块的输出特征:;

65、其中,表示输出通道映射操作;表示残差映射,当输入、输出通道数量相同时采用恒等映射,当通道数量不同时采用1×1卷积进行映射;表示非线性激活函数。

66、优选地,步骤s5中,读取步骤s4得到的大型桥梁病害二维检测结果集,根据其中的图像帧标识从步骤s3得到的相机参数关联表中获取对应的相机内参和外参;根据二维边界框确定一个或多个采样像素,对采样像素进行去畸变处理,并根据相机内参和外参构建对应的反投影射线;计算反投影射线与大型桥梁实景三维模型表面的交点,根据模型表面可见性和交点深度过滤无效交点,并从剩余交点中确定距离相机光心最近的有效正向交点,形成病害候选三维点集;对于不同图像帧中病害类别一致的病害二维检测结果,根据候选三维点之间的空间距离和跨视图重投影误差进行病害关联,将判定为同一病害的候选三维点合并;对合并后的候选三维点进行聚类和离群点过滤,并至少根据检测置信度以及重投影误差、射线入射角和观测距离中的至少一种确定有效候选三维点的权重,计算有效候选三维点的加权空间位置,得到大型桥梁病害三维定位结果。

67、病害二维检测结果与大型桥梁实景三维模型的映射过程包括:

68、d1:提取从步骤s4病害检测结果对应的原始图像帧标识及二维边界框坐标,二维边界框记为:,计算其中心点坐标:;

69、其中,、、和分别表示二维边界框的左边界、上边界、右边界和下边界像素坐标;与分别表示二维边界框中心点的横坐标和纵坐标;

70、d2:根据二维边界框的中心位置、边界位置或内部区域确定一个或多个采样像素,并根据相机畸变参数对采样像素进行去畸变处理;

71、d3:根据图像帧标识,从步骤s3形成的相机参数关联表中读取对应的相机内参矩阵k、旋转矩阵r和平移向量t。相机内参矩阵表示为:

72、;

73、其中与分别表示水平方向和竖直方向的等效焦距;和分别表示主点的横坐标和纵坐标;

74、当相机外参采用世界坐标系到相机坐标系的变换关系时,相机光心在世界坐标系的坐标表示为:,对于去畸变后的齐次像素坐标,其在世界坐标系中的反投影方向表示为:,由此构建对应的反投影射线:;

75、其中和分别表示世界坐标系与相机坐标系中的空间点;和t分别表示世界坐标系到相机坐标系的旋转矩阵和平移向量;

76、d4:计算各反投影射线与步骤s3得到的大型桥梁实景三维模型表面的交点;大型桥梁实景三维模型为步骤s3的三维建模结果,其表面由三维网格三角面片构成;

77、当同一条反投影射线与多个三角面片相交时,根据模型表面可见性和交点深度过滤无效交点,并从剩余交点中选取距离相机光心最近的有效正向交点:;

78、其中,由反投影射线与三维网格表面的求交结果确定,表示病害候选三维点;

79、d5:将各采样像素对应的有效正向交点组成病害候选三维点集;分别对每一病害二维检测结果对应的病害候选三维点集进行聚类分析,滤除不属于主要聚类簇的离群点,并根据保留的有效候选三维点确定对应的代表位置;

80、对于不同图像帧中的病害二维检测结果,当病害类别一致,且对应代表位置满足三维空间邻近关系或跨视图重投影一致性中的至少一种时,判定其对应同一病害,并将对应的有效候选三维点合并至同一病害候选三维点集;

81、d6:至少根据检测置信度,并结合跨视图重投影误差、射线入射角和观测距离中的至少一种几何一致性信息,确定有效候选三维点的权重,并计算有效候选三维点的加权空间位置:

82、;

83、其中,表示第i个有效候选三维点,表示对应权重,表示病害三维定位坐标;n表示经聚类和离群点过滤后保留的有效候选三维点数量;

84、相机投影关系表示为:

85、;

86、其中表示非零尺度因子,u和v表示二维像素坐标,x、y和z表示对应三维点在世界坐标系中的坐标。二维像素坐标结合相机内参和外参用于确定反投影射线,病害三维坐标由反投影射线与大型桥梁实景三维模型表面的有效正向交点确定;

87、d7:将病害类别、病害三维坐标、检测置信度和原始图像帧标识关联存储,并根据病害三维坐标将对应的病害标记映射至大型桥梁实景三维模型表面,形成大型桥梁病害三维可视化结果。

88、优选地,为实现步骤s4轻量化大型桥梁病害检测模型的轻量化处理,轻量化实现方式具体包括:

89、下采样算子轻量化:在主干网络中,通过lwds模块依次采用逐通道卷积和逐点卷积完成特征下采样及通道融合,以替代主干网络中步长为2的标准卷积下采样层,并利用残差分支和可学习缩放因子进行特征融合;网络深度轻量化:在主干网络中设置3个c3k2模块进行多尺度特征提取,以控制主干网络的网络深度、参数数量和计算量;定向特征增强轻量化:通过sftem模块设置标准卷积、水平卷积、垂直卷积和空洞卷积四个并行分支,并根据经softmax函数归一化的动态融合权重对各分支特征进行加权求和,避免直接拼接四个分支特征造成输出通道数量增加;跨尺度特征融合轻量化:通过ffmconcat2模块利用经softmax函数归一化的可学习分支权重对浅层特征和深层特征进行动态加权和通道拼接,并利用沿通道维度进行平均池化和最大池化所得的池化结果生成空间注意力权重,对拼接特征进行空间重标定。

90、本发明与现有技术相比,具有如下优点与有益效果:

91、1.本发明通过图像帧标识将大型桥梁表观图像、病害二维检测结果和相机参数建立关联,根据病害二维边界框中的采样像素构建反投影射线,并计算反投影射线与大型桥梁实景三维模型表面的有效正向交点,实现病害二维检测结果向桥梁三维空间位置的映射。相比仅输出二维边界框的检测方法,本发明能够获得病害在统一空间坐标系下的三维坐标,并将病害信息标记于大型桥梁实景三维模型表面,有利于提高检测结果的空间可解释性和工程应用价值。

92、2.本发明基于yolov11n构建轻量化大型桥梁病害检测模型,通过lwds模块完成轻量化特征下采样和通道融合,通过sftem模块提取不同方向及不同感受野下的病害特征,并通过ffmconcat2模块实现浅层细节特征与深层语义特征的自适应跨尺度融合。其中,lwds模块采用逐通道卷积和逐点卷积替代标准卷积下采样,并结合主干网络深度调整控制模型的参数量和计算量;sftem模块和ffmconcat2模块能够增强微小裂缝及破损边缘的特征表达,提高模型对复杂背景下桥梁表观病害的检测适应性,使检测模型具备在无人机端或边缘计算设备上部署的条件。

93、3.本发明根据桥面、桥塔、桥墩、桥梁底部、桥梁侧面和拉索等不同结构部位的空间构型及检测视点需求,分别设置等高蛇形、环绕式、仰视式、矩阵扫描式和跟踪式飞行航迹,实现对不同桥梁结构部位的多视角图像采集。差异化飞行航迹有利于减少固定航迹和单一视角造成的遮挡区域及巡检盲区,提高桥梁表观图像的覆盖完整性,并为后续病害检测和多视角实景三维重建提供图像数据基础。