一种基于三维重建与数字孪生的斜拉桥表观损伤检测方法

本发明涉及斜拉桥损伤检测，尤其涉及一种基于三维重建与数字孪生的斜拉桥表观损伤检测方法。

背景技术：

1、斜拉桥是现代公路与市政基础设施中广泛采用的大跨度桥型，斜拉索作为其核心受力构件，长期暴露于复杂自然环境中，易发生护套裂缝、起鼓、破损等表观病害，直接影响桥梁结构安全。传统检测手段通常依赖人工目视检查或搭载人员的高空吊篮作业，不仅高空作业安全风险较大，而且对斜拉索护套表面细微病害的检出率有限，难以形成系统化、可量化的检测成果。此外，传统二维图像采集与记录方式无法将病害定位信息与桥梁实际三维空间有效关联，给后续养护决策和病害演化追踪带来较大困难。

2、专利申请cn118758267a公开了一种基于贴近摄影测量技术的桥梁裂缝检测方法，该方法利用机载激光雷达系统构建桥梁三维点云粗模，在此基础上规划面向各桥梁结构面的贴近摄影航线，采用旋翼无人机搭载五镜头倾斜相机采集桥梁精细化像片，进而重建三维倾斜模型，并结合faster r-cnn深度学习算法与图像处理算法实现裂缝识别与宽度量测，最终将检测结果标记于三维模型中。该方法针对桥梁结构面（桥墩、梁板、桥塔等）的一般性裂缝检测具有一定的实用效果，但其检测对象为桥梁整体结构面，并未专门针对斜拉索这一细长圆柱形特殊构件的几何特征与空间分布特点进行针对性设计，在多索交叉密集区域缺乏病害归属的区分机制，也未建立二维病害检测结果与单索三维实景模型之间的精确空间配准手段，难以支撑以斜拉索为对象的全生命周期精细化管养需求。

技术实现思路

1、有鉴于此，本发明提供一种基于三维重建与数字孪生的斜拉桥表观损伤检测方法，通过建立面向斜拉索几何特征的双层无人机采集架构、针对细长圆柱体的三维重建与纹理修正方法、适应斜拉索背景特征的深度学习病害检测与像素级分割方法，以及多级姿态关联坐标转换与单索曲面自适应配准机制，实现斜拉索表观病害的自动识别、精确量化与三维空间精准挂载，构建支持全生命周期管养的斜拉桥数字孪生模型。

2、本发明的技术方案是这样实现的：

3、本发明提供了一种基于三维重建与数字孪生的斜拉桥表观损伤检测方法，包括：

4、s1、控制无人机对斜拉桥进行全域倾斜摄影，采集全域影像数据集及对应的位姿数据；控制贴缆飞行器沿各斜拉索表面螺旋飞行，采集单索精细化影像数据集；

5、s2、对全域影像数据集与位姿数据采用拓扑约束的运动恢复结构与多视图立体视觉重建方法进行三维重建，结合柱面自适应纹理映射，构建斜拉桥全桥三维实景模型；

6、s3、对单索精细化影像数据集中的各帧影像进行局部增益纹理增强处理，采用改进yolov8网络进行病害检测，得到各病害区域的像素坐标及病害类别；

7、s4、针对各病害区域的像素坐标，采用像素级分割网络提取病害轮廓，结合柱面畸变修正算法计算各病害的量化参数；

8、s5、建立像素坐标系、图像坐标系、相机坐标系、世界坐标系与单索局部坐标系之间的五级姿态关联坐标转换模型，将各病害区域的像素坐标逐级转换为单索局部三维坐标点集；

9、s6、将单索局部三维坐标点集与全桥三维实景模型中对应索体曲面采用带曲面曲率约束的点云配准算法进行配准，将各病害的病害类别、量化参数、空间位置、检测时序和损伤等级挂载至全桥三维实景模型，构建斜拉桥数字孪生模型。

10、优选地，步骤s1包括：

11、s11、校准无人机与贴缆飞行器的相机内参，确定焦距、像素尺寸与感光尺寸，设定全域航测航向重叠度不低于80%、旁向重叠度不低于70%及对应航线间距；

12、s12、操控无人机规划全覆盖网格航线，采集斜拉桥全域多角度倾斜摄影影像，同步由pos定位定姿系统实时记录每帧影像对应的位姿向量，其中b为采集点纬度，l为采集点经度，h为采集点绝对高程，为相机俯仰角，为相机横滚角，为相机偏航角；

13、s13、操控贴缆飞行器以单根斜拉索中心轴线为基准规划竖向螺旋随航航线，飞行器与索体保持0.5m至1m的恒定距离，沿索体从桥塔锚固端至主梁锚固端逐根采集单索精细化影像；

14、s14、对两类采集影像进行质量筛选，剔除飞行抖动、强光过曝、逆光阴影、杂物遮挡、模糊失焦的无效影像，对pos原始位姿数据进行滤波降噪并剔除异常跳变值，完成影像与位姿数据的时间戳及空间坐标匹配，建立全域影像数据集与单索精细化影像数据集。

15、优选地，步骤s2包括：

16、s21、基于全域影像数据集与对应位姿数据进行运动恢复结构解算，优化各帧影像外方位元素；

17、s22、以纵向相邻三维特征点、的高程值、计算高程约束函数：

18、；

19、其中为预设竖向高程连续阈值，下标a和a+1表示三维特征点索引；

20、当时判定两点为连续索体特征点；

21、s23、通过mvs多视密集匹配算法生成全桥密集点云，采用三角网格重构算法生成连续网格模型；

22、s24、采用柱面纹理映射畸变修正公式对纹理坐标进行修正，其中u、v为平面映射原始纹理像素横、纵坐标，为柱面修正后纹理像素坐标，r为斜拉索半径，y为纹理像素纵坐标，烘焙各索体曲面纹理，构建全桥三维实景模型。

23、优选地，步骤s3中，对单索精细化影像数据集中各帧影像施加局部增益纹理增强处理时，按照如下公式计算各像素增强后灰度值：

24、；

25、其中、分别为影像坐标处像素增强前、后的灰度值，为索体roi区域像素灰度均值，为索体区域灰度方差，d为当前像素到索体中心轴线的垂直距离，为增益衰减系数。

26、优选地，步骤s3中，改进yolov8网络在原生yolov8网络基础上增设浅层细粒度特征加权融合模块，对k个浅层特征层输出的细粒度特征图按下式进行加权融合：

27、；

28、其中为多尺度特征融合后特征图，为各特征层的自适应权重系数，j为浅层特征层索引。

29、优选地，步骤s4中，针对各病害区域的像素坐标，采用像素级分割网络提取病害轮廓包括：

30、对各病害区域的像素坐标对应的影像区域输入dense-deeplabv3+网络，以多尺度空洞卷积空间金字塔池化结构提取特征，输出裂缝分割二值图为：

31、；

32、其中、、分别为膨胀率1、3、5的空洞卷积，为全局池化特征，为通道拼接操作，f为输入特征图；

33、对网络输出的裂缝分割二值图进行骨架化处理，提取裂缝中心骨架像素；

34、按照柱面畸变修正坐标映射公式：

35、；

36、将影像坐标映射为索体柱面三维坐标，其中r为斜拉索半径，为像素对应柱面圆心角；

37、在柱面三维坐标下计算各病害的量化参数。

38、优选地，裂缝量化参数按以下公式计算：

39、裂缝总面积，裂缝实际总长，裂缝平均宽度，裂缝最大宽度；其中n为裂缝分割二值图中有效像素总数量，为裂缝骨架像素总数量，gsd为单索精细化影像采集时的地面分辨率，为裂缝各分段实测宽度，s=1,2,...,m，m为裂缝分段数量。

40、优选地，步骤s5包括：

41、s51、按将像素行列号转换为影像坐标，其中为图像主点像素行列号，为横向、纵向单像素物理尺寸；

42、s52、按相机内参矩阵将影像坐标转换为相机坐标系三维坐标，相机焦距为f；

43、s53、以的俯仰角、横滚角、偏航角构建旋转矩阵，以纬度b、经度l、绝对高程h构建平移矩阵，将相机坐标转换为世界坐标；

44、s54、针对各斜拉索建立单索局部坐标系，将世界坐标转换为单索局部三维坐标，完成坐标系对齐，得到各病害区域的单索局部三维坐标点集；并将各索体曲面特征点集由全桥三维实景模型中同步变换至对应单索局部坐标系。

45、优选地，步骤s6包括：

46、s61、对各斜拉索的单索局部三维坐标点集与全桥三维实景模型中对应索体曲面特征点集，以下式为目标函数进行迭代配准：

47、；

48、其中为配准总误差，为索体曲面特征点集，为单索局部三维坐标点集，r、t为待优化旋转矩阵与平移矩阵，为索体曲面曲率约束项，为平衡权重系数，n为参与配准的点数；

49、s62、根据最优旋转矩阵r与平移矩阵t，将配准后各病害三维空间位置经单索局部坐标系至世界坐标系的逆变换转换回世界坐标系，将各病害的病害类别、量化参数、空间位置、检测时序和损伤等级挂载至全桥三维实景模型中对应索体曲面位置；

50、s63、逐一校验全桥各斜拉索病害挂载位置，修正多索交叉区域病害归属偏差，以构建斜拉桥数字孪生模型。

51、优选地，步骤s1中，贴缆飞行器沿各斜拉索表面螺旋飞行时，按照单索精细化影像采集的地面分辨率控制采集精度，其中h为贴缆飞行器相对索体表面的垂直飞行高度，为相机单个像素物理尺寸，f为相机镜头焦距。

52、本发明相对于现有技术具有以下有益效果：

53、（1）采用全域倾斜摄影与贴缆飞行器相结合的双层采集架构，解决了斜拉索点云重建完整性与局部细节分辨率之间的矛盾。常规单一高度无人机航测难以在索塔区域实现完整的斜拉索点云覆盖，本发明通过宏观层全桥建模与微观层单索精细补采相互补充，使全桥三维模型的完整度与单索纹理精细度均得到保障，避免了传统方法中索体点云断裂与空洞的问题。

54、（2）引入竖向连续拓扑约束机制与柱面自适应纹理映射方法，有效解决了斜拉索三维重建中的模型质量问题。斜拉索属弱纹理细长圆柱构件，常规sfm-mvs重建易产生多索粘连与纹理拉伸畸变。本发明通过拓扑约束保持单索几何连续性，通过柱面自适应映射消除圆柱曲面展开时的纹理畸变，使索体护套表面的细微病害纹理得以完整保留。

55、（3）针对斜拉索护套的背景特征对yolov8检测网络进行改进，提升了细小病害的检出能力。索体圆柱曲面在影像中呈现出特有的亮暗渐变分布，传统检测网络对此类背景下的超小稀疏病害漏检率较高。本发明通过带状roi自适应局部增益增强算法抑制背景干扰，并结合浅层细粒度特征加权融合与优化的小目标定位损失函数，使检测网络在复杂索体背景条件下对微小病害保持较稳定的识别性能。

56、（4）采用dense-deeplabv3+像素级分割网络结合柱面畸变修正算法，实现了裂缝量化参数的准确计算。索体护套裂缝通常呈细长带状，普通分割网络难以保持裂缝骨架的连续性。本发明通过密集级联aspp结构增强长距离像素依赖关系，减少裂缝分割断点，同时利用柱面畸变修正将圆柱曲面上的像素距离转换为真实物理尺寸，从而得到具有几何意义的裂缝面积、长度与宽度量化参数。

57、（5）建立五级姿态关联坐标转换模型，从根本上解决了多索交叉区域的病害空间归属问题。斜拉桥锚固区域存在多根斜拉索交叉重叠的情况，单纯依赖影像坐标难以准确判断病害所属索体。本发明通过构建从像素坐标到单索局部坐标系的完整转换链路，结合各帧影像的pos位姿数据，将每处病害的空间位置精确限定在对应索体的坐标系内，有效消除病害归属的歧义性。

58、（6）将各斜拉索病害信息通过曲面自适应icp精配准挂载至三维实景模型，构建具有病害空间信息的数字孪生模型。传统方式将病害信息标注于二维图像，缺乏与实体结构的空间对应关系。本发明以单索曲面曲率为约束进行迭代配准，使病害轮廓与量化参数精确贴合于索体三维曲面，实现病害的可视化三维漫游查看、历次检测结果的时序对比以及损伤等级的量化评估。