一种三维基础设施图像投影与病害空间定位的方法及系统与流程

本方案涉及基础设施三维检测图像处理，具体涉及一种三维基础设施图像投影与病害空间定位的方法及系统。

背景技术：

1、桥梁、隧道、边坡等大型基础设施长期受荷载、环境侵蚀作用易产生裂缝、剥落、渗水等结构病害，为保障结构安全，需定期开展现场外观检测。当前主流检测流程为：检测人员现场拍摄结构表面实景照片，再通过摄影测量技术基于拍摄影像重建结构三维几何模型，最终依靠人工在二维照片中标记病害并整理检测报告。该作业模式存在明显短板：二维照片缺失结构真实空间尺度，病害位置无法直观关联实体结构；三维模型虽然具备精准几何空间信息，但难以将照片上的病害标记精准附着于模型表面，也无法快速生成标准化二维病害展开图用于统计归档。

2、为解决二维影像与三维模型融合显示的需求，现有技术虽然已开展二维图像向三维模型表面投影、纹理映射相关研究，但仍然存在以下缺点：1、缺乏基础设施场景适配：现有照片投影技术多面向医学（cn108694743a）、车辆视觉（cn116757958a）或虚拟场景生成（cn122415835a），缺乏基于摄影测量解析得到的内参（焦距、光心、畸变系数）和外参（旋转、平移）驱动的精确照片-三维模型投影链路，缺乏针对桥梁、隧道、边坡等大型基础设施结构的精细化照片投影与病害检测方案。2、照片投影精度不足：全景球投影（cn118781312a）在非全景照片的高精度纹理映射上精度有限，不支持单张照片的畸变校正与像素级投影。3、无病害标注的双视图联动：现有方案无法实现同一病害标注在三维模型视角和二维展开图视角之间的自动对齐和联动显示，工程检测人员仍需在两种视图之间人工比对。4、缺乏轻量化制图导出机制：现有方案不支持将大量病害标注照片批量投影到展开图并导出为可交互svg和结构化csv，不便于检测报告生成与统计。

3、因此，针对桥梁、隧道、边坡等基础设施外观检测场景，亟需一种基于摄影测量相机参数的实景照片高精度三维投影方法，并实现三维模型与二维展开图病害标注双视图联动、批量病害制图一体化输出的处理方案。

技术实现思路

1、本方案旨在克服现有技术中的至少一种缺陷，提供一种三维基础设施图像投影与病害空间定位的方法及系统，用于实现三维模型与二维展开图病害标注双视图联动、批量病害制图一体化输出等效果。

2、为了解决上述技术问题，采取下述技术方案：

3、一方面，本方案提供了一种三维基础设施图像投影与病害空间定位的方法，所述方法包括以下步骤：

4、s1：进行数据采集与预处理，采集基础设施结构表面的多视角实景照片，对实景照片进行空三处理来重建得到glb三维模型和ply三维模型，同时解算每张实景照片对应的相机参数文件，同时获取在实景照片上标注的病害数据：

5、s2：进行坐标系适配与虚拟相机构建，对相机参数进行解析，将空三坐标系转换为three.js标准坐标系，并根据解析得到的相机内外参来创建视角锥，构建出虚拟相机；

6、s3：进行三维模型投影，根据构建的虚拟相机遍历glb三维模型的所有顶点，计算生成各顶点的有效投影uv坐标和有效标志位，将实景照片纹理及病害标注纹理渲染贴合至三维模型表面；

7、s4：进行dzi展开图投影，计算ply三维模型在虚拟相机视角下的覆盖区域，输出遮挡前uv和遮挡后uv的数据，然后建立ply 栅格与 dzi 展开图的双向坐标映射关系，依托遮挡前uv和遮挡后uv的数据，分别完成病害匹配与纹理精准绘制，将照片纹理及病害标注投影在dzi 展开图上；

8、s5：进行双视图病害联动可视化及导出，对同一病害标注分别通过shadermaterial叠加方式在三维模型视图上展示、通过svg 图层叠加方式在dzi展开图视图上展示，最后对处理后的病害数据进行多格式标准化导出，导出文件数据为可交互svg、结构化csv及三维病害标记 json文件。

9、本方案面向桥梁、隧道、边坡等大型基础设施检测运维场景，通过多步骤协同的三维投影与病害定位方法，有效解决了传统基础设施病害检测存在的纹理投影错位、病害匹配遗漏、单视图展示局限、成果格式单一等技术缺陷，依托空三重建得到glb、ply双模型适配三维渲染与二维展开双场景需求，通过坐标系统一转换与虚拟相机构建，保障三维投影计算的精准性；同时创新性采用遮挡前、遮挡后双uv差异化运算机制，既规避模型遮挡造成的病害漏匹配问题，又保证纹理投影贴合精度，此外还结合仿射变换与栅格化绘制技术实现二维展开图高精度投影，搭配着shadermaterial色器材质三维叠加、svg图层二维叠加的双视图联动展示模式，实现病害标注空间对齐、同步可视化。最终自动输出可交互矢量图、结构化数据表与三维标记文件三类标准化成果，兼顾可视化查验、数据统计归档与三维场景复现需求，显著提升基础设施病害空间定位精度、展示效果与成果输出规范性。

10、优选地，在所述步骤s1中，所述空三处理为：将多视角实景照片通过运动恢复结构算法完成三维重建，得到用于三维显示与射线遮挡检测的glb三维模型和用于dzi展开坐标映射的ply三维模型。

11、通过基于运动恢复结构算法完成实景影像三维重建，差异化生成功能分工明确的两类三维模型，其中glb三维模型专门服务于三维显示与射线遮挡检测，保障三维投影遮挡判定精准可靠；ply三维模型专门适配dzi展开图坐标映射场景，实现二维展开纹理与病害的精准投影贴合。通过双模型分工适配，有效规避单模型兼顾多场景带来的精度损耗，从源头提升整体投影与病害定位精度。

12、优选地，在所述步骤s2中，所述创建视角锥包括：根据解析得到的内参计算视场角fov，完成禁用相机和无标定相机的过滤筛选；根据外参计算相机在世界坐标系的位置和朝向，完成视角锥空间范围界定。

13、上述步骤通过结合相机内外参实现视角锥精准构建与无效数据前置过滤，通过内参求解视场角fov，自动剔除禁用、无标定相机，提前筛除无效计算源，减少冗余运算与错误投影。同时依托相机外参精准解算相机空间位姿，精准界定视角锥有效覆盖范围，规范后续三维投影的计算边界，从而有效避免超视场、无效相机带来的投影偏差与计算误差，保障虚拟相机投影基准的准确性与稳定性，为后续模型可视区域筛选、uv精准计算提供可靠的前置基础。

14、优选地，在所述步骤s3中包括：对glb三维模型顶点依次执行背面剔除、透视投影、畸变校正、uv归一化、uv边界校验及射线遮挡检测，筛选得到有效投影uv坐标与有效标志位，仅对有效顶点完成纹理与病害标注的贴合渲染。

15、本步骤对glb三维模型顶点执行多环节预处理校验，依次完成背面剔除、畸变校正、射线遮挡检测等处理，筛选出有效投影uv坐标及有效标志位，仅针对有效顶点开展渲染。可消除背面、遮挡区域、畸变带来的投影误差，减少无效顶点渲染开销，提升纹理与病害标注贴合精度，同时降低渲染算力消耗。

16、优选地，所述畸变校正为融合径向畸变、切向畸变、仿射畸变的全参数正向耦合校正方式，对投影像素坐标进行归一化偏差补偿与反归一化还原，消除镜头畸变带来的投影偏移，得到高精度无畸变投影坐标。

17、通过融合径向、切向、仿射的多角度畸变实现全参数耦合校正，以及进行归一化偏差补偿及反归一化还原处理投影像素坐标，全面抵消镜头各类畸变引发的投影偏移，获取高精度投影坐标，提升二维照片向三维模型投影的像素对齐精度，减少纹理与病害标注错位问题，为后续坐标映射、双视图联动提供精准基础数据。

18、优选地，在步骤s4中，所述建立ply 栅格与 dzi 展开图的双向坐标映射关系包括：基于ply栅格单元行列索引、栅格整体尺寸、dzi展开图分辨率参数，通过线性映射方式完成三维ply栅格坐标向二维dzi展开图像素坐标的转换，构建可双向查询的坐标对应关系。

19、依托ply栅格行列索引、尺寸以及dzi展开图分辨率，采用线性映射实现三维栅格坐标与二维像素坐标转换，构建双向可查询的坐标关联体系，从而能够统一三维模型表面与二维展开图的坐标基准，保障病害标注、纹理数据在两个视图下能够精准对应，双向映射支持正反坐标快速换算，便于三维修改同步至二维展开图，也可实现二维标注反向定位三维模型，为双视图病害联动对齐提供稳定可靠的坐标支撑。

20、优选地，在所述步骤s4中包括：依托遮挡后uv将照片纹理通过仿射变换投影到dzi展开图上，依托遮挡前uv将病害与 ply 网格单元的的uv范围进行aabb重叠检测，建立病害-展开图单元的对应关系，将病害标注投影到dzi展开图上。

21、通过区分遮挡后uv、遮挡前uv分别处理纹理投影与病害匹配，采用仿射变换完成纹理投影，并借助aabb重叠检测实现病害与网格单元关联，上述通过分离纹理渲染和病害匹配的计算逻辑，兼顾了纹理显示精度与病害识别完整性，避免遮挡造成病害漏检，建立病害与展开图单元的绑定关系，保障病害标注在二维展开图中定位准确，支撑三维模型与dzi展开图的病害联动对齐，提升基础设施病害标注的可靠性。

22、优选地，所述依托遮挡后uv将照片纹理通过仿射变换投影到dzi展开图上包括：对每个ply网格单元的四角有效uv，计算三点仿射变换矩阵，接着对经过仿射变换矫正的ply栅格纹理区域进行canvas/webgl栅格化，从而将照片局部纹理投影到dzi展开图上。

23、该方式利用ply网格四角有效uv求解三点仿射变换矩阵，矫正纹理形变后借助canvas/webgl完成gpu并行栅格化绘制，将照片纹理投影至dzi展开图，能够消除曲面纹理拉伸扭曲问题，提升纹理贴合精度，依托gpu并行计算提升绘制效率，保障大尺度基础设施模型纹理展开绘制的实时性。

24、优选地，在步骤s5中包括：对dzi展开图上的全部病害标注进行自动去重、连通性分析与obb包围盒计算，完成病害数据优化后导出为可交互svg、结构化csv及三维病害标记json文件。

25、该步骤对病害标注执行自动去重、连通性分析及obb包围盒计算，实现病害数据规范化优化。多格式同步导出可交互svg、结构化csv与三维病害标记json文件，兼顾可视化浏览、数据统计归档与三维场景复用需求，减少人工整理工作量，适配基础设施检测报告编制与长期运维归档。

26、另一方面，本方案还提供了一种三维基础设施图像投影与病害空间定位的系统，所述系统包括：

27、数据采集与预处理模块，配置于数据采集与预处理层，用于采集实景照片，通过空三处理重建glb、ply三维模型，解算相机参数文件，获取json格式病害标注数据；

28、投影计算与映射模块，配置于投影计算与映射层，用于完成相机参数解析、空三坐标系与three.js标准坐标系转换、相机视角锥创建与虚拟相机构建，对glb模型顶点完成投影运算、畸变校正、遮挡检测，生成各顶点的有效投影uv坐标和有效标志位；

29、坐标映射与展开模块，配置于坐标映射与展开层，用于构建ply栅格与dzi展开图的双向坐标映射关系，求解ply网格单元的三点仿射变换矩阵，完成病害与栅格单元的aabb匹配绑定，建立病害-展开图单元的对应关系；

30、可视化与导出模块，配置于可视化与导出层，包括双视图可视化单元与多格式导出单元，用于实现三维视图与dzi展开图双视图病害联动展示，并对病害数据进行优化处理，最后导出为可交互svg、结构化csv、三维病害标记json标准化成果文件。

31、本系统采用分层模块化架构，面向桥梁、隧道、边坡等基础设施病害检测场景，弥补现有技术缺少工程适配、功能分散的不足，各模块职责清晰、协同配合，完整实现三维基础设施图像投影与病害空间定位全流程。数据采集与预处理模块完成影像重建、模型构建与病害数据归集；投影计算与映射模块统一坐标基准，结合畸变校正、遮挡检测输出精准的有效uv数据，保障像素级投影精度；坐标映射与展开模块搭建三维栅格和dzi展开图双向坐标关联，依靠仿射变换、aabb匹配实现纹理、病害精准映射；可视化与导出模块实现双视图病害联动对齐，自动优化病害数据并输出多类标准化文件。整套系统解决传统方案无法双视图联动、成果导出不便的痛点，减少人工比对与整理工作量，便于病害统计、成果归档及检测报告编制。

32、与现有技术相比，本发明的有益效果为：

33、1. 高精度投影

34、基于摄影测量解析的完整相机参数（含径向/切向/仿射畸变系数），实现了二维照片到三维模型的像素级精确投影，投影纹理几何误差低于1个像素级。

35、2. 双视图自动联动

36、同一个病害标注在三维模型表面和dzi展开图上自动对齐，无需人工比对。三维模型上的病害修改可通过uv映射同步到展开图，反之亦然。

37、3. 多照片叠加与去重

38、支持在同一三维模型位置叠加多张照片的投影；通过uv矫正程度最小化策略自动去重，保留最佳投影质量。

39、4. 轻量化交互导出

40、导出svg为可交互web页面（支持缩放、平移、缩略图导航），csv为结构化obb统计表，适配检测报告生成与归档需求。

41、5. 百万级三角网性能优化

42、通过aabb局部化过滤、bvh遮挡检测局部化、coverage缓存复用、uv空间索引稀疏化等机制，在百万三角网模型上实现流畅的实时投影交互。

43、6. 多投影组支持

44、通过projectiongroups机制支持同一个案例下的多个独立模型（如左右洞、上下行），每组拥有独立的照片、xml、glb/ply、dzi配置。