建筑三维点云的多层级纹理实例化查重及轻量化处理方法与流程

本发明涉及三维点云重建与计算机图形学，更具体的说是涉及一种建筑三维点云的多层级纹理实例化查重及轻量化处理方法。

背景技术：

1、建筑点云是数字孪生、智慧城市等领域的核心数据源，通常通过激光扫描或摄影测量技术获取。然而，原始建筑点云存在数据量庞大（单个建筑可达数十gb）、几何冗余度高（如墙面、屋顶等规则结构重复）等问题，导致其在web3d传输、移动设备渲染等轻量化场景中面临显著挑战。传统的建筑点云重建方法（如poisson表面重建、深度marching cubes）虽能生成高精度网格模型，但计算复杂度高且缺乏纹理信息，难以满足大规模场景的实时交互需求。

2、现有技术存在以下问题：

3、1.传统表面重建方法的局限性

4、（1）高计算成本：基于隐式场或深度学习的重建方法（如deep marching cubes）需消耗大量计算资源，难以处理大规模点云数据。

5、（2）纹理缺失：现有方法多聚焦于几何重建，忽视了建筑表面重复组件（如窗户、门、柱子）的纹理复用需求，导致模型缺乏视觉细节。

6、（3）模型冗余度高：直接生成的网格模型包含冗余三角面片（如墙面被划分为大量三角形），无法适配webgl等轻量化渲染框架。

7、2.建筑纹理重建的不足

8、（1）纹理图集效率低：传统纹理映射方法（如xatlas）将所有组件打包至单一图集中，但更新单个组件需重构整个图集，导致动态修改成本高昂。

9、（2）重复组件处理缺失：建筑立面中大量重复组件（如标准化窗户）未被统一建模，导致纹理数据冗余（如为每个窗户存储独立纹理）。

10、（3）视觉保真度与压缩率失衡：现有代理模型（proxy model）在降低数据量的同时，常牺牲纹理细节（如压缩率仅达50%时psnr<28db），无法满足视觉一致性要求。

11、3.大规模场景适配性差

12、（1）lod（细节层次）支持不足：传统方法生成的模型难以快速适配不同渲染需求（如web3d需极低多边形模型，而vr需高精度网格）。

13、（2）动态更新能力弱：现有代理模型的纹理与网格绑定紧密，修改局部组件（如更换窗户材质）需重构整个模型，限制了二次创作的可能性。

14、针对上述问题，学术界提出了一些改进方案：

15、几何简化：基于mesh decimation的网格简化方法（如qem误差驱动简化）可降低多边形数量，但破坏了建筑结构的规则性（如窗户边缘锯齿化）。

16、神经压缩：神经纹理压缩技术（如nerf）通过隐式表示减少数据量，但依赖高维向量存储，难以支持web端直接渲染。

17、纹理复用：部分工作（如adaptive texture atlas）尝试通过纹理分块复用优化存储，但未结合建筑组件的几何重复性特征。

18、因此，如何提供一种建筑三维点云的多层级纹理实例化查重及轻量化处理方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种建筑三维点云的多层级纹理实例化查重及轻量化处理方法，旨在解决上述技术问题。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种建筑三维点云的多层级纹理实例化查重及轻量化处理方法，包括以下步骤：

4、s1、对输入的大规模建筑点云进行预处理，利用b-seg网络完成粗粒度语义实例分割，划分建筑物与植被类别的实例；对建筑物实例采用自上而下的3d滑动窗口策略分割为独立子建筑单元，对植被实例结合密度聚类与局部最大值滤波分割为单株树木，实现粗到细的多粒度实例分割；

5、s2、通过非参数化几何特征编码器提取各细粒度实例的全局几何特征向量，经双向相似度验证判断实例间几何一致性，通过基于并查集的图分组方法将高相似实例划分为相似实例组，并选取各组的代表实例；

6、s3、针对各代表实例进行低多边形网格重建，生成结构简化的代理几何模型，并建立初始uv映射，形成纹理投影的基础网格结构；

7、s4、采用基于射线行进算法的双向投影策略，将体素化处理后的点云精确映射至纹理像素空间，生成颜色纹理图与位移纹理图；

8、s5、对颜色纹理图与位移纹理图分别进行组件级分割，通过多策略掩码融合优化分割结果；结合dall-e图像增强与sam重新分割，完成高鲁棒性的建筑立面组件检测；

9、s6、对组件掩码进行去重处理后，融合图像相似性与语义相似性计算组件综合相似度，按预设阈值完成组件分组并选取代表纹理，实现纹理级实例化；

10、s7、基于组件布局完成二维纹理空间的重新网格化，结合uv映射还原至三维空间；采用组件纹理独立存储方式记录uv空间相对坐标，构建解耦式纹理架构；

11、s8、构建包含低多边形网格、解耦式组件纹理及实例变换矩阵的轻量级带纹理代理模型，通过压缩率、psnr及ssim指标开展多视角重建质量评估，未达标则迭代调整参数，直至实现高压缩率与高视觉保真度的平衡。

12、进一步的，s1中，所述自上而下的3d滑动窗口策略的具体过程为：

13、为每个粗粒度建筑实例计算其有向包围盒，建立与建筑主轴方向对齐的局部坐标系；定义长宽与有向包围盒对齐的3d滑动窗口，从有向包围盒的顶部开始沿垂直方向自上而下逐层移动；在窗口移动到每一层时，提取该层内的点云数据并进行连通分量分析；通过跨层追踪与合并机制，将相邻层中空间位置重叠的连通分量连接起来，将整体建筑分解为多个独立的子建筑单元。

14、进一步的，s1中，对于密集森林点云，采用由干到冠的分割方法，具体步骤为：

15、首先用布料模拟滤波构建数字地形模型以分离地面；接着采用两阶段dbscan聚类结合ransac圆形拟合，在特定高度层检测并过滤出真实的树干；最后以树干为种子，通过高度加权的区域生长算法，将枝叶点云分配给对应的树干，完成单木分割。

16、进一步的，s2中，所述非参数化几何特征编码器提取全局几何特征向量的具体过程为：

17、对实例中的每个点的三维坐标进行点嵌入，通过正弦和余弦函数将其扩展为高维向量；计算实例的几何中心，对中心点进行同样的嵌入处理，再通过最远点采样和k近邻算法将中心点与其邻域点的特征进行融合与聚合；对所有点的特征进行最大池化和平均池化操作，并将两者结果拼接，生成固定长度的全局几何特征向量。

18、进一步的，s2中，所述双向相似度验证与图分组的具体过程为：

19、计算所有实例全局几何特征向量之间的余弦相似度，仅当两个实例相互之间的相似度均超过预设阈值时，判定为有效匹配；基于验证结果构建相似图，其中节点代表实例，边代表有效匹配关系；采用基于并查集的图分组方法，将所有通过边连接的实例聚合为多个互不连通的相似实例组；每个相似实例组内综合考量实例的完整性、点云密度和几何清晰度，选取结构最完整、细节最丰富的实例作为代表实例。

20、进一步的，s3中，所述低多边形网格重建的具体过程为：

21、对输入的rgb建筑点云执行ransac平面分割，通过随机采样一致性算法识别点云中的主导平面结构，生成候选面片；基于提取的关键平面，采用polyfit方法进行网格重建，通过平面间的两两相交关系分析生成封闭的多边形边界，构建无冗余边界的流形多边形表面模型，同时通过优化顶点索引和边连接关系确保网格拓扑的连通性与完整性；利用xatlas工具对低多边形网格进行初步纹理映射，生成初始纹理图集。

22、进一步的，s5中，所述增强组件检测与掩码融合的具体过程为：

23、将点云信息投影为颜色纹理与位移纹理两种基础纹理，其中颜色纹理为将点云的rgb颜色信息通过体素化投影到网格表面生成的连续颜色纹理图，位移纹理为计算点云与网格表面的垂直高度差生成的纹理图；

24、利用segment anything model分别对颜色纹理、位移纹理及dall-e生成的增强纹理进行分割，生成对应初始掩码；

25、通过基于对称性保留、颜色与位移掩码共现以及潜在对称性判断的三种融合条件，合并多组掩码生成初步融合掩码集，并通过形态学操作去除小面积噪声掩码；

26、将融合掩码作为输入提示引导dall-e生成更高分辨率的增强纹理，对增强纹理再次应用segment anything model进行高精度分割，生成优化掩码；将优化掩码与融合掩码集进行iou匹配，替换重叠度高于阈值的旧掩码，得到最终高精度组件掩码。

27、进一步的，s6中，所述组件掩码去重与相似性分组的具体过程为：

28、对每个组件掩码计算其几何中心、面积及最小外接矩形，完成掩码矩形化；遍历所有掩码对计算iou值，若iou超过预设阈值则标记较小掩码为冗余并剔除；

29、对每个组件对应的纹理图像应用感知哈希算法生成64位二进制指纹，计算任意两组件指纹的汉明距离得到图像相似性；利用gpt-4生成组件的语义标签，并通过clip模型将标签嵌入为向量，计算向量间的余弦相似性得到语义相似性；

30、加权融合图像相似性与语义相似性得到综合相似度评分，设定相似性阈值，将高于阈值的组件归为一组；每组组件选择细节最丰富的纹理作为代表纹理，将代表纹理的uv坐标映射至组内所有组件的对应位置。

31、进一步的，s7中，所述重新网格化与组件纹理独立存储的具体过程为：

32、提取纹理图像的组件掩码轮廓作为四边形网格的边界，构建二维四边形网格；采用基于chew算法的约束delaunay三角剖分将四边形网格转换为三角网格，设置最大三角形面积阈值和最小内角约束，避免狭长三角形导致的几何失真；

33、通过预定义的3d网格到2d纹理映射关系，基于重心插值计算二维三角网格顶点在三维空间中的坐标，拼接生成完整的建筑三维网格模型；

34、单独存储每个组件的纹理文件，计算组件顶点在二维纹理中的相对位置，通过哈希表存储组件纹理与顶点索引的映射关系，支持组件纹理的局部替换与动态加载。

35、进一步的，s8中，所述重建质量评估与迭代优化的具体过程为：

36、采用多视角渲染对比方式，计算压缩率、psnr和ssim量化指标，验证重建代理模型与原始点云的视觉一致性；

37、若评估结果未达标，通过调整sam分割参数、优化dall-e文本提示词、调整组件相似性阈值及权重的方式进行优化；

38、通过多轮迭代逐步优化，当连续两次迭代指标变化率小于1%时判定收敛；当压缩率≥90%且psnr≥30db、ssim≥0.9时，输出最终代理模型；若超过最大迭代次数仍未达标，则标记该建筑为非传统建筑，采用更高分辨率纹理或引入神经纹理优化策略。

39、相较于现有技术，本发明通过rgb颜色纹理、位移纹理与dall-e增强纹理的多模态融合，精准检测建筑立面中的重复组件（如窗户、门），并生成共享纹理；将组件纹理独立存储而非整合至单一图集，通过局部uv坐标映射实现组件的灵活替换（如仅修改某楼层窗户纹理）；采用综合相似性评分（图像相似性+语义相似性）进行组件分组，结合双向光线追踪与体素化对齐，使代理模型压缩率≥90%且psnr≥30db。