用于场景表面重建的GeoSemantic-GS框架及应用

本发明涉及计算机模型，具体涉及到一种用于场景表面重建的geosemantic-gs框架及应用。

背景技术：

1、随着数字孪生、智慧城市、实景三维以及建筑资产数字化等工程应用的快速演进，从多视角图像中高效重建高保真、轻量化的三维场景已成为计算机视觉与图形学领域的核心诉求。传统的神经辐射场（nerf）通过隐式体积渲染在新视角合成任务上取得了突破性进展，但其庞大的多层感知机查询开销严重制约了训练效率与实时渲染能力。近年来，三维高斯泼溅（3dgs）作为一种显式辐射场表征范式，凭借其可微光栅化技术，在保持甚至超越nerf渲染质量的同时，实现了实时的渲染帧率。这种兼具高保真与高效率的特性，使其在工业级大尺度场景的三维数字化中展现出巨大的应用潜力。

2、然而，将现有3dgs技术直接应用于复杂真实场景的结构化重建时，仍至少存在以下三个关键的技术瓶颈：

3、第一，基元表征的非结构化与几何冗余问题。原始3dgs采用三维体积椭球体进行场景建模，这种无序且缺乏物理表面定义的离散点云在表达人工建筑（如大面积平整墙面、地面）时，会产生数以百万计的冗余基元。这不仅导致极高的显存与存储开销，还会在纹理匮乏区域引发严重的表面畸变与深度噪声。

4、第二，现有几何正则化策略的“全局盲目性”问题。为改善表面质量，部分现有研究尝试引入二维表面元或平滑正则化项以约束高斯基元的分布。然而，这些方法通常采用全局且各向同性的约束策略，无法感知场景的底层物理拓扑。对整个场景施加统一的平滑约束，往往在修复平坦区域的同时，不可避免地抹除了高频的几何特征（如雕花、窗棂），难以在平滑度与细节保真度之间取得有效平衡。

5、第三，对动态干扰物的脆弱性问题。真实世界的无约束数据采集不可避免地包含行人、移动车辆等动态干扰物。缺乏时空一致性筛查机制的现有3dgs方法，会将这些瞬态物体错误地拟合为永久性的漂浮伪影，严重破坏数字资产的几何纯净度。

6、针对上述表面重建中的几何精度与效率问题，现有技术已进行了一系列探索。例如，部分研究尝试引入对齐损失或单目深度与法线先验，旨在将弥散的基元锚定至真实的物理表面；另一些研究则通过基于锚点的表征进一步提升了稀疏观测下的几何稳定性。为了从根本上消除三维椭球体表征带来的“厚度膨胀”缺陷，后续研究推动了向二维高斯表面元的范式演化，利用射线-表面元相交与无偏深度渲染技术，确保了多视角下拓扑的一致性与保真度。针对大规模建筑场景的复杂性，部分现有技术利用多视角一致性判据实现了高效的基元密度管理，或引入结构化几何约束以强化城市环境中平面的规整性。

7、然而，上述现有技术的共同局限性在于：其几何正则化策略通常是全局且各向同性的，依赖于光度一致性或预训练的深度估计模型，对整个场景施加统一的平滑约束。这使得它们无法自适应地应对真实世界中极端不均衡的几何复杂度，在修复平坦区域与保留高频几何细节之间存在固有矛盾。

8、另一方面，在语义与辐射场的融合方面，现有技术已将对比语言-图像预训练模型、分割任意物体模型等视觉基础模型的能力迁移至三维辐射场。早期研究工作证明了神经辐射场能够通过多视角一致性约束实现语义标签在三维隐式空间中的稳健传播。随后，部分研究通过在nerf中嵌入高维clip特征，实现了基于自然语言指令的三维空间查询。随着3dgs技术的发展，研究重点进一步转向利用高斯基元的显式表征来承载复杂的语义特征，例如结合sam的掩码预测实现高斯基元的实例级解耦，或采用特征蒸馏技术将二维视觉特征高效压缩至高斯基元属性中。

9、然而，上述语义辐射场现有技术的局限性在于：其研究主要聚焦于“语义特征提升”，即如何将二维基础模型提取的特征无损地映射至三维空间以支持下游的分割或检索任务。在这些框架中，语义标签仅仅被视为依附于几何表征的额外属性，并未反向参与或干预底层几何的优化与重构过程。此外，传统的视觉基础模型主要执行像素级模式匹配，缺乏对场景三维物理属性（如表面平整度、空间结构朝向）的深层逻辑推理能力。

10、综上所述，现有技术在进行场景表面重建时，尚缺乏一种能够突破传统底层几何优化局限、有效融合宏观结构先验与物理常识的方案，难以在复杂细节保留与大面积平面精简之间达成最优平衡，也无法主动利用语义信息指导几何重构过程。因此，本领域亟需一种新型的高保真且轻量的场景表面重建框架。

技术实现思路

1、本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种用于场景表面重建的geosemantic-gs框架及应用。

2、为实现上述目的，本发明采用的技术方案如下：用于场景表面重建的geosemantic-gs框架，包括：

3、语义先验生成模块，其用于接收多源感知数据流，将所述数据流转化为先验集合，并输出多模态语义先验和物理语义先验；

4、时空滤波密度调控模块，其输入端连接至所述语义先验生成模块的输出端，用于接收所述多模态语义先验和物理语义先验，并结合语义掩码与多视角一致性评估，对动态干扰数据进行屏蔽与剔除，同时自适应地管控基元密度以遏制冗余基元生长，输出经过动态干扰剔除与密度优化后的表征数据；

5、非对称高斯生成模块，其输入端分别连接至所述语义先验生成模块的输出端以及所述时空滤波密度调控模块的输出端，用于接收所述多模态语义先验、物理语义先验以及所述经过优化后的表征数据，并基于二维高斯表面元表征执行由多模态语义驱动的非对称高斯表面参数优化，输出生成的三维空间数据；

6、激光视觉深度融合模块，其输入端连接至所述语义先验生成模块的输出端，并且其输出端连接至所述非对称高斯生成模块的输入端，用于向所述非对称高斯生成模块提供物理级的几何锚定。

7、进一步的，语义先验生成模块包括：

8、多粒度场景解构单元，用于将多源感知数据流转换为具有空间嵌套关系的树状数据结构；其包括多粒度掩码生成子单元和关联树构建子单元，所述多粒度掩码生成子单元用于提取跨粒度的掩码集合；所述关联树构建子单元用于基于面积包含度函数判定掩码间的父节点关系构建空间关联树；

9、多模态物理属性推理单元，与所述多粒度场景解构单元相连接，用于接收所述关联树并对其每个节点生成结构化先验；其包括联合输入构造子单元，用于为每个节点生成包含全局三维空间的概率分布特征、局部空间邻域的密度场参数及位姿元数据的提示；

10、属性推理解码子单元，利用qwen3.5多模态大模型输出高斯表面元的构化属性数据；

11、语义传播子单元，沿所述关联树的父子边执行自上而下的高置信度先验继承，修正底层节点的推断结果；

12、并且，所述多粒度场景解构单元为所述多模态物理属性推理单元提供空间骨架与拓扑约束，所述多模态物理属性推理单元为所述多粒度场景解构单元注入语义先验，两者协同输出结构化先验，所述结构化先验以所述关联树为索引，且所述关联树中的每个节点携带有多模态属性集合。

13、进一步的，多粒度掩码生成子单元被配置为：采用semantic-sam零样本分割模型，提取跨越宏观到微观的六个粒度层级的掩码集合，所述掩码集合记为；

14、所述关联树构建子单元被配置为：构建多粒度空间关联树，其中，顶点集对应掩码集合；

15、对于任意两个掩码与，有向边的权重为面积包含度函数：

16、；

17、式中，表示掩码的像素面积测度；为掩码与的交集区域；为预设的面积包含度判定阈值，当且仅当且所属的层级高于时，确立为的直接父节点。

18、进一步的，联合输入构造子单元被配置为：对于关联树中的任意节点，构建包含全局参照与局部细节的联合输入提示；其中，提供三维空间的全局空间参考，为基于提取的背景置零的局部空间特征集，为从关联树中提取的面积比例与父节点标识；

19、属性推理解码子单元被配置为：将所述联合输入提示输入至参数规模为9b的qwen3.5多模态大模型，执行条件概率最大化，以获得结构化属性特征集：

20、；

21、式中，为获得的所述最优结构化属性特征集，其对应的输出结构化属性特征集记为；为候选结构化属性特征集；为所述联合输入提示；为qwen3.5的预训练参数；为条件概率分布函数；、、、为高斯表面元的构化属性数据；

22、语义传播子单元被配置为：利用关联树的拓扑连通性，对微观层级节点执行马尔可夫式属性覆盖，其中：若子节点的父节点满足且置信度，则令子节点直接继承父节点的物理平整度先验。

23、进一步的，时空滤波密度调控模块包括：

24、语义掩码与梯度截断单元，被配置为：基于从多模态语义先验中获取的时序采样数据，利用qwen3.5模型对特征空间中的数据点进行瞬态干扰判定，生成时空一致的二进制屏蔽掩码，该；

25、在3d高斯泼溅的可微渲染与反向传播阶段，将所述掩码直接作用于光度损失函数，计算屏蔽后光度损失函数：

26、；

27、式中，为时空一致的二进制屏蔽掩码；为原始光度损失函数；表示哈达玛乘积；

28、密度管控单元，其输入端与所述语义掩码与梯度截断单元的输出端连接，用于接收经掩码屏蔽后的干净渲染特征及对应的光度残差信息，并被配置为执行多视角光度残差累计稠密化和执行渲染贡献度感知的基元修剪。

29、进一步的，执行多视角光度残差累计稠密化包括：对于空间中的任意候选高斯基元，在训练过程中随机采样个空间观测位姿参数点；计算该基元在其投影足迹内的多视角平均光度残差贡献：

30、

31、式中，为随机采样的空间观测位姿参数点数量；为空间观测位姿参数点索引；为投影足迹内的投影数据采样点；为所述候选高斯基元的投影足迹；为示性函数；为第个视点下像素归一化后的高误差分布掩码；为误差敏感度阈值；为第个空间观测位姿参数点下投影数据采样点的光度重建误差；为稠密化阈值，仅当累计残差严格大于稠密化阈值时，触发基元分裂；

32、将物理语义先验引入为非对称阈值调节器：对被判定为flat_surface的区域执行惩罚性阈值上调，以抑制平面区域的基元生长；而对complex_geometry区域维持原生阈值，以捕捉高频几何细节。

33、进一步的，执行渲染贡献度感知的基元修剪包括：定义每个高斯基元对全局多视角重建质量的综合影响因子：

34、；

35、式中，为非线性归一化算子；为随机采样的空间观测位姿参数点数量；为空间观测位姿参数点索引；为投影足迹内的投影数据采样点；为候选高斯基元的投影足迹；为示性函数；为第个空间观测位姿参数点下投影数据采样点归一化后的高误差分布掩码；为误差敏感度阈值；为第个空间观测位姿参数点下投影数据采样点的光度重建误差；为预设的修剪阈值；当基元的贡献度低于预设的修剪阈值时，执行强制剔除。

36、进一步的，非对称高斯生成模块包括：二维高斯表面元表征单元，被配置为：在三维空间中采用降维的2d高斯表面元，使每个表面元退化为一个定向的平面圆盘；其中，第个高斯表面元的几何状态由中心点、法线向量、二维尺度向量以及由两条正交切向量构成的局部坐标系联合定义；

37、其对空间中任意点的影响分表示为：

38、；

39、式中，为第个高斯表面元的中心点；为第个高斯表面元的旋转矩阵，且，其第三列严格对应于表面元的法线向量；为扁平化协方差矩阵的逆矩阵，且，其中和为二维尺度向量的分量，为极小的正数，用于代表表面元厚度以保证协方差矩阵的可逆性与数值稳定性；

40、定向平面正则化单元，其输入端与所述二维高斯表面元表征单元的输出端连接，用于获取每个表面元的法线向量及语义标签，并被配置为：引入全局重力方向，依据语义类别构建定向硬约束算子，对垂直表面元施加正交约束，对水平表面元施加平行约束；

41、计算定向平面正则化损失函数：

42、；

43、式中，为高斯表面元的集合；为高斯表面元的索引，且；为第个高斯表面元的语义掩码权重；为第个高斯表面元的物理平整度置信度；为依据语义类别构建的定向硬约束算子；

44、约束松弛与拓扑细节保护单元，其第一输入端与所述二维高斯表面元表征单元的输出端连接以获取几何状态参数及辐射属性，其第二输入端与所述定向平面正则化单元的输出端连接以获取定向平面正则化损失函数和平整度置信度，其第三输入端接收多视角光度误差信号、结构相似性损失函数以及局部法线一致性损失函数；该单元被配置为构建联合目标函数：

45、；

46、式中，为所述定向平面正则化损失函数；为用于平衡光度误差损失与结构相似性损失的预设权重系数；为用于控制局部法线一致性约束强度的损失权重；为用于调节平面正则化约束强度的损失权重系数；

47、对于被多模态大模型判定为complex_geometry的构件区域，利用其对应的平整度置信度自发阻断项对该区域的影响，使该区域的高斯基元摆脱正交/平行约束，完全受多视角光度误差驱动；对于非复杂几何区域则维持完整的平面正则化约束。

48、进一步的，激光视觉深度融合模块包括多源点云配准与几何属性联合初始化单元，被配置为：将colmap估计的视觉稀疏点云与lidar密集点云统一对齐至绝对度量坐标系中，构建融合点云集合；对于集合中的任意点，利用其局部空间邻域构建协方差矩阵：

49、；

50、式中，为融合点云集合中的任意点；为点的局部空间邻域；||为所述局部空间邻域中的邻域点数量；为所述局部空间邻域内的邻域点；表示矩阵或向量的转置操作；

51、通过主成分分析（pca），选取最小特征值对应的特征向量作为初始法线向量，并构建旋转矩阵，使其局部轴严格平行于法线；同时，将高斯表面元的初始二维尺度向量约束为：

52、；

53、式中，和为初始二维尺度向量的尺度分量；为所述局部空间邻域中的邻域点数量，且满足；为所述融合点云集合中的任意点；为所述局部空间邻域内的邻域点；表示范数；

54、强制剪枝单元，其输入端与所述多源点云配准与几何属性联合初始化单元的输出端连接，并在训练过程中定期接收当前所有高斯基元的中心点位置，被配置为：计算空间中每个基元中心到lidar物理表面点云的最短绝对欧氏距离：

55、；

56、式中，为当前第个高斯基元的中心点位置向量；为lidar物理表面点云中的参考点位置向量；为所述lidar物理表面点云；表示范数；

57、基于该最短绝对欧氏距离，定义硬性空间淘汰指示函数：

58、；

59、式中，为示性函数；为预设的物理容忍阈值；一旦，框架无视该基元对多视角光度残差的贡献，执行强制删除操作。

60、根据上述的用于场景表面重建的geosemantic-gs框架的应用，将所述geosemantic-gs框架应用于复杂真实场景的结构化重建，生成结构化3d高斯场景模型。

61、与现有技术相比，本技术的技术方案具备以下有益效果：

62、1、显著提升重建精度与物理真实性：本技术通过深度集成qwen3.5模型的高阶空间感知与因果推理能力，框架能够以零样本方式在二维投影空间中进行空间坐标解算，精准解析构件在atlanta-world模型下的空间朝向、遮挡关系及物理平整度本质（绝对平面vs.复杂拓扑）。该解析结果作为显式先验注入后续生成过程，从根本上避免了传统方法仅依赖几何特征或简单标签匹配所导致的朝向歧义与几何失真，使几何表面更贴合真实物理结构。

63、2、实现“宏观平整、微观保真”的自适应生产：本技术框架创新性地将语义先验转化为非对称正则化权重矩阵：对判定为平坦的区域施加严格的平行/正交约束，实现基元压平与自适应裁剪，有效抑制冗余基元在平整表面的增殖；对复杂细节区域释放几何约束，保留基元捕捉高频拓扑的自由度。该机制突破了传统全局平滑正则化“一刀切”的局限，在保证大尺度结构简约纯净的同时，不损失甚至增强局部细节的还原能力。

64、3、大幅压缩三维基元数量，提升表征紧凑度：本技术得益于非对称优化与多视角密度管控（融合光度残差与语义置信度的自适应基元增删策略），geosemantic-gs框架在不牺牲渲染质量的前提下，将场景的三维基元数量压缩了数个数量级。这显著降低了内存开销与计算复杂度，为大尺度数字孪生场景的高效存储、传输与实时渲染提供了基础。

65、4、有效消除动态干扰物引起的几何伪影：本技术的框架设计了时空滤波密度调控模块，在训练初始阶段通过特征级梯度截断排除瞬态干扰源的负面影响。相比传统方法依赖后期过滤或鲁棒损失函数，该机制从源头阻止了瞬态物体对几何参数估计的污染，显著提升了静态结构的表征精度与稳定性。

66、5、支持工业级绝对精度要求（可插拔lidar模块）：本技术框架针对配备激光雷达的多模态数据，提供基于切平面距离与基元各向异性形状联合惩罚的高精度扩展模块。该模块有效消除了单目或弱监督方法中常见的绝对尺度几何漂移，满足了工业数字孪生、建筑测绘等领域对物理尺度精度的严苛需求，且该模块可根据数据源灵活插拔，具备良好的扩展性。

67、6、实现高自动化、高效率的语义属性分配：本技术利用多粒度空间关联树与qwen3.5的层级拓扑传播机制，框架能够将多模态语义先验中解析出的物理平整度与结构朝向先验，沿树结构自上而下自动传播至所有子节点。该过程无需人工逐构件标注，大幅降低了大规模场景重建中语义属性获取的成本与时间，实现了端到端的自动化先验生成。