一种基于协同式分块训练的三维高斯泼溅重建方法与流程
本发明涉及三维重建,具体涉及三维高斯泼溅重建。
背景技术:
1、在大规模城市建筑群或建筑综合体的实景三维重建场景中,当三维高斯泼溅重建所需处理的场景范围超出单节点显存容量时,常规技术手段通常采用固定空间网格对场景进行预先分块,各分块内的三维高斯基元被分配至不同计算节点独立完成训练优化,训练完成后再将各分块结果拼接合并为完整场景。该技术手段能够将大规模重建任务分解为多个可并行执行的子任务,从而在有限单节点显存约束下实现城市级场景的重建。然而,固定网格分块方式未考虑场景内容本身的空间复杂度分布,对建筑立面密集、几何细节丰富的区域与开阔地面、天空等稀疏区域采用同等大小的分块,导致部分分块内高斯基元数量远超其余分块,训练耗时与显存占用严重不均衡,整体重建效率受限于负载最重的分块,造成计算资源闲置浪费。
2、针对上述问题,已有相关技术尝试从不同角度进行改进。例如,面向多节点并行加速的高斯泼溅训练方案主要关注梯度同步与通信开销压缩,以缩短单位迭代的墙钟时间;分块拼接类方法对场景边界区域的训练相机采取非此即彼的硬性归属划分,每个相机视角仅被分配给单一分块;拼接阶段的外观一致性处理则作为训练完成后的离线后处理步骤单独执行,通过对相邻分块进行一次性仿射校正来缓解拼接痕迹。
3、但上述方案仍存在以下不足:并行加速方案缺乏在训练过程中识别负载瓶颈并动态重新划分计算资源的能力,只能被动等待最重节点完成;边界相机硬性归属导致边界区域在两侧分块中均得不到充分的多视角观测约束,引发空洞、重影或漂浮伪影;离线外观一致性处理未与分块训练过程形成闭环反馈,当边界几何不连续超出色调校正范围时,需人工介入或重新训练整体场景,工程实施成本较高。
4、分析可知,上述不足中的至少部分根源在于:分块策略与训练过程缺乏对场景内容复杂度分布的自适应能力,使得分块粒度无法与实际重建难度相匹配;同时,边界区域的一致性约束与训练过程相互分离,未能在训练阶段内部形成有效的闭环反馈机制。上述根源导致分块间训练负载严重不均衡、整体训练效率下降,以及分块拼接边界处存在几何与外观不一致问题。因此,如何缓解或消除上述问题,成为了亟待解决的技术问题。
技术实现思路
1、为至少在一定程度上克服相关技术中存在的问题,本申请提出了一种基于协同式分块训练的三维高斯泼溅重建方法,基于场景内容复杂度分布进行分块训练,并在分布式并行训练过程中建立子块间的协同约束,以得到分块边界一致的全局三维高斯场景。
2、本申请提供了一种基于协同式分块训练的三维高斯泼溅重建方法,应用于包含多个计算节点的分布式系统,该方法包括:
3、对输入的多视角影像执行运动恢复结构解算,得到各影像的相机内外参数与稀疏点云,并基于所述稀疏点云与所述相机内外参数,计算场景包围盒并生成空间复杂度评分图;
4、依据所述空间复杂度评分图,对所述场景包围盒执行递归空间划分,使得到的各子块的预期高斯基元数量趋向预设的目标高斯基元数量,并在每对相邻的子块之间生成重叠缓冲带,根据各相机的视锥覆盖范围,在相机视锥与子块及其重叠缓冲带存在交集时,将该相机纳入该子块的训练监督集合,生成各子块对应的训练相机监督集合;
5、针对每个子块,将由所述稀疏点云初始化得到的该子块高斯基元参数与该子块对应的训练相机监督集合分发至一个计算节点,由该计算节点对该子块内的高斯基元执行迭代优化训练,并将训练过程中落入重叠缓冲带内的高斯基元标记为共享候选状态;
6、在所述迭代优化训练过程中,每隔预设迭代次数,对每对相邻子块,交换该对子块之间重叠缓冲带内处于共享候选状态的高斯基元的只读副本,在该对子块之间重叠缓冲带内以空间邻近为条件选取锚点配对,基于所述锚点配对计算边界一致性损失,并将所述边界一致性损失分别并入该对子块各自迭代优化训练的总损失,梯度仅回传至各自本地高斯基元参数;
7、当各子块收敛后,对各子块内的高斯基元执行跨块无缝融合与全局一致性精修处理,得到全局三维高斯场景。
8、一些可能的实施方式中,还包括:
9、在所述迭代优化训练过程中,以固定周期监测各子块的负载度量,当负载失衡超出预设范围时,对负载度量最高的子块,沿该子块内部复杂度评分方差最大的坐标轴执行切分,并对负载度量持续偏低且空间相邻的子块执行合并,更新后子块继承原子块对应空间范围内的高斯基元参数,并将更新后子块各自重新分配至一个计算节点,继续执行迭代优化训练。
10、本申请提供的技术方案中,以空间复杂度为导向进行分块,使各子块的预期基元规模趋于均衡,从而缩小各节点的训练耗时差异,减少因单一重载节点而导致的被动延宕,提升训练资源的利用效率。各相邻子块之间生成重叠缓冲带,使边界区域的地物可被分界两侧的相机共同观测,高斯基元的位置与透明度估计由此受到多方向约束,边界处的定位偏差得到抑制,相应减少该处的空洞与漂浮伪影。迭代优化过程中,通过周期性交换只读副本与锚点配对建立弱耦合,使边界两侧的高斯基元在空间位置与颜色上逐渐趋向一致,交界区域的几何断裂或颜色跳变被控制在较小范围内,为后续融合提供参数对齐基础。收敛后执行跨块融合与全局精修,重叠缓冲带内冗余基元被合并,相邻子块间的曝光与色调偏差得到校正,边界锚点邻域内残存的细微差异被进一步消除。最终输出的全局三维高斯场景在分块边界处具有连续的几何结构与一致的外观表现。
1.一种基于协同式分块训练的三维高斯泼溅重建方法,应用于包含多个计算节点的分布式系统,其特征在于,包括:
2.根据权利要求1所述的三维高斯泼溅重建方法,其特征在于,还包括:
3.根据权利要求2所述的三维高斯泼溅重建方法,其特征在于,切分后的两个新子块重新生成各自的重叠缓冲带,并重新判定各相机的归属,负载闭环的触发重置局部区域的边界闭环状态。
4.根据权利要求1所述的三维高斯泼溅重建方法,其特征在于,所述生成空间复杂度评分图包括:将所述场景包围盒在水平方向上划分为规则栅格单元,对每个栅格单元统计其内部稀疏点云密度、影像纹理梯度方差以及可观测该栅格单元的相机数量,将三项指标按预设权重加权融合为该栅格单元的空间复杂度评分。
5.根据权利要求1所述的三维高斯泼溅重建方法,其特征在于,所述递归空间划分包括:每次沿累计复杂度评分最大的坐标轴方向,选取使两侧子区域复杂度评分总和最接近的切分位置进行切分;对复杂度评分持续高于预设阈值且预期高斯基元数量仍超出所述目标高斯基元数量预设倍数的子块继续递归切分,直至全部子块的预期高斯基元数量落入所述目标高斯基元数量的预设区间。
6.根据权利要求5所述的三维高斯泼溅重建方法,其特征在于,所述重叠缓冲带的宽度根据训练相机的平均视锥深度与场景典型建筑面宽确定,取两个预设比例分别与所述平均视锥深度和所述场景典型建筑面宽乘积中的较大值,使重叠带内的地物在正常拍摄条件下至少能被分界两侧的相机共同观测到。
7.根据权利要求1所述的三维高斯泼溅重建方法,其特征在于,所述边界一致性损失由锚点一致性损失和法向一致性项构成,所述锚点一致性损失为配对高斯基元的位置差的平方与颜色差的平方之和取平均,所述法向一致性项基于渲染深度图反推的法向计算得到。
8.根据权利要求7所述的三维高斯泼溅重建方法,其特征在于,所述选取锚点配对包括:在所述重叠缓冲带内选取空间距离小于预设阈值且法向估计相近的高斯基元对作为锚点配对。
9.根据权利要求1所述的三维高斯泼溅重建方法,其特征在于,所述跨块无缝融合与全局一致性精修处理包括:对重叠缓冲带内的高斯基元执行去重或加权融合,对全部相邻子块执行曝光色调校正,并对边界锚点邻域进行限定轮次的联合微调。
10.根据权利要求9所述的三维高斯泼溅重建方法,其特征在于,
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com