基于概率分布重塑的高光表面三维几何重建方法及系统
本发明属于计算机视觉与计算机图形学领域,尤其涉及基于概率分布重塑的高光表面三维几何重建方法及系统。
背景技术:
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
2、目前,多视角三维重建方法主要包括传统多视图立体方法、基于神经辐射场的方法以及基于三维高斯泼溅的方法。其中,传统多视图立体方法依赖多视角之间的光度一致性假设,通过像素匹配恢复深度信息;基于神经辐射场的方法通过神经网络对场景进行隐式建模,能够实现高质量的视角合成;而三维高斯泼溅方法则通过显式表示三维高斯基元,实现高效的实时渲染。
3、但在实际应用过程中,尤其是在金属、光滑陶瓷等具有高光或镜面反射特性的物体表面,由于反射强烈依赖于观察视角,不同视角下同一位置的光度信息存在显著差异,从而导致传统基于光度一致性的三维重建方法难以获得稳定可靠的几何结构。在三维高斯泼溅框架中,通常由算法自动优化高斯基元的位置、形状以及不透明度等参数,以拟合多视角图像。然而,在高光区域中,由于视角相关的光照变化,会导致不同视角之间产生光度冲突,从而影响优化过程的稳定性。
4、因此,对于高光表面三维重建而言,仅依赖传统光度一致性约束方法难以获得稳定且准确的几何结果。现有方法虽然能够通过表面正则化、法线约束或隐式几何先验提高整体几何一致性,但对于高光区域中沿成像射线产生的概率质量偏移、峰值漂移以及长尾分布等现象仍缺乏针对性的显式约束。
技术实现思路
1、为克服上述现有技术的不足,本发明提供了基于概率分布重塑的高光表面三维几何重建方法及系统,能够缓解高光区域的峰值漂移、长尾分布和几何向内坍塌问题,进而能够在保证计算效率的同时,从概率分布建模和物理渲染机制的角度出发,对高光区域的三维重建过程进行有效约束,提高几何重建精度并保持表面几何一致性。
2、为实现上述目的,本发明的一个或多个实施例提供了如下技术方案:
3、本发明第一方面提供了基于概率分布重塑的高光表面三维几何重建方法。
4、基于概率分布重塑的高光表面三维几何重建方法,包括:
5、获取待重建目标的多视角图像,并初始化目标场景的三维高斯基元集合;基于所述三维高斯基元集合进行可微渲染;根据经过同一相机射线的三维高斯基元参与渲染时的不透明度和透射率计算离散体渲染权重,并将所述离散体渲染权重表征为沿射线方向的概率质量分布;
6、根据概率质量分布的中位深度和有效深度区间,构建带有非对称截断边界的教师目标分布,并对射线方向的长尾概率分布进行非对称空间蒸馏;根据蒸馏后的权重确定渲染法线参考目标,并对处于高置信表面区间内的高斯基元进行法线校正;
7、根据渲染颜色图与真实图像之间的光度残差生成自适应调制权重,并利用所述自适应调制权重调节空间蒸馏损失和法线校正损失;采用基于微表面反射模型构建的镜面外观分支预测镜面颜色,并通过联合优化三维高斯基元参数,输出高光表面的三维几何模型。
8、进一步地,所述离散体渲染权重,表示为:
9、;
10、其中,为第个三维高斯基元的渲染权重;表示第个三维高斯基元在当前射线上的不透明度贡献,表示第个三维高斯基元前方基元的累计透射率。
11、进一步地,所述概率质量分布中,每一个三维高斯基元的权重由自身不透明度与其前方高斯基元的累计透射率相乘得到,渲染深度为各高斯基元深度按照权重加权求和得到的期望深度。
12、进一步地,所述非对称空间蒸馏,包括:根据射线方向上的权重分布确定中位深度,以中位深度为中心构建教师目标分布,并通过非对称截断函数抑制位于主表面之后的非物理长尾概率质量;对教师目标分布归一化后得到目标深度,以渲染深度与目标深度之间的距离作为空间蒸馏损失。
13、进一步地,对处于高置信表面区间内的高斯基元进行法线校正,包括:依据经蒸馏后的高斯权重对参与渲染的高斯基元法线进行加权平均,得到渲染法线参考目标;基于教师目标分布为高斯基元分配置信权重,对且仅对位于有效表面区间内的高斯基元施加法线一致性损失。
14、进一步地,所述自适应调制权重由渲染颜色与真实颜色之间的光度残差经非线性映射得到;当光度残差超过预设第一残差阈值时,提高空间蒸馏损失和法线校正损失的权重,以增强高光区域几何约束;当光度残差低于预设第二残差阈值时,降低几何约束权重,以避免对漫反射区域和纹理细节产生过度平滑;其中,所述第一残差阈值大于第二残差阈值。
15、进一步地,所述镜面外观分支根据视线方向与高斯法线计算反射方向,并将反射方向相关特征与可学习环境特征输入多层感知机,以预测视角相关的镜面颜色,使光度损失反向传播至高斯法线。
16、本发明第二方面提供了基于概率分布重塑的高光表面三维几何重建系统。
17、基于概率分布重塑的高光表面三维几何重建系统,包括:
18、数据获取模块,被配置为:获取待重建目标的多视角图像,并初始化目标场景的三维高斯基元集合;
19、概率建模模块,被配置为:基于所述三维高斯基元集合进行可微渲染;根据经过同一相机射线的三维高斯基元参与渲染时的不透明度和透射率计算离散体渲染权重,并将所述离散体渲染权重表征为沿射线方向的概率质量分布;
20、空间蒸馏模块,被配置为:根据概率质量分布的中位深度和有效深度区间,构建带有非对称截断边界的教师目标分布,并对射线方向的长尾概率分布进行非对称空间蒸馏;
21、法线校正模块,被配置为:根据蒸馏后的权重确定渲染法线参考目标,并对处于高置信表面区间内的高斯基元进行法线校正;
22、自适应调制模块,被配置为:根据渲染颜色图与真实图像之间的光度残差生成自适应调制权重,并利用所述自适应调制权重调节空间蒸馏损失和法线校正损失;
23、神经着色模块,被配置为:采用基于微表面反射模型构建的镜面外观分支预测镜面颜色;
24、模型输出模块,被配置为:通过联合优化三维高斯基元参数,输出高光表面的三维几何模型。
25、本发明第三方面提供了计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如本发明第一方面所述的基于概率分布重塑的高光表面三维几何重建方法中的步骤。
26、本发明第四方面提供了电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本发明第一方面所述的基于概率分布重塑的高光表面三维几何重建方法中的步骤。
27、以上一个或多个技术方案存在以下有益效果:
28、本发明通过将射线方向的高斯基元渲染权重建模为概率质量分布,并利用非对称教师目标分布进行空间蒸馏,有效抑制主表面之后的非物理长尾概率质量,引导分散概率质量向真实表面聚集,从而显著缓解了几何向内坍塌并提升深度定位精度;进一步借助蒸馏引导的法线校正,对高置信表面区间内的基元施加一致性约束,可以改善法线无序和针状噪声,增强重建表面的连续性与稳定性。同时,本发明依据光度残差自适应调节几何约束强度,可以确保在高光风险区域强化约束、在稳定区域保留纹理细节,兼顾整体重建质量。此外,本发明引入物理启发的神经着色模块,使镜面颜色预测依赖法线方向,将光度梯度合理传导至几何参数,可以避免外观变化错误驱动几何偏移。综上,本发明从概率分布重塑、法线校正、自适应调制与物理着色多维度联合优化,可以有效提升高光表面三维几何重建的精度、稳健性与视觉一致性。
29、本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com