一种面向反射表面的偏振高斯泼溅高保真三维重建方法
本发明涉及计算机视觉领域,尤其是涉及一种面向反射表面的偏振高斯泼溅高保真三维重建方法。
背景技术:
1、基于多视角图像的高保真三维重建是计算机视觉领域的基础任务,作为连接现实物理世界与数字世界的重要桥梁,在增强现实/虚拟现实、自动驾驶、机器人导航、工业检测、数字文创等领域具有广泛应用。然而,真实物理世界通常是复杂的,普遍存在金属、陶瓷、釉面、抛光塑料等具有镜面或光泽反射特性的物体。此类反光表面的外观随观察视角剧烈变化,镜面高光容易造成观测信息过曝丢失,光与表面之间的交互过程复杂且缺乏有效的几何约束,使得基于几何光学的三维重建技术和传统视觉三维重建方法难以恢复准确的表面形状,反光表面三维重建一直是本领域的核心难题。
2、针对反光表面重建,现有技术主要分为以下几种。首先是基于隐式神经表示的方法,例如以ref-nerf、nero为代表的神经辐射场方法和基于符号距离场(sdf)的方法,其通过体渲染方式和反射建模能够在反光表面上恢复较高的几何精度,但通常需要数小时甚至数十小时的训练优化,计算成本高,难以满足实际应用对效率的要求。近年来,基于三维高斯泼溅(3dgs)的显式表示方法作为一种新型多视角重建的范式,在三维重建中表现出较大的潜力。3dgs利用显示高斯面元表示与可微光栅化渲染实现了高效实时的新视角渲染与重建,但大多数基于3dgs的方法面向漫反射表面设计,缺乏针对反光表面的几何约束以及对复杂材质的镜面反射建模不足。部分改进3dgs方法如3dgs-dr、ref-gs等通过结构化辐射分解解耦漫反射与镜面反射分量来建模高光,但由于仅依赖rgb图像缺乏几何物理约束,仍难以稳定地重建反光表面。
3、偏振成像为解决上述几何歧义提供了物理途径。根据菲涅尔方程,光的偏振态和被测表面的法线方向存在函数表征关系,因此偏振信息能够为表面法向估计提供物理约束。基于该原理,从偏振恢复形状(sfp)以及多视角偏振三维重建方法相继被提出,但此类方法大多依赖深度学习网络或者隐式神经表示特性,优化速度慢、算力需求大。近期出现的偏振高斯泼溅方法(polgs)将偏振约束引入三维高斯泼溅框架,初步实现了反光表面的快速重建。
4、然而,现有偏振高斯泼溅方法在视角渲染质量方面还有待提升,表面法线估计精度与整体几何重建精度与基于隐式的偏振重建方法相比仍存在差距,在处理复杂光泽材质表面时仍存在一些缺陷:在光照建模方面,现有方法通常从单一分辨率的立方体环境贴图(cubemap)中查询镜面反射,隐含了理想镜面反射假设,忽略了微表面粗糙度的影响,无法刻画不同粗糙度材质下镜面反射的空间变化,导致入射光照与材质属性相互耦合,光照解耦失真。在高斯致密化方面,现有方法沿用gaussian surfels中基于静态视空间位置梯度阈值的启发式致密化策略,无法向高频细节区域自适应分配高斯面元,导致精细结构欠重建或在复杂反光表面产生过重建伪影。因此,如何提升渲染质量和几何精度,实现高保真偏振高斯泼溅三维重建,是本领域亟待解决的问题。
技术实现思路
1、本发明的目的是提供一种面向反射表面的偏振高斯泼溅高保真三维重建方法,解决现有技术受限于理想镜面光照假设与静态致密化策略,导致材质解耦失真和面元分配不均,难以兼顾高渲染质量与几何精度的问题。
2、为实现上述目的,本发明提供了一种面向反射表面的偏振高斯泼溅高保真三维重建方法,包括以下步骤:
3、步骤s1、采用偏振相机采集目标场景的多视角偏振图像,计算各视角的真实斯托克斯矢量,获取各视角的相机内参、外参的位姿参数,并基于目标场景的多视角偏振图像获取初始点云,将初始点云中各点坐标作为高斯面元的中心位置,构建初始的高斯面元集合;并在每个高斯面元中嵌入一个可学习的粗糙度参数;
4、步骤s2、采用高斯泼溅方法,通过光栅化加权混合累积各高斯面元,渲染得到各视角下的漫反射外观图、深度图、法线图和表面粗糙度图;
5、步骤s3、基于步骤s1目标场景下得到的多视角偏振图像,构建多层级偏振图像金字塔,然后进行渐进式监督训练,得到优化高斯面元集合;
6、步骤s4、基于优化高斯面元集合,在各训练视角下渲染深度图和法线图;将深度图反投影得到三维空间点云并结合法线图,得到带法向信息的有向点云;融合各视角有向点云后,通过泊松表面重建提取三角网格,完成反光表面的三维重建。
7、优选的,步骤s1中,计算各视角的斯托克斯矢量的具体过程为:偏振相机在每一视角下同时捕获四通道偏振角度0°、45°、90°、135°的图像,分别记为、、、,其中,四通道偏振角度为偏振片透光轴与相机成像坐标系x轴的夹角;分别计算真实的斯托克斯矢量中的真实的总光强分量、真实的水平-垂直方向的线偏振分量,真实的对角方向的线偏振分量,计算公式为:
8、;
9、;
10、。
11、优选的,步骤s1中,初始点云获取通过采用colmap方法或者基于场景空间进行均匀随机采样;每个高斯面元的参数还包括:中心位置、尺度、旋转四元数、不透明度以及由球谐系数表示的外观颜色。
12、优选的,步骤s3包括以下步骤:
13、s31、构建多层级偏振图像金字塔:将多视角偏振图像构建为l层的多层级偏振图像金字塔,其中低层级图像分辨率逐级减半,最高层级图像为原始分辨率;
14、s32、双循环分层训练调度:预设训练总迭代次数为,设置个外部训练阶段,与图像金字塔层数一一对应,从低分辨率层级逐级切换至高分辨率层级,实现由粗到细的渐进监督;每个外部训练阶段内进一步划分为个子阶段,全局共个子阶段,当前全局子阶段索引m初始值设为0,随子阶段推进逐次递增;各子阶段按预设迭代次数执行,当前子阶段完成迭代后转入下一子阶段,当一个外部训练阶段的所有子阶段执行完毕后切换至下一更高层级的外部训练阶段,直至累计训练迭代次数达到预设总迭代次数(即),终止训练,输出优化高斯面元集合;
15、s33、周期性致密化操作:在训练迭代过程中,每k次迭代触发一次残差面元致密化策略,对不小于致密化梯度阈值的高斯面元执行分裂操作。
16、优选的,步骤s33中,残差面元致密化策略具体为:触发时,将高斯面元集合作为一个整体输入,利用可微光栅化渲染反向传播并行计算每个高斯面元的梯度值,若高斯面元的梯度值不小于其致密化梯度阈值,则作为父高斯面元,并生成一个残差子高斯面元;生成的残差子高斯面元继承父高斯面元的不透明度、粗糙度、旋转和球谐系数,尺度按预设缩放因子缩小,细度等级在父高斯面元的细度等级基础上加1;并按预设衰减系数调低父高斯面元的不透明度;其中,各高斯面元的初始细度等级统一设为0。
17、优选的,致密化梯度阈值按以下方式动态调整:在每完成一个子阶段、更新全局子阶段索引m后,依据当前全局子阶段索引m与高斯面元的细度等级,按以下公式动态调整其致密化梯度阈值:
18、;
19、其中,为预设的基础梯度阈值,为预设的缩放因子,为第i个高斯面元的细度等级,m为当前全局子阶段索引。
20、优选的,s32中的实现由粗到细的渐进监督通过构建总渲染损失进行优化,表达式为:
21、;
22、其中,为非偏振总光强图像的渲染损失,为偏振斯托克斯图像的渲染损失,为掩码一致性损失,为深度-法线一致性损失,为不透明度正则损失,、、、为各损失项的权重系数。
23、优选的,非偏振总光强图像的渲染损失由逐像素损失与结构相似性dssim损失加权组成,表达式为:
24、;
25、偏振斯托克斯图像的渲染损失的表达式为:
26、;
27、掩码一致性损失采用二元交叉熵计算,表达式为:
28、;
29、深度-法线一致性损失的表达式为:
30、;
31、其中,为渲染深度图,为渲染法线图,表示将深度值转换为三维空间点,表示通过邻域点叉乘计算表面法向;
32、不透明度正则损失的表达式为:
33、;
34、其中,为第i个高斯面元的不透明度参数。
35、优选的,构建偏振斯托克斯图像的渲染损失的具体过程为:通过偏振双向反射分布函数将漫反射分量与镜面反射分量合成为各视角下的渲染偏振斯托克斯图像,合成表达式为:
36、;
37、其中,为渲染偏振斯托克斯图像,、分别为菲涅尔透射系数的平行、垂直偏振分量;、分别为菲涅尔反射系数的平行、垂直偏振分量;、分别为对应表面法向、半矢量的入射方位角,、为漫反射分量和镜面反射分量;
38、将渲染偏振斯托克斯图像与真实偏振斯托克斯图像进行比较获得偏振斯托克斯图像的渲染损失;渲染偏振斯托克斯图像包括:渲染的水平-垂直方向的线偏振分量,渲染的对角方向的线偏振分量;真实偏振斯托克斯图像包括:真实的水平-垂直方向的线偏振分量,真实的对角方向的线偏振分量。
39、优选的,漫反射分量通过高斯面元在对应视角下渲染的漫反射外观图得到;镜面反射分量通过以下步骤获取:利用步骤s2中渲染得到的各视角下的表面粗糙度图,以表面法向量、观测视线方向以及表面粗糙度为输入;构建可优化的多分辨率层级神经环境贴图,根据每个表面点处的粗糙度值将其映射为对应的连续细节层级索引,沿反射方向在层级环境贴图方向和层级进行镜面颜色采样,并对相邻两个离散lod层级之间按混合权重将镜面颜色采样到的辐射值进行线性插值,获取镜面反射分量;
40、其中,构建可优化的多分辨率层级神经环境贴图表示为,其中为总层级数,包含从精细到粗糙的多个细节层级;每个表面点处的粗糙度值由高斯粗糙度属性光栅化累积得到;连续细节层级索引的映射公式为:
41、;
42、其中,为当前表面点的粗糙度值。
43、因此,本发明采用上述一种面向反射表面的偏振高斯泼溅高保真三维重建方法,具有以下有益效果:
44、(1)本发明利用高斯面元残差渐进致密化和多层级偏振图像金字塔监督策略,通过由粗到细的渐进式优化,能够较好地捕捉表面高频纹理细节;同时配合表面粗糙度引导的多分辨率层级环境贴图采样与混合,能够恢复锐利的镜面高光。整个方法提升了复杂反射材质的镜面外观建模能力,实现了优于现有偏振高斯泼溅方法(polgs)的新视角渲染质量。
45、(2)本发明通过为每个高斯面元引入可学习的微表面粗糙度参数,结合粗糙度引导的层级细节光照建模,实现了材质属性与环境光照的有效解耦,显著提升了法线估计精度和微几何细节重建能力,获得更小的形状误差,从而缩小了重建几何精度与基于隐式偏振三维重建方法之间的差距,优于polgs方法。
46、(3)本发明兼顾重建精度与效率,相比于隐式偏振重建方法所需的训练时间大幅缩短,保持了高斯泼溅的高效率优势,可实现实时新视角渲染。
47、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com