一种基于不确定性驱动优化的水下动态高斯泼溅重建方法及系统
本发明属于计算机视觉与三维重建,具体涉及一种基于不确定性驱动优化的水下动态高斯泼溅重建方法及系统。
背景技术:
1、动态三维场景重建旨在根据多帧图像或视频数据恢复场景的空间结构及随时间变化的运动信息。近年来,三维高斯泼溅(3d gaussian splatting,3dgs)方法凭借显式场景表示和高效渲染能力,在动态场景重建领域得到广泛应用。现有动态高斯泼溅方法通常通过形变网络建立规范空间与动态空间之间的映射关系,根据时间信息预测高斯基元的位置变化,从而实现动态场景的表示与渲染。
2、然而,水下环境受到光吸收、光散射、折射扰动以及悬浮颗粒等因素影响,采集图像通常存在较强的视觉退化。同时,水下生物运动、水流扰动以及局部遮挡等动态因素进一步增加了观测信息的不确定性,使得真实几何变化与成像扰动难以区分。基于确定性形变预测的动态高斯泼溅方法难以有效描述上述不确定因素,容易将瞬态视觉干扰误认为真实运动变化,导致重建过程中出现局部区域结构不稳定、漂浮伪影以及时序一致性下降等问题。
3、为提高动态场景重建的鲁棒性,部分现有方法尝试引入不确定性建模,对动态变化或观测信息的不确定程度进行描述。然而,现有方法中的不确定性通常用于结果评估、损失加权或辅助约束,未充分利用不确定性信息对模型优化过程进行主动调节,尤其缺少基于不确定性的动态搜索机制、稳定收敛约束机制以及高斯基元自适应调整策略。
4、因此,在复杂水下环境下,如何充分利用动态重建过程中的不确定性信息,提高模型对非理想观测条件的适应能力,仍是亟需解决的技术问题。
5、本背景技术所公开的上述信息仅仅用于增加对本技术背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
技术实现思路
1、针对现有技术存在的问题,本发明提供一种基于不确定性驱动优化的水下动态高斯泼溅重建方法及系统,以至少解决现有动态高斯泼溅方法在复杂水下环境中由于观测不确定性难以有效利用而导致的优化不稳定、局部区域表达不足以及重建结果时序一致性较差的问题。
2、第一方面,本发明提供一种基于不确定性驱动优化的水下动态高斯泼溅重建方法,包括如下步骤:
3、s1、规范空间初始化:获取待重建水下场景的单目视频序列及对应的视频帧相机位姿信息,并根据所述相机位姿信息构建规范空间下的三维高斯原语表示;
4、s2、构建不确定性感知随机变分变形场:将所述规范空间中的高斯原语位置以及时间编码输入变形网络,由所述变形网络同时预测高斯原语的均值位移和位置不确定性,并根据所述均值位移和位置不确定性通过重参数化生成随机变形量;
5、s3、基于随机退火的不确定性驱动优化:基于所述随机变形量,通过随机退火策略调节随机扰动强度,使训练过程中由不确定性驱动的随机探索逐渐转变为确定性收敛优化;
6、s4、构建随机路径与确定性路径的双路径联合优化机制:利用所述随机变形量构建随机路径进行重建监督;利用所述均值位移构建确定性路径进行渲染,并通过自一致性蒸馏约束确定性路径逼近随机路径的视觉期望;
7、s5、不确定性引导的高斯原语自适应细化:根据高斯原语对应的位置不确定性判断其空间表达需求,对满足预设条件的高歧义区域执行高斯原语克隆和分裂,以提高高歧义区域的空间表达能力;
8、s6、基于不确定性稀疏约束的联合优化:基于重建损失、自一致性蒸馏损失以及不确定性稀疏约束损失进行联合优化;
9、s7、输出动态重建结果:训练完成后,在推理阶段关闭随机扰动,仅采用均值位移进行动态高斯泼溅重建,获得水下动态场景重建结果。
10、优选地,步骤s1中所述三维高斯原语表示为:
11、,
12、式中,μi表示第
i个高斯原语的空间中心位置;σi表示空间协方差矩阵;αi表示透明度参数;ci表示球谐颜色表征参数。
13、优选地,步骤s2中所述变形网络为基于多层感知机mlp构建的随机变分变形网络:
14、(,t)(),
15、式中,为均值位移,表征高斯原语运动轨迹的期望趋势;为位置不确定性方差,描述由于水下成像退化、动态遮挡以及运动模糊导致的位置变化不确定程度。
16、优选地,步骤s2中所述重参数化表示为:
17、,
18、式中,δμ为均值位移;δσ为位置不确定性方差;β(t)为全局退火因子;,i为单位矩阵;⊙表示逐元素乘法;其中β(t)用来表示随机扰动强度。
19、优选地,步骤s3中所述随机退火策略为采用线性衰减方式调节全局退火因子β(t),其公式表示为:
20、,
21、式中,为退火策略开始时间,为退火策略结束时间。
22、优选地,步骤s3中所述训练过程的总迭代次数≥40000次,从总训练过程的10%开始退火,并于80%完成随机性的关闭。
23、优选地,步骤s4中所述随机路径对应的重建损失表示为:
24、,
25、式中,为重建损失;表示真实图片;表示结构相似性损失;为ssim损失的权重系数,取值范围0到1,优选0.2。
26、优选地,步骤s4中所述确定性路径对应的自一致性蒸馏损失表示为:
27、=,
28、式中,为自一致性蒸馏损失;表示仅基于确定性形变渲染的图片;sg表示停止梯度操作符。
29、优选地,步骤s5中所述预设条件为,且半径满足标准,其中,τ为阈值,设置为0.05,所述标准为高斯球最大缩放轴>0.01×场景的包围球半径。
30、优选地,步骤s5中,所述高歧义区域包括快速运动目标区域、水体折射扰动区域、悬浮颗粒影响区域和遮挡区域。
31、优选地,步骤s6中联合优化的整体损失函数表示为:
32、,
33、式中,表示整体损失;表示重建损失;表示蒸馏损失;表示稀疏约束权重,优选取值为10-4;表示不确定性稀疏约束损失。
34、第二方面,本发明提供一种基于不确定性驱动优化的水下动态高斯泼溅重建系统,所述系统基于上述基于不确定性驱动优化的水下动态高斯泼溅重建方法实现,包括:
35、规范空间初始化模块,用于获取待重建水下场景的单目视频序列及对应相机位姿信息,并根据所述相机位姿信息构建规范空间下的三维高斯原语表示;
36、随机变分变形场模块,用于将规范空间中的高斯原语位置和时间编码输入变形网络,输出高斯原语对应的均值位移以及位置不确定性参数,并基于重参数化方式获得随机变形量;
37、不确定性驱动优化模块,用于根据所述位置不确定性参数生成随机扰动,并通过随机退火策略调节随机扰动强度,使动态高斯原语在训练过程中进行不确定性驱动的随机探索和优化;
38、双路径联合优化模块,用于基于随机变形量构建随机渲染路径,并基于均值位移构建确定性渲染路径,通过随机路径与确定性路径之间的一致性约束进行联合优化;
39、高斯原语自适应细化模块,用于根据所述位置不确定性参数确定高歧义区域,并对所述高歧义区域内的高斯原语执行自适应细化处理;
40、动态重建输出模块,用于在推理阶段关闭随机扰动,并根据确定性路径对应的均值位移进行水下动态高斯泼溅重建,输出动态场景重建结果。
41、与现有技术相比,本发明具有如下有益效果:
42、(1)本发明利用不确定性驱动的随机扰动优化机制,使高斯原语能够根据运动预测的不确定程度进行自适应探索,降低水下折射扰动、散射噪声以及遮挡因素导致的局部最优问题。在具有低纹理、弱光照和复杂遮挡特征的洞穴场景中,本方法获得psnr为41.01db,相较于现有deformable-gs方法的37.27 db提升3.74 db,表明本方法能够有效恢复复杂水下环境中的稳定空间结构;
43、(2)本发明进一步利用学习得到的不确定性信息指导高斯原语的自适应细化,使模型能够针对几何歧义区域动态分配表达容量,避免传统固定稠密化策略造成的结构缺失。在沉船等具有大尺度结构、边缘细节丰富且存在水体扰动的场景中,本方法psnr达到28.65 db,相较于deformable-gs的25.77 db提升2.88 db,同时lpips降低至0.2135,说明本方法能够获得更加完整且真实的空间结构表达;
44、(3)针对水下生物运动等非刚性动态场景,本发明通过随机分支与确定性分支的双路径优化结构,使训练阶段的探索过程与推理阶段的稳定输出保持一致,降低动态运动引起的漂浮伪影和时序不一致现象。在蛞蝓动态场景中,本方法取得psnr 31.17 db、ssim0.9506和lpips 0.0689,优于deformable-gs对应结果(psnr 29.88 db、ssim 0.9309、lpips 0.0917),证明了本方法对于非刚性运动目标具有更好的重建能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com