抗模糊三维高斯重建方法及装置

本说明书实施例涉及三维重建，特别涉及抗模糊三维高斯重建方法。

背景技术：

1、近年来，三维高斯溅射（3dgs）作为一种用于高保真场景表示的重要范式脱颖而出。通常情况下，这类方法高度依赖于具有精确相机位姿的图像。这些位姿通常是通过基于运动恢复结构方法（sfm）方法预先估计得到的。然而，在真实世界的应用场景中，当面临快速的自运动时，运动模糊仍然是基于帧的传统相机面临的普遍瓶颈。严重的运动模糊通常会导致sfm产生次优的位姿估计，甚至直接导致跟踪失败。这种位姿的不准确性会进一步传播到后续的重建阶段，导致基于3dgs的重建结果出现严重的模糊伪影和几何畸变。

2、为了解决运动模糊带来的重建难题，现有的一些纯视觉去模糊三维重建方法尝试通过在曝光时间内积分物理相机的运动轨迹，来联合优化场景几何和相机位姿。但是，在高速且低帧率的场景下，纯视觉的去模糊方法往往难以解决固有的模糊模糊性，这突显了引入高速传感器提供额外运动线索的必要性 。

3、与传统相机不同，受生物学启发的事件相机能够以微秒级的极低延迟异步记录像素级的强度变化。因此，事件相机天生具有抵抗运动模糊的能力，即使在极端的自运动下也是如此。基于此，近期的研究开始探索具有抗模糊特性的3dgs框架，通过整合事件流来减轻运动引起的伪影。现有的事件辅助重建方法通常利用事件流中的亮度信号来约束图像的强度变化，从而补充连续帧之间缺失的场景信息。

4、现有针对结合模糊图片与事件序列的三维场景重建技术主要存在三方面显著缺陷：首先，在场景初始化与位姿估计方面，现有方法不能摆脱对精确先验位姿的依赖。 现有技术仍高度依赖传统sfm（如colmap）提供初始相机位姿 。在面临快速运动引发的极端模糊时，传统sfm极易提取特征失败，导致错误的初始位姿直接引发严重的重建伪影与几何畸变。其次，在抗噪性与物理建模方面，现有方法不能自适应动态变化的事件对比度阈值。 现有模型普遍假设事件触发的对比度阈值为静态固定值。然而在实际复杂环境中，该物理阈值会随光照动态剧烈波动。这种固定预设与真实物理阈值的不匹配，会向重建系统引入严重的本底噪声，从根本上限制了渲染质量。最后，在时空动态信息利用方面，现有方法不能充分提取事件流的高频连续运动特征。现有技术仅将事件视作单纯的相对静态亮度变化信号，忽视了其天然编码的连续时空运动轨迹。在处理低帧率、大位移的模糊图像时，系统缺乏鲁棒的动态运动学约束，难以同时支持高精度的场景几何重建与相机轨迹的精准恢复。因此，针对遭受严重运动模糊的三维重建场景，如何在彻底摆脱对外部sfm预计算位姿依赖的前提下，通过设计免阈值的事件-光度联合监督机制与时空运动几何约束来有效消除动态环境噪声，从而实现高保真三维场景重建与连续相机运动轨迹精准恢复的双重目标，是当前该领域亟待解决的关键技术难题。

5、因此，针对遭受严重运动模糊的三维重建场景 ，如何在彻底摆脱对外部sfm预计算位姿依赖的前提下 ，通过设计免阈值的事件-光度联合监督机制与时空运动几何约束来有效消除动态环境噪声 ，从而实现高保真三维场景重建与连续相机运动轨迹精准恢复的双重目标 ，是当前该领域亟待解决的关键技术难题。

技术实现思路

1、有鉴于此，本说明书实施例提供了抗模糊三维高斯重建方法。本说明书一个或者多个实施例同时涉及抗模糊三维高斯重建装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种抗模糊三维高斯重建方法，包括：

3、基于三维高斯场景确定随机点云，对随机点云进行第一初始化，确定第一初始化结果；其中，第一初始化包括光度模糊损失、无阈值约束事件损失和边缘感知损失；

4、确定深度信息，基于第一初始化结果和深度信息进行第二初始化确定第二初始化结果；

5、基于第二初始化结果进行重建得到重建结果。

6、在一种可能的实现方式中，第一初始化还包括：将相机位姿进行随机初始化，利用连续样条曲线插值生成连续相机位姿，并联合优化光度模糊损失、无阈值约束事件损失和边缘感知损失。

7、在一种可能的实现方式中，无阈值约束事件损失通过以下方式构建：将相邻模糊帧之间的时间间隔均匀划分为多个子块并获取累积事件；对从三维高斯场景渲染得到的图像的对数强度变化和累积事件，分别在有事件存在的像素区域上计算空间均值和标准差以进行局部统计分布的归一化；计算归一化后的对数强度变化与归一化后的累积事件之间的距离和结构相似度，构建无阈值约束事件损失。

8、在一种可能的实现方式中，边缘感知损失通过以下方式构建：利用指数衰减窗口在时间间隔内聚合事件流以生成事件边界图；将边缘检测滤波器用于从三维高斯场景渲染得到的图像和事件边界图；通过计算滤波后的渲染图像与滤波后的事件边界图的交叉相关性，构建边缘感知损失。

9、在一种可能的实现方式中，深度信息通过预训练的单目深度网络预测场景的稠密深度图获得；第二初始化包括加入对比度最大化方差损失进行联合优化，对比度最大化方差损失通过以下方式构建：基于光流在事件跨越的时空邻域内保持恒定的条件，通过光流速度将事件投影至参考时间以构建扭曲事件图像，通过最大化多个事件子块的平均扭曲事件图像的方差来构建对比度最大化方差损失。

10、在一种可能的实现方式中，基于第二初始化结果进行重建得到重建结果，包括：交替执行位姿跟踪与场景建图，其中，在跟踪阶段固定三维高斯场景以优化相机位姿，在建图阶段固定相机位姿以更新三维高斯属性；在交替执行过程中，还包括滑动窗口光束法平差：在最近的预定数量个时间块内，将连续相机位姿与三维高斯场景参数同时作为可变参数进行同步联合优化。

11、在一种可能的实现方式中，还包括颜色渲染：在得到重建结果后，冻结相机位姿和三维高斯属性，利用彩色模糊帧优化三维高斯的球谐系数。

12、根据本说明书实施例的第二方面，提供了一种抗模糊三维高斯重建装置，包括：

13、第一初始化模块，被配置为基于三维高斯场景确定随机点云，对所述随机点云进行第一初始化，确定第一初始化结果；其中，第一初始化包括光度模糊损失、无阈值约束事件损失和边缘感知损失；

14、第二初始化模块，被配置为确定深度信息，基于所述第一初始化结果和深度信息进行第二初始化确定第二初始化结果；

15、场景重建模块，被配置为基于所述第二初始化结果进行重建得到重建结果。

16、根据本说明书实施例的第三方面，提供了一种计算设备，包括：

17、存储器和处理器；

18、所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述抗模糊三维高斯重建方法的步骤。

19、根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述抗模糊三维高斯重建方法的步骤。

20、根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述抗模糊三维高斯重建方法的步骤。

21、本说明书实施例提供抗模糊三维高斯重建方法及装置，其中所述抗模糊三维高斯重建方法包括：基于随机点云进行第一初始化，联合光度模糊损失、无阈值约束事件损失和边缘感知损失；确定深度信息后进行第二初始化；基于第二初始化结果重建。本技术无需依赖预计算位姿，通过无阈值事件约束和边缘感知损失消除噪声与模糊，实现高保真三维重建。