一种面向4D高斯溅射场景重建的位姿优化与外参补偿方法及装置与流程

本技术涉及三维重建，尤其涉及一种面向4d高斯溅射场景重建的位姿优化与外参补偿方法及装置。

背景技术：

1、4d高斯溅射场景重建通常以车载多目相机采集的连续图像、车辆定位位姿以及相机外参为输入，通过将动态场景中的高斯表达投影到不同相机视角并与真实图像进行比对，逐步形成可用于自动驾驶感知、路径规划和环境理解的时空场景模型。该类重建过程对位姿链路和外参链路的连续一致性依赖较强：主车轨迹中的旋转和平移误差会直接改变高斯点在相机视角中的投影位置，多相机外参的偏移会破坏重叠视域内同一场景结构的对应关系。

2、在车辆长距离行驶、道路颠簸和多相机持续采集并行存在的工况下，相关技术中预先获得的轨迹参数和相机外参容易随时间产生偏差。轨迹误差、相机外参误差和主车定位误差又常被分别处理且处于相互解耦的状态，使得某一链路的校正结果难以及时反馈到4d高斯溅射场景状态以及其他参数链路中。当上述偏差共同参与当前帧渲染和重建时，重叠视域内的图像对应关系会出现不一致，连续帧之间的场景结构也会发生累积错位。

3、由此，在面向动态城市场景进行4d高斯溅射重建时，相关技术容易出现轨迹旋转优化不连续、相机间重投影关系漂移以及主车定位位姿与场景状态不匹配的问题，最终导致渲染图像与当前帧图像之间的光度差异持续扩大，重建结果中产生重影、拉伸或局部错位，使自动驾驶系统难以获得稳定一致的动态场景表达。

技术实现思路

1、为克服相关技术中存在的问题，本技术提供了一种面向4d高斯溅射场景重建的位姿优化与外参补偿方法及装置，能够保障多目环视场景的空间重投影一致性，消除了重建结果中的重影与局部错位，提升了4d高斯溅射时空场景模型的重建精度和稳定性。

2、根据本技术实施例的第一方面，提供一种面向4d高斯溅射场景重建的位姿优化与外参补偿方法，所述方法包括：

3、获取多目相机在车辆行驶过程中采集的当前帧图像数据、与所述当前帧对应的主车初始轨迹参数、各相机的初始外参以及主车的初始定位位姿，并建立待优化的4d高斯溅射场景状态；

4、根据各所述相机的初始外参与对应的六自由度外参增量确定当前相机外参，并根据所述主车的初始定位位姿与对应的主车定位增量确定当前主车定位位姿，其中，所述主车定位增量与所述六自由度外参增量采用相同的流形扰动更新参数化形式，二者相互独立配置，在同一全局总损失下同步更新；

5、对所述初始轨迹参数中的旋转分量进行连续六维旋转流形参数化处理，得到待优化流形轨迹参数；

6、根据所述当前相机外参、所述当前主车定位位姿、所述待优化流形轨迹参数以及所述初始轨迹参数中的平移分量，将所述4d高斯溅射场景状态投影并渲染至当前帧的相机视角以得到渲染图像，并根据所述渲染图像与对应当前帧图像数据之间的光度误差、相邻相机重叠视域内的重投影差异、主车定位损失以及轨迹平滑约束，构建当前帧的全局总损失；

7、对所述全局总损失求解梯度，并根据所述梯度更新并校正所述待优化流形轨迹参数及所述平移分量，得到轨迹校正量，同时根据所述梯度同步更新所述六自由度外参增量、所述主车定位增量以及所述4d高斯溅射场景状态，输出当前帧的4d高斯溅射场景重建结果。

8、在本技术的一种示例性实施例中，所述根据所述渲染图像与对应当前帧图像数据之间的光度误差、相邻相机重叠视域内的重投影差异、主车定位损失以及轨迹平滑约束，构建当前帧的全局总损失，包括：

9、根据所述渲染图像与所述对应当前帧图像数据在有效观测区域内的像素残差，确定所述光度误差；

10、根据相邻相机重叠视域内同一4d高斯溅射场景状态在不同相机视角下的投影位置偏差，确定所述相邻相机重叠视域内的重投影差异；

11、根据所述当前主车定位位姿与所述主车定位增量，计算所述主车定位损失；

12、根据所述待优化流形轨迹参数及所述平移分量、与历史相邻帧的主车轨迹参数之间的位姿变化量，确定所述轨迹平滑约束；

13、对所述光度误差、所述相邻相机重叠视域内的重投影差异、所述主车定位损失以及所述轨迹平滑约束进行归一化加权，得到所述当前帧的全局总损失。

14、在本技术的一种示例性实施例中，所述根据相邻相机重叠视域内同一4d高斯溅射场景状态在不同相机视角下的投影位置偏差，确定所述相邻相机重叠视域内的重投影差异，包括：

15、将所述4d高斯溅射场景状态分别投影到第一相机视角和与所述第一相机视角存在重叠视域的第二相机视角，得到第一投影结果和第二投影结果； 基于所述当前相机外参，将所述第一投影结果转换至所述第二相机视角的坐标系下得到参考投影结果；

16、根据所述参考投影结果与所述第二投影结果之间的位置残差，确定所述相邻相机重叠视域内的重投影差异；

17、其中，所述第一相机视角用于表征任一相机的观测视角，所述第二相机视角用于表征与所述第一相机存在重叠视域的相邻相机的观测视角。

18、在本技术的一种示例性实施例中，所述根据各所述相机的初始外参与对应的六自由度外参增量确定当前相机外参，并根据所述主车的初始定位位姿与对应的主车定位增量确定当前主车定位位姿，包括：

19、将各所述相机的初始外参、各所述六自由度外参增量以及预设的扰动叠加算子进行流形指数映射计算，得到各所述相机的当前相机外参；

20、将所述主车定位增量、所述初始定位位姿与所述扰动叠加算子执行流形指数映射计算，得到所述当前主车定位位姿。

21、在本技术的一种示例性实施例中，所述对所述初始轨迹参数中的旋转分量进行连续六维旋转流形参数化处理，得到待优化流形轨迹参数，包括：

22、提取所述初始轨迹参数中的三维旋转分量；

23、将所述三维旋转分量投射至连续旋转流形表示空间中，得到由六维流形向量组成的所述待优化流形轨迹参数。

24、在本技术的一种示例性实施例中，所述对所述全局总损失求解梯度，根据所述梯度更新并校正所述待优化流形轨迹参数及所述平移分量，得到轨迹校正量，同时根据所述梯度同步更新所述六自由度外参增量、所述主车定位增量以及所述4d高斯溅射场景状态，输出当前帧的4d高斯溅射场景重建结果，包括：

25、对所述全局总损失进行一阶偏导数计算，得到全局梯度向量；

26、在当前的同一次优化迭代中，将所述全局梯度向量分解为相互独立的第一梯度、第二梯度、第三梯度以及第四梯度，其中，所述第一梯度作用于所述待优化流形轨迹参数及所述平移分量，所述第二梯度作用于所述六自由度外参增量，所述第三梯度作用于所述主车定位增量，所述第四梯度作用于所述4d高斯溅射场景状态；

27、基于所述第一梯度得到所述轨迹校正量，并利用所述第二梯度与所述第三梯度同步对所述六自由度外参增量与所述主车定位增量进行更新，同时利用所述第四梯度同步对所述4d高斯溅射场景状态进行更新，得到多参数同步联合优化结果。

28、在本技术的一种示例性实施例中，所述同时利用所述第四梯度同步对所述4d高斯溅射场景状态进行更新，得到多参数同步联合优化结果，包括：

29、根据所述第四梯度，计算当前帧可见区域内场景高斯点的位置、不透明度以及缩放参数的数值更新量；

30、将所述数值更新量叠加更新至所述4d高斯溅射场景状态的状态张量中，得到更新后的4d高斯溅射场景状态；

31、基于更新后的所述4d高斯溅射场景状态进行当前帧可见视角下的图像渲染，得到当前帧的4d高斯溅射场景重建结果。

32、根据本技术实施例的第二方面，提供一种面向4d高斯溅射场景重建的位姿优化与外参补偿装置，所述装置包括：

33、获取模块，用于获取多目相机在车辆行驶过程中采集的当前帧图像数据、与所述当前帧对应的主车初始轨迹参数、各相机的初始外参以及主车的初始定位位姿，并建立待优化的4d高斯溅射场景状态；

34、确定模块，用于根据各所述相机的初始外参与对应的六自由度外参增量确定当前相机外参，并根据所述主车的初始定位位姿与对应的主车定位增量确定当前主车定位位姿，其中，所述主车定位增量与所述六自由度外参增量采用相同的流形扰动更新参数化形式，二者相互独立配置，在同一全局总损失下同步更新；

35、处理模块，用于对所述初始轨迹参数中的旋转分量进行连续六维旋转流形参数化处理，得到待优化流形轨迹参数；

36、构建模块，用于根据所述当前相机外参、所述当前主车定位位姿、所述待优化流形轨迹参数以及所述初始轨迹参数中的平移分量，将所述4d高斯溅射场景状态投影并渲染至当前帧的相机视角以得到渲染图像，并根据所述渲染图像与对应当前帧图像数据之间的光度误差、相邻相机重叠视域内的重投影差异、主车定位损失以及轨迹平滑约束，构建当前帧的全局总损失；

37、输出模块，用于对所述全局总损失求解梯度，并根据所述梯度更新并校正所述待优化流形轨迹参数及所述平移分量，得到轨迹校正量，同时根据所述梯度同步更新所述六自由度外参增量、所述主车定位增量以及所述4d高斯溅射场景状态，输出当前帧的4d高斯溅射场景重建结果。

38、根据本技术实施例的第三方面，提供一种电子设备，所述电子设备包括：

39、处理器；以及

40、存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现，以实现如第一方面所述的方法。

41、根据本技术实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序代码指令，当所述计算机程序代码指令被处理器执行时，实现如第一方面所述的方法。

42、本技术相较于相关技术中将轨迹误差、相机外参误差和主车定位误差分别处理的方式，本技术在当前帧重建过程中将当前帧图像数据、主车初始轨迹参数、各相机的初始外参、主车的初始定位位姿以及待优化的4d高斯溅射场景状态纳入同一优化链路，使渲染图像与当前帧图像数据之间的误差能够共同反馈至轨迹、外参、定位和场景状态，避免单一参数链路校正后其他链路仍保持偏移而造成的坐标关系错配，从而减少重叠视域内的对应关系漂移以及连续帧之间的累积错位。

43、进一步地，在确定当前相机外参和当前主车定位位姿时，本技术利用六自由度外参增量和主车定位增量对相机外参漂移与主车定位偏移进行一致表达；在轨迹优化时，本技术对旋转分量进行连续六维旋转流形参数化处理，并结合光度误差、相邻相机重叠视域内的重投影差异以及轨迹平滑约束构建当前帧的全局总损失。由此，轨迹旋转误差、轨迹平移误差、相机外参漂移、主车定位偏移和4d高斯溅射场景状态错位能够在同一次梯度求解中被协同优化与联合收敛，使当前帧的4d高斯溅射场景重建结果与多目相机观测保持更稳定的一致性，从而降低重影、拉伸和局部错位的发生概率。

44、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。