自动驾驶场景动态三维重建方法及装置

本技术涉及智能驾驶，特别涉及一种自动驾驶场景动态三维重建方法及装置。

背景技术：

1、相关技术中，自动驾驶场景建模通常采用三维点云、高斯点云或神经渲染等方式对场景进行重建。在存在多个动态物体相互遮挡的情况下，通常采用不透明度调整的方式处理不同物体之间的深度关系，以缓解遮挡区域的渲染冲突。

2、然而，相关技术主要通过调整透明度实现前后景的简单叠加，未充分考虑动态物体之间复杂的空间几何关系和遮挡交互过程，难以真实反映多动态物体的遮挡关系，容易导致遮挡边界模糊、几何结构失真以及渲染真实性不足，从而影响自动驾驶场景建模的精度和视觉效果。

技术实现思路

1、本技术提供一种自动驾驶场景动态三维重建方法及装置，以解决相关技术中，主要通过调整透明度实现前后景的简单叠加，难以真实反映多动态物体的遮挡关系，容易导致遮挡边界模糊、几何结构失真以及渲染真实性不足，从而影响自动驾驶场景建模的精度和视觉效果的问题。

2、本技术第一方面实施例提供一种自动驾驶场景动态三维重建方法，包括以下步骤：根据自动驾驶场景下车端相机的图像生成满足预设增量优化条件的关键帧图像序列，以构建自动驾驶场景的初始三维点云；从关键帧图像序列中提取自动驾驶场景在多个视角下的特征，以确定融合特征，并根据融合特征和初始三维点云确定关键帧图像序列中每个像素点的稠密深度值和对应场景的三维高斯点云；基于稠密深度值，为三维高斯点云中每个点赋予动态属性标签或静态属性标签，以确定动态属性掩码，并根据动态属性掩码重建包含静态背景和动态特征的三维场景表示。

3、通过以上技术手段，根据多个视角下的融合特征生成三维高斯点云，进而基于每个像素点的稠密深度值和属性信息对场景中的动态目标与静态背景进行分离，并结合动静态分离后的三维高斯点云进行场景优化重建，能够有效避免动态目标对静态环境建模造成的干扰，同时保留动态目标的空间位置及变化特征，提高自动驾驶复杂动态场景下三维场景表示的完整性、准确性和时序一致性。

4、可选地，在本技术的一个实施例中，根据自动驾驶场景下车端相机的图像生成满足预设增量优化条件的关键帧图像序列，包括：检测图像的尺度不变特征变换特征点，以确定图像的二维特征；基于二维特征，根据图像帧间视差、图像重叠率和运动基线中至少之一从图像中筛选出满足预设增量优化条件的图像帧；基于图像帧，以最小化重投影误差为优化目标，生成相机位姿和稀疏三维点云的增量优化信息，以得到关键帧图像序列。

5、通过以上技术手段，基于图像帧，以最小化重投影误差为优化目标，生成相机位姿和稀疏三维点云的增量优化信息，可以在保证局部几何一致性的同时，对新增关键帧及其关联三维点进行迭代优化，提高相机位姿估计精度和稀疏三维点云的重建质量，为后续稠密深度估计和三维场景重建提供准确的初始几何信息。

6、可选地，在本技术的一个实施例中，从关键帧图像序列中提取自动驾驶场景在多个视角下的特征，以确定融合特征，包括：根据关键帧图像序列的时间戳和位姿确定关键帧图像序列中图像帧的排序，以根据排序确定当前视角和满足预设足够视差信息条件的多个邻近视角；从图像帧中提取当前视角和多个邻近视角的特征；根据特征计算当前视角与邻近视角的交互注意力权重；根据交互注意力权重确定融合特征。

7、通过以上技术手段，计算当前视角与邻近视角的交互注意力权重，以确定融合特征，可以自适应融合不同视角中的有效信息，降低遮挡区域及单视角信息缺失对特征提取的影响，提高复杂自动驾驶场景下多视角特征表示的完整性和一致性，为后续稠密深度预测及三维高斯点云重建提供更加可靠的特征基础。

8、可选地，在本技术的一个实施例中，根据融合特征和初始三维点云确定关键帧图像序列中每个像素点的稠密深度值和对应场景的三维高斯点云，包括：基于预先构建的前馈神经网络，利用融合特征预测每个像素点的稠密深度值，并结合初始三维点云与不确定度确定三维高斯分量，以确定三维高斯点云，其中，预先构建的前馈神经网络的损失函数为：

9、，

10、其中，为损失函数，分别为光度一致性损失、深度监督损失、平滑正则损失和置信度校正损失对应的权重系数，表示用于约束不同视角下图像重投影结果或图像特征一致性的光度一致性损失；表示用于约束预测深度值与真实深度值、激光雷达深度值或稀疏深度先验之间差异的深度监督损失；表示用于约束相邻像素深度值连续性并抑制深度突变的平滑正则损失；表示用于约束预测不确定度或置信度与实际深度预测误差相匹配的置信度校正损失。

11、通过以上技术手段，基于每个像素点的稠密深度值，结合初始三维点云与不确定度，确定三维高斯点云，可以充分融合稠密几何信息与稀疏几何先验，根据深度预测可信程度自适应确定各三维高斯分量的位置及空间分布范围，提高三维高斯点云的几何精度和空间连续性。

12、可选地，在本技术的一个实施例中，基于稠密深度值，为三维高斯点云中每个点赋予动态属性标签或静态属性标签，以确定动态属性掩码，包括：基于稠密深度值，识别不满足预设静态共点约束条件的第一像素点，为第一像素点赋予动态属性标签，并识别满足预设静态共点约束条件的第二像素点，为第二像素点赋予静态属性标签；根据动态属性标签和静态属性标签确定动态属性掩码。

13、通过以上技术手段，基于静态共点约束条件确定像素点的动态属性掩码，可以根据多帧图像之间的几何一致性识别动态区域与静态背景区域，提高动态目标检测的准确性，减少误检和漏检，为动静态分离建模提供可靠的像素级约束。

14、可选地，在本技术的一个实施例中，根据动态属性掩码重建包含静态背景和动态特征的三维场景表示，包括：利用运动速度、峰值存在时间、固有运动频率描述第一像素点的时空特性，以确定动态特征；利用所述第二像素点拟合局部平面，以确定静态背景；以确定动态特征；根据静态背景和动态特征重建三维场景表示。

15、通过以上技术手段，分别对静态背景和动态特征进行三维高斯建模，可以实现静态环境与动态目标的独立表示，降低动态目标运动对静态场景重建的影响，提高复杂动态场景下三维场景表示的准确性、完整性和时序一致性。

16、本技术第二方面实施例提供一种自动驾驶场景动态三维重建装置，包括：构建模块，用于根据自动驾驶场景下车端相机的图像生成满足预设增量优化条件的关键帧图像序列，以构建自动驾驶场景的初始三维点云；融合模块，用于从关键帧图像序列中提取自动驾驶场景在多个视角下的特征，以确定融合特征，并根据融合特征和初始三维点云确定关键帧图像序列中每个像素点的稠密深度值和对应场景的三维高斯点云；重建模块，用于基于稠密深度值，为三维高斯点云中每个点赋予动态属性标签或静态属性标签，以确定动态属性掩码，并根据动态属性掩码重建包含静态背景和动态特征的三维场景表示。

17、可选地，在本技术的一个实施例中，构建模块，包括：检测单元，用于检测图像的尺度不变特征变换特征点，以确定图像的二维特征；筛选单元，用于基于二维特征，根据图像帧间视差、图像重叠率和运动基线中至少之一从图像中筛选出满足预设增量优化条件的图像帧；生成单元，用于基于图像帧，以最小化重投影误差为优化目标，生成相机位姿和稀疏三维点云的增量优化信息，以得到关键帧图像序列。

18、可选地，在本技术的一个实施例中，融合模块，包括：排序单元，用于根据关键帧图像序列的时间戳和位姿确定关键帧图像序列中图像帧的排序，以根据排序确定当前视角和满足预设足够视差信息条件的多个邻近视角；提取单元，用于从图像帧中提取当前视角和多个邻近视角的特征；交互单元，用于根据特征计算当前视角与邻近视角的交互注意力权重；融合单元，用于根据交互注意力权重确定融合特征。

19、可选地，在本技术的一个实施例中，融合模块，包括：预测单元，用于基于预先构建的前馈神经网络，利用融合特征预测每个像素点的稠密深度值，并结合初始三维点云与不确定度确定三维高斯分量，以确定三维高斯点云，其中，预先构建的前馈神经网络的损失函数为：

20、，

21、其中，为损失函数，分别为光度一致性损失、深度监督损失、平滑正则损失和置信度校正损失对应的权重系数，表示用于约束不同视角下图像重投影结果或图像特征一致性的光度一致性损失；表示用于约束预测深度值与真实深度值、激光雷达深度值或稀疏深度先验之间差异的深度监督损失；表示用于约束相邻像素深度值连续性并抑制深度突变的平滑正则损失；表示用于约束预测不确定度或置信度与实际深度预测误差相匹配的置信度校正损失。

22、可选地，在本技术的一个实施例中，重建模块，包括：识别单元，用于基于稠密深度值，识别不满足预设静态共点约束条件的第一像素点，为第一像素点赋予动态属性标签，并识别满足预设静态共点约束条件的第二像素点，为第二像素点赋予静态属性标签；确定单元，用于根据动态属性标签和静态属性标签确定动态属性掩码。

23、可选地，在本技术的一个实施例中，重建模块，包括：描述单元，用于利用运动速度、峰值存在时间、固有运动频率描述第一像素点的时空特性，以确定动态特征；拟合单元，用于利用第二像素点拟合局部平面，以确定静态背景；重建单元，用于根据静态背景和动态特征重建三维场景表示。

24、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的自动驾驶场景动态三维重建方法。

25、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的自动驾驶场景动态三维重建方法。

26、本技术第五方面实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被执行时，以用于实现如上的自动驾驶场景动态三维重建方法。

27、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。