基于视锥增强距离视图与深度感知的激光雷达点云上采样方法与流程

本发明涉及人工智能，更具体的是涉及一种基于视锥增强距离视图与深度感知的激光雷达点云上采样方法。

背景技术：

1、lidar传感器能够通过主动测距获得周围环境的三维几何信息，是自动驾驶车辆、移动机器人和智能感知系统中的关键传感器之一。相比相机等被动传感器，lidar能够直接输出具有真实空间尺度的点云数据，因此被广泛应用于三维目标检测、语义分割、定位建图、障碍物识别和路径规划等任务。然而，在实际应用中，lidar点云的空间分辨率受到硬件线束数量、角分辨率、扫描频率、测距范围等因素限制。低线数或低成本lidar采集到的点云通常表现为稀疏、离散和非结构化，难以完整表达道路边界、车辆表面、行人轮廓以及远距离目标等复杂三维结构，会直接影响后续感知任务的可靠性。对于车辆、行人、骑行者等交通参与者，稀疏点云可能导致目标表面缺失、边界模糊和局部结构不连续；对于道路边缘、路沿、墙体、杆状物等细长或连续结构，采样不足容易造成断裂、空洞或锯齿状分布。因此，在不增加高线数lidar硬件成本的前提下，通过算法方式对低分辨率lidar点云进行上采样，是提升三维感知系统性能的重要技术方向。

2、现有点云上采样方法大致可分为对象级点云上采样方法和场景级点云上采样方法。对象级方法通常直接在小规模三维点集上进行特征学习和点生成，能够恢复一定的局部几何细节，但其往往依赖点级邻域搜索、局部图构建或复杂点卷积操作。当该类方法扩展到大规模自动驾驶场景点云时，计算量和显存占用较高，难以满足车载实时推理需求。

3、为提高大规模场景点云处理效率，场景级点云上采样方法通常采用距离视图表示。该类方法将三维lidar点云按照方位角和俯仰角投影到二维规则网格中，形成距离图像或伪图像，然后利用二维卷积、transformer或隐式插值方法进行上采样，最后将预测得到的高分辨率距离图反投影回三维空间。距离视图表示能够将非结构化点云转化为规则二维图像，具有较高的计算效率和较好的工程部署便利性。

4、然而，现有基于距离视图的点云上采样方法仍存在明显不足。首先，三维点云到二维距离图的投影过程会引入离散化信息损失。当多个三维点落入同一个距离视图像素或角度bin时，传统距离图构建方式通常只保留其中一个点的距离值，而将其他点覆盖或丢弃。这种“多点到单像素”的投影塌缩会导致局部三维结构缺失。被丢弃的点虽然未出现在最终距离图中，但其往往包含多回波、遮挡层次和局部结构信息，对高质量点云上采样具有重要价值。

5、其次，距离视图中的二维邻近关系并不总是等价于真实三维空间中的邻近关系。在距离视图中相邻的两个像素，可能对应三维空间中深度差异很大的两个物体表面；而三维空间中连续的结构，也可能由于投影角度和遮挡关系在二维图像中表现为不连续区域。对于依赖局部特征或邻域样本进行预测的隐式上采样方法，一旦距离视图中的几何证据不完整或邻域关系存在歧义，查询点预测就容易出现边界模糊、表面拉伸、结构断裂和局部空洞等问题。

6、为缓解距离视图投影造成的信息损失，已有部分研究尝试引入视锥表示。视锥表示根据距离视图中的像素或角度bin对三维空间进行分组，将所有投影到同一像素的点保存在同一个视锥单元中，从而在一定程度上保留被距离图折叠的多点结构。然而，现有视锥表示方法多用于三维目标检测或lidar语义分割等任务，尚未充分适配连续点云上采样任务。并且，同一个视锥单元内可能包含来自不同物体、不同深度层或不同表面的点，如果直接将视锥聚合特征作为插值候选，容易引入多深度层混合干扰，影响距离预测的准确性。

7、此外，现有距离视图上采样方法在深度感知能力方面仍然不足。距离视图本质上是一种角度域伪图像表示，同样大小的二维卷积核在近距离和远距离区域对应的真实三维空间范围并不相同。近距离区域点云更密集，局部结构更复杂；远距离区域点云更稀疏，结构表达更不完整。如果网络在所有距离区域使用相同的二维感受野和相同的特征聚合方式，就难以适应不同距离下的几何尺度变化。现有方法虽然可通过多尺度卷积或注意力机制扩大感受野，但通常没有显式利用视锥单元中的深度统计信息，也缺少根据深度自适应调节特征响应范围的机制。

8、综上，现有lidar点云上采样技术仍存在以下主要不足：第一，距离视图投影会造成多个三维点塌缩到同一像素，导致被覆盖点和局部三维结构信息丢失；第二，仅依赖距离视图的显式或隐式方法难以恢复投影过程中不可见的几何证据；第三，直接使用视锥聚合特征进行插值容易受到多表面、多深度层混合干扰；第四，现有方法缺少利用视锥深度统计进行深度自适应特征调制的机制。

9、因此，提出一种基于视锥增强距离视图与深度感知的激光雷达点云上采样方法来解决上述问题很有必要。

技术实现思路

1、本发明的目的在于：解决现有lidar点云上采样技术在距离视图投影过程中存在的三维结构信息丢失、多个点塌缩至同一距离图像素、深度不连续区域插值不稳定、距离视图二维邻域难以反映真实三维邻近关系、固定二维感受野缺乏深度自适应能力、以及水平/垂直虚拟视图预测在极端俯仰角下容易产生误差放大的问题。

2、本发明为了实现上述目的具体采用以下技术方案：

3、基于视锥增强距离视图与深度感知的激光雷达点云上采样方法，包括以下步骤：

4、获取输入的低分辨率激光雷达点云，构建低分辨率距离图，并保存每个三维点与其投影像素之间的索引关系；

5、将低分辨率距离图的像素网格展平为视锥单元，基于所述索引关系对三维点进行视锥分组，并分别提取视锥特征与距离视图特征；

6、将距离视图特征提升至视锥空间以增强视锥特征，并重新排列为伪图像特征；

7、统计各视锥单元内的深度观测得到深度图，基于该深度图自适应调节高斯基生成深度条件高斯特征图，将其注入所述距离视图特征并与所述伪图像特征融合，得到增强距离视图特征；

8、从所述增强距离视图特征中获取局部查询嵌入，分别在水平虚拟视图和垂直虚拟视图进行预测，经中间状态残差校正与置信度选择后融合生成高分辨率距离图；

9、将所述高分辨率距离图反投影至三维空间，输出高分辨率激光雷达点云。

10、进一步地，所述构建低分辨率距离图，并保存索引关系的步骤包括：

11、计算低分辨率激光雷达点云中每个三维点到激光雷达坐标系原点的欧氏距离，以及水平方向的方位角和垂直方向的俯仰角；

12、根据激光雷达传感器的垂直视场范围，将所述方位角和俯仰角离散到低分辨率距离视图中的像素坐标中；

13、根据像素坐标，将所述欧氏距离的值写入低分辨率距离图的对应位置，同时保存每个三维点与其投影像素之间的索引关系。

14、进一步地，所述提取视锥特征与距离视图特征的步骤包括：

15、将投影至同一距离视图像素的三维点划分到同一个视锥单元中；

16、对于每个非空视锥单元，计算该视锥单元内点集的质心，利用点的绝对坐标和点相对于所属视锥质心的局部偏移构造点级增强特征；

17、将所述点级增强特征输入共享前馈网络，并在同一视锥单元内执行最大池化及多层线性网络提取，得到初始的视锥特征；

18、将低分辨率距离图输入特征编码网络，输出多个阶段的距离视图特征。

19、进一步地，所述重新排列为伪图像特征的步骤包括：

20、在多个阶段中，根据投影索引将距离视图特征提升至视锥空间作为距离视图上下文特征；

21、将所述距离视图上下文特征与所述初始的视锥特征进行拼接，通过多层感知机获得增强后的视锥点特征；

22、将增强后的视锥点特征按照其对应的距离视图位置重新排列为伪图像形式，得到所述伪图像特征。

23、进一步地，所述生成深度条件高斯特征图的步骤包括：

24、统计每个视锥单元内点的深度观测得到视锥级深度集合，将所述深度集合对齐到当前阶段的距离视图空间分辨率得到深度图，并进行归一化处理得到归一化深度图；

25、基于归一化深度图的数值构造深度条件缩放因子；

26、设定多个由均值和标准差参数确定的可学习二维高斯基，利用所述深度条件缩放因子自适应调节各二维高斯基的空间带宽；

27、将各二维高斯基的响应与可学习混合权重进行线性组合，生成所述深度条件高斯特征图。

28、进一步地，所述得到增强距离视图特征的步骤包括：

29、将所述深度条件高斯特征图作为深度信息注入距离视图特征中，并与所述伪图像特征拼接后进行卷积融合；

30、采用注意力门控残差方式计算空间自适应门控权重，对卷积融合后的特征进行选择性重加权；

31、将不同阶段输出的重加权特征上采样至统一空间分辨率，并进行拼接和跨尺度聚合卷积，得到融合增强距离视图特征。

32、进一步地，所述分别在水平虚拟视图和垂直虚拟视图进行预测的步骤包括：

33、对于高分辨率目标距离视图中的任一查询位置，从增强距离视图特征中收集其局部邻域的样本特征，并与相对坐标偏移共同构成局部查询嵌入；

34、将所述局部查询嵌入分别输入水平虚拟视图分支和垂直虚拟视图分支，分别预测两组插值权重；

35、分别计算两组插值权重与水平虚拟视图、垂直虚拟视图中对应的邻域观测值的加权求和，分别得到水平虚拟视图和垂直虚拟视图初始的中间插值结果。

36、进一步地，所述中间状态残差校正步骤包括：

37、将增强距离视图特征的上采样结果与任一虚拟视图的初始的中间插值结果进行拼接，输入多层感知机预测中间状态误差；

38、将所述中间状态误差加到初始的中间插值结果上得到校正后的中间状态；

39、通过除以查询位置对应的俯仰角的三角函数进行角度归一化，将校正后的中间状态变换回水平虚拟视图距离候选和垂直虚拟视图距离候选。

40、进一步地，所述融合生成高分辨率距离图的步骤包括：

41、根据所述水平虚拟视图距离候选和垂直虚拟视图距离候选之间的差异，利用残差卷积网络和保证非负的激活函数估计几何不确定性图；

42、根据两个视图的距离候选生成选择图；

43、利用所述选择图中的选择权重，对水平虚拟视图距离候选和垂直虚拟视图距离候选进行自适应选择和融合，得到所述高分辨率距离图。

44、进一步地，所述反投影至三维空间的步骤包括：

45、获得最终的高分辨率距离图后，根据每个高分辨率像素对应的方位角、俯仰角和距离值，将距离图反投影至三维空间；

46、遍历高分辨率距离图中的全部有效像素，输出所述高分辨率激光雷达点云。

47、与现有技术相比，本发明的有益效果在于：

48、（1）本发明将距离视图作为高效的主预测路径，同时构建与距离视图像素一一对应的视锥分组表示。对于投影到同一角度单元的多个三维点，不再仅保留单个距离值，而是通过视锥单元保存投影过程中可能被覆盖的多点几何信息。由此，网络能够利用传统距离视图中不可见的多回波、遮挡层次和局部表面结构，为道路边界、车辆表面等结构的高质量重建提供更完整的几何证据。

49、（2）本发明在多个尺度阶段将距离视图特征提升至视锥空间，并将距离视图上下文注入视锥点特征；随后将增强后的视锥特征重新排列为伪图像并回传至距离视图分支。该辅助式交互避免了直接把多深度层混合的视锥聚合特征作为插值候选，在保持距离视图预测稳定性的同时补充三维结构信息。

50、（3）本发明利用视锥单元的深度统计构造尺度相关的深度图，并根据局部深度自适应调节二维高斯基的有效空间带宽。相较于在不同距离区域使用固定感受野的方案，本发明能够区分近距离密集结构和远距离稀疏结构，使距离视图特征对深度变化更加敏感。

51、（4）本发明分别从水平虚拟视图和垂直虚拟视图生成互补预测，在角度归一化之前执行中间状态残差校正，并根据两个视图候选之间的差异估计几何不确定性。由此能够抑制极端俯仰角、深度突变和目标边界区域中的误差放大，提高高分辨率距离图的稳定性。

52、（5）本发明兼顾上采样质量、鲁棒性与工程效率。根据论文实验结果，在kitti与nuscenes数据集的不同上采样倍率下，本发明在平均绝对误差、三维交并比和倒角距离指标上均取得具有竞争力的结果；在高斯噪声扰动下仍保持较好的结构恢复能力。网络主要使用规则二维特征图上的卷积与轻量级映射，可适配车载计算平台、机器人计算单元和路侧感知设备。