一种基于多尺度图像特征增强和跨模态稀疏注意力融合的激光雷达与相机融合三维目标检测方法

本发明涉及自动驾驶环境感知、计算机视觉和三维目标检测，尤其涉及一种基于多尺度图像特征增强和跨模态稀疏注意力融合的激光雷达与相机融合三维目标检测方法。

背景技术：

1、三维目标检测是自动驾驶感知系统中的核心任务，其目的在于基于车载传感器数据对周围环境中的车辆、行人、骑行者等目标进行三维定位、尺寸估计、朝向预测和类别识别。三维目标检测结果直接影响自动驾驶系统的决策规划和车辆控制，因此检测精度和鲁棒性对行车安全具有重要意义。

2、激光雷达能够提供较为准确的三维几何和深度信息，但点云具有稀疏性，且缺乏纹理和颜色等语义信息；相机能够提供丰富的颜色、纹理和语义信息，但其单独进行三维空间感知时易受到深度估计误差、光照变化和遮挡等因素影响。将激光雷达与相机进行融合，有利于利用两种传感器在几何精度和语义表达方面的互补优势。

3、现有多模态三维目标检测方法通常采用前期融合、后期融合或中间特征融合方式。前期融合容易受到传感器标定误差和数据噪声的影响；后期融合难以在推理过程中充分利用跨模态互补信息；中间特征融合虽然具有较好的灵活性，但在实际应用中仍存在图像特征多尺度表达不足、远距离空间依赖建模能力弱以及跨模态全局关联不充分等问题。

4、尤其在复杂城市道路场景中，远距离目标点云稀疏，遮挡目标的有效观测区域有限，不同模态中同一目标的有效信息还可能分散于不同空间区域。若融合模块仅依赖局部邻域或候选框附近的特征交互，则难以建立稳定的全局上下文关联，容易造成漏检、误检或三维框定位偏差。因此，有必要提出一种能够同时增强图像前端特征表达能力并提升后端跨模态全局融合鲁棒性的三维目标检测技术方案。

技术实现思路

1、本发明的目的在于一种基于多尺度图像特征增强和跨模态稀疏注意力融合的激光雷达与相机融合三维目标检测方法，以解决现有融合检测网络中图像特征多尺度上下文表达不足、跨模态全局关联建模能力弱以及复杂场景下融合鲁棒性不足的问题。

2、为实现上述目的，本发明提供一种基于多尺度图像特征增强和跨模态稀疏注意力融合的激光雷达与相机融合三维目标检测方法，包括如下步骤：

3、s1.获取车辆周围环境的多视角相机图像和激光雷达点云数据，并对所述多视角相机图像和激光雷达点云数据进行预处理；

4、s2.将预处理后的多视角相机图像输入图像编码器，得到多个尺度的图像特征；将预处理后的激光雷达点云数据进行体素化和鸟瞰图编码，得到点云鸟瞰图特征；

5、s3.将所述图像特征输入多尺度空间上下文增强模块，对所述图像特征依次进行多尺度并行空间特征提取、空间长程依赖建模以及空间-通道协同注意力校准，得到增强图像特征；

6、s4.将所述点云鸟瞰图特征输入解码器，得到融合鸟瞰图特征；将所述增强图像特征与所述融合鸟瞰图特征输入跨模态稀疏注意力聚合模块，利用局部卷积路径与基于局部敏感哈希的非局部稀疏注意力路径对跨模态特征进行聚合，并通过残差方式输出融合特征；

7、s5.将所述融合特征输入检测解码器，输出目标的三维边界框、类别信息和置信度信息。

8、优选地，在所述多尺度空间上下文增强模块中，输入图像特征分别通过3×3、5×5和7×7的深度空洞卷积分支进行并行处理，各分支的空洞率均为3，并将各分支输出在通道维度进行拼接，以获得包含局部细节、邻域上下文和场景级结构信息的多尺度拼接特征。

9、优选地，所述多尺度空间上下文增强模块还将多尺度拼接特征沿空间维度展平为序列，并输入基于选择性状态空间模型的空间mamba单元，从而以线性复杂度建立不同空间位置之间的长程依赖关系。

10、优选地，所述多尺度空间上下文增强模块进一步通过通道注意力和空间注意力对mamba增强特征进行协同校准，并将校准结果与输入图像特征进行残差融合，从而得到信息密度更高、任务相关性更强的增强图像特征。

11、优选地，在所述跨模态稀疏注意力聚合模块中，通过局部敏感哈希函数将跨模态特征映射至多个哈希桶，并在同一哈希桶内进行稀疏注意力计算，以在可控计算开销下建立跨模态长距离依赖关系。

12、优选地，所述跨模态稀疏注意力聚合模块采用双路径结构，其中局部卷积路径用于保持局部几何和纹理细节，非局部稀疏注意力路径用于获取全局语义上下文，两条路径的输出经通道注意力增强、mamba长程相关建模和残差融合后输出融合特征。

13、本发明的有益效果如下：

14、本发明提出的一种基于多尺度图像特征增强和跨模态稀疏注意力融合的激光雷达与相机融合三维目标检测方法，通过多尺度空间上下文增强模块提升图像特征在局部纹理、多尺度结构和长程空间依赖方面的表达能力，为后续融合提供更高质量的视觉特征；通过基于局部敏感哈希的稀疏注意力机制在较低计算成本下建立跨模态全局关联，提高遮挡、远距离目标和复杂布局场景下的融合鲁棒性；通过局部卷积路径、稀疏注意力路径、通道校准和mamba残差聚合的协同作用，使检测网络在精度、鲁棒性和计算效率之间取得较好平衡。

1.一种基于多尺度图像特征增强和跨模态稀疏注意力融合的激光雷达与相机融合三维目标检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，所述步骤s1中，所述多视角相机图像进行统一尺寸缩放和裁剪，对所述激光雷达点云数据按照预设空间范围和体素分辨率进行过滤和体素划分，以使图像特征和点云鸟瞰图特征满足后续跨模态对齐要求。

3.根据权利要求1所述的方法，其特征在于，所述步骤s2中，所述图像编码器包括卷积主干网络和特征金字塔网络，所述卷积主干网络用于提取不同层级的图像语义特征，所述特征金字塔网络用于对不同层级的图像语义特征进行自顶向下融合，以得到多尺度图像特征。

4.根据权利要求1所述的方法，其特征在于，所述步骤s2中，所述点云鸟瞰图特征通过以下方式获得：将激光雷达点云数据划分为三维体素；对各体素内点进行体素特征编码，得到稀疏体素特征；对所述稀疏体素特征进行稀疏卷积和鸟瞰图投影，得到点云鸟瞰图特征。

5.根据权利要求1所述的方法，其特征在于，所述步骤s3中，所述多尺度并行空间特征提取包括：将输入图像特征分别输入至少三个并行分支，所述至少三个并行分支分别采用不同卷积核尺寸的深度空洞卷积进行特征提取，并将各并行分支的输出在通道维度进行拼接，得到多尺度拼接特征。

6.根据权利要求1所述的方法，其特征在于，所述步骤s3中，所述空间长程依赖建模包括：将多尺度拼接特征沿空间维度展平为特征序列；将所述特征序列输入基于选择性状态空间模型的空间mamba单元；所述空间mamba单元根据输入特征动态更新状态并在空间位置之间传播上下文信息，得到包含长程空间依赖关系的mamba增强特征。

7.根据权利要求1所述的方法，其特征在于，所述步骤s3中，所述空间-通道协同注意力校准包括：对mamba增强特征分别进行通道注意力和空间注意力计算，得到通道权重向量和空间权重图；利用所述通道权重向量和空间权重图对mamba增强特征进行加权调制，并将调制后的特征与所述增强模块的输入特征进行残差相加，输出增强图像特征。

8.根据权利要求1所述的方法，其特征在于，所述步骤s4中，所述基于局部敏感哈希的非局部稀疏注意力路径包括：利用球面局部敏感哈希函数将跨模态特征序列中的特征向量映射到多个哈希桶；对于任一特征位置，仅在与该特征位置具有相同哈希值的哈希桶内计算缩放点积注意力，从而将全局注意力计算限制于稀疏候选集合内；将各位置注意力输出重组为空间特征图。

9.根据权利要求1所述的方法，其特征在于，所述步骤s4中，所述跨模态稀疏注意力聚合模块还包括通道注意力增强路径，所述通道注意力增强路径通过级联的1×1卷积和通道注意力机制对局部卷积路径与非局部稀疏注意力路径的输出进行通道维度的自适应校准，并将校准后特征与输入特征残差相加，得到融合特征。

10.根据权利要求1所述的方法，其特征在于，所述步骤s5中，所述检测解码器包括基于transformer的解码层和三维检测头，所述三维检测头用于回归目标中心位置、目标尺寸和朝向角，并预测目标类别和置信度。