面向全天候多传感器融合的自适应路由目标检测方法

本技术涉及自动驾驶，特别涉及一种面向全天候多传感器融合的自适应路由目标检测方法。

背景技术：

1、三维目标检测是自动驾驶系统环境感知的核心任务之一，其目标是准确识别并定位车辆、行人、骑行者等交通参与者的三维空间位置、尺寸及类别。相关技术中，三维目标检测方法通常采用固定的传感器组合与融合策略，如采用激光雷达与摄像头融合、激光雷达与毫米波雷达融合的多传感器融合方案，对不同传感器采集的数据进行联合建模，以实现三维目标检测。

2、然而，相关技术采用固定的传感器组合与融合策略，导致难以根据不同天气条件进行动态调整，难以充分发挥不同传感器的互补优势，从而造成复杂场景下三维目标检测精度和鲁棒性下降。

技术实现思路

1、本技术提供一种面向全天候多传感器融合的自适应路由目标检测方法，以解决相关技术中，由于采用固定的传感器组合与融合策略，导致难以根据不同天气条件进行动态调整，从而造成复杂场景下三维目标检测精度和鲁棒性下降的问题。

2、本技术第一方面实施例提供一种面向全天候多传感器融合的自适应路由目标检测方法，包括以下步骤：提取不同模态数据的图像特征、lidar（light detection andranging，激光探测与测距）点云特征和4d（dimensional，维）毫米波雷达点云特征；利用第一融合分支将图像特征、lidar点云特征映射为第一鸟瞰图融合特征，和/或利用第二融合分支将lidar点云特征、4d毫米波雷达点云特征映射为第二鸟瞰图融合特征；基于第一鸟瞰图融合特征和/或第二鸟瞰图融合特征和预先构建的三维目标检测头预测三维目标的类别和/或位置。

3、通过以上技术手段，利用第一融合分支和/或第二融合分支生成鸟瞰图融合特征，可以灵活融合图像、lidar点云及4d毫米波雷达点云等多模态信息，充分发挥不同传感器的互补优势；进而预测三维目标的类别和/或位置，可以提高目标识别与空间定位的准确性，增强复杂天气和动态交通场景下三维目标检测的稳定性与鲁棒性。

4、可选地，在本技术的一个实施例中，面向全天候多传感器融合的自适应路由目标检测方法还包括：提取表征当前场景天气语义的特征，以确定当前环境的天气先验信息；根据天气先验信息生成门控控制信号，以确定在前环境下融合分支被选择的概率；根据概率激活第一融合分支或第二融合分支。

5、通过以上技术手段，根据天气先验信息生成门控控制信号，以选择激活第一融合分支或第二融合分支，可以根据当前场景的天气状态自适应调整多模态传感器的融合路径，从而针对不同天气环境充分利用有效传感器信息，提高多模态特征融合的有效性以及三维目标检测的准确性和环境适应能力。

6、可选地，在本技术的一个实施例中，提取不同模态数据的图像特征、lidar点云特征和4d毫米波雷达点云特征，包括：利用预设二维主干网络提取图像特征；对lidar点云进行体素化，以转换为满足第一预设规则条件的第一栅格数据，并根据第一栅格数据利用第一预设体素特征编码器得到lidar点云特征；对4d毫米波雷达点云进行体素化，以转换为满足第二预设规则条件的第二栅格数据，并根据第二栅格数据利用预设第二体素特征编码器得到4d毫米波雷达点云特征。

7、通过以上技术手段，分别从图像、lidar点云、4d毫米波雷达点云中提取得到图像特征、lidar点云特征和4d毫米波雷达点云特征，可以针对不同模态数据的特性采用相应的特征提取网络进行处理，从而分别获得包含丰富语义信息、精确三维几何信息以及目标距离、速度和空间位置等信息的多模态特征，为后续根据天气环境选择不同融合分支并生成鸟瞰图融合特征提供数据基础。

8、可选地，在本技术的一个实施例中，利用第一融合分支将图像特征、lidar点云特征映射为第一鸟瞰图融合特征，和/或利用第二融合分支将lidar点云特征、4d毫米波雷达点云特征映射为第二鸟瞰图融合特征，包括：基于第一融合分支，将图像特征映射为高层语义特征，以将高层语义特征转换为图像bev特征；将lidar点云特征映射为稀疏三维特征，并将稀疏三维特征压扁至目标bev空间，以得到lidar点云bev特征；根据图像bev特征和lidar点云bev特征得到第一鸟瞰图融合特征。

9、通过以上技术手段，利用第一融合分支将图像特征、lidar点云特征映射为第一鸟瞰图融合特征，可以通过将图像特征与lidar点云特征转换至统一的鸟瞰图空间，并进行空间对齐、特征交互及特征融合，使第一鸟瞰图融合特征同时包含图像的丰富语义信息和lidar点云的精确三维几何信息，从而提高目标类别识别及三维空间定位的准确性，为后续三维目标检测提供更加全面的特征表示。

10、可选地，在本技术的一个实施例中，利用第一融合分支将图像特征、lidar点云特征映射为第一鸟瞰图融合特征，和/或利用第二融合分支将lidar点云特征、4d毫米波雷达点云特征映射为第二鸟瞰图融合特征，包括：基于第二融合分支，以每一个非空lidar体素为索引，查询满足预设范围条件的的多个最邻近毫米波雷达体素特征；基于多个最邻近毫米波雷达体素特征得到非空lidar体素的融合特征；聚合所有融合特征，以得到融合特征，并将融合特证与lidar点云特征相加，以得到增强lidar点云特征；根据lidar点云特征生成第二鸟瞰图融合特征。

11、通过以上技术手段，利用第二融合分支将lidar点云特征、4d毫米波雷达点云特征映射为第二鸟瞰图融合特征，可以将两种点云特征转换至统一的鸟瞰图空间，并通过空间对齐、特征交互与信息融合，充分利用lidar点云的高精度三维几何信息以及4d毫米波雷达点云的距离、速度和空间位置信息，实现不同传感器信息的优势互补，从而增强恶劣天气或复杂环境下目标特征的完整性，提高三维目标检测的准确性、稳定性和环境适应能力。

12、本技术第二方面实施例提供一种面向全天候多传感器融合的自适应路由目标检测装置，包括：提取模块，用于提取不同模态数据的图像特征、lidar点云特征和4d毫米波雷达点云特征；映射模块，用于利用第一融合分支将图像特征、lidar点云特征映射为第一鸟瞰图融合特征，和/或利用第二融合分支将lidar点云特征、4d毫米波雷达点云特征映射为第二鸟瞰图融合特征；检测模块，用于基于第一鸟瞰图融合特征和/或第二鸟瞰图融合特征和预先构建的三维目标检测头预测三维目标的类别和/或位置。

13、可选地，在本技术的一个实施例中，面向全天候多传感器融合的自适应路由目标检测装置还包括：确定模块，用于提取表征当前场景天气语义的特征，以确定当前环境的天气先验信息；生成模块，用于根据天气先验信息生成门控控制信号，以确定在前环境下融合分支被选择的概率；激活模块，用于根据概率激活第一融合分支或第二融合分支。

14、可选地，在本技术的一个实施例中，提取模块，包括：提取单元，用于利用预设二维主干网络提取图像特征；第一转换单元，用于对lidar点云进行体素化，以转换为满足第一预设规则条件的第一栅格数据，并根据第一栅格数据利用第一预设体素特征编码器得到lidar点云特征；第二转换单元，用于对4d毫米波雷达点云进行体素化，以转换为满足第二预设规则条件的第二栅格数据，并根据第二栅格数据利用预设第二体素特征编码器得到4d毫米波雷达点云特征。

15、可选地，在本技术的一个实施例中，映射模块，包括：映射单元，用于基于第一融合分支，将图像特征映射为高层语义特征，以将高层语义特征转换为图像bev特征；压扁单元，用于将lidar点云特征映射为稀疏三维特征，并将稀疏三维特征压扁至目标bev空间，以得到lidar点云bev特征；确定单元，用于根据图像bev特征和lidar点云bev特征得到第一鸟瞰图融合特征。

16、可选地，在本技术的一个实施例中，映射单元，包括：查询单元，用于基于第二融合分支，以每一个非空lidar体素为索引，查询满足预设范围条件的的多个最邻近毫米波雷达体素特征；融合单元，用于基于多个最邻近毫米波雷达体素特征得到非空lidar体素的融合特征；聚合单元，用于聚合所有融合特征，以得到融合特征，并将融合特证与lidar点云特征相加，以得到增强lidar点云特征；生成单元，用于根据lidar点云特征生成第二鸟瞰图融合特征。

17、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的面向全天候多传感器融合的自适应路由目标检测方法。

18、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的面向全天候多传感器融合的自适应路由目标检测方法。

19、本技术第五方面实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被执行时，以用于实现如上的面向全天候多传感器融合的自适应路由目标检测方法。

20、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。