3D目标检测方法、装置、电子设备和存储介质

摘要: 本发明涉及自动驾驶环境感知的,尤其是涉及一种3d目标检测方法、装置、电子设备和存储介质。背景技术:1、目前,在自动驾驶感知系统中,多模态3d目标检测旨在通过相机...
3D目标检测方法、装置、电子设备和存储介质

本发明涉及自动驾驶环境感知的,尤其是涉及一种3d目标检测方法、装置、电子设备和存储介质。

背景技术:

1、目前,在自动驾驶感知系统中,多模态3d目标检测旨在通过相机与激光雷达的互补信息实现物体的精准定位与识别。

2、现有技术通常利用密集2d特征提升3d检测性能,但受限于局部感受野,难以建模长程依赖关系。尽管transformer架构擅长全局关联建模,其计算开销随输入规模急剧增长,制约了实时性应用。现有的多模态融合方法主要围绕令牌交互展开,例如通过空间对齐或双阶段融合优化检测性能,但这些方法受限于序列长度与计算资源,难以避免伪全局关联问题。此外,状态空间模型虽在序列任务中展现高效性,但现有方法未有效结合多模态交互与全局扫描机制,导致泛化能力受限。核心矛盾在于:令牌方法难以平衡长程依赖建模与计算效率,而通用状态空间模型的浅层融合策略无法满足多模态深度交互需求。

3、因此,传统的多模态3d目标检测方法存在无法兼顾建模长程跨模态依赖关系、实现深度特征融合且高效计算的技术问题。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种3d目标检测方法、装置、电子设备和存储介质,以缓解传统的多模态3d目标检测方法无法兼顾建模长程跨模态依赖关系、实现深度特征融合且高效计算的技术问题。

2、第一方面,本发明提供了一种3d目标检测方法,包括:

3、获取激光雷达鸟瞰图特征和相机鸟瞰图特征;

4、基于耦合扫描策略分别对所述激光雷达鸟瞰图特征和所述相机鸟瞰图特征进行序列化,得到激光雷达扫描序列和相机扫描序列;

5、将所述激光雷达扫描序列和所述相机扫描序列输入内部状态融合模块,通过时序状态转移对所述激光雷达扫描序列和所述相机扫描序列进行状态演化与模态交互,得到内部融合特征,并根据所述内部融合特征和基于所述激光雷达鸟瞰图特征和所述相机鸟瞰图特征得到的外部融合特征生成初步融合特征;

6、对所述初步融合特征进行多方向双向扫描和空间变换,得到最终融合特征;

7、基于所述最终融合特征进行3d目标检测,输出检测结果。

8、进一步地,所述基于耦合扫描策略分别对所述激光雷达鸟瞰图特征和所述相机鸟瞰图特征进行序列化,包括:

9、沿第一方向对所述激光雷达鸟瞰图特征进行扫描,得到第一初始激光雷达扫描序列;

10、沿与所述第一方向相反的第二方向对所述相机鸟瞰图特征进行扫描,得到第一初始相机扫描序列;

11、将所述第一初始激光雷达扫描序列和所述第一初始相机扫描序列进行端对端拼接,形成所述激光雷达扫描序列;

12、沿所述第一方向对所述相机鸟瞰图特征进行扫描,得到第二初始相机扫描序列;

13、沿与所述第一方向相反的第二方向对所述激光雷达鸟瞰图特征进行扫描,得到第二初始激光雷达扫描序列;

14、将所述第二初始相机扫描序列和所述第二初始激光雷达扫描序列进行端对端拼接,形成所述相机扫描序列。

15、进一步地,所述通过时序状态转移对所述激光雷达扫描序列和所述相机扫描序列进行状态演化与模态交互,包括:

16、将所述激光雷达扫描序列和所述相机扫描序列作为输入,生成初始状态矩阵;

17、基于所述初始状态矩阵,分别预测对应的特征热力图;

18、基于所述特征热力图在所述初始状态矩阵中筛选出优势状态值,并记录其在所述初始状态矩阵中的原始位置索引;

19、将所述优势状态值按照所述原始位置索引的顺序进行重排,并在重排后的序列末尾附加统计特征,得到待调制状态序列,所述统计特征包括所述初始状态矩阵的均值和方差;

20、对所述待调制状态序列进行特征调制处理,得到调制后的状态序列;

21、根据所述原始位置索引,将所述调制后的状态序列中对应于优势状态值的部分填充回所述初始状态矩阵中对应的原始位置,得到调制后的状态矩阵;

22、将所述调制后的状态矩阵输入状态空间模型进行计算,输出激光雷达特征和相机特征;

23、根据所述激光雷达特征和所述相机特征生成所述内部融合特征。

24、进一步地,所述根据所述内部融合特征和基于所述激光雷达鸟瞰图特征和所述相机鸟瞰图特征得到的外部融合特征生成初步融合特征,包括:

25、对所述激光雷达鸟瞰图特征和所述相机鸟瞰图特征拼接后,执行卷积操作,得到所述外部融合特征;

26、将所述内部融合特征与所述外部融合特征进行加和操作,得到所述初步融合特征。

27、进一步地,所述对所述初步融合特征进行多方向双向扫描和空间变换,包括:

28、沿第一轴向将所述初步融合特征均分为两部分;

29、对第一部分特征进行前向状态空间处理,对第二部分特征进行后向状态空间处理;

30、对所述前向状态空间处理的输出执行矩阵旋转操作,对所述后向状态空间处理的输出执行特征翻转操作;

31、将处理后的两部分特征在通道维度拼接,得到中间融合特征;

32、将所述中间融合特征作为输入,沿与所述第一轴向正交的第二轴向重复执行所述均分、前向状态空间处理、后向状态空间处理、矩阵旋转操作、特征翻转操作以及拼接的步骤,得到所述最终融合特征。

33、进一步地,所述方法还包括:

34、所述前向状态空间处理和所述后向状态空间处理采用共享参数的状态空间模型层。

35、进一步地,所述基于所述最终融合特征进行3d目标检测,包括:

36、将所述最终融合特征输入3d检测头,通过分类与回归子网络预测目标的类别以及3d边界框参数。

37、第二方面,本发明还提供了一种3d目标检测装置,包括:

38、获取单元,用于获取激光雷达鸟瞰图特征和相机鸟瞰图特征;

39、序列化单元,用于基于耦合扫描策略分别对所述激光雷达鸟瞰图特征和所述相机鸟瞰图特征进行序列化,得到激光雷达扫描序列和相机扫描序列;

40、模态交互和生成单元,用于将所述激光雷达扫描序列和所述相机扫描序列输入内部状态融合模块,通过时序状态转移对所述激光雷达扫描序列和所述相机扫描序列进行状态演化与模态交互,得到内部融合特征,并根据所述内部融合特征和基于所述激光雷达鸟瞰图特征和所述相机鸟瞰图特征得到的外部融合特征生成初步融合特征;

41、多方向双向扫描和空间变换单元,用于对所述初步融合特征进行多方向双向扫描和空间变换,得到最终融合特征;

42、3d目标检测单元,用于基于所述最终融合特征进行3d目标检测,输出检测结果。

43、第三方面,本发明还提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述方法。

44、第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行第一方面所述方法。

45、本发明提供的一种3d目标检测方法,包括:获取激光雷达鸟瞰图特征和相机鸟瞰图特征;基于耦合扫描策略分别对激光雷达鸟瞰图特征和相机鸟瞰图特征进行序列化,得到激光雷达扫描序列和相机扫描序列;将激光雷达扫描序列和相机扫描序列输入内部状态融合模块,通过时序状态转移对激光雷达扫描序列和相机扫描序列进行状态演化与模态交互,得到内部融合特征,并根据内部融合特征和基于激光雷达鸟瞰图特征和相机鸟瞰图特征得到的外部融合特征生成初步融合特征;对初步融合特征进行多方向双向扫描和空间变换,得到最终融合特征;基于最终融合特征进行3d目标检测,输出检测结果。通过上述描述可知,本发明的3d目标检测方法中,通过耦合扫描策略将多模态特征统一到状态空间序列中,利用内部状态融合模块在状态空间内部动态耦合优势特征,不仅能够精准捕获长程跨模态依赖关系并实现深度的特征融合,而且得益于内部状态融合模块及多方向双向扫描的高效计算特性,能够在保证检测精度的同时大幅降低计算复杂度,从而实现了在高效计算的前提下兼顾长程跨模态依赖建模与深度特征融合的技术效果。