多模态3D目标检测方法、装置和电子设备

摘要: 本发明涉及自动驾驶环境感知与数据处理的,尤其是涉及一种多模态3d目标检测方法、装置和电子设备。背景技术:1、目前,三维目标检测是自动驾驶车辆理解周围环境、实现精...
多模态3D目标检测方法、装置和电子设备

本发明涉及自动驾驶环境感知与数据处理的,尤其是涉及一种多模态3d目标检测方法、装置和电子设备。

背景技术:

1、目前,三维目标检测是自动驾驶车辆理解周围环境、实现精准决策规划的关键环节。激光雷达点云能提供精确的三维几何信息,而相机图像则蕴含丰富的纹理与语义信息,二者具有天然的互补性。因此,融合激光雷达与相机数据的多模态方法被视为提升检测鲁棒性与精度的有效途径。

2、然而,现有技术在进行多模态融合时,往往存在深层语义鸿沟及决策权重僵化的问题。具体而言,现有方法在深层特征融合层面,主流方法依赖于在预定义鸟瞰图网格上进行特征拼接或加权,或采用简单的交互机制。这类策略难以在潜在空间实现细粒度、上下文感知的语义对齐,导致外观信息与几何信息之间存在“语义鸿沟”;同时,在决策融合层面,多数方法采用静态或固定权重的融合策略,在复杂场景下的鲁棒性不好。

3、综上,传统的多模态3d目标检测方法存在深层语义鸿沟及决策权重僵化的技术问题。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种多模态3d目标检测方法、装置和电子设备,以缓解传统的多模态3d目标检测方法存在深层语义鸿沟及决策权重僵化的技术问题。

2、第一方面,本发明提供了一种多模态3d目标检测方法,包括:

3、获取图像特征和点云特征;

4、将所述图像特征和所述点云特征进行拼接得到联合特征,并将所述联合特征映射至潜空间,分离出隐变量的均值分量和方差分量;

5、基于所述均值分量引导所述图像特征进行重构,得到增强图像特征;基于所述方差分量引导所述点云特征进行重构,得到增强点云特征;

6、基于所述增强图像特征和所述增强点云特征生成自适应融合权重,并根据所述自适应融合权重对所述图像特征、所述点云特征、所述增强图像特征及所述增强点云特征进行加权与补偿融合,得到融合特征;

7、基于所述融合特征进行3d目标检测。

8、进一步地,所述将所述联合特征映射至潜空间,分离出隐变量的均值分量和方差分量,包括:

9、通过概率编码器对所述联合特征进行处理,输出所述均值分量和所述方差分量,所述均值分量用于表征跨模态特征的共性模式,所述方差分量用于表征模态间的差异性和不确定性。

10、进一步地,所述基于所述均值分量引导所述图像特征进行重构,包括:

11、将所述均值分量与所述图像特征沿通道维度拼接;

12、通过由两级1×1反卷积网络构成的图像条件解码器对拼接后的特征进行处理,输出图像残差特征;

13、对所述图像残差特征进行非线性增强并执行空间维度的l2归一化处理,将处理后的图像残差特征与所述图像特征相加,得到所述增强图像特征;

14、所述基于所述方差分量引导所述点云特征进行重构,包括:

15、将所述方差分量与所述点云特征沿通道维度拼接;

16、通过由两级1×1反卷积网络构成的点云条件解码器对拼接后的特征进行处理,输出点云残差特征;

17、对所述点云残差特征进行非线性增强并执行空间维度的l2归一化处理,将处理后的点云残差特征与所述点云特征相加,得到所述增强点云特征。

18、进一步地,所述基于所述增强图像特征和所述增强点云特征生成自适应融合权重,包括:

19、对所述增强图像特征和所述增强点云特征进行融合,得到初步融合特征;

20、计算所述初步融合特征在通道维度的统计信息;

21、基于所述统计信息生成所述自适应融合权重。

22、进一步地,所述根据所述自适应融合权重对所述图像特征、所述点云特征、所述增强图像特征及所述增强点云特征进行加权与补偿融合,包括:

23、根据图像加权与补偿融合算式计算融合后的图像特征,并根据点云加权与补偿融合算式计算融合后的点云特征,表示所述融合后的图像特征,表示所述自适应融合权重,表示所述图像特征,表示所述增强图像特征,表示逐元素乘法,表示所述融合后的点云特征,表示所述点云特征,表示所述增强点云特征;

24、对所述融合后的图像特征和所述融合后的点云特征进行投影和拼接,得到所述融合特征。

25、进一步地,所述获取图像特征,包括:

26、对输入图像进行特征提取,得到初始图像特征;

27、通过双路加权策略模块对所述初始图像特征进行处理,得到所述图像特征,所述双路加权策略模块包括并行的右路池化权重支路和左路注意力权重支路。

28、进一步地,所述右路池化权重支路的处理包括:对所述初始图像特征并行执行全局平均池化、全局最大池化以及分组卷积下采样操作,融合得到的特征以生成池化权重;

29、所述左路注意力权重支路的处理包括:使用不同尺寸的卷积核处理所述初始图像特征,分别生成查询向量、键向量和值向量,进而基于注意力机制计算得到注意力权重;

30、根据所述池化权重和所述注意力权重对所述初始图像特征进行加权融合,得到所述图像特征。

31、进一步地,所述基于所述融合特征进行3d目标检测,包括:

32、将所述融合特征输入3d检测头,通过分类与回归子网络预测目标的类别以及3d边界框参数。

33、第二方面,本发明还提供了一种多模态3d目标检测装置,包括:

34、获取单元,用于获取图像特征和点云特征;

35、映射分离单元,用于将所述图像特征和所述点云特征进行拼接得到联合特征,并将所述联合特征映射至潜空间,分离出隐变量的均值分量和方差分量;

36、重构单元,用于基于所述均值分量引导所述图像特征进行重构,得到增强图像特征;基于所述方差分量引导所述点云特征进行重构,得到增强点云特征;

37、加权与补偿融合单元,用于基于所述增强图像特征和所述增强点云特征生成自适应融合权重,并根据所述自适应融合权重对所述图像特征、所述点云特征、所述增强图像特征及所述增强点云特征进行加权与补偿融合,得到融合特征;

38、3d目标检测单元,用于基于所述融合特征进行3d目标检测。

39、第三方面,本发明还提供了一种电子设备,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现第一方面所述方法。

40、本发明提供的一种多模态3d目标检测方法,包括:获取图像特征和点云特征;将图像特征和点云特征进行拼接得到联合特征,并将联合特征映射至潜空间,分离出隐变量的均值分量和方差分量;基于均值分量引导图像特征进行重构,得到增强图像特征;基于方差分量引导点云特征进行重构,得到增强点云特征;基于增强图像特征和增强点云特征生成自适应融合权重,并根据自适应融合权重对图像特征、点云特征、增强图像特征及增强点云特征进行加权与补偿融合,得到融合特征;基于融合特征进行3d目标检测。通过上述描述可知,本发明的多模态3d目标检测方法中,通过将图像特征与点云特征映射至潜空间并分离出均值分量与方差分量,利用均值分量引导图像特征重构、方差分量引导点云特征重构,实现了跨模态特征在潜在空间中的语义解耦与细粒度对齐,有效弥合了外观模态与几何模态之间的深层语义鸿沟,缓解了语义失配问题;进一步地,通过基于增强图像特征和增强点云特征生成自适应融合权重,并对图像特征、点云特征、增强图像特征与增强点云特征进行加权补偿融合,能够根据不同场景下各模态信噪比的动态变化自适应地调整决策权重(即自适应融合权重),使融合策略更加灵活鲁棒,从而在复杂环境下依然保持稳定的检测性能,提升了三维目标检测的精度与可靠性。