一种融合分层垂直先验与多注意力自适应融合的激光雷达三维目标检测方法

摘要: 本发明涉及自动驾驶环境感知、激光雷达点云三维目标检测,尤其适用于基于柱状(pillar)结构的实时lidar三维物体检测算法优化,可部署于车载计算平台、智能机器...
一种融合分层垂直先验与多注意力自适应融合的激光雷达三维目标检测方法

本发明涉及自动驾驶环境感知、激光雷达点云三维目标检测,尤其适用于基于柱状(pillar)结构的实时lidar三维物体检测算法优化,可部署于车载计算平台、智能机器人感知系统。

背景技术:

1、自动驾驶依靠激光雷达点云实现车辆、行人、非机动车等三维目标检测,主流轻量化方案pointpillars(cvpr2019提出的实时激光雷达3d目标检测算法)采用垂直柱状体素化将点云转为鸟瞰伪图像,依靠2d卷积保障推理速度,但存在垂直维度信息压缩丢失的核心缺陷,物体高度是区分行人、车辆、骑行者的关键特征,柱状统一4m高度体素会抹平垂直细节,造成远距离小目标、密集行人漏检、误检。

2、现有svp(分层垂直先验)框架增设独立高度图分支提取垂直特征,并设计sif融合模块融合垂直/水平特征,一定程度提升检测精度,但仍存在四大缺陷:

3、原始sif(空间信息融合)仅简单融合最大/平均池化+单卷积注意力,无法自适应建模通道、空间关联,特征融合能力有限;

4、统一均匀体素划分,行人密集场景相邻目标点云粘连,模型易将多个行人识别为单个目标;

5、并行双分支网络参数量、浮点运算量大,推理延迟较高,难以适配低算力车载边缘设备;

6、采用轴对齐nms后处理,无法适配任意朝向三维目标,密集场景易过度抑制有效检测框;

7、针对上述现有技术缺陷,本发明提出多维度模块化改进方案,从融合模块、骨干网络、体素划分、损失函数、后处理、轻量化、多维度优化分层垂直先验检测框架,在保证实时性的前提下大幅提升三维目标检测精度,尤其优化行人、远距离小目标、密集人群场景检测效果。

技术实现思路

1、发明目的:本发明的目的在于提供一种融合分层垂直先验与多注意力自适应融合的激光雷达三维目标检测方法,解决传统柱状检测网络垂直特征丢失问题,强化分层高度信息自适应融合能力;改善密集行人场景目标粘连漏检缺陷,采用自适应非均匀体素划分保留个体区分特征;降低双分支网络计算开销,提供轻量化、可边缘部署的三维检测方案;优化边界框回归、类别均衡能力、提升旋转三维目标、难样本检测精度;从而提升三维目标检测的整体性能。

2、技术方案:为实现上述目的,本发明采用如下技术方案。

3、一种融合分层垂直先验与多注意力自适应融合的激光雷达三维目标检测方法,包括如下步骤:

4、步骤1:双分支点云预处理

5、高度图分支(垂直先验分支):摒弃原始均匀3d体素划分,采用自适应非均匀体素策略,对点云空间进行网格划分,基于局部点云密度动态调整z轴体素尺寸;行人密集区域、近处目标区域缩小z轴体素尺寸,开阔远距离区域增大z轴体素尺寸;提取每个体素内最大z坐标生成分层高度图,保留精细垂直轮廓。

6、伪图像分支(水平bev分支): 沿用pointpillars柱状划分,统一xy平面分割粒度与高度图分支对齐,通过mlp(多层感知机)提取柱内点特征堆叠生成bev伪图像;增加点云数据增强模块,包含随机平移/旋转/遮挡、gt样本复制粘贴、难样本过采样,均衡行人、工程车辆少样本类别分布。

7、步骤 2:轻量化残差双分支骨干网络

8、分别以分层高度图fm、bev伪图像fp为输入,构建两路独立轻量化卷积骨干backbone_h、backbone_p;所有卷积模块统一使用深度可分离卷积+残差短连接替换原始标准3×3卷积。

9、高度图骨干backbone_h提取3尺度垂直特征,该骨干由卷积块b1、b2、b3串联组成,每个卷积块固定结构:2层深度可分离3×3卷积+bn(批量归一化)+relu激活+残差短路连接+步长为2的最大池化;网络逐级完成空间下采样。尽管卷积块基础架构一致,但通道升维策略差异化设置:b1卷积块仅执行空间下采样,通道维度保持不变;自b2开始在模块内部增设升维卷积,通道数逐级翻倍。

10、伪图像骨干backbone_p提取3尺度水平特征骨干由卷积块b4、b5、b6串联组成,b4包含1层池化+3层残差深度可分离卷积;b5、b6包含1层池化+5层残差深度可分离卷积,步长统一为2,网络逐级完成空间下采样。尽管卷积块基础架构一致,但通道升维策略差异化设置:b4卷积块仅执行空间下采样,通道维度保持不变;自b5开始在模块内部增设升维卷积,通道数逐级翻倍。骨干网络输出3组不同尺度垂直特征fh1,fh2,fh3与3组水平特征fp1,fp2,fp3三组特征分别送入独立改进型sif融合模块。

11、步骤3:改进型多注意力sif共享信息融合模块

12、针对原始sif单一注意力缺陷,设计融合cbam(卷积块注意力模块)通道-空间联合注意力、可学习尺度权重的自适应融合模块,流程如下:

13、同尺度垂直特征、水平特征分别经3×3轻量化卷积压缩通道后输出压缩后垂直特征、压缩后水平特征。沿通道拼接得到原始融合特征图fcat:

14、

15、对fcat引入cbam注意力模块,同时建模通道依赖与空间像素关联,生成全局联合注意力权重。

16、对fcat分别执行全局平均池化、全局最大池化,得到两组一维通道描述向量;两组向量输入共享两层mlp网络,经sigmoid激活输出通道注意力权重图mc;将权重与原始融合特征逐通道相乘:,对通道加权后的fcat,沿通道维度分别取最大值、平均值,拼接为2通道空间特征;通过3×3卷积+sigmoid生成空间注意力权重图ms,逐像素加权:,本步骤让网络提前学习全局场景语义,从通道维度、空间维度双重过滤融合特征内冗余噪声。

17、然后回到压缩特征、,做1×1卷积,生成垂直注意力映射图gh、水平注意力映射图gp。

18、设置可学习缩放系数λ、γ(初始化均为 0.8),构建残差增强公式:

19、

20、

21、式(2)、式(3)中代表逐像素相乘操作,保留原始基础特征的同时,自适应放大关键目标特征。

22、然后对三组尺度设置差异化加权系数,引入多尺度自适应权重因子,对浅层小目标尺度特征分配更高融合权重,强化远距离物体特征表征;将对应尺度增强特征乘以权重系数后,沿通道拼接,输出该尺度最终融合增强特征fout,输出增强后的融合特征送入颈部聚合网络。

23、步骤4:多尺度颈部聚合网络和多任务检测头

24、颈部网络采用反卷积上采样将3尺度融合特征统一至相同分辨率,通道拼接聚合全局多尺度信息;该网络包含三个上采样操作up1、up2、up3,上采样操作up1、up2和up3分别采用步长1、2、4的反卷积运算实现,对应的卷积核尺寸分别为1、2、4,up1到up3的输出通道维度为2c,将up1、up2、up3三路输出特征沿通道维度拼接,得到全局聚合特征张量:。将该全局聚合特征fcat输入多任务检测头,开展三维目标多参数并行预测。

25、分类头cls_head:输入,1×1 卷积输出,ncls为数据集类别数,3d回归头reg_head:输出freg,7维参数对应3d 框中心(x,y,z)、长宽高(l,w,h)、高度偏移,方向头dir_head:输出fdir,二分类判断目标朝向正负。

26、步骤5:多任务复合损失函数

27、获取检测头输出的各类预测张量,结合点云数据自带的三维标注真值,构建加权总损失函数,所有分支损失同步约束网络参数更新,总损失函数为:

28、

29、各分项计算方式:

30、:平衡 focal loss,γ=2,α按类别样本数量自适应加权,缓解行人少样本问题;

31、:ciou loss 替代原始smoothl1,针对3d旋转框计算3d-ciou,公式:

32、

33、式(5)中ρ为预测框与真值框中心欧氏距离,c为最小包围立方体对角线,v为长宽高相似度惩罚项;

34、:二分类交叉熵损失,权重0.5;

35、:高度重建l1损失,约束高度图分支输出贴合真实物体高度分布;

36、:二元交叉熵分割损失,训练时对密集行人样本施加额外权重进行加权约束。

37、步骤6:旋转模糊fuzzy-nms后处理

38、加载训练完成的模型权重执行推理,对检测头输出的海量候选框做筛选优化,步骤:

39、过滤低置信框,置信度阈值0.25,低于阈值直接丢弃;按预测类别置信度从高至低对剩余3d旋转框排序;

40、逐框3d旋转iou计算,遍历高置信基准框,依次计算其余候选框与基准框的三维旋转交并比;

41、模糊加权抑制策略,iou>0.7:判定高度重叠,直接剔除低置信重复框;0.5<iou≤0.7:不直接删除,基于两框置信度加权融合三维框坐标;iou≤0.5:判定无重叠,输出筛选完成的全部目标信息,包含物体类别、检测置信度、三维旋转边界框、物体朝向角,作为自动驾驶感知输出结果。

42、进一步地,该三维目标检测装置可搭载于车载感知硬件平台,硬件平台包括车载激光雷达、嵌入式处理器以及计算机可读存储介质。 相应地,本发明实施例还提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现本发明一种融合分层垂直先验与多注意力自适应融合的激光雷达三维目标检测方法。所述计算机可读存储介质包括但不限于只读存储器、随机存取存储器、固态硬盘、闪存芯片、车载嵌入式flash、磁盘等任意能够存储计算机程序的载体。

43、本发明采用的上述至少一个技术方案能够达到以下有益效果:在本发明提供的一种融合分层垂直先验与多注意力自适应融合的激光雷达三维目标检测方法中,自适应非均匀体素划分策略,针对密集行人区域细化垂直粒度,密集场景漏检率得到了明显降低,解决原始均匀体素粘连问题;改进cbam多注意力sif模块同步建模通道、空间依赖,垂直与水平特征融合更充分,在kitti验证集行人中等难度ap和整体map都得到了提升;3d-ciou损失+旋转模糊nms,旋转三维框定位误差显著下降,密集候选框不会被过度抑制;轻量化残差双分支骨干,深度可分离卷积降低了模型的浮点运算量和推理延迟;轻量化动态推理方案可部署于orin x等低算力车载边缘芯片,兼顾精度与实时性;整体模块为插件式设计,无需改动pointpillars、centerpoint、bevfusion等主流柱状网络骨干,通用性强,工程落地成本低。