多模态可通行区域占据预测方法、装置、电子设备及存储介质

摘要: 本发明涉及自动驾驶感知、计算机视觉与多传感器融合,具体涉及一种多模态可通行区域占据预测方法、装置、电子设备及存储介质。背景技术:1、自动驾驶逐步拓展至山地、矿区...
多模态可通行区域占据预测方法、装置、电子设备及存储介质

本发明涉及自动驾驶感知、计算机视觉与多传感器融合,具体涉及一种多模态可通行区域占据预测方法、装置、电子设备及存储介质。

背景技术:

1、自动驾驶逐步拓展至山地、矿区、野外救援等非结构化越野场景,这类场景缺少标准道路标识,地形起伏大,存在植被、坑洼、陡坡等干扰,传统基于城市道路规则的自动驾驶感知规划方案适用性差。

2、现有主流感知算法面向城市场景,仅侧重车辆、行人等离散障碍物检测,缺少地形通行代价精细化建模;kitti、nuscenes 等公开数据集均以城市数据为主,缺少越野三维地形与多级通行代价标注,难以支撑高精度感知模型训练。

3、当前越野感知分为两类主流方案:一类仅使用激光雷达,仅能获取几何信息,无法区分外形相近但通行难度不同的地形;另一类仅依靠单目图像,深度信息缺失,易受光照干扰。两类单模态方案鲁棒性、泛化能力均不足。

4、同时现有算法大多输出二维栅格或粗粒度三维结果,无法实现体素级多级通行风险划分,难以识别悬垂、负障碍物与观测盲区,路径规划仅能基础避障,易产生路径不合理、危险漏判等问题。

5、综上,现有技术存在模态融合层次浅、三维场景补全能力弱、通行代价预测粒度粗、越野场景适配差等缺陷,亟需融合图像与激光雷达、可实现盲区补全与体素级多级通行代价预测的三维可通行区域占据预测方案。

6、因此,本技术预期一种多模态可通行区域占据预测的方法、装置、电子设备及存储介质。

7、缩略语与关键术语定义

8、1.多模态(multimodal):指融合多种不同类型传感器采集的数据源开展联合感知的技术方式,本技术中具体为激光雷达点云与单目摄像头图像两类数据融合。

9、2.激光雷达(light detection and ranging, lidar):一种主动式测距传感器,通过发射激光束并接收目标反射回波,解算目标空间距离、坐标与反射强度,实现场景三维空间分布感知。

10、3.单目图像:由单一可见光摄像头单次采集得到的二维平面像素图像,仅包含场景外观语义信息,无原生深度维度数据。

11、4.三维语义场景补全(3d semantic scene completion):一种三维环境重建技术,将稀疏激光点云、二维图像等不完备观测数据转换为稠密三维体素空间表征,并为每一个体素单元分配对应的语义类别标签,补全传感器遮挡、视角缺失造成的场景空白区域。

12、5.可通行区域占据预测:面向无人车辆自主行驶的三维感知任务,对车辆周边三维空间进行体素划分,预测各体素空间的物理占据状态与地形通行难度等级,区分可通行区域、高代价通行区域及障碍物禁行区域,为车辆安全路径规划提供依据。

13、6.可变形注意力机制(deformable attention):深度学习领域用于特征交互的注意力计算模块,可脱离固定网格采样规则,自适应偏移采样位置,动态选取特征图内关联性最强的区域完成特征聚合融合。

14、7.数据集:本技术特指面向非结构化越野场景构建的专用感知数据集,数据样本包含车辆周边多模态原始感知数据(激光雷达点云、单目图像),以及配套标注的三维语义标签、体素级可通行代价真值。

15、8.rellis-3d 数据集:公开开源的越野场景多传感器融合基准数据集;本技术基于该数据集完成数据拓展、清洗与二次标注,生成新增可通行代价真值标注的专用数据集,命名为rellis-occ。

16、9.体素:三维空间均匀离散划分后的最小基础单元,对应二维图像中的像素;通过体素化处理可将无序、稀疏的激光点云转换为规则三维网格张量,适配卷积网络输入格式。

技术实现思路

1、在第一方面,本发明实施例提供了一种多模态可通行区域占据预测方法,包括以下步骤:

2、获取目标区域的单目图像单目图像与激光雷达点云,基于所述单目图像提取二维基础特征,并结合二维可通行先验生成增强视觉特征,对所述激光雷达点云进行体素化,得到稀疏几何占据监督与下采样稠密体素查询,对所述下采样稠密体素查询对应的三维体素空间配置可学习掩码标记;

3、采用可变形交叉注意力对所述下采样稠密体素查询与所述增强视觉特征进行跨模态对齐融合,得到融合体素查询,对所述融合体素查询与所述可学习掩码标记进行拼接,生成初始三维体素特征,对所述初始三维体素特征执行可变形自注意力处理,挖掘三维空间长程上下文依赖,得到细化三维体素特征;

4、对所述细化三维体素特征执行上采样处理,输入主预测头以获得体素级三维可通行代价语义结果,并行将所述细化三维体素特征送入辅助占据预测头,得到三维几何占据预测结果;

5、基于加权交叉熵损失、可通行性预测损失、几何尺度损失和辅助占据损失构建总损失函数,并利用所述总损失函数对网络开展端到端训练;

6、所述端到端训练完成后,将实时采集的单目图像、激光雷达点云输入所述网络,输出可通行包含体素空间占据状态与多级可通行代价标签的三维体素地图。

7、进一步的,所述二维可通行先验为利用轻量级分割模型生成的二维可通行对数概率图。

8、进一步的,所述下采样稠密体素查询的长宽高分辨率均为原始体素分辨率的二分之一。

9、进一步的,所述可变形交叉注意力处理,包括:将所述下采样稠密体素查询的三维坐标投影至图像平面生成参考点;以所述参考点为基准自适应学习偏移量,依据所述偏移量对所述增强视觉特征进行稀疏采样并加权聚合,完成跨模态特征融合以得到融合体素查询。

10、进一步的,所述可变形自注意力处理包括:以所述初始三维体素特征为输入,将可观测区域语义特征传播至遮挡、弱观测区域,挖掘三维长程上下文依赖,得到所述细化三维体素特征。

11、进一步的,所述主预测头输出用于区分空区域、多级通行代价、障碍物的体素语义对数概率图;所述辅助占据预测头输出二值占据标签。

12、进一步的,所述总损失函数表达式为:, 其中,为加权交叉熵损失,为可通行性预测损失 ,为几何尺度损失,为辅助占据损失,为可调权重系数。

13、在第二方面,本公开实施例提供了一种多模态可通行区域占据预测装置,包括:

14、数据采集模块,用于实时采集单目图像与激光雷达点云数据;

15、多模态特征提取模块,用于对所述单目图像提取二维基础特征,并结合二维可通行先验生成增强视觉特征;对所述激光雷达点云进行体素化处理,得到稀疏几何占据监督与下采样稠密体素查询,并为所述下采样稠密体素查询对应的三维体素空间配置可学习掩码标记;

16、特征融合与细化模块,用于通过可变形交叉注意力对所述下采样稠密体素查询与所述增强视觉特征进行跨模态对齐融合,得到融合体素查询;将所述融合体素查询与所述可学习掩码标记拼接得到初始三维体素特征,并通过可变形自注意力对所述初始三维体素特征进行特征细化,挖掘三维空间长程上下文依赖,输出细化三维体素特征;

17、双分支预测模块,包括主预测头与辅助占据预测头,所述主预测头用于对所述细化三维体素特征上采样后输出体素级三维可通行代价语义结果,所述辅助占据预测头用于并行输出三维几何占据预测结果;

18、训练优化模块,用于基于加权交叉熵损失、可通行性预测损失、几何尺度损失和辅助占据损失构建总损失函数,对网络进行端到端训练;

19、感知输出模块,用于将实时采集的单目图像与激光雷达点云输入训练完成的网络,输出可通行包含体素空间占据状态与多级可通行代价标签的三维体素地图。

20、在第三方面,本公开实施例提供了一种电子设备,该电子设备包括:

21、至少一个处理器;以及,

22、与该至少一个处理器通信连接的存储器;其中,

23、该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行上述的多模态可通行区域占据预测方法。

24、第四方面,本公开实施例提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行上述的多模态可通行区域占据预测方法。

25、本发明实施例的其他可选特征和技术效果一部分在下文描述,一部分可通过阅读本文而明白。

26、与现有技术相比,本发明具有以下有益的技术效果:

27、第一,本方案实现图像语义特征与激光雷达几何特征的特征级融合,弥补现有技术仅做结果层拼接、单模态信息单一的不足,结合图像语义信息与点云三维几何信息形成互补。经 rellis-occ 数据集测试,本方案语义场景补全miou指标提升15%以上,体素iou指标提升30%以上,对遮挡、弱观测区域的场景重建效果得到改善。依托完整三维体素表达形式,能够识别二维感知方法难以区分的悬垂障碍物、坑洼负障碍物,减少越野场景感知盲区数量,提升车载平台行驶安全程度。

28、第二,本方案摒弃仅对可行域做二分类的传统方式,结合地形几何参数与车辆通行约束实现体素多级代价预测,可区分畅通、低代价、高代价、不可通行四类地形区域,输出差异化地形代价信息,辅助车辆开展精细化路径规划,减少驶入高风险区域的概率,适配山地、矿区等多种复杂越野地形的行驶需求。

29、第三,本方案基于rellis-3d数据集构建带有多级通行代价标注的 rellis-occ数据集,补充现有公开数据集缺少越野场景精细标注的短板,生成的数据与网络架构可用于各类语义场景补全算法迭代,适配多种车载硬件平台,能够为全域越野自动驾驶感知研究提供参考基础。

30、综上,本方案采用多模态融合、可学习盲区掩码、双分支联合预测、多损失协同优化的整体架构,同步提升三维场景建模精度、地形代价预测细粒度与复杂地形适应能力,可应用于山地、丘陵、野外救援、矿区等非结构化场景的车载三维感知任务。