融合毫米波雷达与红外相机的恶劣天气车辆目标检测方法

摘要: 本发明涉及目标检测,具体涉及融合毫米波雷达与红外相机的恶劣天气车辆目标检测方法。背景技术:1、车辆目标检测是自动驾驶与高级辅助驾驶(adas)环境感知的核心任务...
融合毫米波雷达与红外相机的恶劣天气车辆目标检测方法

本发明涉及目标检测,具体涉及融合毫米波雷达与红外相机的恶劣天气车辆目标检测方法。

背景技术:

1、车辆目标检测是自动驾驶与高级辅助驾驶(adas)环境感知的核心任务之一。现有车辆检测方案在传感器选型上主要分为基于可见光相机、基于毫米波雷达以及基于红外热成像三类,但在不良天气条件下均存在明显局限。

2、基于可见光相机的目标检测方法(如基于卷积神经网络或transformer的检测器)能够提供丰富的纹理与外观信息,在良好光照条件下检测精度较高。但可见光相机对环境光照和天气高度敏感:在夜间、逆光、雨雾、扬尘等条件下,图像对比度急剧下降、目标纹理被噪声淹没,导致漏检与误检显著增加,难以满足全天候行车安全的要求。

3、毫米波雷达具有穿透雨雾烟尘能力强、不受光照影响、可直接测量目标距离、相对速度与方位角等优点,在不良天气下仍能稳定工作。然而,毫米波雷达输出的通常是稀疏的点云或目标列表,缺乏目标的尺寸、轮廓与类别等外观信息,横向角分辨率较低,难以对车辆目标进行精确的边界框定位与形态刻画,单独使用时检测结果的空间精度和可解释性不足。

4、红外热成像相机依据物体自身的热辐射成像,不依赖外部光源,在夜间和低照度条件下仍能清晰呈现车辆、行人等热源目标的轮廓,且对雾、霾、烟尘等具有较强的穿透能力,是不良天气感知的重要补充手段。但红外图像同样缺乏对目标运动状态(速度、加速度)与精确距离的直接测量能力,且在远距离、低温目标或复杂热背景下成像质量会下降;此外,不同天气与不同热背景下红外图像的动态范围与灰度分布差异显著,若采用针对某一特定天气(如雾天)预设参数的图像处理方法,则难以适应全天候工况。

5、已有的雷达与图像融合方法多存在以下不足:其一,后融合(决策级融合)方式分别由雷达和相机独立检测后再对结果进行匹配关联,无法在特征层面充分利用两种模态的互补信息,关联易受错检影响,融合增益有限;其二,仅以点投影方式融合,将雷达点直接投影到图像平面作为额外通道,由于雷达角分辨率低、投影点稀疏且存在标定误差,难以与图像目标精确对齐,且未能充分利用雷达目标列表中的速度、加速度等运动语义;其三,现有雷达-视觉融合大多面向可见光相机,在不良天气下图像分支本身性能退化,融合系统整体鲁棒性受限。

6、综上,如何在不良天气条件下,将毫米波雷达提供的运动状态信息、深度(距离)信息与红外热成像提供的目标轮廓、尺寸信息在特征层面深度融合,充分发挥两类传感器对不良天气的适应性与互补性,是亟待解决的技术问题。

技术实现思路

1、针对上述背景技术的不足,本发明的目的在于提供一种融合毫米波雷达与红外相机的恶劣天气车辆目标检测方法,以解决以下技术问题:解决可见光相机在不良天气与低照度条件下性能严重退化、车辆漏检误检率高的问题,提供一种全天候、对不良天气具有强适应性的车辆检测方案;解决单一传感器信息维度不完整的问题,使毫米波雷达为图像分支提供其所缺乏的运动状态信息(速度、加速度)与深度(距离)信息,使红外图像为雷达分支提供其所缺乏的目标尺寸与轮廓信息;解决现有融合方案在特征层面融合不充分、雷达运动语义未被有效利用的问题;并在保证检测精度的同时兼顾算法的实时性与轻量化,满足车载部署需求。

2、为实现上述目的,本发明第一方面提供一种融合毫米波雷达与红外相机的恶劣天气车辆目标检测方法,由车载域控制器执行,包括如下步骤:

3、s1、获取毫米波雷达输出的原始目标检测列表,以滤波算法筛选车辆目标得到车辆有效目标列表,车辆目标包含速度、距离、方位角与运动方向属性;

4、s2、对所述车辆有效目标列表作多层感知机编码,得到雷达目标先验特征;

5、s3、将所述车辆有效目标列表图形化建模为鸟瞰雷达伪图像,经卷积提取雷达空间特征;

6、s4、获取红外热成像相机采集的红外图像,经自适应图像增强后提取图像视觉特征;

7、s5、将所述图像视觉特征与所述雷达空间特征展平为令牌序列,叠加位置编码与模态嵌入向量后拼接输入transformer编码器得到融合记忆特征,由经所述雷达目标先验特征初始化或增强的目标查询集合驱动transformer解码器查询该特征,预测头据解码器的输出回归得到车辆检测结果的边界框;所述红外图像与所述原始目标检测列表时间同步且空间标定对齐。

8、进一步地,步骤s1中所述以滤波算法筛选车辆目标得到车辆有效目标列表,包括:对所述原始目标检测列表依次进行感兴趣区域筛选、雷达反射截面积筛选、径向相对速度筛选和跟踪滤波;所述感兴趣区域筛选保留纵向距离和横向距离位于预设范围内的目标;所述雷达反射截面积筛选保留雷达反射截面积大于预设门限的目标;所述径向相对速度筛选保留径向相对速度位于预设区间内的目标;所述跟踪滤波对经上述筛选后的候选目标进行多帧关联与跟踪,保留跟踪寿命不小于预设帧数且连续丢失帧数小于预设值的航迹,得到所述车辆有效目标列表。

9、进一步地,步骤s1中所述车辆有效目标列表中的每个车辆目标包含纵向距离、横向距离、方位角、径向相对速度、加速度、雷达反射截面积和运动方向属性;所述车辆有效目标列表设定最大目标数量,超出部分按雷达反射截面积由大到小截断,不足部分以零向量补齐并以掩码标记,被掩码的补齐位置不作为有效雷达目标先验参与后续目标查询初始化。

10、进一步地,步骤s2中所述对所述车辆有效目标列表作多层感知机编码,得到雷达目标先验特征,包括:对所述车辆有效目标列表中的每个车辆目标,将其纵向距离、横向距离、方位角、径向相对速度、加速度、运动方向角的余弦值与正弦值以及雷达反射截面积分别进行归一化后拼接为属性向量;将各车辆目标的属性向量分别送入共享权重的多层感知机,逐目标映射为固定维度的特征向量,得到与雷达目标一一对应的雷达目标先验特征;所述多层感知机包括依次连接的全连接层,各全连接层后设置层归一化与丢弃操作,输出层为线性层。

11、进一步地,步骤s3中所述将所述车辆有效目标列表图形化建模为鸟瞰雷达伪图像,包括:将车辆有效目标列表中各车辆目标的极坐标变换为以本车为基准的鸟瞰平面坐标,再按横向尺度因子和纵向尺度因子映射至伪图像像素坐标;所述横向尺度因子和纵向尺度因子分别由伪图像宽高与横向探测量程、纵向探测量程唯一确定,且横向尺度因子大于纵向尺度因子,使伪图像在横向上被拉伸以充分利用像素资源并区分相邻车道目标;将各车辆目标以图元绘制到伪图像上,所述图元的方向、颜色、亮度与位置分别编码车辆目标的运动朝向、行驶方向、速度大小与空间分布。

12、进一步地,所述图元为三角形图元,三角形顶点指向车辆目标的运动方向;所述颜色编码行驶方向包括:对向行驶车辆以第一颜色绘制,同向行驶车辆以第二颜色绘制;所述亮度编码速度大小包括:将车辆目标的绝对速度按设定量程归一化后映射为图元明度,速度越大明度越高;当多个车辆目标的图元发生重叠时,按距离由远及近的顺序绘制,近处目标图元覆盖远处目标图元。

13、进一步地,步骤s4中所述经自适应图像增强后提取图像视觉特征,其中自适应图像增强包括:对红外图像依次进行自适应线性拉伸、限制对比度自适应直方图均衡化、自适应伽马校正和归一化;所述自适应线性拉伸的分位点、所述自适应伽马校正的伽马系数均由当前帧红外图像的灰度统计特性逐帧确定,无需针对不同天气类型预设参数或进行场景判别;所述限制对比度自适应直方图均衡化的分块网格与裁剪限幅为固定超参数。

14、进一步地,步骤s5中所述目标查询集合的数量为预设值,其中与当前帧车辆有效目标数量对应的查询由所述雷达目标先验特征逐一初始化,其余查询由可学习嵌入向量生成;当车辆有效目标数量不足时,不足部分由可学习嵌入向量填充;所述目标查询集合中的查询在transformer解码器中同时携带雷达目标先验特征所提供的运动状态先验与位置先验。

15、进一步地,步骤s5中还将所述车辆有效目标列表中各车辆目标的鸟瞰平面坐标按空间标定外参与红外相机内参投影至红外图像平面,得到归一化图像坐标,并将该归一化图像坐标作为对应目标查询在transformer解码器中的初始参考点;对于由可学习嵌入向量初始化的其余查询,其参考点为可学习参数;所述初始参考点使transformer解码器的交叉注意力采样位置聚焦于雷达已确认存在车辆的区域。

16、进一步地,步骤s5中所述将所述图像视觉特征与所述雷达空间特征展平为令牌序列,叠加位置编码与模态嵌入向量后拼接输入transformer编码器,包括:将所述图像视觉特征与所述雷达空间特征分别展平为令牌序列,各自叠加用于标识令牌在各自特征图内空间位置的二维正弦位置编码以及用于标识令牌来源模态的可学习模态嵌入向量,随后在序列维度上拼接形成融合特征序列;所述融合特征序列输入transformer编码器,通过多头自注意力机制在图像视觉特征与雷达空间特征的全部令牌之间进行跨模态、跨视角的全局交互与融合,输出融合记忆特征。

17、与现有技术相比,本发明具有以下有益效果:(一)采用红外热成像替代可见光相机作为图像源并与毫米波雷达深度融合,二者均对雨、雾、雪、扬尘及夜间低照度具有良好适应性,降低不良天气下的车辆漏检与误检率;(二)雷达为图像分支提供其缺乏的运动状态信息与深度信息,红外图像为雷达分支提供其缺乏的目标尺寸与轮廓信息,实现信息维度的完整化;(三)通过雷达列表mlp编码、雷达图形化伪图像、红外视觉特征三路输入,在transformer编码-解码框架内实现列表语义、空间分布与视觉外观的统一深度融合,融合增益显著优于后融合与简单点投影方案;(四)以雷达真实车辆目标的运动与位置先验初始化或增强目标查询集合,并以其投影点作为解码器的初始参考点,使解码器注意力聚焦于真实车辆区域,提升召回率与定位精度并加速模型收敛;(五)红外图像采用逐帧自适应的图像增强,其参数由当前帧的灰度统计特性自动确定,无需针对雨、雾、雪、夜间等不同天气分别预设参数或进行场景判别,对全天候工况具有一致的适应性;(六)图像与雷达伪图像分支均可采用轻量化卷积网络,且各功能模块分别部署于车载域控制器的中央处理器、图形处理器与深度学习加速器,兼顾精度与实时性,便于车载端部署。