一种基于单目RGB-IR相机与主动结构光的车辆前向道路预瞄方法及系统与流程

本发明涉及智能网联汽车环境感知，具体涉及一种基于单目rgb-ir相机与主动结构光的车辆前向道路预瞄方法及系统。

背景技术：

1、车辆前向道路路况的精准预瞄是实现主动悬架、连续减振控制（cdc）等系统自适应调节的核心前提。若能在车轮碾压前，获取前方20米至30米距离内的高精度路面高程曲线，即可为底盘执行器赢得约1至1.5秒的黄金调节窗口期，从而显著提升车辆乘坐舒适性与行驶安全性。

2、目前，为实现上述预瞄功能，行业内主要采用如下几种技术方案。其一是双目立体视觉方案，该方案通过计算两视角间图像的视差来获取深度信息。然而，其性能极度依赖于环境自然光与路面纹理特征。在夜间无光照、路面纹理匮乏（如积雪或洁净路面）或遭遇烈日逆光等工况下，该方案极易失效；并且，随着探测距离增加，视差信号呈指数级衰减，导致其在20米以上距离的测距精度显著下降，难以分辨厘米级的路面起伏。其二是激光雷达（lidar）方案，该方案虽能生成三维点云，但在前向低入射角照射路面时，受限于其固定的垂直角分辨率，20米外光束间隔过大，易造成微小坑洼或低矮障碍物的漏检，同时其光束易受雨、雪、雾等天气条件干扰。其三是毫米波雷达方案，该方案对静止目标（如路面坑洼或静态障碍物）的探测能力较差，且多径反射杂波严重，无法满足高精度路面地形建模的需求。此外，还有多传感器融合方案，其通过融合上述多种传感器以实现性能互补，但这将产生海量异构数据，对计算芯片的算力 与带宽造成极大负担，导致系统成本高昂，难以在量产车型中普及。

3、除上述方案外，基于结构光的三维感知技术已在近场（1-2米）应用中取得成效，但其在车辆前向中远距离（20-30米）预瞄场景中仍面临诸多挑战。首先，远距离传输导致红外能量严重衰减，且其信号在室外环境下易被强烈的太阳光背景噪声所湮没。其次，车辆行驶中的剧烈颠簸、俯仰或光束遮挡，会导致传统周期性结构光图案产生相位模糊或空间解码多义性，进而引发测距失效。

4、因此，如何在不依赖过多环境光、不增加过多算力负担的前提下，实现车辆前向20m-30m的高精度、三维地形与立体空间感知，并克服室外强光、恶劣天气及车辆动态行驶等复杂工况带来的干扰，是当前本领域亟待解决的技术难题。

技术实现思路

1、针对现有技术中存在的技术问题，本发明的目的是：提供一种基于单目rgb-ir相机与主动结构光的车辆前向道路预瞄方法及系统，实现车辆前向20-30米范围内的高精度感知、能够适应不同气候环境且兼顾感知空中立体物。

2、为了达到上述目的，本发明采用如下技术方案：

3、一种基于单目rgb-ir相机与主动结构光的车辆前向道路预瞄方法，包括以下步骤：

4、s1：获取车辆运行状态、环境条件以及待测目标距离，基于所述车辆运行状态、环境条件以及待测目标距离动态控制红外激光束的发射功率、发射脉冲频率、占空比、红外能量密度以及刷新率，并同步触发单目rgb-ir平面相机在红外曝光窗口内进行脉冲曝光，同步采集一帧含有主动编码红外网格图案的混合 raw 数据；

5、其中，针对红外激光束的发射功率、发射脉冲频率、占空比、红外能量密度以及刷新率这五个参数的调节逻辑与应用场景，具体说明如下：

6、发射功率与红外能量密度：

7、① 强光/远距离场景：当系统（车辆前向道路预瞄系统）检测到环境光强较高（如强日光照射）或待测目标距离较远时，中央处理模块控制驱动电路调高发射功率与红外能量密度，以增强反射信号的信噪比，提升远距离及强光下的测量精度；

8、② 近距离/低功耗场景：当目标距离较近或环境光较弱时，中央处理模块控制驱动电路降低发射功率与红外能量密度，以降低系统整体功耗并防止接收端传感器过饱和。

9、刷新率：

10、① 高速运动场景：当待测目标处于高速运动状态（如高速行驶车辆、快速移动物体）时，中央处理模块调高刷新率（例如提升至 60hz 及以上），以保证图像帧率和动态响应的实时性；

11、② 静态/低速场景：当目标处于静态或低速移动状态时，中央处理模块调低刷新率（例如降至 10hz-20hz），以节省系统算力与能耗。

12、发射脉冲频率：

13、① 抗同频干扰/扩展无模糊测距场景：当检测到存在同类设备干扰信号，或需要进行多频段相位解算以扩展无模糊测距范围时，中央处理模块切换或调制发射脉冲频率（例如在不同的调制载频或脉冲重复频率之间切换），利用频分或时序编码有效抑制同频干扰并实现远距离无模糊测距；

14、② 常规测距场景：在无同频干扰的常规环境下，中央处理模块保持预设的标准脉冲频率运行。

15、占空比：

16、① 高峰值功率/热管理场景：在需要高能量输出以穿透复杂介质（如烟雾、雨雪）或增强远距离回波的场景下，中央处理模块通过减小脉冲占空比（即缩短脉冲宽度、提高峰值电流），在保持平均功率及芯片散热安全的前提下大幅提升瞬间光强；

17、② 高精度积分/低噪声场景：在近距离精细成像场景下，中央处理模块适度增大占空比，增加单帧内的光子累积积分时间，以提升图像细节的信噪比。

18、驱动电路根据上述配置的驱动参数，驱动光源阵列（垂直腔面发射激光器阵列）交替或同步发射单点测距脉冲光信号与面阵成像泛光信号，形成包含测距与成像特征的混合光场。

19、接收端传感器（如 tof/rgb-d 传感器）对反射回的光信号进行同步采集与光电转换，输出初始数据流，该数据流即为混合 raw 数据，混合 raw 数据经过信号处理和图像重建步骤（如脱敏、解算或预处理）后生成的帧级图像数据即为混合 raw 图像。

20、s2：对所述混合 raw 数据进行插值与通道分离，获得在空间与时间上像素级对齐的rgb彩色图像与ir红外图像；

21、s3：获取车辆的惯性测量单元数据，利用所述惯性测量单元数据对多帧所述ir红外图像进行帧间坐标变换与相邻帧间网格特征点的时空投影残差计算；剔除由于车辆抖动引起的伪残差，并基于预设的动态气象噪点阈值剔除空气高频离散噪点；提取ir红外图像中网格线的亚像素特征点；

22、s4：提取所述亚像素特征点所构成局部网格的几何拓扑结构，将几何拓扑结构转化为一维或多维拓扑特征向量，并将所述拓扑特征向量与预置的局部非重复图案索引矩阵进行匹配，检索出当前局部图案在完整投射图案中的绝对区域索引坐标；基于所述绝对区域索引坐标及预标定的装配基线参数，建立三角测量深度模型，解算出车辆前向的绝对稀疏高程；

23、s5：将所述rgb彩色图像输入语义引导稠密化网络，并以所述rgb彩色图像中提取的障碍物边缘、颜色或纹理突变特征作为边界约束，对所述绝对稀疏高程进行亚像素级插值与深度填充，生成全分辨率的rgb-d空间场景深度图；

24、s6：将所述rgb-d空间场景深度图转换至车身坐标系，生成前向立体高程图，并识别前方道路或空间中的目标；根据识别结果，向底盘控制系统和/或主动安全控制系统输出预瞄调节或预警操作。

25、优选的，所述步骤s1中，车辆运行状态包括车速和纵向加速度，在车速升高或路况平顺度降低时，提高前向投射红外激光束的红外能量密度及刷新率，实施红外激光束的高频脉冲发射。

26、优选的，所述步骤s1还包括人眼安全主动防护方法，人眼安全主动防护方法具体为：当车速低于预设安全阈值，或检测到预设距离内存在障碍物时，限制所述红外激光束的发射功率。

27、优选的，所述步骤s3中，剔除由于车辆抖动引起的伪残差具体包括：利用高频振动滤波器对车辆受到路面冲击带来的像素级抖动进行极坐标位移补偿。

28、优选的，所述步骤s3中，剔除空气高频离散噪点具体包括：将经极坐标位移补偿后的剩余投影残差与预设的动态气象噪点阈值进行比较，若所述剩余投影残差大于所述动态气象噪点阈值，则判定该特征点为雨、雪、浓雾或沙尘引起的空气离散噪点并予以剔除。

29、优选的，所述步骤s4中，的几何拓扑结构的构成要素包括：局部网格交点的相邻边长比例关系、局部网格交点间的连接度数或网格区域的面积比特征。

30、优选的，所述步骤s4中，预置的局部非重复图案索引矩阵为m序列拓扑结构或伪随机点阵网格预先编码生成的查找表。

31、优选的，所述步骤s5中，还包括夜视增强的方法，夜视增强的方法具体为：当检测到环境光照度低于预设阈值时，提取所述ir红外图像中由于网格红外主动照度而在路面形成的红外微光背景纹理，叠加或融合至rgb彩色图像对应的夜间暗部区域，完成夜视纹理边缘增强。

32、优选的，所述步骤s6中，所述预瞄调节具体为：若检测到车辆前方20m–30m存在凹坑、隆起或减速带，实时计算路面平整度指标，提前1s–1.5s将高程图发送至车辆的底盘控制系统，主动调节车辆悬架的刚度和阻尼；

33、所述预警操作具体为：若检测到车辆前方立体空间中存在限高杆、收费站升降闸杆或抛洒物，实时计算空中净空高度以及车辆的通行通过性，若通过性不足，则配合车辆的底盘控制系统主动降低车身高度，或触发车辆主动安全控制系统激活前向碰撞预警或自动紧急制动。

34、一种基于单目rgb-ir相机与主动结构光的车辆前向道路预瞄系统，包括：

35、红外结构光投射模块，包括垂直腔面发射激光器阵列、准直光学元件及衍射光学元件，用于向车辆前方发射呈四棱锥空间发散状的非重复性绝对编码网格光束，所述非重复性绝对编码网格光束的照射范围在水平和/或垂直方向上均小于或等于单目rgb-ir成像模块的视场角，且所述非重复性绝对编码网格光束的轴线与单目rgb-ir成像模块的光轴在预设的预瞄距离处相交；

36、单目rgb-ir成像模块，与红外结构光投射模块以预设的基线距离刚性装配，其包括rgb-ir平面相机以及窄带干涉滤光片，所述窄带干涉滤光片的中心截止波长与所述非重复性绝对编码网格光束的红外波段相匹配，rgb-ir平面相机以及窄带干涉滤光片分别用于同步采集可见光与含有主动编码红外网格图案的混合 raw 数据；

37、中央处理模块，与所述红外结构光投射模块及所述单目rgb-ir成像模块电连接，配置为执行车辆前向道路预瞄方法，根据单目rgb-ir成像模块获取的混合 raw 数据构建前向立体高程图。

38、总的说来，本发明具有如下优点：

39、本发明实现了车辆前向20米至30米范围内的高精度三维感知：基于运行状态动态控制红外激光束的多参数发射并同步触发单目rgb-ir平面相机采集混合 raw 数据，确保了编码网格图案的高质量捕获与功耗性能优化；通过对混合 raw 数据进行插值与通道分离获得天然像素级对齐的rgb与ir图像，消除了传统分立方案中的视差误差与配准负担；通过利用imu数据构建帧间投影残差计算并剔除车辆抖动伪残差及气象离散噪点，显著提升了动态行驶与复杂气候条件下的特征提取稳定性；通过提取局部网格的几何拓扑特征向量匹配非重复图案索引矩阵，实现了图案遮挡或残缺下单帧无歧义绝对空间解码，避免了动态工况下测距失效；进一步以rgb图像的语义边缘和纹理突变特征为边界约束对稀疏高程进行亚像素插值与深度填充，生成全分辨率rgb-d空间场景深度图，兼顾了深度密度与精度，并在低照度下通过ir背景纹理实现夜视增强；最终基于车身坐标系下的前向立体高程图，同步识别路面目标与空间目标，分别向底盘控制系统输出提前1至1.5秒的悬架预瞄调节参数、向主动安全控制系统输出通过性判定与预警指令，实现了路面地形预瞄与空中净空安全的协同控制闭环。