一种基于多源视觉处理的障碍物识别检测方法及系统与流程

摘要: 本发明属于目标检测,具体涉及一种基于多源视觉处理的障碍物识别检测方法及系统。背景技术:1、在智能移动平台的环境感知领域,障碍物检测通常采用单目或双目相机视觉方案...
一种基于多源视觉处理的障碍物识别检测方法及系统与流程

本发明属于目标检测,具体涉及一种基于多源视觉处理的障碍物识别检测方法及系统。

背景技术:

1、在智能移动平台的环境感知领域,障碍物检测通常采用单目或双目相机视觉方案,或采用激光雷达方案。单一相机视觉方案仅能获取二维语义信息,缺乏三维空间几何信息,对障碍物距离与尺寸的估计误差较大,且易受光照变化、目标遮挡等因素影响,在复杂环境下检测可靠性不足;单一激光雷达方案能够提供准确的三维位置与尺寸信息,但缺乏语义分类能力,难以区分障碍物类别,不利于下游决策。

2、为弥补单一传感器的不足,现有技术中出现了将相机视觉与激光点云相结合的双源融合检测方案。一种公开号为cn114463303a的中国专利,公开了一种基于双目相机和激光雷达融合的道路目标检测方法;该方案包括利用神经网络获取图像目标类别与二维位置信息、通过点云分割与聚类获取雷达三维检测结果,再对两种检测结果进行目标级匹配融合,输出道路目标信息。

3、然而,该方案中视觉检测与点云处理存在先验依赖关系,若视觉检测出现漏检,点云处理亦无法独立检测到对应障碍物,存在级联失效风险;此外,图像帧与点云帧之间存在采样时间差,在平台运动条件下会导致两路数据的空间对应关系产生错位,进而影响跨模态融合的精度。

技术实现思路

1、为了解决现有技术中存在的技术问题,本发明提供了一种基于多源视觉处理的障碍物识别检测方法,。

2、与现有技术相比,本发明的有益效果在于:

3、通过将语义维度和几何维度联合约束,减少单一维度误判,较单相机、单点云或传统双源方案可以显著提高障碍物识别准确率;

4、通过双源障碍物并行生成机制可以双分支并行处理降低串行等待,能够在保持较高识别性能前提下,降低时延和算力占用;

5、通过先时间对其再空间投影,显著减少错配,提高融合检测精度;

6、通过引入iou、中心距离、深度一致性、尺寸先验等多条指标,联合评分,使得匹配结果更稳健,融合判定精度提高。

1.一种基于多源视觉处理的障碍物识别检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于:从所述缓存池中挑选所述图像帧与所述点云帧时,所述时间差小于50ms;接收所述图像数据流与所述点云数据流的同时还接收惯性测量单元数据流,利用所述惯性测量单元数据对所述点云数据执行去畸变与时间矫正处理。

3.根据权利要求2所述的方法,其特征在于:计算所述时间差内的平台位姿变化量时,所述平台位姿变化量由所述惯性测量单元数据在所述时间差内的积分计算获得,并将所述平台位姿变化量补偿至所述点云坐标,使所述点云坐标从点云帧时间戳外推至图像帧时间戳。

4.根据权利要求1所述的方法,其特征在于:对所述点云数据进行预处理包括依次执行地面分割、体素降采样和离群点剔除步骤;对所述图像数据进行预处理包括将输入图像统一转换为bgr格式。

5.根据权利要求4所述的方法,其特征在于:所述地面分割采用随机采样一致性算法对点云中的地面点进行拟合与分离。

6.根据权利要求1所述的方法,其特征在于:所述视觉检测线程对所述标准化图像执行目标检测包括:将所述标准化图像输入卷积神经网络目标检测模型进行推理,得到二维目标框集合;对所述二维目标框集合执行置信度筛选;对置信度低于预设置信度阈值的候选目标,对其感兴趣区域执行放大处理后重新检测,生成所述视觉二维候选集合。

7.根据权利要求6所述的方法,其特征在于:所述卷积神经网络目标检测模型的推理周期配置为每n帧执行一次推理,n为大于等于2的正整数;非推理帧仅执行图像转发与点云处理,不执行目标检测模型推理。

8.根据权利要求1所述的方法,其特征在于:所述点云聚类线程对所述预处理点云执行聚类处理采用密度聚类算法,所述密度聚类算法基于邻域半径与最小样本数对点云执行密度可达性划分,为每个点云簇计算质心坐标与三维尺寸属性。

9.根据权利要求1所述的方法,其特征在于:所述点云聚类线程对所述预处理点云执行聚类处理采用欧式距离聚类算法,所述欧式距离聚类算法基于预设邻域半径对点云执行距离度量划分,为每个点云簇计算质心坐标与三维尺寸属性。

10.一种多源视觉融合的障碍物检测系统,其特征在于,包括: