一种面向自动驾驶的未知障碍物检测与识别融合感知系统及方法

本发明涉及自动驾驶领域，特别涉及一种面向自动驾驶的未知障碍物检测与识别融合感知系统及方法。

背景技术：

1、在自动驾驶技术中，环境感知是实现安全行驶的核心环节。然而，真实道路场景中存在显著的长尾分布问题：约99%的常见数据集中于车辆、行人等高频类别，而异型车、动物、散落货物、临时路障等长尾障碍物虽然种类繁多，但单一类别样本数量极少，导致感知模型难以学习到有效的判别特征。同时，障碍物类别空间理论上具有无限性，而现有感知系统的训练数据封闭于预定义的有限类别集合，无法应对零样本或未知类别障碍物的出现。此外，对于未知障碍物，单纯基于点云聚类获得的“物体簇”缺乏语义描述能力，系统无法区分“纸箱”与“石块”，导致决策层无法准确评估其风险等级。

2、针对上述问题，现有技术中主要存在以下几种感知方案：

3、（1）基于点云聚类实现未知目标检测的方案，例如采用dbscan等聚类算法对激光雷达点云进行聚类，以发现潜在的交通目标。该方案能够发现超出已知类别范围的实体，但聚类结果仅能提供目标的几何存在性，不具备语义识别能力。

4、（2）基于多传感器融合实现异常目标检测的方案，例如先通过目标检测网络检测已知目标，再通过区域提议网络产生高置信度的背景提案作为未知目标候选，进而利用对比特征聚类方法在特征空间中分离已知与未知类别，并借助多模态大模型对未知目标进行语义识别与类别推断。该方案虽初步实现了对未知目标的语义探索，但其对多模态大模型的调用方式及计算开销限制了在车端的实时部署。

5、（3）基于车云协同的闭环学习机制，例如在车端利用多传感器数据进行本地分析以初步发现道路异常事件，再将疑似异常数据上传至云端进行更精确的识别与定位。该方案初步构建了从车端到云端的数据流转路径，但在未知障碍物的自动发现、语义标签自动赋予及感知模型闭环更新方面，尚未形成完整且高效的自动化链路。

6、然而，上述现有技术方案仍存在以下不足之处：

7、第一，未被识别目标的漏检与误判问题。 现有量产级感知系统大多仅针对训练集定义的有限类别进行检测与识别，超出已知类别范围的物体通常被视作背景而直接忽略。当车辆遭遇新奇障碍物时，系统缺乏有效的预警机制，存在显著的安全隐患。部分开集检测方法虽可将未知目标统一标记为“未知类”，但将所有未知实例归为同一类处理，无法区分不同类型的未知障碍物，而不同未知物体的风险等级与应对策略差异巨大，单一未知标签不足以指导车辆做出合理决策。

8、第二，融合感知框架下的语义缺失问题。 基于点云聚类的方法能够发现被视觉检测遗漏的实体障碍物，但聚类结果缺乏语义识别能力。对于未匹配任何检测框的点云簇，现有感知系统往往将其作为噪声剔除，或仅通过简单的体积、点数阈值进行粗略判断。在缺少图像信息辅助的情况下，仅依赖点云几何特征难以准确判别物体的真实类别，即使车辆探测到障碍物的存在，也无法获取其语义类别以采取恰当对策。

9、第三，车云闭环自主进化机制的欠缺。 虽然部分行业先行者在内部实现了数据闭环，但现有公开技术方案中仍较少涉及车端在线发现未知目标、自动上传至云端、云端赋予语义标签、模型持续更新的完整自动化链路。当前自动驾驶公司大多依赖人工标注长尾数据并进行离线训练的方式完成模型迭代，缺乏实时、自主的进化能力。在自动收集未知目标数据、借助云端大模型完成自动标注、高效更新车端模型等方面，现有技术仍存在明显空白。

10、第四，大模型融合部署与实时性之间的矛盾。 受限于车载计算平台的算力和存储资源，现有的开放世界目标检测中多模态大模型难以在车端实现实时运行。若将原始传感器数据全部上传至云端进行处理，又将受到网络带宽和传输时延的严重制约。现有技术方案大多停留在算法流程设计层面，尚未深入解决工程实现中的轻量化特征提取与传输、云端识别与车辆控制决策的实时协同等关键难题。

技术实现思路

1、有鉴于此，本发明旨在提出一种面向自动驾驶的未知障碍物检测与识别融合感知系统及方法，以解决现有技术中的问题。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、作为本发明的第一方面，本发明公开了一种面向自动驾驶的未知障碍物检测与识别融合感知系统，包括车载检测单元，用于采集车辆行驶环境中的摄像头图像数据和激光雷达点云数据的多源传感器数据，并对所述图像数据和点云数据进行融合处理；

4、点云聚类单元，用于对未被所述车载检测单元识别为已知类别目标的剩余点云执行聚类分析以生成独立点云簇，并根据所述点云簇的几何特征、运动特征和时序连续性筛选出疑似未知障碍物；

5、通信单元，用于将所述疑似未知障碍物对应的特征数据上传至云端，并接收云端返回的识别结果；

6、云端识别单元，部署于云端，用于对所述通信单元上传的特征数据进行多模态融合分析，并通过多模态识别模型对所述疑似未知障碍物进行类别推断、语义描述生成和风险等级评估，以获得未知障碍物的识别结果；

7、模型更新单元，用于将所述云端识别单元识别确认的新类别样本及其标注结果写入样本库，并基于新增样本触发模型增量训练、性能评估和更新模型下发，以实现车端感知模型对未知障碍物类别的持续学习与优化。

8、进一步的，所述融合处理包括融合目标检测网络，所述融合目标检测网络包括用于提取多尺度视觉特征的图像特征提取分支、用于提取三维几何特征的点云特征提取分支、以及用于将图像特征和点云特征在统一空间中进行融合并输出三维检测框及类别结果的检测头。

9、进一步的，所述聚类分析单元包括对所述激光雷达点云执行包括地面分割、运动补偿及噪点剔除的预处理、根据所述车载检测单元输出的已知类别目标的检测框，剔除已解释点云、以及利用改进的聚类算法对剩余未解释点云进行聚类，得到若干独立点云簇。

10、进一步的，所述改进的聚类算法为动态dbscan算法，其邻域半径和最小点数阈值根据点云距离、空间密度和雷达采样稀疏程度进行自适应调整。

11、进一步的，所述特征数据包括事件标识、时间戳、图像区域roi、点云特征描述、视觉特征向量、目标轨迹摘要信息、道路环境上下文信息、本地风险评分、以及及触发来源信息。

12、进一步的，云端识别单元具体为将上传的图像区域、点云几何特征及上下文信息分别提取视觉嵌入、几何嵌入和上下文嵌入，并将三者融合形成待识别目标的统一多模态表征；基于所述多模态表征与开放语义词表的相似度计算，生成候选类别集合；

13、调用多模态大模型，根据所述候选类别集合、图像区域、点云几何描述及上下文提示信息进行语义推理，输出目标类别名称、语义描述、是否属于新类别的判断及风险等级。

14、进一步的，所述模型更新单元包括：

15、样本管理模块，用于对云端识别确认的新类别样本进行去重、质量评估和分类归档；

16、人工审核模块，用于对云端识别置信度低于预设阈值的样本提供人工复核接口；

17、增量训练模块，用于在保留原有已知类别识别性能的前提下，利用新增样本对车端模型进行增量训练，其采用知识蒸馏、参数正则化或经验回放中的至少一种防遗忘策略；

18、模型评估与发布模块，用于对增量训练后的模型进行离线评估和回归验证，并在满足预设条件时通过ota方式将更新模型下发至车辆。

19、作为本发明的第二方面，本发明公开了一种面向自动驾驶的未知障碍物检测与识别融合感知方法，应用于上述的系统中，包括以下步骤：

20、s1：采集车辆周围环境的图像数据与点云数据，并基于图像与点云融合检测模型对预设已知类别目标进行检测；

21、s2：对未被已知类别目标解释的剩余点云进行聚类处理，提取疑似未知障碍物；

22、s3：将所述疑似未知障碍物对应的图像区域、点云特征及上下文信息上传至云端，由云端对其进行多模态特征融合和语义推理，以输出包含目标类别、语义描述及风险等级的识别结果；

23、s4：将云端识别结果返回车辆，用于辅助车辆对未知障碍物执行预警、减速、制动或绕行等控制决策；

24、s5：将识别结果对应的样本数据存储至云端样本库，并在满足预设条件时触发模型增量训练和更新模型下发，以提升系统对该类未知障碍物的后续识别能力。

25、相对于现有技术，本发明具有以下优势：

26、在本发明中，本发明通过车载检测单元与点云聚类单元的双链路并行机制，一方面利用图像与点云融合检测模型对已知类别目标进行高精度检测，另一方面对未被已知类别解释的剩余点云执行聚类分析，从中发现潜在的未知障碍物。该设计突破了传统感知系统仅能识别封闭类别集合的局限，能够对异型车辆、散落货物、野生动物等训练集之外的长尾障碍物实现有效发现，大幅降低了未知障碍物引发的安全隐患。