一种多传感器语义增强联合标定方法及系统与流程

本发明涉及自动驾驶与机器人多传感器融合，尤其涉及一种多传感器语义增强联合标定方法及系统。

背景技术：

1、多传感器融合是自动驾驶环境感知系统的核心技术基础，通常依赖惯性测量单元、激光雷达及视觉图像传感器构建异构感知网络，以实现对车辆周围环境的全面感知。然而，多传感器系统的感知精度高度依赖于各传感器之间外参（旋转矩阵与平移向量）及时间偏移的高精度标定，标定质量直接影响下游感知模块的性能表现。

2、现有标定方法主要分为基于标定靶标的传统方法和无靶标方法两类。基于标定靶标的方法依赖棋盘格、apriltag等专用标定物，通过检测已知几何结构建立跨模态对应关系，虽能获得较高初始精度，但标定操作繁琐、需要在特定场地进行，且无法覆盖传感器长期部署后因机械振动、温度变化等因素引起的标定参数漂移。无靶标方法则依赖自然环境中的几何纹理特征（如点云平面、图像角点、边缘等）建立跨模态关联，其标定精度高度依赖于场景几何结构的丰富程度。

3、上述方法在工程实践中面临一个共同的核心问题：激光雷达点云与图像数据之间存在显著的模态差异，在纹理稀疏、结构重复或动态物体干扰等实际驾驶场景中，难以建立足够数量且可靠的跨模态特征对应关系，导致标定精度不足、鲁棒性差，且无法在车辆运行过程中对标定参数进行持续校准与维护。

4、为解决该问题，近年来出现基于深度学习的方法，通过神经网络提取跨模态的深度特征以替代传统几何手工特征。然而，现有方法仍存在以下不足：其一，深度特征虽具备一定的跨模态表达能力，但缺乏显式的语义级约束，在特征匹配阶段仍易受外观变化、光照条件等因素影响；其二，多数方法采用离散时刻的测量数据进行批处理优化，未充分考虑各传感器异步采样的时间偏移问题；其三，现有方法普遍采用"标定一次、固定使用"的模式，缺乏部署后的标定质量监控与在线修正机制，难以满足自动驾驶系统长期运行可靠性要求。

技术实现思路

1、鉴于目前自动驾驶与机器人多传感器融合技术领域存在的上述不足，本发明提供一种多传感器语义增强联合标定方法及系统，通过引入语义分割大模型提取图像与点云的高层语义特征，以语义类别一致性作为跨模态匹配的强先验约束，并结合连续时间轨迹建模与因子图联合优化框架，实现高精度、强鲁棒的多传感器时空联合标定，同时提供部署后的在线微调机制以维护标定参数的长期有效性。

2、为达到上述目的，本发明的实施例采用如下技术方案：

3、一种多传感器语义增强联合标定方法，包括：

4、获取惯性测量数据、三维点云数据及视觉图像数据；

5、分别标定各传感器的内参；

6、基于语义分割模型提取所述视觉图像数据的二维语义特征及所述三维点云数据的三维语义特征，建立二维语义特征与三维语义特征之间的跨模态对应关系；

7、基于所述内参及所述跨模态对应关系构建因子图进行全局非线性优化，联合估计各传感器之间的外参及时间偏移；

8、基于优化结果输出标定参数，并在系统运行过程中根据实时监测数据更新所述标定参数。

9、依照本发明的一个方面，所述建立二维语义特征与三维语义特征之间的跨模态对应关系，具体包括：

10、利用sam系列模型对所述视觉图像数据进行逐像素语义类别标注，提取图像语义边界和角点特征；

11、利用point-sam对所述三维点云数据进行逐点语义类别标注，提取平面、线段和杆状物几何特征；

12、根据语义类别一致性将图像语义边界和角点特征与点云几何特征进行初始关联，并融合图像纹理或强度信息进行双重校验，经ransac剔除误匹配后输出跨模态对应关系。

13、依照本发明的一个方面，所述因子图中包含语义互信息因子，该因子通过互信息神经网络估计投影后的三维语义特征与二维语义特征之间的互信息量，并以最大化所述互信息量作为优化目标构建可微损失项。

14、依照本发明的一个方面，所述全局非线性优化基于连续时间b样条模型描述传感器的运动轨迹，所述b样条模型用于在任意时间戳上插值获得各传感器的姿态估计值，以支持异步测量数据的联合优化。

15、依照本发明的一个方面，所述b样条模型采用四阶均匀b样条，控制点时间间隔为40ms~60ms。

16、依照本发明的一个方面，所述因子图包括惯性预积分因子、点云平面优化因子、视觉重投影因子、语义对应因子及语义互信息因子，各因子通过非线性最小二乘框架共同约束所述全局非线性优化的目标函数。

17、依照本发明的一个方面，所述标定过程依序包含粗标定阶段和精标定阶段：在所述粗标定阶段中，基于标定靶标物进行初始外参估计；在所述精标定阶段中，基于所述跨模态对应关系进行因子图全局非线性优化，以更新所述粗标定阶段输出的外参及时间偏移。

18、依照本发明的一个方面，所述在系统运行过程中根据实时监测数据更新所述标定参数，包括：实时计算各传感器投影残差和语义对齐度，当残差或对齐度偏离预设范围时，触发基于局部窗口的因子图优化或扩展卡尔曼滤波更新，以修正当前标定参数。

19、依照本发明的一个方面，所述方法适用于包含单个或多个激光雷达传感器、单个或多个视觉图像传感器的多传感器系统。

20、一种多传感器语义增强联合标定系统，包括：

21、数据获取模块，获取惯性测量数据、三维点云数据及视觉图像数据；

22、内参标定模块，分别标定各传感器的内参；

23、语义特征提取与跨模态匹配模块，基于语义分割模型提取所述视觉图像数据的二维语义特征及所述三维点云数据的三维语义特征，建立二维语义特征与三维语义特征之间的跨模态对应关系；

24、联合优化模块，基于所述内参及所述跨模态对应关系构建因子图进行全局非线性优化，联合估计各传感器之间的外参及时间偏移；

25、标定输出与在线更新模块，基于优化结果输出标定参数，并在系统运行过程中根据实时监测数据更新所述标定参数。

26、本发明实施的优点：

27、1、通过上述基于语义分割模型提取二维及三维语义特征、并建立跨模态对应关系的技术方案，能够以语义类别一致性作为强先验约束，在纹理稀疏、结构重复或动态物体干扰等复杂驾驶场景中建立高可靠性的跨模态特征关联，从根本上克服传统几何特征在低纹理环境下对应不足的问题，显著提升标定方法的场景适应性与鲁棒性。

28、2、通过上述基于因子图进行全局非线性优化并联合估计各传感器外参与时间偏移的技术方案，能够将语义互信息约束与几何约束统一于非线性最小二乘框架中协同优化，同时借助连续时间b样条模型对异步测量数据进行精准插值，实现多传感器空间外参与时间偏移的联合最优估计，有效提升标定精度。

29、3、通过上述在系统运行过程中根据实时监测数据更新标定参数的技术方案，能够在传感器标定参数因机械振动或温度变化发生漂移时及时感知并在线修正，形成“标定—评估—修正”的完整闭环，有效保障自动驾驶系统在长期部署中的感知可靠性与稳定性。