一种激光雷达与热红外相机外参标定方法
本发明涉及机器人感知、三维视觉和多传感器标定,具体涉及一种利用热红外双目三维重建不确定性、协方差加权点云配准以及自适应递推滤波,实现激光雷达与热红外相机六自由度外参估计的方法。
背景技术:
1、热红外相机能够在弱光或无可见光环境中提供目标辐射信息,激光雷达能够获取场景三维几何信息。为实现两类传感器数据的空间融合,需要准确确定其坐标系之间的旋转和平移外参。
2、现有标定方法常依赖人工标定靶、跨模态特征匹配或外部运动观测。人工靶标增加现场布置成本;热红外图像与激光雷达点云的成像机理差异容易造成错误对应;依赖惯性测量单元或里程计的方法在外部运动信息不可用时受到限制。
3、利用热红外双目图像重建三维点云可将标定转化为三维配准问题,但双目深度误差随距离增大,且点云配准在长走廊、近平面、重复结构或视场重叠不足时可能出现部分自由度约束不足。固定配准权重和固定测量噪声难以同时适应点级不确定性、方向性退化和帧级匹配质量变化。因此,需要一种能够统一处理上述因素的无目标外参标定方法。
技术实现思路
1、本发明旨在降低热红外双目重建误差、点云配准几何退化以及跨模态错误对应对外参估计的影响,并在无需人工标定靶标、惯性测量单元或里程计的情况下,实现激光雷达与热红外相机外参的稳定估计。
2、为实现上述目的,本发明提供一种基于不确定性传播和自适应滤波的激光雷达与热红外相机外参标定方法,包括以下步骤:
3、步骤s1,获取同一场景的热红外双目图像和激光雷达点云,根据热红外双目图像的视差信息生成热红外三维点云。
4、步骤s2,根据双目成像模型建立图像观测量与三维点之间的误差传播关系,为热红外三维点云中的三维点确定空间协方差。
5、步骤s3,在热红外三维点云和激光雷达点云之间建立几何对应关系,根据三维点空间协方差确定对应残差的不确定性,并进行协方差加权配准,获得帧级外参测量和配准信息矩阵。
6、步骤s4,根据配准信息矩阵的特征结构识别弱约束方向,并降低弱约束方向在后续滤波更新中的可信度。
7、步骤s5,根据当前帧的归一化配准残差评价整体配准质量,并结合步骤s4得到的方向性信息构造自适应测量噪声矩阵。
8、步骤s6,对帧级外参测量进行统计一致性检验,对通过检验的测量执行递推滤波更新,得到激光雷达坐标系与热红外相机坐标系之间的六自由度外参变换。
9、所述递推滤波可采用扩展卡尔曼滤波、误差状态卡尔曼滤波或具有等价状态更新形式的概率滤波。所述配准可采用点到平面残差或能够输出外参测量及约束信息矩阵的其他三维几何残差形式。
10、本发明具有以下有益效果:
11、1.本发明将热红外双目图像中的测量不确定性传播至三维点空间,并用于点云配准权重设置,可降低远距离重建误差和局部异常对应的影响。
12、2.本发明利用配准信息矩阵识别几何弱约束方向,并结合帧级配准质量动态调整测量噪声,使滤波器能够减小退化方向或低质量数据帧对外参结果的影响。
13、3.本发明无需人工标定靶标,也无需惯性测量单元或里程计提供运动观测,适用于机器人、无人平台及多传感器设备的在线或离线外参标定。
1.一种激光雷达与热红外相机外参标定方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述图像观测量包括像素位置和视差,所述三维点的空间协方差按照下式获得:
3.根据权利要求1所述的方法,其特征在于,所述几何对应关系包括点到平面对应关系,第个点到平面残差及其残差方差分别为:
4.根据权利要求1所述的方法,其特征在于,所述信息矩阵由配准残差雅可比和配准权重累加获得;对所述信息矩阵进行特征分解,根据特征值与退化判定阈值的比较结果识别弱约束方向,并对所述弱约束方向配置大于非弱约束方向的测量方差。
5.根据权利要求4所述的方法,其特征在于,根据归一化配准残差的统计量确定不小于1的噪声膨胀系数,并利用所述噪声膨胀系数对由信息矩阵获得的方向性测量协方差进行缩放,以形成所述自适应测量噪声矩阵。
6.根据权利要求1所述的方法,其特征在于,将所述外参测量相对于预测外参变换的李代数差作为滤波创新,利用马氏距离和卡方门限执行所述统计一致性检验;对于通过检验的外参测量,在特殊欧氏群上执行卡尔曼滤波更新,对于未通过检验的外参测量保持预测外参变换。
7.根据权利要求1所述的方法,其特征在于,所述方法不设置人工标定靶标,且外参状态预测不采用惯性测量单元或里程计提供的运动观测;在建立所述几何对应关系前,对热红外三维点云和激光雷达点云中的无效点或离群点进行筛选,并在两者的公共视场区域内建立对应关系。
8.一种激光雷达与热红外相机外参标定装置,其特征在于,包括处理器和存储器,所述存储器中存储有程序指令,所述程序指令由所述处理器执行时,使所述处理器实施权利要求1至7中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com