一种复杂地形下多传感器配准融合系统及方法与流程

技术特征：
1.一种复杂地形下多传感器配准融合系统，其特征在于，包括：多传感器模块、数据同步模块、数据配准对齐模块和数据融合模块，所述多传感器模块、数据同步模块、数据配准对齐模块和数据融合模块依次相连；所述多传感器模块，用于获取多传感器的数据，包括激光雷达、彩色相机、深度相机、热红外相机、多光谱相机和imu的数据；所述数据同步模块，用于实现多传感器的时间一致性及空间一致性；所述数据配准对齐模块，用于在数据同步后，利用深度相机及激光雷达的深度信息来实现激光雷达图像、彩色图像、深度图像、热成像与多光谱图像的配准对齐；所述数据融合模块，用于在数据配准对齐后，利用深度学习将各传感器图像进行像素级融合。2.根据权利要求1所述一种复杂地形下多传感器配准融合系统，其特征在于，所述多传感器模块还包括数据预处理单元，用于将各传感器的sdk输入采集部分的程序集中到ros操作系统中，利用ros的消息形式分别发布出来并传送给数据同步模块。3.根据权利要求1所述一种复杂地形下多传感器配准融合系统，其特征在于，实现多传感器的时间一致性进一步包括：激光雷达采用gps时间戳同步，彩色相机、深度相机、热红外相机和多光谱相机采用硬触发同步，imu采用就近时间戳与激光雷达及各相机同步。4.根据权利要求1所述一种复杂地形下多传感器配准融合系统，其特征在于，实现多传感器的空间一致性进一步包括：首先进行各相机及imu的内参标定，然后利用标定好的内参进行各传感器相互之间的外参联合标定。5.根据权利要求4所述一种复杂地形下多传感器配准融合系统，其特征在于，利用标定好的内参进行各传感器相互之间的外参联合标定，进一步包括：利用标定好的内参，首先进行彩色相机与imu的标定，其次进行彩色相机与深度相机标定、彩色相机与多光谱相机标定、彩色相机与热成像相机标定、彩色相机与激光雷达标定。6.根据权利要求1所述一种复杂地形下多传感器配准融合系统，其特征在于，所述数据配准对齐模块进一步包括：首先利用深度信息将深度图像与彩色图像对齐、激光雷达与彩色图像对齐；然后利用对齐后的深度信息映射到其他相机图像上来进行所有相机数据的对齐，形成一个包含彩色、深度、热和多光谱的高维信息数据。7.根据权利要求1所述一种复杂地形下多传感器配准融合系统，其特征在于，所述数据融合模块包括：利用配准对齐后的数据，通过深度学习didfuse融合网络来进行像素级的数据融合，形成一个包含彩色、深度、热、多谱段和三维点云信息的传感器数据。8.一种复杂地形下多传感器配准融合方法，其特征在于，包括：数据输入：将各传感器的数据输入统一到ros操作系统下，包括激光雷达、彩色相机、深度相机、热红外相机、多光谱相机和imu的数据；时间同步：彩色相机、深度相机、热红外相机和多光谱相机实现硬触发同步，激光雷达实现gps时间戳同步，imu的高帧率实现就近时间戳与其他传感器同步；空间同步：首先进行所有相机及imu的内参标定，然后利用标定好的内参进行所有传感器相互之间的外参联合标定；数据的配准对齐：利用标定好的外参首先将深度图像、激光雷达与彩色图像对齐，再利用深度信息将热成像、多光谱相机与彩色图像配准对齐；
数据的融合：在数据配准对齐后，利用深度学习将各个传感器数据进行像素级融合。

技术总结
本方法公开一种复杂地形下多传感器配准融合系统，包括：多传感器模块，用于获取多传感器的数据，包括激光雷达、彩色相机、深度相机、热红外相机、多光谱相机和IMU的数据；数据同步模块，用于实现多传感器的时间一致性及空间一致性；数据配准对齐模块，用于在数据同步后，利用深度相机及激光雷达的深度信息来实现激光雷达、彩色图像、深度图像、热成像与多光谱图像的配准对齐；数据融合模块，用于利用深度学习将各传感器图像进行像素级融合。本发明利用时间、空间同步后的传感器数据并利用深度信息进行像素级配准对齐，然后借助深度学习，实现不同传感器间的数据融合，为复杂地形下的三维重建、感知、路径规划等工作提供数据支撑。路径规划等工作提供数据支撑。路径规划等工作提供数据支撑。


技术研发人员：高浩 朱海鹏
受保护的技术使用者：南京邮电大学
技术研发日：2021.09.26
技术公布日：2022/1/18