基于深度学习的高光谱和激光雷达4D防抖融合方法及系统

技术特征：
1.一种基于深度学习的高光谱和激光雷达4d防抖融合方法，其特征在于：步骤如下：1）激光雷达采集得到的点云首先通过已知内参进行3d-2d空间变换，生成相应的深度图；2）该深度图和高光谱图像被一起输入进hlfn（高光谱相机和激光雷达融合网络）中，hlfn分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；3）将旋转向量r通过罗德里格斯公式(se(3))变换成旋转矩阵r，最终生成一个预测变换矩阵t，该矩阵指明了高光谱相机与激光雷达之间的外参关系；4）原始点云再通过预测变换矩阵t进行3d-3d空间变换，生成校正点云；5）校正点云与高光谱图像处于同一坐标系下，二者融合生成最终的4d融合数据。2.根据权利要求1所述的方法，其特征在于：所述hlfn训练方法，步骤如下：2.1）用真实变换矩阵对点云进行3d-3d空间变换，并与高光谱图像融合，得到对照点云、对照深度图和对照光谱图；2.2）将点云和高光谱图像按照所述的步骤1）至步骤3）计算得出预测变换矩阵；2.3）用预测变换矩阵对点云进行3d-3d空间变换，并与高光谱图像融合，得到校正点云、校正深度图和校正光谱图；2.4）对照点云和校正点云之间形成几何损失约束，对照深度图和校正深度图之间形成光度损失约束，对照光谱图和校正光谱图之间形成光谱损失约束；2.5）最终的损失是2.4）中所述三个损失之和，并由三个超参数平衡它们；2.6）通过反向传播，hlfn网络参数不断迭代训练，使损失函数最小化。3.根据权利要求2所述的方法，其特征在于：步骤2.1）中真实变换矩阵由高光谱相机和激光雷达使用传统外参标定方法获得。4.根据权利要求2所述的方法，其特征在于：2.6）所述的损失函数，分别是光谱损失、光度损失和几何损失。5.根据权利要求2或者4所述的方法，其特征在于：所述的光度损失：光度损失计算对照深度图与校正深度图所有相同位置的像素值的差值之和；所述的光谱损失：光谱损失计算对照光谱图与校正光谱图所有相同位置的光谱向量的距离之和；所述的几何损失：几何损失计算对照点云和校正点云之间的空间距离。6.根据权利要求1所述的方法，其特征在于：所述的hlfn网络结构：深度图和高光谱图像首先分别经过两个由卷积层构成的用于特征提取的分支，然后再将它们的特征串联起来，并再通过7个卷积层进行深度特征融合，最后融合特征被分为两个分支，每个分支各自经过一个1
×
1的卷积和一个全连接层，分别得到旋转向量r和平移向量t。7.一种采用根据权利要求1所述的方法的系统，其特征在于：包括高光谱相机模块、激光雷达模块、电源模块、无线通信模块、上位机模块、显示模块、信息处理和控制模块、高光谱图像和点云防抖融合模块；所述的信息处理和控制模块分别与高光谱相机模块、激光雷达模块、电源模块、高光谱
图像和点云防抖融合模块相连，所述的信息处理和控制模块通过无线通信模块与上位机模块相连；所述的信息处理和控制模块用于信息处理和控制相连模块；所述的高光谱相机模块用于获取目标物体的高光谱信息；所述的激光雷达模块用于获取目标物体的点云数据；所述的高光谱图像和点云防抖融合模块用于高光谱图像和点云数据的4d防抖融合；所述的电源模块用于供电；所述的无线通信模块用于上位机模块与信息处理和控制模块之间传输数据。8.根据权利要求7所述的系统，其特征在于：所述的上位机模块设有高光谱相机和激光雷达标定模块，受上位机模块的调用，用于高光谱相机和激光雷达之间的外参标定。9.根据权利要求7所述的系统，其特征在于：高光谱相机模块包括电光可调谐滤波片和高速ccd相机。10.根据权利要求7所述的系统，其特征在于：所述的高光谱相机模块进一步包括一个rgb相机，与所述的高速ccd相机组合成共轭模式。

技术总结
本发明公开了一种基于深度学习的高光谱和激光雷达4D防抖融合方法及系统。所述方法：1）激光雷达采集得到的点云首先通过已知内参进行3D-2D空间变换，生成深度图；2）该深度图和高光谱图像被一起输入进HLFN（高光谱相机和激光雷达融合网络）中，HLFN分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；3）将旋转向量r变换成旋转矩阵R，最终生成一个预测变换矩阵T；4）原始点云再通过预测变换矩阵T进行3D-3D空间变换，生成校正点云；5）校正点云与高光谱图像处于同一坐标系下，融合生成最终的4D融合数据。本发明可实现在设备机械抖动条件下快速精确采集高光谱形貌4D融合信息，可应用于多领域。于多领域。于多领域。


技术研发人员：何赛灵 马腾飞 付帅
受保护的技术使用者：浙江大学
技术研发日：2022.04.15
技术公布日：2022/8/9