基于深度学习的高光谱和激光雷达4D防抖融合方法及系统

基于深度学习的高光谱和激光雷达4d防抖融合方法及系统
技术领域
1.本发明涉及高光谱与激光雷达数据融合领域，特别是涉及一种基于深度学习的高光谱和激光雷达4d防抖融合方法及系统。


背景技术：

2.在智能自动化设备中，为了克服单一传感器的信息维度感知缺陷，越来越多的应用需要多传感器融合技术。
3.在智能驾驶和智能机器人技术中，高光谱相机和激光雷达的数据融合技术备受瞩目。一方面，高光谱相机可以同时采集一个目标的多个波段的光谱信息，其丰富的光谱特征为目标识别、语义分割以及物质属性分析和分类等奠定了坚实基础；另一方面，激光雷达可以获得目标精确的3d点云数据，对目标的距离、形状、大小和体积等数据的感知具有重要价值。
4.但目前高光谱图像和激光雷达的4d信息融合技术大都是基于标定板进行外参标定实现的，需要繁杂的标定步骤和大量的人力付出，这限制了高光谱相机和激光雷达之间数据融合的效率。同时，现有技术对高光谱相机和激光雷达之间的外参大都是一次标定，在后续使用过程中标定参数不再改变，这导致了其在长期抖动环境下因实际外参改变而带来的融合精度下降问题。


技术实现要素：

5.为了克服现有技术的不足，本发明的目的是提供一种基于深度学习的高光谱和激光雷达4d防抖融合方法及系统。本发明可实现在设备机械抖动条件下快速精确采集高光谱形貌4d融合信息，有助于目标识别、语义分割、物质属性分析、精确定位等应用。
6.一种基于深度学习的高光谱和激光雷达4d防抖融合方法，步骤如下：1）激光雷达采集得到的点云首先通过已知内参进行3d-2d空间变换，生成相应的深度图；2）该深度图和高光谱图像被一起输入进hlfn（高光谱相机和激光雷达融合网络）中，hlfn分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；3）将旋转向量r通过罗德里格斯公式(se(3))变换成旋转矩阵r，最终生成一个预测变换矩阵t，该矩阵指明了高光谱相机与激光雷达之间的外参关系；4）原始点云再通过预测变换矩阵t进行3d-3d空间变换，生成校正点云；5）校正点云与高光谱图像处于同一坐标系下，二者融合生成最终的4d融合数据。
7.所述hlfn训练方法，步骤如下：2.1）用真实变换矩阵对点云进行3d-3d空间变换，并与高光谱图像融合，得到对照点云、对照深度图和对照光谱图；2.2）将点云和高光谱图像按照所述的步骤1）至步骤3）计算得出预测变换矩阵；
2.3）用预测变换矩阵对点云进行3d-3d空间变换，并与高光谱图像融合，得到校正点云、校正深度图和校正光谱图；2.4）对照点云和校正点云之间形成几何损失约束，对照深度图和校正深度图之间形成光度损失约束，对照光谱图和校正光谱图之间形成光谱损失约束；2.5）最终的损失是2.4）中所述三个损失之和，并由三个超参数平衡它们；2.6）通过反向传播，hlfn网络参数不断迭代训练，使损失函数最小化。
8.步骤2.1）中真实变换矩阵由高光谱相机和激光雷达使用传统外参标定方法获得。
9.2.6）所述的损失函数，分别是光谱损失、光度损失和几何损失。
10.所述的光度损失：光度损失计算对照深度图与校正深度图所有相同位置的像素值的差值之和；所述的光谱损失：光谱损失计算对照光谱图与校正光谱图所有相同位置的光谱向量的距离之和；所述的几何损失：几何损失计算对照点云和校正点云之间的空间距离。
11.所述的hlfn网络结构：深度图和高光谱图像首先分别经过两个由卷积层构成的用于特征提取的分支，然后再将它们的特征串联起来，并再通过7个卷积层进行深度特征融合，最后融合特征被分为两个分支，每个分支各自经过一个1
×
1的卷积和一个全连接层，分别得到旋转向量r和平移向量t。
12.一种采用所述的方法的装置，包括高光谱相机模块、激光雷达模块、电源模块、无线通信模块、上位机模块、显示模块、信息处理和控制模块、高光谱图像和点云防抖融合模块；所述的信息处理和控制模块分别与高光谱相机模块、激光雷达模块、电源模块、高光谱图像和点云防抖融合模块相连，所述的信息处理和控制模块通过无线通信模块与上位机模块相连；所述的信息处理和控制模块用于信息处理和控制相连模块；所述的高光谱相机模块用于获取目标物体的高光谱信息；所述的激光雷达模块用于获取目标物体的点云数据；所述的高光谱图像和点云防抖融合模块用于高光谱图像和点云数据的4d防抖融合；所述的电源模块用于供电；所述的无线通信模块用于上位机模块与信息处理和控制模块之间传输数据。
13.所述的上位机模块设有高光谱相机和激光雷达标定模块，受上位机模块的调用，用于高光谱相机和激光雷达之间的外参标定。
14.所述的高光谱相机模块包括电光可调谐滤波片和高速ccd相机。
15.所述的高光谱相机模块进一步包括一个rgb相机，与所述的高速ccd相机组合成共轭模式。
16.本发明的有益效果：现有技术，高光谱相机和激光雷达之间外参的标定主要依赖标定板，需要繁杂的步骤和大量的人力，这限制了高光谱相机和激光雷达之间数据融合的效率。同时，现有技术对高光谱相机和激光雷达之间的外参都是硬标定的，即一次标定，后续使用过程中标定参数不再改变，这导致了其在长期抖动环境下因实际外参改变而带来的融合精度下降问题。
以往的方法，在抖动环境下要么无法得到精确的融合数据，要么需要多次重新标定，十分耗时耗力。
17.本发明通过训练一个高光谱相机和激光雷达融合网络(hlpn)，在实际使用中可以实现：（1）不需要标定板即可快速准确获得高光谱相机和激光雷达之间的变换矩阵，从而实现准确地4d信息融合；（2）能够对环境的抖动干扰进行抑制，在抖动环境下，hlpn会实时计算高光谱相机和激光雷达之间的外参，可以稳定地进行精确4d融合而不受抖动的干扰。本发明在自动化生产线或机器人等具有长期抖动环境下的应用具有重大优势，一方面高光谱图像可以帮助进行目标识别、语义分割、物质属性分析等应用，另一方面点云提供了目标的尺寸大小距离等重要信息。本发明为高光谱相机和激光雷达之间的鲁棒精确融合和稳定工作奠定了应用基础。
附图说明
18.图1为本发明的模块示意图。
19.图2为本发明的高光谱图像和点云防抖融合模块示意图。
20.图3为本发明中用于训练hlpn的示意图。
21.图4为本发明中的hlpn的网络结构图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.如图1所示，一种基于深度学习的高光谱和激光雷达4d防抖融合采集系统，具有高光谱相机模块、激光雷达模块、电源模块、无线通信模块、上位机模块、显示模块、信息处理和控制模块、高光谱相机和激光雷达标定模块、高光谱图像和点云防抖融合模块，高光谱图像和点云防抖融合模块采用基于深度学习的神经网络实现，对高光谱图像和点云分别提取光谱空间和几何空间的特征并联合计算二者之间的实时6dof位姿，从而实现防抖4d信息融合。
24.如图2所示，4d信息融合步骤如下：1）激光雷达采集得到的点云首先通过已知内参进行3d-2d空间变换，生成相应的深度图；2）该深度图和高光谱图像被一起输入进hlfn中，hlfn分别对高光谱和深度图进行特征提取并对二者进行特征融合，根据融合后的特征计算出旋转向量r和平移向量t；3）将旋转向量r通过罗德里格斯公式(se(3))变换成旋转矩阵r，最终生成一个预测变换矩阵t，该矩阵指明了高光谱相机与激光雷达之间的外参关系；4）原始点云再通过预测变换矩阵t进行3d-3d空间变换，生成校正点云；5）校正点云与高光谱图像处于同一坐标系下，二者融合生成最终的4d融合数据。
25.在实际应用中，正因为高光谱相机和激光雷达之间的外参是通过hlfn快速计算出来的，对于实际操作过程中高光谱相机和激光雷达之间得机械抖动可以实时完成校正，实
现防抖的目的。
26.所述的高光谱图像和点云防抖融合模块中的神经网络需要训练，训练过程由高光谱相机和激光雷达标定模块获得的外参进行约束。
27.如图3所示，在hlfn训练时，需要多组已经获得真实变换矩阵（可由高光谱相机和激光雷达标定模块获得）的高光谱图像和点云作为训练数据集，训练过程如下：（1）用真实变换矩阵对点云进行3d-3d空间变换，并与高光谱图像融合，得到对照点云、对照深度图和对照光谱图；（2）将点云和高光谱图像按照4d信息融合步骤中的1）至3）计算得出预测变换矩阵；（3）用预测变换矩阵对点云进行3d-3d空间变换，并与高光谱图像融合，得到校正点云、校正深度图和校正光谱图；（4）对照点云和校正点云之间形成几何损失约束，对照深度图和校正深度图之间形成光度损失约束，对照光谱图和校正光谱图之间形成光谱损失约束；（5）最终的损失是(4)中所述三个损失之和，并由三个超参数平衡它们；（6）通过反向传播，hlfn网络参数不断迭代训练，使损失函数最小化。
28.所述的高光谱图像和点云防抖融合模块中的神经网络训练时优化三个损失函数，分别是光谱损失、光度损失和几何损失。
29.其中，光度损失的定义如下：光度损失计算对照深度图与校正深度图所有相同位置的像素值(深度值)的差值之和。如果预测变换矩阵与真实变换矩阵更接近，那么对照深度图与校正深度图在相同位置的像素值(深度值)的差值会更小，此时光度损失比较小；反之，如果预测变换矩阵与真实变换矩阵相差比较大，此时光度损失比较大。
30.光谱损失和几何损失也是类似的，光谱损失计算对照光谱图与校正光谱图所有相同位置的光谱向量的距离之和，而几何损失计算对照点云和校正点云之间的空间(点云三维坐标)距离。
31.hlfn网络结构如图4所示，深度图和高光谱图像首先分别经过两个由卷积层构成的用于特征提取的分支，然后再将它们的特征串联起来，并再通过7个卷积层进行深度特征融合，最后融合特征被分为两个分支，每个分支各自经过一个1
×
1的卷积和一个全连接层，分别得到旋转向量r和平移向量t。
32.所述的高光谱相机模块包括电光可调谐滤波片和高速ccd相机，且与信息处理和控制模块相连，用于用来获取目标物体的高光谱信息。
33.通过连续改变电光可调谐滤波片的透过波长，用高速ccd相机不断采集可得到高光谱图像。
34.所述的高光谱相机模块还可以与一个rgb相机组合成共轭模式，rgb图像具有相对较高的空间分辨率，可以为4d融合提供更好的显示效果。
35.所述的高光谱相机和激光雷达标定模块位于上位机模块中，通过无线通信模块和信息处理和控制模块分别与高光谱相机模块和激光雷达模块相连，用于高光谱相机和激光雷达之间的外参标定。
36.所述的高光谱相机和激光雷达标定模块需要使用标定板，而所述的高光谱图像和点云防抖融合模块不需要使用标定板。
37.高光谱相机和激光雷达标定模块沿用传统的标定方法，其目的是得到训练hlpn网络所用的真实变换矩阵；hlpn一旦训练完成，在推理阶段，不需要使用标定板，网络通过识别二者特征即可完成高光谱图像和点云之间的融合。
38.在实际使用中，整个系统的工作步骤如下：一、若hlpn还未被训练：首先需要采集用于训练的数据集：1）固定高光谱相机和激光雷达的相对位置，对准某一目标后，上位机模块通过无线通信模块给信息处理和控制模块发送控制命令，信息处理和控制模块接收到采集数据的命令后，控制高光谱相机模块采集一张高光谱图片，同时控制激光雷达模块采集点云，然后通过无线传输模块将这些数据发送给上位机，上位机对其进行存储。
39.2）改变目标内容，按1）的步骤再次采集数据，直到拍摄多个目标(比如20个)时停止。
40.3）将目标换成标定板，按1）的步骤采集多次(比如5次)数据。
41.4）上位机模块中的高光谱相机和激光雷达标定模块利用步骤3）采集的数据进行标定，标定结果为真实变换矩阵，将在训练hlpn网络时用作ground truth。
42.5）将步骤2）中采集的数据与步骤4）中标定得到的真实变换矩阵打包，形成一组训练数据。
43.6）改变高光谱相机和激光雷达的相对位置，重复上述步骤，得到多组训练数据并形成训练数据集。
44.然后对hlpn进行训练，上位机模块将得到的训练数据集通过无线通信模块、信息处理和控制模块发送给高光谱图像和点云防抖融合模块，按照已阐述的图3所示的步骤进行训练，得到训练好的hlpn。
45.二、如果hlpn已被训练，在实际应用中，对新采集的数据进行4d融合，步骤如下：1）上位机模块通过无线通信模块给信息处理和控制模块发送控制命令，信息处理和控制模块接收到采集数据的命令后，控制高光谱相机模块采集一张高光谱图片，同时控制激光雷达模块采集点云。
46.2）然后将这些数据发送给高光谱图像和点云防抖融合模块，高光谱图像和点云防抖融合模块按照已阐述的图2所示的步骤进行4d融合，得到4d融合后的数据。
47.3）高光谱图像和点云防抖融合模块将融合4d数据通过信息处理和控制模块、无线通信模块发送给上位机模块，最后利用上位机模块中的显示模块对融合4d数据进行显示。
48.上述描述中的实施方案可以进一步组合或者替换，且实施方案仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域普通技术人员对本发明的技术方案做出的各种变化和改进，均属于本发明的保护范围。本发明的保护范围由所附权利要求及其任何等同物给出。