一种复杂地形下多传感器配准融合系统及方法与流程

1.本方法属于无人车多传感器融合技术领域，具体为一种复杂地形下多传感器配准融合系统及方法。


背景技术：

2.感知和定位是无人车的一个关键技术，是路径规划、智能决策和自动控制的基础，感知车身周围的环境和定位自身的位置，需要各种传感器感知动静态障碍物的形态、速度、距离、类别等信息。这些传感器主要有惯性传感器、光学相机、激光雷达等。每一种传感器都有其自身的优缺点，只用某一种传感器不能有效的感知无人车自身周围的环境，需要获取不同传感器的输入信息，并用相应的算法将所有信息融合起来从而更加准确地感知自身周围环境。
3.随着无人驾驶、无人探索等领域的逐渐发展，无人车上越来越离不开各式各样的传感器来融合更多的信息，以便于做后续的感知规划等任务。基于无人车的多传感器数据融合是把部署在无人车不同位置的多个传感器所提供的局部数据信息进行综合，即是利用计算机技术将同一种类型的多个传感器和不同种累的多种传感器进行综合分析，消除多传感器信息之间可能存在的冗余和矛盾，去除干扰并加以互补，降低某一传感器的不确定性，获得无人车周围环境和障碍物的一致性解释与描述，从而给无人车的决策规划层和自主控制层提供更充分、准确的信息。
4.2007年至今，大致可分为四代无人驾驶系统，其中第一代主要采用velodyne64线激光雷达与相机分开处理方案；第二代主要方案为融合多颗16线32线雷达融合摄像头以及其他传感器，进行定位与目标识别；第三代主要将第二代激光雷达升级为固态激光雷达，并将固态激光雷达安装到车辆的前方；第四代方案将去除方向盘，采用的是移动空间的概念，目前是所有厂家追求的终极目标。综上可以看出，现阶段所研究的第二代与第三代方案，传感器融合均是必须攻克的难点。
5.本发明对复杂地形下多传感器配准融合问题做了充分调查研究，对所有传感器进行时间、空间同步，并利用深度信息将所有光学相机数据进行像素级对齐，最后利用深度学习进行数据的前融合，提供包括多维信息的数据矩阵，为重建、感知、规划、决策等提供关键数据支撑。


技术实现要素：

6.为克服现有技术的缺陷，本发明提供一种复杂地形下多传感器配准融合系统及方法，利用时间、空间同步后的传感器数据并利用深度信息进行像素级配准对齐，然后借助深度学习，实现不同传感器间的数据融合，为复杂地形下的三维重建、感知、路径规划等工作提供有利的数据支撑。
7.根据本发明说明书的一方面，提供一种复杂地形下多传感器配准融合系统，包括：多传感器模块、数据同步模块、数据配准对齐模块和数据融合模块，所述多传感器模块、数
据同步模块、数据配准对齐模块和数据融合模块依次相连；
8.所述多传感器模块，用于获取多传感器的数据，包括激光雷达、彩色相机、深度相机、热红外相机、多光谱相机和imu的数据；
9.所述数据同步模块，用于实现多传感器的时间一致性及空间一致性；
10.所述数据配准对齐模块，用于在数据同步后，利用深度相机及激光雷达的深度信息来实现激光雷达图像、彩色图像、深度图像、热成像与多光谱图像的配准对齐；
11.所述数据融合模块，用于在数据配准对齐后，利用深度学习将各传感器图像进行像素级融合。
12.上述技术方案中，将多个传感器的数据线进行时间同步和空间同步，达到时间及空间上的一致性，然后利用时间、空间同步后的传感器数据，基于深度信息进行各传感器的像素级配准对齐，最后借助深度学习，实现不同传感器间的数据融合，形成一个即有能力看到彩色信息又有能力看到深度、热红外、多谱段信息，还能看到三维点云信息的传感器数据，为复杂地形下的三维重建、感知、路径规划等工作提供更多的有用信息。
13.作为进一步的技术方案，所述多传感器模块还包括数据预处理单元，用于将各传感器的sdk输入采集部分的程序集中到ros操作系统中，利用ros的消息形式分别发布出来并传送给数据同步模块。由于传感器类型不同，对应的各自驱动也不一样，所以需要首先将各个传感器的sdk输入采集部分的程序集合到ros操作系统当中，利用ros的消息形式分别发布出来，以便后续的同步、配准、融合、定位使用。
14.作为进一步的技术方案，实现多传感器的时间一致性进一步包括：激光雷达采用gps时间戳同步，彩色相机、深度相机、热红外相机和多光谱相机采用硬触发同步，imu采用就近时间戳与激光雷达及各相机同步。
15.具体地，时间同步中，激光雷达采用gps时间戳同步，利用xavier工控机给激光雷达gps信号和pps信号，将当前utc时间写入激光雷达内部时钟，使得激光雷达时间戳能与utc时间保持一致。
16.具体地，时间同步中，各个相机提前设置好曝光时间，触发模式设置为硬触发，上升沿触发。触发信号由xavier工控机普通io口发出，可设置为频率固定的方波信号，也可随时给上升沿信号来触发相机，以保证相机之间的同步触发。
17.具体地，时间同步中，考虑成本采用普通的不支持硬触发的imu，根据imu的高频率特性，采用就近时间戳与硬触发方案的相机、gps时间戳方案的激光雷达进行时间同步。
18.作为进一步的技术方案，实现多传感器的空间一致性进一步包括：首先进行各相机及imu的内参标定，然后利用标定好的内参进行各传感器相互之间的外参联合标定。
19.具体地，空间同步中需要先进行各个传感器内参的标定，imu的内参标定主要通过静置下标定出其零飘和白噪声；相机的内参主要通过相机以不同角度拍摄的标定板利用张正友标定法来进行内参标定，得到每个相机的以像素为单位的焦距、主点偏移以及畸变系数。
20.作为进一步的技术方案，利用标定好的内参进行各传感器相互之间的外参联合标定，进一步包括：利用标定好的内参，首先进行彩色相机与imu的标定，其次进行彩色相机与深度相机标定、彩色相机与多光谱相机标定、彩色相机与热成像相机标定、彩色相机与激光雷达标定。
21.具体地，空间同步中还需要进行各个传感器间外参的标定，其中imu固定无人车车体中心，彩色相机与imu标定的目的也是将相机标定到车体中心坐标系下，其余传感器与彩色相机标定的目的是以彩色相机为中间媒介统一标定到车体中心坐标系下。
22.作为进一步的技术方案，所述数据配准对齐模块进一步包括：首先利用深度信息将深度图像与彩色图像对齐、激光雷达与彩色图像对齐；然后利用对齐后的深度信息映射到其他相机图像上来进行所有相机数据的对齐，形成一个包含彩色、深度、热和多光谱的高维信息数据。数据的配准对齐需要利用深度相机以及激光雷达的深度信息来进行不同相机之间的数据对齐。
23.作为进一步的技术方案，所述数据融合模块包括：利用配准对齐后的数据，通过深度学习didfuse融合网络来进行像素级的数据融合，形成一个包含彩色、深度、热、多谱段和三维点云信息的传感器数据。利用配准对齐好的数据，通过深度学习didfuse融合算法来进行像素级的数据融合，形成一个即有能力看到彩色信息又有能力看到深度、热红外、多谱段信息，还能看到三维点云信息的超级传感器数据，为复杂地形下的三维重建、感知、路径规划等工作提供了更多的有用信息。
24.进一步地，didfuse融合网络可以接受像素对齐后的任意尺寸的输入图像，网络采用u-net网络形式进行输入，数据在卷积过程中保留前面原始信息，该网络由encoder和decoder网络组成，网络训练部分为输入原始图像经过encoder网络提取图像信息并由encoder网络分解成前景和背景，再经过decoder网络进行图像的恢复，在融合测试部分采用待融合的两幅图像分别经过encoder网络提取图像特征后利用一定融合策略进行融合，最后利用decoder网络进行两幅图像融合后的重构。
25.根据本发明说明书的另一方面，提供了一种复杂地形下多传感器配准融合方法，包括：
26.数据输入：将各传感器的数据输入统一到ros操作系统下，包括激光雷达、彩色相机、深度相机、热红外相机、多光谱相机和imu的数据；
27.时间同步：彩色相机、深度相机、热红外相机和多光谱相机实现硬触发同步，激光雷达实现gps时间戳同步，imu的高帧率实现就近时间戳与其他传感器同步；
28.空间同步：首先进行所有相机及imu的内参标定，然后利用标定好的内参进行所有传感器相互之间的外参联合标定；
29.数据的配准对齐：利用标定好的外参首先将深度图像、激光雷达与彩色图像对齐，再利用深度信息将热成像、多光谱相机与彩色图像配准对齐；
30.数据的融合：在数据配准对齐后，利用深度学习将各个传感器数据进行像素级融合。
31.与现有技术相比，本方法的有益效果在于：
32.(1)本发明提供一种系统，将多个传感器的数据线进行时间同步和空间同步，达到时间及空间上的一致性，然后利用时间、空间同步后的传感器数据，基于深度信息进行各传感器的像素级配准对齐，最后借助深度学习，实现不同传感器间的数据融合，形成一个即有能力看到彩色信息又有能力看到深度、热红外、多谱段信息，还能看到三维点云信息的传感器数据，为复杂地形下的三维重建、感知、路径规划等工作提供更多的有用信息。
33.(2)本发明提供一种方法，首先将多个传感器的数据输入到统一系统下，以便于通
过统一格式进行发布；接着对多个传感器进行时间同步和空间同步，实现多传感器的时间一致性及空间一致性；然后对同步后的多传感器的数据进行配准对齐，并在配准对齐后进行数据融合，实现各传感器数据的像素级融合，得到包含彩色、深度、热、多光谱和三维点云的高维信息数据。
附图说明
34.图1为根据本发明实施例的一种复杂地形下多传感器配准融合系统的示意图。
35.图2为根据本发明实施例的数据融合算法的示意图。
36.图3为根据本发明实施例的一种复杂地形下多传感器配准融合方法的流程图。
具体实施方式
37.以下将结合附图对本方法各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本方法的一部分实施例，而不是全部的实施例。基于本方法的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本方法所保护的范围。
38.实施例1
39.本实施例提供一种复杂地形下多传感器配准融合系统，如图1，包括：多传感器模块、数据同步模块、数据配准对齐模块和数据融合模块，所述多传感器模块、数据同步模块、数据配准对齐模块和数据融合模块依次相连。
40.多传感器模块，包括激光雷达、彩色相机、深度相机、热红外相机、多光谱相机和imu。由于传感器类型不同，对应的各自驱动也不一样，所以需要首先将各个传感器的sdk输入采集部分的程序集合到ros操作系统当中，利用ros的消息形式分别发布出来，以便后续的同步、配准、融合、定位使用。
41.数据同步模块，用于多传感器的时间同步及空间同步。
42.时间同步中：激光雷达采用gps时间戳同步，彩色相机、深度相机、热红外相机和多光谱相机采用硬触发同步，imu采用就近时间戳与激光雷达及各相机同步。
43.激光雷达采用gps时间戳同步，利用xavier工控机给激光雷达gps信号和pps信号，将当前utc时间写入激光雷达内部时钟，使得激光雷达时间戳能与utc时间保持一致。
44.各个相机提前设置好曝光时间，触发模式设置为硬触发，上升沿触发。触发信号由xavier工控机普通io口发出，可设置为频率固定的方波信号，也可随时给上升沿信号来触发相机，以保证相机之间的同步触发。
45.考虑成本采用普通的不支持硬触发的imu，根据imu的高频率特性，采用就近时间戳与硬触发方案的相机、gps时间戳方案的激光雷达进行时间同步。
46.空间同步中：首先进行各相机及imu的内参标定，然后利用标定好的内参进行各传感器相互之间的外参联合标定。
47.空间同步中，imu的内参标定主要通过静置下标定出其零飘和白噪声。相机的内参主要通过相机以不同角度拍摄的标定板利用张正友标定法来进行内参标定，得到每个相机的以像素为单位的焦距、主点偏移以及畸变系数。
48.标定好内参后，利用标定好的内参，首先进行彩色相机与imu的标定，其次进行彩
色相机与深度相机标定、彩色相机与多光谱相机标定、彩色相机与热成像相机标定、彩色相机与激光雷达标定。其中imu固定在车体中心，彩色相机与imu标定的目的也是将相机标定到车体中心坐标系下，其余传感器与彩色相机标定的目的是以彩色相机为中间媒介统一标定到车体中心坐标系下。
49.数据配准对齐模块，需要利用深度相机以及激光雷达的深度信息来进行不同相机之间的数据对齐。
50.数据配准对齐首先利用深度信息将深度图像与彩色图像对齐、激光雷达与彩色图像对齐；然后利用对齐后的深度信息映射到其他相机图像上来进行所有相机数据的对齐，形成一个包含彩色、深度、热和多光谱的高维信息数据。
51.数据融合模块，利用配准对齐后的数据，通过深度学习didfuse融合网络来进行像素级的数据融合，形成一个包含彩色、深度、热、多谱段和三维点云信息的传感器数据。利用配准对齐好的数据，通过深度学习didfuse融合算法来进行像素级的数据融合，形成一个即有能力看到彩色信息又有能力看到深度、热红外、多谱段信息，还能看到三维点云信息的超级传感器数据，为复杂地形下的三维重建、感知、路径规划等工作提供了更多的有用信息。
52.如图2，didfuse融合网络可以接受像素对齐后的任意尺寸的输入图像，网络采用u-net网络形式进行输入，数据在卷积过程中保留前面原始信息，该网络由encoder和decoder网络组成，网络训练部分为输入原始图像经过encoder网络提取图像信息并由encoder网络分解成前景和背景，再经过decoder网络进行图像的恢复，在融合测试部分采用待融合的两幅图像分别经过encoder网络提取图像特征后利用一定融合策略进行融合，最后利用decoder网络进行两幅图像融合后的重构。
53.本实施例将多个传感器的数据线进行时间同步和空间同步，达到时间及空间上的一致性，然后利用时间、空间同步后的传感器数据，基于深度信息进行各传感器的像素级配准对齐，最后借助深度学习，实现不同传感器间的数据融合，形成一个即有能力看到彩色信息又有能力看到深度、热红外、多谱段信息，还能看到三维点云信息的传感器数据，为复杂地形下的三维重建、感知、路径规划等工作提供更多的有用信息。
54.本实施例通过构建了一个完善统一的多传感器系统，以及基于深度学习的融合算法实现了复杂地形下多传感器配准融合任务。
55.实施例2
56.如图3，本实施例提供一种复杂地形下多传感器配准融合方法，包括以下步骤：
57.1、数据的输入
58.首先进行数据输入的统一。由于本实施例中传感器包括彩色相机、深度相机、热成像相机、多光谱相机、激光雷达和imu多种传感器，对应的它们各自驱动也不一样，所以需要首先将各个传感器的sdk数据采集部分整合到ros操作系统当中，其中各个光学相机需要通过对应的sdk采集到数据流先转成opencv图像格式，再利用cv_bridge转换成ros的消息格式，最后统一通过ros的topic形式将每个传感器采集到的数据分别publish出来。
59.2、时间一致性
60.本部分将gps时间戳同步、硬件触发同步、就近时间戳对齐同步结合起来，实现所有传感器的时间一致性。
61.其中激光雷达采用gps时间戳同步，利用工控机给激光雷达gps信号及pps信号，激
光雷达接收完gps信号后的第一个pps信号的上升沿将当前utc时间写入激光雷达内部时钟，使得激光雷达时间戳能与utc时间保持一致。
62.其中光学相机，包括彩色相机、深度相机、热成像相机、多光谱相机采用外部硬件触发进行同步，相机设置好曝光时间，触发模式设置为硬触发，上升沿触发。触发信号由工控机普通io口发出，可设置为频率固定的方波信号，也可随时给上升沿信号来进行外部触发相机，以保证相机之间的同步触发。
63.其中imu与其他传感器的同步采用就近时间戳同步，考虑成本原因采用普通的不支持外部触发的imu，根据imu的高频率特性，采用ros中message_filter消息同步器将imu与硬触发方案的相机、gps时间戳方案的激光雷达进行时间同步。
64.3、空间一致性
65.本部分进行空间同步，即传感器的内参和外参标定。内参标定解决单个传感器与世界坐标系间的变换，外参标定是世界坐标系下不同传感器间的变换，其中传感器外参的校准依赖于传感器精确的内参。
66.空间间同步中需要先进行各个传感器内参的标定。imu的内参使用六面法进行标定，主要通过静置下的数据来标定出零飘和白噪声；相机的内参使用张氏标定法，通过相机以不同角度拍摄的标定板图像，从中提取特征点，估算理想无畸变情况下的内参，再应用最小二乘法估算存在径向畸变下的畸变系数，最后使用极大似然法进行优化估计，提升精度。相机内参的标定主要是标定出每个相机的以像素为单位的焦距、主点偏移、以及畸变系数。
67.空间同步中还需要进行各个传感器间外参的标定。利用标定好的内参，首先进行彩色相机与imu的标定，使用kalibr工具标定相机与imu外参大体分为三步，(1)粗略估计相机与imu之间时间延时；(2)获取imu-camera之间初始旋转，重力加速度、陀螺仪偏置；(3)大优化，包括角点重投影误差、imu加速度计与陀螺仪测量误差；其次进行彩色相机与深度相机标定、彩色相机与多光谱相机标定、彩色相机与热成像相机标定，其中彩色相机与热成像相机标定需要特定的可加热标定板，彩色相机与这些相机的外参标定原理一致，均为双目相机标定；最后进行彩色相机与激光雷达标定，使用autoware工具进行标定，通过在图像和点云中找到9组对应点，进行优化求解相机与雷达的相对位姿。其中imu固定在车体中心，彩色相机与imu标定的目的也是将相机标定到车体中心坐标系下，其余传感器与彩色相机标定的目的是以彩色相机为中间媒介统一标定到车体中心坐标系下。
68.4、数据的配准对齐
69.本部分需要利用深度相机以及激光雷达的深度信息来进行不同相机之间的数据对齐。
70.首先将深度图像利用深度相机内参恢复出深度相机坐标系下的三维点云，再利用其与彩色相机的外参转换到彩色相机坐标系下，最后通过彩色相机内参转换到彩色相机像素坐标系下与彩色图像进行像素对齐，激光雷达与彩色图像对齐同理；
71.其次利用利用对齐后的深度信息通过外参转换到其他相机坐标系下，再通过对应相机的内参转换到对应相机像素坐标系下，来进行利用深度与所有相机数据的对齐，形成一个包含彩色、深度、热、多光谱的高维信息数据。
72.5、数据的融合
73.本部分利用配准对齐好的数据，通过深度学习didfuse融合网络来进行像素级的
数据融合，形成一个即有能力看到彩色信息又有能力看到深度、热、多谱段信息，还能看到三维点云信息的super传感器数据。为复杂地形下的三维重建、感知、路径规划等工作提供更多的有用信息。
74.本实施例首先获取多传感器数据并进行多传感器的时间及空间同步，达到多传感器的时间一致性及空间一致性，然后利用时间、空间同步后的传感器数据，基于深度信息进行像素级配准对齐，最后借助深度学习，基于配准对齐后的数据实现不同传感器间的数据融合。
75.最后应说明的是：以上实施例仅用以说明本方法的技术方案，而非对其限制；尽管参照前述实施例对本方法进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本方法实施例技术方案。