多模态场景信息采集与重建方法及系统

1.本技术涉及三维重建技术领域，特别涉及一种多模态场景信息采集与重建方法及系统。


背景技术：

2.人类通过双眼探索并发现世界，随着计算机技术的不断更新，计算机视觉这种给计算机添加“眼睛”与“大脑”的方向越来越热门，可以使计算机独立自主地感知世界。感知设备的不断刷新，让人们不再满足于采集场景下的单一信息，而是尽可能多角度、多维度地对现实世界中的场景进行数据采集与记录，并利用采集到的数据对真实场景进行多模态的还原。因此，如何将多模态的数据更好的关联起来，将多模态数据融合在一起变得非常重要。
3.然而，相关技术主要利用单一的设备进行场景的数据采集，利用单一的数据形式进行场景的重建，比如使用相机进行视觉上的重建，使用激光雷达进行点云上的重建。
4.相关技术的不足在于：单一使用相机进行重建时，重建结果的精度不高；单一使用激光雷达进行重建时，重建结果的信息丰富度以及视距有限。
5.综上，相关技术有待改善。
6.申请内容
7.本技术提供一种多模态场景信息采集与重建方法及系统，以解决相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
8.本技术第一方面实施例提供一种多模态场景信息采集与重建方法，包括以下步骤：利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；对所述至少一个多模态场景信息进行整合，生成原始数据集；以及利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。
9.可选地，在本技术的一个实施例中，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或gps(global positioning system，全球定位系统)。
10.可选地，在本技术的一个实施例中，所述对所述至少一个多模态场景信息进行整合，生成原始数据集，包括：利用所述激光雷达、全景相机、惯性里程计和gps分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。
11.可选地，在本技术的一个实施例中，所述利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。
12.可选地，在本技术的一个实施例中，在对所述至少一个多模态场景信息进行整合
之前，还包括：确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传感器之间的平移与旋转矩阵进行整合。
13.本技术第二方面实施例提供一种多模态场景信息采集与重建系统，包括：采集模块，用于利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于所述可移动装置上的至少一个传感器；生成模块，用于对所述至少一个多模态场景信息进行整合，生成原始数据集；以及重建模块，用于利用所述原始数据集进行场景的点云重建，并获取任一场景的点云数据。
14.可选地，在本技术的一个实施例中，所述至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统gps。
15.可选地，在本技术的一个实施例中，所述生成模块，包括：第一获取单元，用于利用所述激光雷达、全景相机、惯性里程计和gps分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；第二获取单元，用于由所述激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到所述原始数据集。
16.可选地，在本技术的一个实施例中，所述重建模块，包括：播放单元，用于播放所述原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；第三获取单元，用于基于所述整个场景点云数据获取多模态场景数据集，并根据所述多模态场景数据集得到任一场景的点云数据。
17.可选地，在本技术的一个实施例中，多模态场景信息采集与重建系统，还包括：整合模块，用于确定至少一个传感器之间的平移与旋转矩阵，以基于所述至少一个传感器之间的平移与旋转矩阵进行整合。
18.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的多模态场景信息采集与重建方法。
19.本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的多模态场景信息采集与重建方法。
20.本技术实施例可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
21.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
22.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
23.图1为根据本技术实施例提供的一种多模态场景信息采集与重建方法的流程图；
24.图2为根据本技术一个实施例的多模态场景信息采集与重建方法的刚性连接结构图；
25.图3为根据本技术一个实施例的多模态场景信息采集与重建方法的相对外参和相对内参的转换矩阵图；
26.图4为根据本技术一个实施例的多模态场景信息采集与重建方法的重建流程图；
27.图5为根据本技术一个实施例的多模态场景信息采集与重建方法的重建结果示意图；
28.图6为根据本技术一个实施例的多模态场景信息采集与重建方法的流程图；
29.图7为根据本技术实施例提供的一种多模态场景信息采集与重建系统的结构示意图；
30.图8为根据本技术实施例提供的电子设备的结构示意图。
具体实施方式
31.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
32.下面参考附图描述本技术实施例的多模态场景信息采集与重建方法及系统。针对上述背景技术中心提到的相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求的问题，本技术提供了一种多模态场景信息采集与重建方法，在该方法中，可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
33.具体而言，图1为本技术实施例所提供的一种多模态场景信息采集与重建方法的流程示意图。
34.如图1所示，该多模态场景信息采集与重建方法包括以下步骤：
35.在步骤s101中，利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器。
36.在实际执行过程中，本技术实施例可以通过至少一个采集设备，采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器，可移动装置可以是移动机器人，本技术实施例可以通过ros(robot operating system，机器人操作系统)实现对移动机器人的运动编程。本技术实施例在采集设备中包括多个传感器时，为了保证采集过程中多个传感器坐标系不会发生相对位移，本技术实施例可以将多个传感器通过刚性连接，并将构成的刚性结构与可移动装置进行刚性连接。本技术实施例通过传感器搭配可移动装置，可以提高对多模态场景信息的采集精度。
37.需要注意的是，根据所需采集信息不同，采集设备的数量及采集设备上传感器的数量，可以由本领域技术人员根据实际情况进行设定，在此不做具体限制。
38.可选地，在本技术的一个实施例中，至少一个传感器包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统gps。
39.举例而言，本技术实施例中的传感器可以包括时序同步的激光雷达、全景相机、惯性里程计和/或全球定位系统gps，且为保证采集过程中相机主坐标系、雷达主坐标系等坐
标系在采集流程中不会发生相对位移，因此在传感器数量不唯一时，本技术实施例可以将全景相机、激光雷达、惯性里程计和/或全球定位系统gps通过刚性连接，其具体连接方式如图2所示。本技术实施例可以将上述传感器接入平台搭载的同一计算机内，更便于进行后续多模态场景信息重建。
40.在步骤s102中，对至少一个多模态场景信息进行整合，生成原始数据集。
41.进一步地，本技术实施例可以对上述步骤中获取的至少一个多模态场景信息进行整合，进而生成原始数据集，在实际执行过程中，本技术实施例可以将至少一个传感器连接至同一计算机中，便于对获取的至少一个多模态场景信息进行整合，进而生成原始数据集。本技术实施例可以通过整合至少一个多模态场景信息，为后续进行场景的点云重建，进而获取任一场景的点云数据奠定基础，有利于实现多模态场景信息重建的高精度和信息丰富度。
42.可选地，在本技术的一个实施例中，对至少一个多模态场景信息进行整合，生成原始数据集，包括：利用激光雷达、全景相机、惯性里程计和gps分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息；由激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息得到原始数据集。
43.作为一种可能实现的方式，本技术实施例可以利用激光雷达、全景相机、惯性里程计和gps分别获取激光雷达点云、全景图片、全景相机参数、加速度与位姿信息和/或当前位置信息，并通过获取的信息得到原始数据集，为后续进行场景的点云重建，进而获取任一场景的点云数据奠定基础，有利于实现多模态场景信息重建的高精度和信息丰富度。
44.可选地，在本技术的一个实施例中，在对至少一个多模态场景信息进行整合之前，还包括：确定至少一个传感器之间的平移与旋转矩阵，以基于至少一个传感器之间的平移与旋转矩阵进行整合。
45.具体地，本技术实施例可以将惯性里程计与激光雷达连接到同一计算机中；启动惯性里程计与激光雷达在ros下的驱动，开始录制惯性里程计与激光雷达点云信息；移动雷达，使其在朝着某一直线方向移动的同时可以绕xyz三轴分别旋转；整理录制的数据，使其在一个rosbag数据包内，启动惯性里程计与雷达标定驱动，播放上述数据包；等待处理结束，记录二者标定结果，惯性里程计到雷达的旋转矩阵r
imu2velo
与平移矩阵tr
imu2velo
。
46.在标定过程中，使用到的原理如下所示：
47.在原始数据里，雷达的数据是以雷达自身为原点的三维坐标系下的点云数据，而惯性里程计的数据同样是以自身为原点的三维坐标系下的数据，进而可能导致惯性里程计的位姿相关的数据与雷达需要一个校准与标定。标定的方法包括离线标定和在线标定，其中，离线标定是利用工具箱通过对标定板的识别来标定，在线标定是通过直接播放数据集来采集相关数据进行标定，本技术实施例可以选用在线标定的方法。
48.是从时刻bk到时刻b
k 1
过程中惯性里程计测量值姿态预积分的结果；
49.是b
k 1
时刻点云帧相对bk时刻点云帧的姿态变化(通过本质矩阵求解)；
50.是雷达相对于惯性里程计的旋转变换；
51.根据旋转矩阵性质可得：
[0052][0053]
由于所以有：
[0054][0055]
将移到等式左边有：
[0056][0057]
根据两四元素的乘法可以转换成矩阵与四元素的乘法这个原理，转换方法如下：
[0058][0059][0060][0061]
q＝[q
w qv]，
[0062]
其中，q

，q-分别称作左乘、右乘矩阵。
[0063]
根据上面的性质，可以将第三条公式写成如下形式：
[0064][0065]
合并同类项可得：
[0066][0067]
假设有n组测量数据用于外参标定，可以建立如下方程组：
[0068][0069]
写成矩阵形式：
[0070][0071]
上方公式为齐次线性方程组，可以通过svd方法求解：该方法首先对a
4n
×4进行svd
分解，然后取最小奇异值对应的特征向量作为的最终结果。
[0072]
基于此原理，可以得到雷达与惯性里程计的相对外参矩阵旋转矩阵r
imu2velo
与平移矩阵tr
imu2velo
。
[0073]
进一步地，本技术实施例可以移动、调整移动机器人方向与位置，录制含有全景相机中某一个镜头的照片、激光雷达点云信息的数据包，利用该数据集对激光雷达主坐标系以及该全景相机的单个相机的主坐标系进行标定，计算出二者坐标系的平移与旋转矩阵，并利用该结果与全景相机出厂内参文件计算出激光雷达主坐标系与全景相机主坐标系的旋转与平移矩阵。
[0074]
具体地，本技术实施例可以挑选全景相机六个单目中的某一个相机为标定主体，调整移动平台的位姿保证该相机录制的画面不被遮挡；修改全景相机在ros下的驱动，使其可以发布选定好的单目相机的录制的画面；启动全景相机、激光雷达的ros下的驱动，分别发布选定好的单目所录制的image类型的topic以及激光雷达录制的pointcloud类型的topic；在相机视野、雷达视野内，摆放二者联合标定所需求的标定板，录制含有上述两种topic的rosbag数据包；启动相机与雷达联合标定的ros下驱动，播放上述rosbag数据包，进行标定，获得该单目相机主坐标系与雷达主坐标系变换的旋转矩阵r
velo2cam*
与平移矩阵tr
velo2cam*
；
[0075]
具体矩阵描述如图3示，同样的，二者的坐标转换可以用公式表示：
[0076][0077]
其中，k是由内在参数定义的相机内参矩阵，分别有焦距、光学中心(也称主点)和偏斜系数：
[0078][0079]
由此，本技术实施例可以通过多个目标点的坐标进行向量运算得到标定结果，具体流程如下：
[0080]
1、本技术实施例可以在获得相机内参的矩阵k后，就可以利用矩阵k标定外参。
[0081]
2、本技术实施例采集的外参数据需要涵盖水平移动以及垂直方向的移动。此时可以想象一个九宫格，将棋盘分别至于九宫格的九个部分，作为九个计算数据，来计算出r与t。具体的标定流程为：通过视图检索棋盘的中心圆形区域，再通过手动标注同一帧下雷达扫描出棋盘点云中心的点云部分，利用九帧以上的不同水平、垂直位置的数据联合进行计算，求解两个变换矩阵。
[0082]
本技术实施例可以从全景相机出场文件中摘取其中每个单目相机到全景相机主坐标系的旋转矩阵与平移矩阵，分别为r0、r1、r2、r3、r4、r5以及tr0、tr1、tr2、tr3、tr4、tr5；利用上述矩阵，计算出激光雷达主坐标系到全景相机主坐标系的旋转矩阵r
velo2cam
与平移矩阵
tr
velo2cam
。
[0083]
进一步地，本技术实施例录制在ros平台下发布的上述四种传感器的topic信息，包括激光雷达点云、全景相机全景图片、全景相机参数、惯性里程计记录的加速度与位姿信息、gps记录的位置信息，并将上述topic信息统一录制在同一rosbag数据集中。
[0084]
具体地，本技术实施例可以调整全景相机的ros下的驱动，使其可以发布录制的全景图片，启动gps、惯性里程计、全景相机、激光雷达在ros下的驱动，分别发布位置信息topic、运动与位姿信息topic、全景图片topic，点云信息topioc；录制上述所有topic到同一个rosbag数据包内。
[0085]
在步骤s103中，利用原始数据集进行场景的点云重建，并获取任一场景的点云数据。
[0086]
在实际执行过程中，本技术实施例可以利用上述步骤中获取的原始数据集进行场景的点云重建，并获取任一场景的点云数据，本技术实施例可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。
[0087]
可选地，在本技术的一个实施例中，利用原始数据集进行场景的点云重建，并获取任一场景的点云数据，包括：播放原始数据集，得到实时点云重建结果，并在重建结束后，获取整个场景点云数据；基于整个场景点云数据获取多模态场景数据集，并根据多模态场景数据集得到任一场景的点云数据。
[0088]
具体地，本技术实施例可以利用录制好的包括上述信息的数据集进行场景重建，启动重建相关ros平台下的驱动，监听上述信息；播放录制好的数据包，即可以看到实时点云重建结果，等待重建结束后便可以得到整个场景点云数据，与相机信息、gps信息进行拟合，得到多模态场景数据集。
[0089]
其具体重建流程如图4所示，具体重建结果如图5所示。
[0090]
下面结合图2至图6对本技术的一个具体实施例的多模态场景信息采集与重建方法进行详细阐述。
[0091]
如图6所示，本技术实施例包括以下步骤：
[0092]
步骤s601：将采集设备中的传感器元件进行刚性连接。为保证采集过程中相机主坐标系、雷达主坐标系等坐标系在采集流程中不会发生相对位移，因此，本技术实施例可以将全景相机、激光雷达、惯性里程计、gps通过刚性连接，并将激光雷达、全景相机、惯性里程计、gps等传感器组成的刚性结构与移动机器人平台通过刚性连接，并将全部传感器接入平台搭载的同一计算机内，其中，平台可以是ros平台，其具体连接方式如图2所示。
[0093]
步骤s602：获取激光雷达和惯性里程计坐标系的平移与旋转矩阵。本技术实施例中，手持激光雷达与惯性里程计的刚性连接结构着重进行绕xyz三个轴旋转的移动，录制含有激光雷达点云信息以及惯性里程计信息的数据包，利用该数据集对激光雷达主坐标系以及惯性里程计主坐标系进行标定，计算出二者坐标系的平移与旋转矩阵。
[0094]
具体地，本技术实施例可以将惯性里程计与激光雷达连接到同一计算机中；启动惯性里程计与激光雷达在ros下的驱动，开始录制惯性里程计与激光雷达点云信息；移动雷达，使其在朝着某一直线方向移动的同时可以绕xyz三轴分别旋转；整理录制的数据，使其在一个rosbag数据包内，启动惯性里程计与雷达标定驱动，播放上述数据包；等待处理结
束，记录二者标定结果，惯性里程计到雷达的旋转矩阵r
imu2velo
与平移矩阵tr
imu2velo
。
[0095]
在标定过程中，使用到的原理如下所示：
[0096]
在原始数据里，雷达的数据是以雷达自身为原点的三维坐标系下的点云数据，而惯性里程计的数据同样是以自身为原点的三维坐标系下的数据，进而可能导致惯性里程计的位姿相关的数据与雷达需要一个校准与标定。标定的方法包括离线标定和在线标定，其中，离线标定是利用工具箱通过对标定板的识别来标定，在线标定是通过直接播放数据集来采集相关数据进行标定，本技术实施例可以选用在线标定的方法。
[0097]
是从时刻bk到时刻b
k 1
过程中惯性里程计测量值姿态预积分的结果；
[0098]
是b
k 1
时刻点云帧相对bk时刻点云帧的姿态变化(通过本质矩阵求解)；
[0099]
是雷达相对于惯性里程计的旋转变换；
[0100]
根据旋转矩阵性质可得：
[0101][0102]
由于所以有：
[0103][0104]
将移到等式左边有：
[0105][0106]
根据两四元素的乘法可以转换成矩阵与四元素的乘法这个原理，转换方法如下：
[0107][0108][0109][0110]
q＝[q
w qv]，
[0111]
其中，q

，q-分别称作左乘、右乘矩阵。
[0112]
根据上面的性质，可以将第三条公式写成如下形式：
[0113][0114]
合并同类项可得：
[0115]
[0116]
假设有n组测量数据用于外参标定，可以建立如下方程组：
[0117][0118]
写成矩阵形式：
[0119][0120]
上方公式为齐次线性方程组，可以通过svd方法求解：该方法首先对a
4n
×4进行svd分解，然后取最小奇异值对应的特征向量作为的最终结果。
[0121]
基于此原理，可以得到雷达与惯性里程计的相对外参矩阵旋转矩阵r
imu2velo
与平移矩阵tr
imu2velo
。
[0122]
步骤s603：获取激光雷达主坐标系与全景相机主坐标系的旋转与平移矩阵。本技术实施例可以移动、调整移动机器人方向与位置，录制含有全景相机中某一个镜头的照片、激光雷达点云信息的数据包，利用该数据集对激光雷达主坐标系以及该全景相机的单个相机的主坐标系进行标定，计算出二者坐标系的平移与旋转矩阵，并利用该结果与全景相机出厂内参文件计算出激光雷达主坐标系与全景相机主坐标系的旋转与平移矩阵。
[0123]
具体地，本技术实施例可以挑选全景相机六个单目中的某一个相机为标定主体，调整移动平台的位姿保证该相机录制的画面不被遮挡；修改全景相机在ros下的驱动，使其可以发布选定好的单目相机的录制的画面；启动全景相机、激光雷达的ros下的驱动，分别发布选定好的单目所录制的image类型的topic以及激光雷达录制的pointcloud类型的topic；在相机视野、雷达视野内，摆放二者联合标定所需求的标定板，录制含有上述两种topic的rosbag数据包；启动相机与雷达联合标定的ros下驱动，播放上述rosbag数据包，进行标定，获得该单目相机主坐标系与雷达主坐标系变换的旋转矩阵r
velo2cam*
与平移矩阵tr
velo2cam*
；
[0124]
具体矩阵描述如图3示，同样的，二者的坐标转换可以用公式表示：
[0125][0126]
其中，k是由内在参数定义的相机内参矩阵，分别有焦距、光学中心(也称主点)和偏斜系数：
[0127][0128]
由此，本技术实施例可以通过多个目标点的坐标进行向量运算得到标定结果，具体流程如下：
[0129]
1、本技术实施例可以在获得相机内参的矩阵k后，就可以利用矩阵k标定外参。
[0130]
2、本技术实施例采集的外参数据需要涵盖水平移动以及垂直方向的移动。此时可以想象一个九宫格，将棋盘分别至于九宫格的九个部分，作为九个计算数据，来计算出r与t。具体的标定流程为：通过视图检索棋盘的中心圆形区域，再通过手动标注同一帧下雷达扫描出棋盘点云中心的点云部分，利用九帧以上的不同水平、垂直位置的数据联合进行计算，求解两个变换矩阵。
[0131]
本技术实施例可以从全景相机出场文件中摘取其中每个单目相机到全景相机主坐标系的旋转矩阵与平移矩阵，分别为r0、r1、r2、r3、r4、r5以及tr0、tr1、tr2、tr3、tr4、tr5；利用上述矩阵，计算出激光雷达主坐标系到全景相机主坐标系的旋转矩阵r
velo2cam
与平移矩阵tr
velo2cam
。
[0132]
步骤s604：整合并生成数据集。本技术实施例录制在ros平台下发布的上述四种传感器的topic信息，包括激光雷达点云、全景相机全景图片、全景相机参数、惯性里程计记录的加速度与位姿信息、gps记录的位置信息，并将上述topic信息统一录制在同一rosbag数据集中。
[0133]
具体地，本技术实施例可以调整全景相机的ros下的驱动，使其可以发布录制的全景图片，启动gps、惯性里程计、全景相机、激光雷达在ros下的驱动，分别发布位置信息topic、运动与位姿信息topic、全景图片topic，点云信息topioc；录制上述所有topic到同一个rosbag数据包内。
[0134]
步骤s605：进行点云重建，获得整个场景点云数据。具体地，本技术实施例可以利用录制好的包括上述信息的数据集进行场景重建，启动重建相关ros平台下的驱动，监听上述信息；播放录制好的数据包，即可以看到实时点云重建结果，等待重建结束后便可以得到整个场景点云数据，与相机信息、gps信息进行拟合，得到多模态场景数据集。
[0135]
其具体重建流程如图4所示，具体重建结果如图5所示。
[0136]
根据本技术实施例提出的多模态场景信息采集与重建方法，可以将采集到的多模态场景信息进行整合，并进行场景的点云重建，进而获取任一场景的点云数据，进而实现多模态场景信息重建的高精度和信息丰富度。由此，解决了相关技术使用单一数据采集方法，导致其重建结果无法同时满足精度和信息丰富度要求等问题。
[0137]
其次参照附图描述根据本技术实施例提出的多模态场景信息采集与重建系统。
[0138]
图7是本技术实施例的多模态场景信息采集与重建系统的方框示意图。
[0139]
如图7所示，该多模态场景信息采集与重建系统10包括：采集模块100、生成模块200和重建模块300。
[0140]
具体地，采集模块100，用于利用至少一个采集设备采集至少一个多模态场景信息，其中，每个采集设备包括可移动装置和设置于可移动装置上的至少一个传感器。
component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0162]
可选地，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
[0163]
处理器802可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0164]
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的多模态场景信息采集与重建方法。
[0165]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0166]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0167]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0168]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0169]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述
实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0170]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0171]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0172]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。