三维重建方法和装置、计算机设备、存储介质与流程

三维重建方法和装置、计算机设备、存储介质
1.技术邻域
2.本技术涉及计算机图像处理、计算机视觉与遥感测绘技术邻域，具体涉及一种三维重建方法和装置、计算机设备，以及存储介质。


背景技术：

3.通常情况下，利用无人机影像进行地面三维重建时，需要无人机利用摄像头拍摄完整个场景，然后在地面控制端基于所有图像进行离线计算稠密三维点云。这种三维重建方式占用的内容容量较大，导致硬件成本较高。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种三维重建方法和装置、计算机设备，以及存储介质，解决了现有技术中三维重建过程占用内存容量较大的问题。
5.本技术第一方面提供了一种三维重建方法，包括：基于多帧图像各自的深度图，确定多帧图像进行深度图融合所需的估计内存容量；基于估计内存容量，以及获取到的当前内存空闲容量、多帧图像各自的相机外参数和稀疏点云，对多帧图像进行分群，得到至少一个群组；分别对至少一个群组进行深度图融合，得到至少一个稠密点云；将至少一个稠密点云融合，得到预定场景的稠密点云。
6.在一个实施例中，基于多帧图像各自的深度图，确定多帧图像进行深度图融合所需的估计内存容量包括：基于多帧图像的数量、单帧图像的大小和覆盖面积、深度图融合时的降采样倍数和采样间隔，确定估计内存容量。
7.在一个实施例中，基于估计内存容量，以及获取到的当前内存空闲容量、多帧图像各自的相机外参数和稀疏点云，对多帧图像进行分群，得到至少一个群组包括：基于当前空闲内存容量和估计内存容量确定群内图像数量的最大值；基于群内图像数量的最大值，结合多帧图像各自的相机外参和稀疏点云，对多帧图像进行聚类分群，得到至少一个群组。
8.在一个实施例中，基于当前空闲内存容量和估计内存容量确定群内图像数量的最大值包括：当当前空闲内存容量大于估计内存容量时，将多帧图像的帧数确定为群内图像数量的最大值；当当前空闲内存容量小于或等于估计内存容量时，基于当前空闲内存容量、估计内存容量以及多帧图像的数量确定群内图像数量的最大值。
9.在一个实施例中，在基于多帧图像各自的深度图，确定多帧图像进行深度图融合所需的估计内存容量之前，还包括：基于无人机采集到的若干帧图像各自携带的gps信息确定若干帧图像中的多个邻域帧图像，若干帧图像为多帧图像中的部分连续帧图像；确定多个邻域帧图像各自的深度图。
10.在一个实施例中，基于无人机采集到的若干帧图像各自携带的gps信息确定若干帧图像中的多个邻域帧图像包括：选定若干帧图像中的任一帧图像作为目标帧图像；确定以目标帧图像的gps信息为原点，预定长度为半径的圆形区域；确定圆形区域内的gps信息对应的多帧图像为多个邻域帧图像。
11.在一个实施例中，在确定多个邻域帧图像各自的深度图之前，还包括：分别对若干帧图像进行特征点提取，得到若干帧图像各自的关键点及其描述子。确定多个邻域帧图像各自的深度图包括：基于描述子对多个邻域帧图像进行特征点匹配，得到多个邻域帧图像各自的特征点匹配关系；采用局部光束法平差算法，基于特征点匹配关系和多个邻域帧图像各自携带的gps信息，确定多个邻域帧图像对应的稀疏点云，以及多个邻域帧图像各自的相机内参数和相机外参数；基于稀疏点云、相机内参数和相机外参数，确定多个邻域帧图像各自的深度图。
12.在一个实施例中，基于稀疏点云、相机内参数和相机外参数，确定多个邻域帧图像各自的深度图具体包括：基于多帧邻域图像各自携带的时序信息，确定时序上相邻的第一帧图像和第二帧图像；采用対极几何算法，基于相机外参数对第一帧图像和第二帧图像进行校正，以使校正后的第一帧图像和第二帧图像满足双目立体匹配条件；基于校正后的第一帧图像和第二帧图像确定各自的视差图；基于视差图确定深度图。
13.在一个实施例中，三维重建方法实施为存储于存储介质上的计算机程序，计算机程序包括执行确定多个邻域帧图像各自的深度图的步骤的深度图确定模块，深度图确定模块包括特征提取子模块、特征匹配子模块、局部法平差子模块、状态检测子模块和深度计算子模块：特征提取子模块分别对若干帧图像进行特征点提取，得到若干帧图像各自的关键点及其描述子；特征匹配子模块基于描述子对多个邻域帧图像进行特征点匹配，得到多个邻域帧图像各自的特征点匹配关系；局部法平差子模块基于特征点匹配关系和多个邻域帧图像各自携带的gps信息，确定多个邻域帧图像对应的稀疏点云，以及多个邻域帧图像各自的相机内参数和相机外参数；状态检测子模块确定特征提取子模块、特征匹配子模块、局部法平差子模块的运行状态；根据运行状态为结束的模块确定可用模块；根据可用模块的数量确定深度计算子模块的数量；深度计算子模块基于稀疏点云、相机内参数和相机外参数，确定多个邻域帧图像各自的深度图，计算多帧邻域图像各自的深度图。
14.本技术第二方面提供了一种三维重建装置，包括：确定模块，用于基于多帧图像各自的深度图，确定多帧图像进行深度图融合所需的估计内存容量，多帧图像是无人机对预定场景进行航拍的过程中采集到的；分群模块，用于基于估计内存容量，以及获取到的当前内存空闲容量、多帧图像各自的相机外参数和稀疏点云，对多帧图像进行分群，得到至少一个群组；融合模块，用于分别对至少一个群组进行深度图融合，得到至少一个稠密点云；将至少一个稠密点云融合，得到预定场景的稠密点云。
15.本技术第三方面提供了一种计算机设备，包括存储器、处理器以及存储在存储器上被处理器执行的计算机程序，其特征在于，处理器执行计算机程序时实现上述任一实施例提供的基于无人机影像计算稠密点云的方法的步骤。
16.本技术第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述任一实施例提供的基于无人机影像计算稠密点云的方法的步骤。
17.根据本技术提供的三维重建方法和装置、计算机设备，以及存储介质，根据当前空闲内存容量对全部帧图像分群并分别计算各群的稠密点云，即同一时间仅计算一个群的稠密点云，然后将全部群的稠密点云融合，得到整个场景的稠密点云，实现了对内存容量的充分利用，同时降低了对存储容量的需求，降低了硬件成本。
附图说明
18.图1示出了一种无人机系统的架构示意图。
19.图2为本技术一实施例提供的三维重建方法的流程图。
20.图3为本技术第二实施例提供的三维重建方法的流程示意图。
21.图4为本技术第三实施例提供的三维重建方法的执行过程示意图。
22.图5为本技术一实施例提供的三维重建装置的结构框图。
23.图6是本技术一示例性实施例提供的电子设备的结构框图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本邻域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.申请概述
26.常规的航测方法大多是在地面控制端基于sfm(structure form motion)技术进行地面三维重建，具体包括：首先，恢复每张图像的相机外参和稀疏三维点云；其次，基于每张图像的相机外参和稀疏三维点云计算每帧图像对应的深度图；接着，将深度图融合计算整个场景的稠密三维点云。这种三维重建方法，无法即时在线计算稠密点云，使得三维重建过程等待时间长，拖累了出地图的效率。
27.有鉴于此，本技术实施例提供了一种三维重建方法和装置、计算机设备，以及存储介质，根据当前空闲内存容量对全部帧图像分群计算稠密点云，然后将全部群的稠密点云融合，得到整个场景的稠密点云，实现了对内存容量的充分利用，同时降低了对存储容量的需求，降低了硬件成本。
28.示例性系统
29.图1示出了一种无人机系统的架构示意图。该无人机系统可以应用本技术实施例提供的三维重建方法或装置。如图1所示，无人机系统100包括机载端110、地面控制端120，以及网络130。
30.网络130用以在机载端110和地面控制端120之间提供通信链路的介质，网络130通常为无线通信链路。地面控制端120例如可以是控制手柄。机载端110为配置有摄像头或相机的无人机。这样，用户可以使用地面控制端120通过网络130与机载端110交互，以接收或发送消息。
31.例如，用户使用地面控制端120控制机载端110遍历预定场景飞行，机载端110飞行过程中对预定场景进行录像或拍照。这种情况下，机载端110基于录像或照片执行本技术实施例提供的三维重建方法，计算预定场景的稠密点云。相应地，三维重建装置设置在机载端110。
32.又例如，用户使用地面控制端120控制机载端110遍历预定场景飞行，机载端110飞行过程中对预定场景进行录像或拍照，机载端110将录像或照片实时传送到地面控制端120。地面控制端120基于录像或照片执行本技术实施例提供的三维重建方法，计算预定场景的稠密点云。相应地，三维重建装置设置在地面控制端120。
33.示例性方法
34.为了创建预定场景的三维地图，首先利用无人机针对整个场景拍摄影像，然后按照预定频率对影像进行图像帧提取，得到用于描述整个场景的全部连续帧图像，后续便可以基于该全部连续帧图像计算预定场景的三维稠密点云，进而根据三维稠密点云创建三维地图。
35.图2为本技术一实施例提供的三维重建方法的流程图。如图2所示，三维重建方法200包括：
36.步骤s210，基于多帧图像各自的深度图，确定多帧图像进行深度图融合所需的估计内存容量。
37.在一个实施例中，基于多帧图像的数量、单帧图像的大小和覆盖面积、深度图融合时的降采样倍数和采样间隔，确定估计内存容量。
38.具体而言，设图像数量为n，图像大小为image_size(宽*高)，图像覆盖最大面积为n*image_size，将图像降采样m倍，每隔s个点计算一个点深度值。那么估计深度图融合线程对全部帧图像进行深度图融合时消耗内存大小为：
39.步骤s220，基于估计内存容量，以及获取到的当前内存空闲容量、多帧图像各自的相机外参数和稀疏点云，对多帧图像进行分群，得到至少一个群组。
40.首先，基于当前空闲内存容量和估计内存容量确定群内图像数量的最大值。
41.承接上例，获取机载端当前空闲内存容量free_memory。当pre_memory_cost《free_memory，表明深度图融合线程可直接计算全部帧图像的稠密点云。这种情况下，群内图像数量最大值为n，群数量为1，即将全部帧图像划分为一个群。当pre_memory_cost≥free_memory，平均每帧图像消耗内存确定深度图融合线程当前可计算图像帧数的最大值为具体应用过程中，每个群中的图像数量可以在基于群内图像数量的最大值设定的预定范围内适应性调整，该预定范围例如为[0.9image_numbers，image_numbers]。
[0042]
其次，基于群内图像数量的最大值，结合全部帧图像各自的相机外参和稀疏点云，对全部帧图像进行聚类分群，得到至少一个群组。在一示例中，采用ap聚类算法对全部帧图像进行聚类分群。基于聚类算法对全部帧图像进行分群，可以将连续相邻帧图像和对应的稀疏点云划分为一个群。
[0043]
步骤s230，分别对至少一个群组进行深度图融合，得到至少一个稠密点云。深度图融合的步骤可以采用常规方案实现，这里不予详述。
[0044]
步骤s240，将至少一个稠密点云融合，得到预定场景的稠密点云。例如，将至少一个稠密点云拼接，得到预定场景的稠密点云。每个稠密点云对应一个地理区域，不同稠密点云之间可以存在交叠区域，也可以不存在交叠区域。
[0045]
根据本实施例提供的三维重建方法，根据当前空闲内存容量对全部帧图像分群计
算稠密点云，然后将全部群的稠密点云融合，得到整个场景的稠密点云，实现了对内存容量的充分利用，同时降低了对存储容量的需求，降低了硬件成本。
[0046]
图3为本技术第二实施例提供的三维重建方法的流程示意图。如图3所示，三维重建方法300在图2所示的三维重建方法200的基础上进一步包括在步骤s210之前执行的：
[0047]
步骤s310，基于无人机采集到的若干帧图像各自携带的gps信息确定若干帧图像中的多个邻域帧图像，若干帧图像为多帧图像中的部分连续帧图像。
[0048]
例如，首先，选定若干帧图像中的任一帧图像作为目标帧图像；其次，确定以目标帧图像的gps信息为原点，预定长度为半径的圆形区域；接着，确定圆形区域内的gps信息对应的多帧图像为多帧邻域图像。应当理解，这里提到的圆形区域还可以是矩形区域、多边形区域等。
[0049]
步骤s320，确定多个领域帧图像各自的深度图。
[0050]
在本实施例中，步骤s320具体执行为：
[0051]
步骤s321，分别对若干帧图像进行特征点提取，得到若干帧图像各自的关键点及其描述子。
[0052]
从图像中选择出具有代表性的像素点，即关键点。经过特征点提取过程可以得到每帧图像中的关键点信息和描述子。关键点信息包括关键点在图像中的位置信息，还可以包括关键点的方向和尺度信息。描述子通常是一个人为设定的向量，用于描述关键点周围的像素信息。
[0053]
在一个实施例中，采用尺度不变特征变换(scale-invariant feature transform，sift)算法或加速稳健特征(speed-up robust features，surf)算法进行特征点提取。
[0054]
需要说明的是，步骤s321和步骤s322的执行顺序可互换。
[0055]
步骤s322，基于描述子对多个邻域帧图像进行特征点匹配，得到多个邻域帧图像各自的特征点匹配关系。
[0056]
特征点匹配用于确定不同视角的图像中的同一物理实体点，也就是说根据特征点匹配过程可以匹配出不同视角的图像中的同一个物体。本实施例利用描述子的相似度来确定两个关键点是否指示同一物理实体点，也就是说，两个关键点的描述子的相似度越高，表明该两个关键点指示同一物理实体点的概率越大；反之，则越小。
[0057]
计算两个关键点的描述子的相似度的过程，即特征点匹配过程可以采用暴力匹配(brute force matching，bfm)算法。
[0058]
在一个实施例中，特征点匹配线程还包括过滤错误匹配的过程，相当于对匹配点进行检验的过程，用于确定匹配点是否匹配正确。过滤错误匹配的过程可以采用几何约束方法，例如汉明距离小于最小距离的两倍，还可以采用交叉匹配算法、k个最近的邻居(k nearest neighbors，knn)匹配算法等。
[0059]
步骤s323，采用局部光束法平差算法，基于所述特征点匹配关系和多个邻域帧图像各自携带的gps信息，确定多个邻域帧图像对应的稀疏点云，以及多个邻域帧图像各自的相机内参数和相机外参数。
[0060]
稀疏点云是指多帧邻域图像中的关键点对应的物理实体点。相机参数包括相机内参数和相机外参数。其中，相机内参数包括相机的焦距和像主点位置，相机内参数可以是提
前标定，也可以是在有足够多余观测的情况下进行估计。相机外参数包括相机中心的世界坐标和旋转角，相机外参数唯一的刻画了相机在世界坐标系的位置和姿态朝向。
[0061]
步骤s324，基于稀疏点云、相机内参数和相机外参数，确定多个邻域帧图像各自的深度图。
[0062]
具体而言，首先，基于多帧邻域图像各自携带的时序信息，确定时序上相邻的两帧图像，为了便于描述，该时序上相邻的两帧图像分别记为第一帧图像m1和第二帧图像m2。其次，采用対极几何算法，基于第一帧图像m1和第二帧图像m2各自的相机外参数对第一帧图像m1和第二帧图像m2进行校正，以使校正后的第一帧图像m1和第二帧图像m2满足双目立体匹配条件。接着，基于校正后的第一帧图像m1和第二帧图像m2，确定各自的视差图；基于视差图确定深度图。
[0063]
例如，第一帧图像m1和第二帧图像m2各自的姿态分别记为：pose1(r1|c1)，pose2(r2|c2)，其中ri(i＝1或2)为初始投影矩阵，初始投影矩阵定义的是三维世界点坐标与其对应的像素点坐标之间的关系；ci(i＝1或2)为相机中心的世界坐标。
[0064]
首先，基于第一帧图像m1的初始投影矩阵r1和第二帧图像m2的初始投影矩阵r2，计算旋转矩阵r，以使旋转后的第一帧图像m1和第二帧图像m2共平面，并且平行于基线。基线是指第一帧图像m1和第二帧图像m2各自对应的相机中心的连线，表示为基线l＝|c
2-c1|。
[0065]
其次，基于旋转矩阵r确定第一帧图像m1和第二帧图像m2各自的新投影矩阵，分别为：p
n1
＝k[rn|-rnc1]，p
n2
＝k[rn|-rnc2]，其中k为相机内参。基于新的投影矩阵确定矫正变换矩阵，分别为t1＝(p
n1
(1:3,1:3)*(k*r1
′
)
′
)
′
，t2＝(pn2(1:3,1:3)*(k*r2
′
)
′
)
′
。根据矫正变换矩阵t1和t2分别对第一帧图像和第二帧图像进行重采样映射变换，得到校正后的第一帧图像m1和第二帧图像m2。
[0066]
接着，采用双目立体匹配算法计算校正后的第一帧图像m1和第二帧图像m2各自的视差图；根据公式，即计算深度图，其中d表示深度值；f表示相机内参数中的焦距值；s表示视差值。在一个实施例中，双目立体匹配算法可以是局部立体匹配算法、全局立体匹配算法等。
[0067]
至此，得到多帧邻域图像各自的深度图。
[0068]
根据本实施例提供的三维重建方法，当无人机采集到整个场景的部分图像，即若干帧图像后便可以开始计算稠密点云，实现了即时在线计算稠密点云的效果，即边飞边出地图。
[0069]
图4为本技术第三实施例提供的三维重建方法的执行过程示意图。如图4所示的三维重建方法和图3所示的三维重建方法的区别在于步骤s320的实现方式。具体而言，在本实施例中，三维重建方法实施为存储于存储介质上的计算机程序，该计算机程序包括执行步骤s320的深度图确定模块，深度图确定模块包括特征提取子模块421、特征匹配子模块422、局部法平差子模块423、状态检测子模块424和深度计算子模块425。这些模块可以都运行在cpu上，也可以将部分模块运行到gpu上，如将特征提取子模块421、特征匹配子模块422运行到gpu上。
[0070]
其中，特征提取子模块421分别对采集到的若干帧图像进行特征点提取，得到若干帧图像各自的关键点及其描述子，若干帧图像选自从无人机影像中提取出的全部图像中的
部分连续帧图像。
[0071]
特征匹配子模块422基于描述子对多个邻域帧图像进行特征点匹配，得到多个邻域帧图像各自的特征点匹配关系。
[0072]
局部法平差子模块423基于特征点匹配关系和多个邻域帧图像各自携带的gps信息，确定多个邻域帧图像对应的稀疏点云，以及多个邻域帧图像各自的相机内参数和相机外参数。
[0073]
状态检测子模块424确定特征提取子模块421、特征匹配子模块422、局部法平差子模块423的运行状态；根据运行状态为结束的模块确定可用模块；根据可用模块的数量确定深度计算子模块425的数量。
[0074]
例如，特征提取子模块421、特征匹配子模块422、局部法平差子模块423分别对应一个线程。这种情况下，首先，获取设备线程总数thread_sum是3，则当前可用的线程数是thread_current＝thread_sum-3。其次，分别检测特征提取子模块421、特征匹配子模块422、局部法平差子模块423各自对应的线程是否结束，有一个线程结束的话thread_current自加1。接着，开启thread_current个线程，分别执行深度计算子模块425的步骤，即计算每帧图像的深度图。
[0075]
深度计算子模块425基于所述稀疏点云、所述相机内参数和所述相机外参数，确定所述多个邻域帧图像各自的深度图。
[0076]
需要说明的是，本实施例中特征提取子模块421、特征匹配子模块422、局部法平差子模块423和深度计算子模块425的具体实施细节可参阅图3所示实施例，这里不予赘述。
[0077]
根据本实施例提供的三维重建方法，可根据特征提取子模块421、特征匹配子模块422、局部法平差子模块423和深度计算子模块425的运行状态确定深度计算子模块425的并行执行数量，进一步实现了对计算资源的充分利用。
[0078]
示例性装置
[0079]
本技术还提供了一种三维重建装置。图5为本技术一实施例提供的三维重建装置的结构框图。如图5所示，三维重建装置50包括：确定模块51，用于基于多帧图像各自的深度图，确定多帧图像进行深度图融合所需的估计内存容量，多帧图像是无人机对预定场景进行航拍的过程中采集到的。分群模块52，用于基于估计内存容量，以及获取到的当前内存空闲容量、多帧图像各自的相机外参数和稀疏点云，对多帧图像进行分群，得到至少一个群组。融合模块53，用于分别对至少一个群组进行深度图融合，得到至少一个稠密点云；将至少一个稠密点云融合，得到预定场景的稠密点云。
[0080]
在一个实施例中，确定模块51具体用于基于多帧图像的数量、单帧图像的大小和覆盖面积、深度图融合时的降采样倍数和采样间隔，确定估计内存容量。
[0081]
在一个实施例中，分群模块52具体用于基于当前空闲内存容量和估计内存容量确定群内图像数量的最大值；基于群内图像数量的最大值，结合多帧图像各自的相机外参和稀疏点云，对多帧图像进行聚类分群，得到至少一个群组。
[0082]
其中，在一示例中，当当前空闲内存容量大于估计内存容量时，将多帧图像的帧数确定为群内图像数量的最大值。当当前空闲内存容量小于或等于估计内存容量时，基于当前空闲内存容量、估计内存容量以及多帧图像的数量确定群内图像数量的最大值。
[0083]
在一个实施例中，确定模块51还用于基于无人机采集到的若干帧图像各自携带的
gps信息确定若干帧图像中的多个邻域帧图像，若干帧图像为多帧图像中的部分连续帧图像。三维重建装置50还包括：深度图确定模块，用于确定多个领域帧图像各自的深度图。
[0084]
其中，在一个实施例中，确定模块51具体用于选定若干帧图像中的任一帧图像作为目标帧图像；确定以目标帧图像的gps信息为原点，预定长度为半径的圆形区域；确定圆形区域内的gps信息对应的多帧图像为多个邻域帧图像。
[0085]
在一个实施例中，深度图确定模块包括特征提取子模块、特征匹配子模块、局部法平差子模块和深度计算子模块。其中，特征提取子模块用于分别对若干帧图像进行特征点提取，得到若干帧图像各自的关键点及其描述子。特征匹配子模块用于基于描述子对多个邻域帧图像进行特征点匹配，得到多个邻域帧图像各自的特征点匹配关系。局部法平差子模块用于采用局部光束法平差算法，基于特征点匹配关系和多个邻域帧图像各自携带的gps信息，确定多个邻域帧图像对应的稀疏点云，以及多个邻域帧图像各自的相机内参数和相机外参数。深度计算子模块用于基于稀疏点云、相机内参数和相机外参数，确定多个邻域帧图像各自的深度图。
[0086]
在另一个实施例中，深度图确定模块包括特征提取子模块、特征匹配子模块、局部法平差子模块、状态检测子模块和深度计算子模块。其中，特征提取子模块分别对若干帧图像进行特征点提取，得到若干帧图像各自的关键点及其描述子。特征匹配子模块基于描述子对多个邻域帧图像进行特征点匹配，得到多个邻域帧图像各自的特征点匹配关系。局部法平差子模块基于特征点匹配关系和多个邻域帧图像各自携带的gps信息，确定多个邻域帧图像对应的稀疏点云，以及多个邻域帧图像各自的相机内参数和相机外参数。状态检测子模块确定特征提取子模块、特征匹配子模块、局部法平差子模块的运行状态；根据运行状态为结束的模块确定可用模块；根据可用模块的数量确定深度计算子模块的数量。深度计算子模块基于稀疏点云、相机内参数和相机外参数，确定多个邻域帧图像各自的深度图。
[0087]
本实施例提供的三维重建装置，与本技术实施例所提供的三维重建方法属于同一申请构思，可执行本技术任意实施例所提供的三维重建方法，具备执行三维重建方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术实施例提供的三维重建方法，此处不再加以赘述。
[0088]
示例性电子设备
[0089]
图6是本技术一示例性实施例提供的电子设备的结构框图。如图6所示，电子设备6可以是图1所示的机载端110或者底面控制端120。电子设备6包括一个或多个处理器61和存储器62。
[0090]
处理器61可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备60中的其他组件以执行期望的功能。
[0091]
存储器62可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的三维重建方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0092]
在一个示例中，电子设备60还可以包括：输入装置63和输出装置64，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0093]
例如，输入装置63可以是摄像头，用于捕捉预定场景的影像。在电子设备是单机设备时，输入装置63可以是通信网络连接器，用于从图1所示的网络130接收信号。此外，输入设备63还可以包括例如键盘、鼠标等等。
[0094]
输出装置64可以向外部输出各种信息，包括采集到的影像、图像、三维稠密点云等。输出设备64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0095]
当然，为了简化，图6中仅示出了该电子设备6中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备6还可以包括任何其他适当的组件。
[0096]
示例性计算机程序产品和计算机可读存储介质
[0097]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的三维重建方法中的步骤。
[0098]
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0099]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器11执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的三维重建步骤。
[0100]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0101]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0102]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本邻域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使
用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0103]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0104]
提供所公开的方面的以上描述以使本邻域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本邻域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。