一种三维信息的恢复方法及装置与流程

1.本技术实施例涉及计算机视觉技术领域，尤其涉及一种三维信息的恢复方法及装置。


背景技术：

2.三维重建是指根据单视图或者多视图的图像重建三维信息的过程。目前，在实时三维重建场景中，在重建场景遮挡较严重或者纹理较为不理想的情况下，易出现部分区域重建不完整的情况。为此，通常会采用离线的方法对所有区域进行全部重建，或是重新在线测量图像，以避免三维重建不完整的情况。
3.但是，无论是离线作业还是重新在线测量图像的方式，都会使作业时间延长，三维重建的效率较低。


技术实现要素：

4.本技术实施例提供一种三维信息的恢复方法及装置，能够在保障三维重建实时性前提下，进行重建失败场景的三维数据恢复，解决三维重建不完整的技术问题。实现提升三维重建的效率和实时性，优化用户体验的技术效果。
5.在第一方面，本技术实施例提供了一种三维信息的恢复方法，包括：
6.在确定重建区域存在重建失败的情况下，确定丢失帧以及与所述丢失帧相邻且已重建成功的参考帧；
7.对所述参考帧和所述丢失帧进行上采样，基于采样结果确定所述参考帧与所述丢失帧之间的第一特征匹配关系；
8.基于所述第一特征匹配关系进行所述参考帧与所述丢失帧的相对运动估计，恢复所述丢失帧的姿态和点云。
9.在第二方面，本技术实施例提供了一种三维信息的恢复装置，包括：
10.确定模块，用于在确定重建区域存在重建失败的情况下，确定丢失帧以及与所述丢失帧相邻且已重建成功的参考帧；
11.匹配模块，用于对所述参考帧和所述丢失帧进行上采样，基于采样结果确定所述参考帧与所述丢失帧之间的第一特征匹配关系；
12.估计模块，用于基于所述第一特征匹配关系进行所述参考帧与所述丢失帧的相对运动估计，恢复所述丢失帧的姿态和点云。
13.在第三方面，本技术实施例提供了一种电子设备，包括：
14.存储器以及一个或多个处理器；
15.所述存储器，用于存储一个或多个程序；
16.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的三维信息的恢复方法。
17.在第四方面，本技术实施例提供了一种包含计算机可执行指令的存储介质，所述
计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的三维信息的恢复方法。
18.本技术实施例通过在确定重建区域存在重建失败的情况下，确定丢失帧以及与丢失帧相邻且已重建成功的参考帧；对参考帧和丢失帧进行上采样，基于采样结果确定参考帧与丢失帧之间的第一特征匹配关系；基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，恢复丢失帧的姿态和点云。采用上述技术手段，通过上采样丢失帧和参考帧并进行特征匹配和相对运动估计，可以利用参考帧恢复出丢失帧的姿态和点云，实现丢失场景的恢复。并且，通过上采样的方式，无需重新在线测量图像，以此可以提升三维重建的实时性，在场景丢失情况下高效恢复出丢失场景，提升用户的三维重建信息使用体验，提升三维场景重建的成功率。
附图说明
19.图1是本技术实施例一提供的一种三维信息的恢复方法的流程图；
20.图2是本技术实施例一中丢失帧和参考帧的确定流程图；
21.图3是本技术实施例一中的丢失场景示意图；
22.图4是本技术实施例一中的参考帧示意图；
23.图5是本技术实施例一中的参考帧的三维特征点确定流程图；
24.图6是本技术实施例一中的丢失帧的姿态和点云恢复流程图；
25.图7是本技术实施例一中的重建区域重建失败后的恢复流程图；
26.图8是本技术实施例二提供的一种三维信息的恢复装置的结构示意图；
27.图9是本技术实施例三提供的一种电子设备的结构示意图。
具体实施方式
28.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图对本技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
29.本技术提供的三维信息的恢复方法，旨在三维重建后出现场景丢失的情况下，通过确定与丢失场景的图像相邻的图像，采用上采样的方式，然后基于图像间的特征匹配和相对运动估计进行丢失场景恢复，以此在保障三维重建实时性的同时，实现丢失场景的高效恢复。对于传统的丢失场景恢复方案，通常会采用离线方法对所有区域进行全部重建，或是重新在线测量一次图像，若是还重建失败，则表明算法无法克服该种场景。显然，使用离线的方法对所有区域进行全部重建，或是重新在线测量一次图像，都会使用户的等待时间延长，增加用户的使用成本。并且，在采用原始图像分辨率和特征点数量的情况下，重新建图并无法保证一定能成功重建整个场景。若最终在用户等待了一个循环作业的时间后，仍
然重建失败，则会进一步影响用户的使用体验。基于此，提供本技术实施例的一种三维信息的恢复方法，以在保障三维重建实时性前提下，进行缺失场景的恢复，解决三维重建不完整的技术问题。
30.实施例一：
31.图1给出了本技术实施例一提供的一种三维信息的恢复方法的流程图，本实施例中提供的三维信息的恢复方法可以由三维信息的恢复设备执行，该三维信息的恢复设备可以通过软件和/或硬件的方式实现，该三维信息的恢复设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。一般而言，该三维信息的恢复设备可以是服务器主机、电脑等计算设备。
32.下述以该三维信息的恢复设备为执行三维信息的恢复方法的主体为例，进行描述。参照图1，该三维信息的恢复方法具体包括：
33.s110、在确定重建区域存在重建失败的情况下，确定丢失帧以及与丢失帧相邻且已重建成功的参考帧。
34.本技术在完成三维场景重建之后，通过判断重建的三维场景是否出现场景丢失，并在确定重建区域存在重建失败的情况下，执行重建区域丢失场景的恢复操作。
35.可以理解的是，在进行三维重建过程中，由于部分场景纹理较弱，可能会导致帧间匹配关系差，无法计算出其姿态和点云，从而导致部分场景丢失的情况出现。因此，为了得到完整三维场景信息，需要对这部分丢失场景进行姿态和点云的恢复，以确保可以向用户展示完整的三维场景信息。
36.具体地，在完成三维场景重建之后，本技术实施例通过确定已重建成功的姿态数量和进行三维场景重建的图像数量，在姿态数量小于图像数量的情况下，确定三维场景的重建区域出现重建失败的情况。
37.可以理解的是，三维重建过程中需要根据采集的图像和rtk数据重建每帧图像的姿态和点云，以此构建出采集目标的三维场景。因此，对于完整重建的场景，其重建的图像姿态数量和参与三维场景重建的图像数量应当相同。若，姿态数量小于图像数量，则表明出现场景丢失的情况。
38.基于此，本在完成三维场景重建流程之后，首先判断恢复出来的姿态数量n_poses和图像数量n_images之间的比例。当n_poses《n_images时，就说明此时的场景恢复不完整，可能影响后续作业。需要进入三维场景重建的后处理流程，恢复这部分丢失的姿态和三维场景点云。若n_poses＝n_images，则说明三维场景重建完整，可以直接进行后续作业。
39.进一步地，在确定重建区域存在重建失败的情况下，本技术通过确定丢失场景中的每一张图像，定义为丢失帧，并确定与丢失帧相邻且已重建成功的图像，定义为参考帧。以根据参考帧和丢失帧进行特征匹配和相对运动估计，恢复出丢失帧的姿态和点云。
40.参照图2，丢失帧和参考帧的确定流程包括：
41.s1101、遍历进行三维场景重建的所有图像，确定姿态标志位为无效值的图像为丢失帧；
42.s1102、确定与丢失帧的距离小于设定阈值且已重建成功的图像，作为丢失帧对应的参考帧。
43.基于三维重建过程中使用到的所有采集的图像，首先获取所有图像的id序号，记
为view_id。同时对应恢复出姿态的图像的id序号，记为pose_id。即所有图像的id序号和恢复出姿态的id序号分别为：
44.view_id＝{0,1,2,...,n}
45.pose_id＝{0,1,2,...,m}
46.若n≠m，则说明场景重建不完整，需要进行后处理恢复丢失场景的姿态和点云。则这一步需要统计丢失场景中的图像帧数，记为lost_id：
47.lost_id＝view_id-pose_id
48.进而根据丢失场景的图像帧数，逐帧确定出丢失帧。其中，由于第一次三维重建时，恢复出来姿态图像会包含姿态标志位信息，未恢复出来的图像的姿态标志位信息为无效值。因此通过遍历所有图像，确定姿态标志位为无效值的图像，即为丢失帧。
49.进一步地，对丢失帧进行拓展，找到与丢失帧相邻且已经恢复出姿态的图像作为参考帧，以用于后续根据丢失帧对应的参考帧进行特征匹配和相对运动估计，恢复出丢失帧的姿态和点云。
50.其中，基于每帧图像对应的rtk信息提供的绝对地理坐标，找到所有丢失帧的邻域内有姿态的图像，即为参考帧。具体地，通过遍历所有丢失帧，设任意一个丢失帧的rtk坐标为ri＝(xi,yi,zi)
t
，计算丢失帧与所有恢复出姿态的图像之间的rtk坐标之间的距离，设任意一个恢复出姿态的视图rtk坐标为rj＝(xj,yj,zj)
t
，则ri与rj之间的距离s为：
[0051][0052]
通过配置一个设定阈值t，在满足rtk坐标之间的距离s《t的情况下，都视为丢失帧的邻域，即对应的图像为丢失帧的参考帧。以此通过确定参考帧，辅助后续丢失帧的姿态和点云恢复。
[0053]
示例性地，参照图3，通过无人机飞行轨迹11拍摄场景图像重建的三维场景1，在确定其出现场景丢失情况下。首先确定出丢失场景12中的所有丢失帧，进而确定出丢失帧领域内已恢复姿态的参考帧。参照图4，对丢失场景12中的每一帧丢失帧，参照上述参考帧确定方式，即可在丢失场景的外围(即邻域)找到丢失帧所对应的参考帧13。
[0054]
可选地，实际应用中，一个参考帧可能存在多个相对应的丢失帧，则在进行这部分丢失帧的姿态和点云恢复时，都采用统一参考帧进行计算，以此来节省运算需求的基数数量，提升运算效率，进而提升三维场景重建的实时性。
[0055]
s120、对参考帧和丢失帧进行上采样，基于采样结果确定参考帧与丢失帧之间的第一特征匹配关系。
[0056]
进一步地，基于已确定的丢失帧和参考帧，首先对参考帧和丢失帧进行上采样，以获取到丢失帧和参考帧中更多的特征点。
[0057]
需要说明的是，由于在进行三维重建的过程中，为了保证三维重建的实时性，提升三维重建效率，对于拍摄到的场景图像，通常会采用下采样的方式，使用较低分辨率的图像并控制一定数量的特征点进行三维场景的重建。而在丢失场景后，如果还是延用原有较低分辨率的图像，并控制较少数量的特征带你进行丢失的三维场景恢复，则很可能会出现场景恢复失败的情况。因此，在进行丢失场景的点云和姿态恢复过程中，对参考帧和丢失帧进行上采样，使用比初次作业时更高的图像分辨率，并使用默认特征提取器，以提取到更多的
特征点进行计算。
[0058]
完成上采样之后，基于采样结果首先进行特征匹配，确定丢失帧和参考帧之间相对应的各个特征点，构建特征点的匹配关系，定义为第一特征匹配关系，以此来确定两者之间的数据关联关系。可以理解的是，特征点指的是图像特征比较显著的点(如图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点))。图像特征点能够反映图像本质特征，能够标识图像中目标物体。而由于相邻两个图像之间包含拍摄重叠的部分区域，则通过特征点的匹配能够完成相邻两个图像的匹配，构建两者之间的数据关联关系。
[0059]
其中，基于上采样后丢失帧和参考帧的特征点进行参考帧与丢失帧的帧间匹配，确定参考帧的三维特征点与丢失帧的二维特征点之间的第一特征匹配关系。在进行参考帧与丢失帧的特征匹配之前，本技术实施例通过构建参考帧的初始三维场景，进而确定参考帧中的三维特征点，以根据参考帧的三维特征点与丢失帧二维的特征点进行匹配。便于后续根据特征点3d-2d的匹配关系进行相对运动估计，恢复丢失帧的姿态和点云。
[0060]
参照图5，参考帧的三维特征点确定流程包括：
[0061]
s1201、确定相邻两个参考帧的第二特征匹配关系，并基于相邻两个参考帧的姿态确定相对运动关系；
[0062]
s1202、基于第二特征匹配关系和相对运动关系确定参考帧的三维特征点。
[0063]
具体地，由于参考帧已经恢复了姿态，则同样通过rtk坐标确定邻的两个参考帧。对相邻的两个参考帧之间进行帧间匹配，确定两者之间相匹配的特征点，构建两者之间的特征匹配关系，定义为第二特征匹配关系。同时根据两个参考帧的姿态，可以确定出两个参考帧的相对运动关系。则可以根据该特征匹配关系、相对运动关系，结合特征点的像素坐标以及相机的内参等参数进行联合优化，以此得到初始的三维场景，确定参考帧中特征点的三维坐标。
[0064]
示例性地，参照图4，对于在丢失场景外围确定的多个丢失帧对应的参考帧，确定任意相邻的两个参考帧的第二特征匹配关系和相对运动关系。假设两个参考帧分别为ii和ij，姿态分别为ti和tj,则基于第二特征匹配关系和相对运动关系可以得到丢失场景外围参考帧对应的初始三维场景，该初始三维场景记为：
[0065][0066]
表示参考帧中的第i个帧相对于世界坐标系的姿态，i∈i1,ii；pj表示重建出来的初始三维场景的第j个地图点。
[0067]
需要说明的是，实际应用中，基于图像之间的特征匹配关系和相对运动关系构建三维场景，确定图像中特征点的三维坐标的方式有很多，本技术实施例对具体的三维构建方式不做固定限制，在此不多赘述。
[0068]
完成上述初始三维场景构建后，基于参考帧特征点在三维场景中的三维坐标与对应丢失帧二维的图像坐标进行特征匹配，构建特征点3d-2d的匹配关系，以用于后续进行相对运动估计，确定丢失帧的姿态和点云。
[0069]
s130、基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，恢复丢失帧
的姿态和点云。
[0070]
其中，基于已确定的第一特征匹配关系，通过相对运动估计确定出丢失帧的初始姿态，再根据初始姿态确定出丢失帧的初始点云。然后通过联合优化的方式，最终确定丢失帧的姿态和点云。
[0071]
参照图6，丢失帧的姿态和点云恢复流程包括：
[0072]
s1301、基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，确定丢失帧的初始姿态；
[0073]
s1302、基于初始姿态确定丢失帧的初始点云；
[0074]
s1303、根据初始姿态、初始点云以及参考帧的姿态和点云进行联合优化，得到丢失帧的姿态和点云。
[0075]
根据上述第一特征匹配关系提供的参考帧三维特征点与丢失帧二维特征点的3d-2d匹配关系，采用重投影误差构建优化方式，并使用pnp算法估算帧间相对运动，即可得到对应丢失帧的初始姿态。
[0076]
初始姿态的计算公式为：
[0077][0078]
其中，j表示最小化代价函数，n表示参考帧与丢失帧之间满足第一特征匹配关系的特征点数量，zm表示丢失帧中第m个二维的特征点，pm表示参考帧中对应的第m个三维的特征点，k表示相机内参，(r0，t0)表示初始姿态，r0为初始旋转参数，t0为初始平移参数。
[0079]
对于找到对应参考帧的各个丢失帧，均采用上述方式确定初始姿态。然后根据该初始姿态，参照上述初始三维场景的构建方式。首先确定参考帧和丢失帧之间的相对运动关系，结合参考帧与丢失帧的第一特征匹配关系、特征点的像素坐标以及相机的内参等参数，计算出丢失帧中各个特征点的三维坐标，以此得到丢失帧的初始点云。
[0080]
然后对于当前计算得到初始姿态和初始点云的各个丢失帧和其对应的参考帧进行联合优化，联合优化的计算公式为：
[0081][0082]
其中，将参考帧和丢失帧的图像姿态集合记为t＝{t1,t2,t3,...tn}，其中将参考帧和丢失帧的点云集合记为l＝{p1,p2,p3,...pm}，表示在图像集合的第i个图像下的第j个特征点，(ri,ti)表示图像集合中第i个图像的姿态，pj表示在图像集合的第j个点云，j表示最小化代价函数，k表示相机内参。
[0083]
基于上述联合优化公式，通过最小化代价函数j,可以联合优化得到状态量{t,l}，以此得到各个丢失帧的姿态和点云。
[0084]
进一步地，将已完成姿态和点云恢复的丢失帧作为参考帧，以对相邻且未完成姿态和点云恢复的丢失帧进行姿态和点云的迭代重建。
[0085]
参照图4，对于一个区域的丢失场景12而言，该丢失场景的边缘处部分的丢失帧可以找到丢失场景12外围的图像作为参考帧。但除了丢失场景的边缘之外，其边缘处向内部
分的图像暂时没有对应的参考帧(这部分图像的邻域为丢失帧)。那么在丢失场景12边缘处的丢失帧恢复姿态和点云之后，则可以进一步从边缘处向内恢复其他丢失帧的姿态和点云。此时由于丢失场景边缘处的图像已经恢复点云和姿态，则这部分图像邻域处的丢失帧可以根据rtk坐标，从这部分图像中选择相邻的图像作为参考帧，进而基于上述步骤s110-s130，恢复丢失帧的姿态和点云。以此类推，将完成恢复的丢失帧作为参考帧，从丢失场景12的边缘处不断向内迭代恢复对应丢失帧的姿态和点云，直到所有丢失帧恢复完整。通过迭代恢复丢失帧的点云和姿态，得到完整的三维场景信息。
[0086]
至此，通过对三维重建失败的部分场景，采用图像上采样方式提高特征点数量，从而提高数据关联的成功率。并采用逐层扩散的方法填补重建场景中缺失的部分，以此在三维重建实时性的同时，提升三维重建的成功率和完整性。
[0087]
示例性地，如图7所示，以植保作业场景为例，在进行植保作业过程中，需要获取作业区域的三维场景信息，以根据三维场景信息执行后续的植保作业。则通过无人设备按照设定飞行轨迹拍摄作业区域的图像，并确定每张图像对应的rtk信息，然后基于采集到的图像和rtk信息，输入本技术实施例的三维信息的恢复设备进行三维重建。其中，图像是由单个相机拍摄得到的单张图像，rtk信息通过转换以后可以确定无人机当前的世界坐标(x,y,z)。
[0088]
进一步地，三维重建为了保证实时性，通常会采用采样较低分辨率的图像和控制一定数量的特征点进行场景的重建。通过对下采样后的图像进行固定数量的特征点提取，并基于rtk信息确定无人机采集图像的绝对坐标位置。然后通过搜索与当前采集图像的位置距离较近的几个帧，进行特征匹配，构建数据关联关系。随后融合rtk数据与所有图像对之间的特征匹配关系进行联合优化，即可估算出无人机的位姿和三维场景点云。
[0089]
由于三维重建过程中会因为部分场景纹理较弱而出现重建场景不完整的情况。为了保障植保作业的正常进行，提高用户体验。在确定重建的三维场景出现场景丢失的情况下，通过确定丢失场景的丢失帧，以及丢失帧对应的参考帧，基于已有姿态的参考帧作为约束，逐步恢复丢失场景中丢失帧的姿态和点云。通过已有姿态的参考帧和丢失帧，采用上采样的方式提高特征点数量，并构建初始三维场景结构，通过pnp算法由丢失场景边缘向内逐步恢复丢失帧的姿态和点云，从而以耗时更短，成功率更高的方式，实现完整的三维场景重建。
[0090]
上述，通过在确定重建区域存在重建失败的情况下，确定丢失帧以及与丢失帧相邻且已重建成功的参考帧；对参考帧和丢失帧进行上采样，基于采样结果确定参考帧与丢失帧之间的第一特征匹配关系；基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，恢复丢失帧的姿态和点云。采用上述技术手段，通过上采样丢失帧和参考帧并进行特征匹配和相对运动估计，可以利用参考帧恢复出丢失帧的姿态和点云，实现丢失场景的恢复。并且，通过上采样的方式，无需重新在线测量图像，以此可以提升三维重建的实时性，在场景丢失情况下高效恢复出丢失场景，提升用户的三维重建信息使用体验，提升三维场景重建的成功率。
[0091]
实施例二：
[0092]
在上述实施例的基础上，图8为本技术实施例二提供的一种三维信息的恢复装置的结构示意图。参考图8，本实施例提供的三维信息的恢复装置具体包括：确定模块21、匹配
模块22和估计模块23。
[0093]
其中，确定模块21用于在确定重建区域存在重建失败的情况下，确定丢失帧以及与丢失帧相邻且已重建成功的参考帧；
[0094]
匹配模块22用于对参考帧和丢失帧进行上采样，基于采样结果确定参考帧与丢失帧之间的第一特征匹配关系；
[0095]
估计模块23用于基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，恢复丢失帧的姿态和点云。
[0096]
具体地，确定模块21通过确定已重建的姿态数量和进行三维场景重建的图像数量，在姿态数量小于图像数量的情况下，确定三维场景的重建区域出现重建失败的情况。
[0097]
通过遍历进行三维场景重建的所有图像，确定姿态标志位为无效值的图像为丢失帧；通过确定与丢失帧的距离小于设定阈值且已重建成功的图像，作为丢失帧对应的参考帧；将已完成姿态和点云恢复的丢失帧作为参考帧，以对相邻且未完成姿态和点云恢复的丢失帧进行姿态和点云的迭代重建。
[0098]
具体地，匹配模块22基于上采样后丢失帧和参考帧的特征点进行参考帧与丢失帧的帧间匹配，确定参考帧的三维特征点与丢失帧的二维特征点之间的第一特征匹配关系。其中，通过确定相邻两个参考帧的第二特征匹配关系，并基于相邻两个参考帧的姿态确定相对运动关系；基于第二特征匹配关系和相对运动关系确定参考帧的三维特征点。
[0099]
具体地，估计模块23基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，确定丢失帧的初始姿态；基于初始姿态确定丢失帧的初始点云；根据初始姿态、初始点云以及参考帧的姿态和点云进行联合优化，得到丢失帧的姿态和点云。
[0100]
其中，初始姿态的计算公式为：
[0101][0102]
其中，j表示最小化代价函数，n表示参考帧与丢失帧之间满足第一特征匹配关系的特征点数量，zm表示丢失帧中第m个二维的特征点，pm表示参考帧中对应的第m个三维的特征点，k表示相机内参，(r0，t0)表示初始姿态，r0为初始旋转参数，t0为初始平移参数。
[0103]
联合优化的计算公式为：
[0104][0105]
其中，将参考帧和丢失帧的图像集合记为t＝{t1,t2,t3,...tn}，其中将参考帧和丢失帧的点云集合记为l＝{p1,p2,p3,...pm}，表示在图像集合的第i个图像下的第j个特征点，(ri,ti)表示图像集合中第i个图像的姿态，pj表示在图像集合的第j个点云，j表示最小化代价函数，k表示相机内参。
[0106]
上述，通过在确定重建区域存在重建失败的情况下，确定丢失帧以及与丢失帧相邻且已重建成功的参考帧；对参考帧和丢失帧进行上采样，基于采样结果确定参考帧与丢失帧之间的第一特征匹配关系；基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，恢复丢失帧的姿态和点云。采用上述技术手段，通过上采样丢失帧和参考帧并进行特征
匹配和相对运动估计，可以利用参考帧恢复出丢失帧的姿态和点云，实现丢失场景的恢复。并且，通过上采样的方式，无需重新在线测量图像，以此可以提升三维重建的实时性，在场景丢失情况下高效恢复出丢失场景，提升用户的三维重建信息使用体验，提升三维场景重建的成功率。
[0107]
本技术实施例二提供的三维信息的恢复装置可以用于执行上述实施例一提供的三维信息的恢复方法，具备相应的功能和有益效果。
[0108]
实施例三：
[0109]
本技术实施例三提供了一种电子设备，参照图9，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器31、存储器32、通信模块33、输入装置34及输出装置35可以通过总线或者其他方式连接。
[0110]
存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本技术任意实施例所述的三维信息的恢复方法对应的程序指令/模块(例如，三维信息的恢复装置中的确定模块、匹配模块和估计模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0111]
通信模块33用于进行数据传输。
[0112]
处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的三维信息的恢复方法。
[0113]
输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。
[0114]
上述提供的电子设备可用于执行上述实施例一提供的三维信息的恢复方法，具备相应的功能和有益效果。
[0115]
实施例四：
[0116]
本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种三维信息的恢复方法，该三维信息的恢复方法包括：在确定重建区域存在重建失败的情况下，确定丢失帧以及与丢失帧相邻且已重建的参考帧；对参考帧和丢失帧进行上采样，基于采样结果确定参考帧与丢失帧之间的第一特征匹配关系；基于第一特征匹配关系进行参考帧与丢失帧的相对运动估计，恢复丢失帧的姿态和点云。
[0117]
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，
或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
[0118]
当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的三维信息的恢复方法，还可以执行本技术任意实施例所提供的三维信息的恢复方法中的相关操作。
[0119]
上述实施例中提供的三维信息的恢复装置、存储介质及电子设备可执行本技术任意实施例所提供的三维信息的恢复方法，未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的三维信息的恢复方法。
[0120]
上述仅为本技术的较佳实施例及所运用的技术原理。本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由权利要求的范围决定。