三维重建方法、装置、电子设备和可读存储介质与流程

1.本技术属于图像数据处理技术领域，具体涉及一种三维重建方法、三维重建装置、电子设备和可读存储介质。


背景技术：

2.现有技术中，对目标场景进行三维网格模型是展示场景最直观的方法。在对场景进行数据采集的过程中，由于图像采集设备的限制(离散有限固定采集点)，往往会由于遮挡和自遮挡的问题，以及有限采集点的个数限制，导致采集的图像数据的不完备，无法构建完整的三维网格模型。


技术实现要素：

3.本技术实施例的目的是提供一种三维重建方法、三维重建装置、电子设备和可读存储介质，在采集的图像数据(纹理信息)不完备的情况下，通过构建虚拟点位，估算缺失的纹理信息，将估算的纹理信息填入三维网格模型中，从而有效的补全纹理信息，保证模型构建的完整性。
4.第一方面，本技术实施例提供了一种三维重建方法，三维重建方法包括：为三维网格模型中的多个面片匹配纹理信息，在三维网格模型中的第一面片未匹配到对应的纹理信息的情况下，确定第一虚拟点位；基于第一虚拟点位渲染三维网格模型的第一全景图，并确定第一全景图中的第一区域，第一区域与第一面片对应；根据第一全景图和第一区域确定目标纹理信息，将目标纹理信息赋值至第一面片。
5.第二方面，本技术实施例提供了一种三维重建装置，三维重建装置包括：处理单元，用于为三维网格模型中的多个面片匹配纹理信息，在三维网格模型中的第一面片未匹配到对应的纹理信息的情况下，确定第一虚拟点位；处理单元，还用于基于第一虚拟点位渲染三维网格模型的第一全景图，并确定第一全景图中的第一区域，第一区域与第一面片对应；处理单元，还用于根据第一全景图和第一区域确定目标纹理信息，将目标纹理信息赋值至第一面片。
6.第三方面，本技术实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的三维重建方法的步骤。
7.第四方面，本技术实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的三维重建方法的步骤。
8.第五方面，本技术实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的三维重建方法的步骤。
9.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的三维重建方法。
10.本技术实施例中，在对目标场景进行三维网格模型的重建过程中，对模型中缺少纹理信息的第一面片，构建第一虚拟点位，根据在第一虚拟点位获取的第一全景图和第一全景图中与缺少纹理信息的面片对应的第一区域，重新估算第一面片的目标纹理信息，将估算的目标纹理信息填入三维网格模型，进而补全三维网格模型中缺少的纹理信息，从而有效的保证三维网格模型的完整性，提升了目标场景三维网格模型的展示效果。
附图说明
11.图1示出了本技术实施例提供的三维重建方法的流程示意图之一；
12.图2示出了本技术实施例提供的三维重建方法的流程示意图之二；
13.图3示出了本技术实施例提供的三维重建方法的示意图之一；
14.图4示出了本技术实施例提供的三维重建方法的示意图之二；
15.图5示出了本技术实施例提供的三维重建方法的示意图之三；
16.图6示出了本技术实施例提供的三维重建方法的示意图之四；
17.图7示出了本技术实施例提供的三维重建方法的示意图之五；
18.图8示出了本技术实施例提供的三维重建方法的流程示意图之三；
19.图9示出了本技术实施例提供的三维重建装置的结构框图；
20.图10示出了本技术实施例提供的电子设备的结构框图；
21.图11示出了本技术实施例的一种电子设备的硬件结构示意图。
具体实施方式
22.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
23.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
24.为了便于理解，下面对本技术涉及的部分技术术语进行简要介绍：
25.三维网格模型：三维网格模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。本技术实施例中，物体的三维模型用于指示目标场景(如：房屋)的三维结构和尺寸信息。三维模型的数据存储形式有多种，例如以三维点云、网格或体元等形式表示，具体此处不做限定。
26.面片：面片是指三维网格模型中最小的平面构成单元。通常在渲染中，需要将空间中的模型划分成无数个微小的平面。这些平面又被称为面片，它们可以是任意多边形，常用的是三角形和四边形。这些面片各条边的交点则是各个面片的顶点。面片可以是根据模型的材质或颜色等信息随机划分的。
27.全景图：广义的全景图是指广角图，即视角较大的图像。全景图可以通过不同的投影方式实现，常见的包括：等角投影、等矩形投影(equirectangular projection)、正交投影和等积投影等，具体此处不做限定。
28.下面结合附图1至图11，通过具体的实施例及其应用场景对本技术实施例提供的三维重建方法、三维重建装置、电子设备和可读存储介质进行详细地说明。
29.在本技术实施例提供了一种三维重建方法，图1示出了本技术实施例提供的三维重建方法的流程示意图之一，如图1所示，三维重建方法包括：
30.步骤102：为三维网格模型中的多个面片匹配纹理信息，在三维网格模型中的第一面片未匹配到对应的纹理信息的情况下，确定第一虚拟点位。
31.具体而言，三维网格模型中具有多个面片，在三维网格模型构建完成后，需要对三维网格模型进行纹理映射，在纹理映射的过程中，需要为三维网格模型中的每一个面片匹配纹理信息。
32.具体地，可以通过纹理估计算法，为三维网格模型中的多个面片匹配纹理信息。
33.进一步地，多个面片中的第一面片可以为三维网格模型中缺少纹理信息的面片。通常情况下，上述第一面片的数量为多个，多个第一面片缺少纹理信息可能会导致纹理映射后的三维网格模型表达不完整。因此，需要对缺失纹理信息的第一面片进行填充赋值，以使得三维网格模型更加完整。
34.进一步地，第一面片可以为三维点集合p(x’,y’,z’)，集合内点均无法正确估计出纹理信息。
35.进一步地，由于第一面片缺失纹理信息，可以通过每个第一面片的空间参数信息，为每个第一面片确定出一个虚拟点位，上述第一虚拟点位为三维网格模型中的视点，通过该第一虚拟点位的坐标位置，可以较好地观测到三维网格模型中的大部分面片，其中包括与该第一虚拟点位对应的缺失纹理信息的第一面片。
36.可以理解，如果上述虚拟点位中，存在一个虚拟点位能够观测到缺失纹理信息的全部第一面片，则可以将该虚拟点位确定为第一虚拟点位，也即该一个第一虚拟点位就可以观测到所有缺失纹理的面片。如果上述虚拟点位中，没有一个虚拟点位能够观察到所有缺失纹理的全部第一面片，则需要确定出多个第一虚拟点位，以保证所有缺失纹理的第一面片都能够被观测到。
37.需要说明的是，无论缺失纹理信息的第一面片对应的是一个或者多个第一虚拟点位，仅影响后续获取第一全景图的次数及估算缺失纹理信息的次数，本技术实施例中仅就多个缺失纹理的第一面片对应一个第一虚拟点位的情况进行说明，对通过多个第一虚拟点位估算缺失纹理信息的方式不再赘述。
38.步骤104：基于第一虚拟点位渲染三维网格模型的第一全景图，并确定第一全景图中的第一区域；
39.其中，第一区域与第一面片对应；
40.需要说明的是，第一全景图包括三维网格模型对应的360度全景图像，全景图可以分为多个区域，第一全景图中的多个区域和三维网格模型中的多个面片具有对应关系。即第一全景图中的第一区域与三维网格模型中的第一面片存在对应关系。
41.进一步地，对上述第一全景图的尺寸进行限定，具体包括：第一全景图宽度，即纬
度，范围[0,2
×
pai]，第一全景图高度，即经度，范围[-pai/2,pai/2]，其中，pai＝3.1415926。
[0042]
进一步地，在上述第一全景图中计算第一区域的公式为：
[0043]
py＝arcsin(p_z’/r)；
[0044]
p
x
＝arcsin(p_x’/r
×
cos(py))；
[0045]
其中，r为第一全景图绘制时候的半径，(p_x’,p_y’,p_z’)为第一面片的每一个点的坐标值，(px,py)为第一区域内一个点的坐标值。
[0046]
可以理解，基于第一虚拟点位获取上述三维网格模型的第一全景图，能够更准确地体现第一面片的位置信息，也能够确定缺失纹理信息的第一面片对目标场景图像造成的空洞情况。
[0047]
步骤106：根据第一全景图和第一区域确定目标纹理信息，将目标纹理信息赋值至第一面片。
[0048]
具体地，上述目标纹理信息中包括深度数据和彩色数据。
[0049]
可以理解，通过第一虚拟点位渲染得到的上述第一全景图，以及从第一全景图中多个区域中确定出的第一区域，经过解析和估算，可以确定出目标纹理信息，并使用目标纹理信息为三维网格模型中的第一面片进行赋值，以填补纹理信息缺失造成的空洞区域，从而使三维网格模型在显示上更加完整美观。示例性地，如图6所示，在目标场景的三维网格模型中，图像中“床”的部分区域(黑色区域)缺少纹理信息，将缺少纹理信息的区域对应的面片设为第一面片(目标面片)。基于第一面片构建第一虚拟点位，在第一虚拟点位的坐标位置，对目标场景的三维网格模型重新渲染出360度的第一全景图，第一全景图中包括图6中的“床”，在该第一全景图内的黑色区域，即为与第一面片对应的第一区域。
[0050]
进一步示例性地，在重新渲染的第一全景图中确定第一面片对应的第一区域(黑色区域)，根据上述第一全景图和第一区域等信息，估算出第一面片的目标纹理信息，将估算的目标纹理信息重新填入目标场景的三维网格模型的第一面片中。将目标纹理信息填充到图6中的黑色空洞区域，填充效果如图6所示，对纹理信息缺失的区域填充目标纹理信息，使三维网格模型在显示上更加完整美观。
[0051]
本技术实施例提供的三维重建方法通过对缺少纹理信息的第一面片构建第一虚拟点位，并重新渲染第一全景图，估算出对应的目标纹理信息填入三维网格模型的第一面片中。通过本技术提供的三维重建方法能够有效补充三维网格模型中缺少的纹理信息，保证了目标场景的三维网格模型中纹理信息的完整性。
[0052]
在本技术的一些实施例中，上述确定第一虚拟点位的步骤102，具体包括：
[0053]
步骤102a:根据第一面片的空间参数，确定出第一面片对应的第一虚拟点位。
[0054]
本技术实施例中，确定第一面片在三维网格模型内部的空间参数，空间参数包括第一面片在三维网格模型中的三维坐标参数。
[0055]
具体地，根据第一面片在三维网格模型中的空间参数，计算出第一虚拟点位在三维网格模型中的空间坐标参数。
[0056]
进一步地，可以先确定第一面片的中心点在三维网格模型中的三维坐标值，根据该中心点的三维坐标值，计算出第一面片对应的第一虚拟点位的空间坐标参数。本技术实施例提供的三维重建方法根据第一面片的空间参数，确定出第一面片对应的虚拟点位，保
证了第一虚拟点位定位的准确性，进而保证了在第一虚拟点位渲染得到第一全景图的显示效果。
[0057]
在本技术的一些实施例中，上述步骤102a，具体还可以包括：
[0058]
步骤1021:根据第一面片的法向量，确定第一虚拟点位；
[0059]
其中，第一面片的中心至第一虚拟点位的向量以及第一面片的法向量的夹角小于90
°
。
[0060]
在上述实施例中，可以根据第一面片在三维网格模型中的三维参数，确定第一面片的法向量，进而根据第一面片的法向量，计算出第一虚拟点位的空间坐标参数。
[0061]
进一步的，由第一面片的中心点坐标和第一虚拟点位坐标确定的向量与第一面片的法向量的夹角小于90
°
。
[0062]
可以理解，限定第一面片的中心点坐标和第一虚拟点位坐标确定的向量与第一面片的法向量的夹角，可以使得第一虚拟点位能够在更准确的视角渲染第一全景图。
[0063]
具体地，上述第一虚拟点位的位置点并不唯一，第一虚拟点位可以位于第一面片的中心点法向量的延长线上，也可以在第一面片上其他点的法向量的延长线上，只要第一面片的中心至第一虚拟点位的向量以及第一面片的法向量的夹角小于90
°
的范围内的位置，都可以作为第一虚拟点位。
[0064]
进一步地，第一虚拟点位的坐标计算公式为下：
[0065]vx
＝d
×
avg(n_x’) p_x’；
[0066]vy
＝d
×
avg(n_y’) p_y’；
[0067]vz
＝d
×
avg(n_z’) p_z’；
[0068]
其中，(vx,vy,vz)为第一虚拟点位的坐标值，(p_x’,p_y’,p_z’)为第一面片中心点的坐标值，(n_x’,n_y’,n_z’)为第一面片的法向量上一个点的坐标值，d为第一虚拟点位和第一面片中心点的空间距离。
[0069]
进一步地，第一虚拟点位可以为上述范围内对应第一面片的数量最多的虚拟点位。
[0070]
本技术实施例提供的三维重建方法，在目标场景的三维网格模型中，寻找到纹理缺失的第一面片，确定目标面片的法向量，根据目标面片的法向量，计算出目标面片对应的第一虚拟点位的坐标值，进而确定出第一面片对应的虚拟点位，以保证虚拟点位空间参数的准确性。
[0071]
在本技术的一些实施例中，图2示出了本技术实施例提供的三维重建方法的流程示意图之二，如图2所示，上述三维重建方法具体包括：
[0072]
步骤202：为三维网格模型中的多个面片匹配纹理信息，在三维网格模型中的第一面片未匹配到对应的纹理信息的情况下，确定第一虚拟点位；
[0073]
步骤204：基于第一虚拟点位渲染三维网格模型的第一全景图，并确定第一全景图中的第一区域，第一区域与第一面片对应；
[0074]
步骤206，将第一区域渲染为目标颜色，在目标颜色对应的区域生成掩膜图像；
[0075]
步骤208，根据第一全景图的渲染结果和掩膜图像，确定目标纹理信息；
[0076]
步骤210，将目标纹理信息赋值至第一面片。
[0077]
具体来说，确定第一全景图中的第一区域，该第一区域与第一面片对应，上述第一
区域可以对应多个第一面片。
[0078]
进一步地，将第一区域的颜色渲染为目标颜色，例如纯黑色、纯绿色或者其他纯色。
[0079]
进一步地，上述掩膜图像可以限定目标纹理信息的轮廓形状信息。
[0080]
示例性地，如图3所示，本技术提供的三维重建方法，可以在360度的第一全景图中将缺少纹理信息的第一区域渲染为黑色，根据图3中“门”对应的黑色区域，生成图3对应的掩膜图像，掩膜图像如图4所示，掩膜图像可以确定目标纹理信息的边缘轮廓，估算出目标纹理信息后，将目标纹理信息填充到图3中黑色区域对应的第一面片上，使“门”缺失纹理被补全，效果如图5所示，从而使三维网格模型的内容更加完整。
[0081]
本技术实施例提供的三维重建方法通过将第一区域的颜色渲染为目标颜色，并在渲染为目标颜色的区域生成掩膜图像，便于估算出纹理缺失区域的纹理信息，保证了目标纹理信息的准确性。
[0082]
在本技术的一些实施例中，本技术实施例提供的三维重建方法中的步骤204，具体可以包括：
[0083]
步骤204a：将第一全景图的渲染结果和掩膜图像的参数信息输入至第一预测模型，以通过第一预测模型输出目标纹理信息。
[0084]
在上述实施例中，将第一全景图的渲染结果和掩膜图像等参数信息输入至第一预测模型，经过第一预测模型的运算后，获得目标纹理信息。
[0085]
进一步地，掩膜图像包括轮廓形状信息，可以确定目标纹理信息的边缘轮廓。
[0086]
具体地，第一预测模型可以为深度学习模型，示例性地，该深度学习模型可以为encoder-decoder架构的模型，将全景图的渲染结果和掩膜图像输入上述第一预测模型，该第一预测模型经过运算后输出纹理信息，该纹理信息可以为适合于为第一面片进行赋值的目标纹理信息。
[0087]
示例性地，根据图6的据出上生成对应掩膜图像，掩膜图像可以确定目标纹理信息的边缘轮廓，将第一全景图和掩膜图像作为输入参数，输入到第一预测模型，第一预测模型经过运算输出目标纹理信息。目标纹理信息的轮廓信息符合图6中的黑色区域，将目标纹理信息填充到黑色区域对应的第一面片上，使“床”边的缺失纹理被补全，效果如图7所示，从而使三维网格模型的内容更加完整。
[0088]
本技术实施例提供的三维重建方法通过使用预测模型确定目标纹理信息，保证估算的目标纹理信息的准确性，进而确保三维网格模型的显示完整性，丰富，丰富三维网格模型的信息参数。
[0089]
在本技术的一些实施例中，在本技术提供的三维重建方法中的步骤102之前，该三维重建方法还包括：
[0090]
步骤101：获取拍摄场景的多张深度图和与多张深度图对应的多张彩色图，并根据多张深度图和多张彩色图构建三维网格模型。
[0091]
本技术实施例中，获取拍摄场景的多张深度图和与多张深度图对应的多张彩色图，根据获取到的多张深度图和多张彩色图构建三维网格模型。在一种可能的实施方式中，构建目标场景的三维网格模型需要多张目标场景的彩色二维图像和深度图像，获取在目标场景的内拍摄的深度图和与彩色图后，对上述多张深度图和多张彩色图进行rgbd多点位数
据的点位估计，根据获得的点位生成目标场景的三维点云，进而根据三维点云数据生成目标场景的网格，并估算纹理信息，最后构建目标场景三维网格模型。
[0092]
根据这些深度图和彩色二维图构建目标场景的三维网格模型。
[0093]
本技术实施例提供的三维重建方法根据多张深度图和多张彩色图构建三维网格模型，保证了三维网格模型的准确性和完整性。
[0094]
在本技术的一些实施例中，图8示出了本技术实施例提供的三维重建方法的流程示意图之三，如图8所示，上述三维重建方法具体包括：
[0095]
步骤802：获取三维网格模型中的多个面片；
[0096]
步骤804：通过纹理估计算法确定多个面片中任一个面片匹配对应的纹理信息；
[0097]
步骤806：基于第一虚拟点位渲染三维网格模型的第一全景图，并确定第一全景图中的第一区域，第一区域与第一面片对应；
[0098]
步骤808：根据第一全景图和第一区域确定目标纹理信息，将目标纹理信息赋值至第一面片。
[0099]
本技术实施例中，三维网格模型内部包括多个面片，通过纹理估计算法，能够计算出每一个面片的纹理信息。
[0100]
在一种可能的实施方式中，纹理估计算法可以为马尔可夫随机数算法。马尔可夫随机数算法需要设定数据项和平滑项，数据项的计算公式为：
[0101]
data(f,v)＝s/|dt-d|；
[0102]
其中，v为第一面片，s为第一面片投影到二维视图上的面积，dt为第一面片投影到二维视图上的深度参数，d为第一面片在对应的深度图中的深度参数。
[0103]
平滑项的计算公式为：
[0104][0105]
其中，ik为第一面片的二位语义，i
p
为第一面片相邻面片的二位语义，若相邻两个面片的语义相同，平滑项设为1，反之，平滑项设为0。
[0106]
马尔可夫随机场的计算式为：
[0107][0108]
根据数据项和平滑项，计算出第一面片的纹理信息e(v)。
[0109]
本技术实施例提供的三维重建方法通过纹理估计算法，计算出三维网格模型中每一个面片的纹理信息，进而能够确认缺少纹理信息的第一面片，并对第一面片进行纹理信息的填充，保证三维网格模型显示的完整性。
[0110]
在本技术的一些实施例中提供了一种三维重建装置，图9示出了本技术实施例提供的三维重建装置的结构框图，如图9所示，三维重建装置900包括：
[0111]
处理单元902，用于为三维网格模型中的多个面片匹配纹理信息，在三维网格模型中的第一面片未匹配到对应的纹理信息的情况下，确定第一虚拟点位；
[0112]
处理单元902，还用于基于第一虚拟点位渲染三维网格模型的第一全景图，并确定第一全景图中的第一区域，第一区域与第一面片对应；
[0113]
处理单元902，还用于根据第一全景图和第一区域确定目标纹理信息，将目标纹理信息赋值至第一面片。
[0114]
具体来说，构建目标场景的三维网格模型的构建的过程中，三维网格模型内部包括多个面片，处理单元902确认三维网格模型内部的所有面片后，对每个面片进行纹理信息确认，将缺少纹理信息的面片设为第一面片，并基于第一面片的坐标参数构建第一虚拟点位；处理单元902在第一虚拟点位的位置对三维网格模型重新渲染出第一全景图，并在第一全景图中确定出第一面片对应的第一区域；处理单元902根据第一全景图和第一区域估算出第一面片的目标纹理信息，将目标纹理信息重新赋值给第一面片。
[0115]
本技术实施例提供的三维重建装置通过处理单元对缺少纹理信息的面片构建虚拟点位，并重新渲染全景图，估算出对应的纹理信息填入三维网格模型中。有效补充了三维网格模型中缺少的纹理信息，保证了目标场景的三维网格模型中纹理信息的完整性。
[0116]
在本技术的一些实施例中，处理单元902还用于根据第一面片的空间参数，确定出第一面片对应的第一虚拟点位。
[0117]
本技术实施例提供的三维重建装置通过处理单元根据第一面片的空间参数，确定出第一面片对应的第一虚拟点位，保证虚拟点位的准确性。
[0118]
在本技术的一些实施例中，处理单元902还用于根据第一面片的法向量，确定第一虚拟点位；其中，第一面片的中心至第一虚拟点位的向量以及第一面片的法向量的夹角小于90
°
。
[0119]
本技术实施例提供的三维重建装置通过处理单元根据第一面片的法向量，确定出第一面片对应的虚拟点位，保证虚拟点位空间参数的准确性，进而保证在第一虚拟点位渲染得到第一全景图的显示效果。
[0120]
在本技术的一些实施例中，处理单元902还用于将第一区域渲染为目标颜色，对目标颜色对应的区域生成掩膜图像；处理单元902还用于根据第一全景图的渲染结果和掩膜图像，确定目标纹理信息。
[0121]
本技术实施例提供的三维重建装置通过处理单元将第一区域的颜色渲染为目标颜色，生成掩膜图像，估算出纹理缺失区域的纹理信息，保证了目标纹理信息的准确性。
[0122]
在本技术的一些实施例中，处理单元902还用于将第一全景图的渲染结果和掩膜图像的参数信息输入至第一预测模型，以通过第一预测模型输出目标纹理信息。
[0123]
本技术实施例提供的三维重建装置通过处理单元使用预测模型，确定纹理信息，保证估算的目标纹理信息的准确性，进而确保三维网格模型的显示完整性，丰富三维网格模型的信息参数。
[0124]
在本技术的一些实施例中，处理单元902还用于获取拍摄场景的多张深度图和与多张深度图对应的多张彩色图，并根据多张深度图和多张彩色图构建三维网格模型。
[0125]
本技术实施例提供的三维重建装置通过处理单元根据多张深度图和多张彩色图构建三维网格模型，保证了三维网格模型的准确性和完整性。
[0126]
在本技术的一些实施例中，三维重建装置900，获取单元，用于获取三维网格模型中的多个面片；
[0127]
处理单元902，还用于通过纹理估计算法确定多个面片中任一个面片匹配对应的纹理信息。
[0128]
本技术实施例提供的三维重建装置通过处理单元使用纹理估计算法，计算出三维网格模型中每一个面片的纹理信息，确认缺少纹理信息的目标面片。
[0129]
本技术实施例中的三维重建装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0130]
本技术实施例中的三维重建装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0131]
本技术实施例提供的三维重建装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。
[0132]
可选地，本技术实施例还提供一种电子设备，图10示出了根据本技术实施例的电子设备的结构框图，如图10所示，电子设备1000包括处理器1002和存储器1004，存储器1004上存储有可在处理器1002上运行的程序或指令，该程序或指令被处理器1002执行时实现上述方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0133]
需要说明的是，本技术实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
[0134]
图11为实现本技术实施例的一种电子设备的硬件结构示意图。
[0135]
该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109以及处理器1110等部件。
[0136]
本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0137]
其中，处理器1110，用于为三维网格模型中的多个面片匹配纹理信息，在三维网格模型中的第一面片未匹配到对应的纹理信息的情况下，确定第一虚拟点位；
[0138]
处理器1110，用于基于第一虚拟点位渲染三维网格模型的第一全景图，并确定第一全景图中的第一区域，第一区域与第一面片对应；
[0139]
处理器1110，用于根据第一全景图和第一区域确定目标纹理信息，将目标纹理信息赋值至第一面片。
[0140]
本技术实施例提供的电子设备对缺少纹理信息的面片构建虚拟点位，并重新渲染全景图，估算出对应的纹理信息填入三维网格模型中。有效补充了三维网格模型中缺少的
纹理信息，保证了目标场景的三维网格模型中纹理信息的完整性。
[0141]
进一步地，处理器1110，用于根据第一面片的空间参数，确定出第一面片对应的第一虚拟点位。
[0142]
本技术实施例提供的电子设备根据第一面片的空间参数，确定出第一面片对应的虚拟点位，保证虚拟点位的准确性。
[0143]
进一步地，处理器1110，用于根据第一面片的法向量，确定第一虚拟点位；
[0144]
其中，第一面片的中心至第一虚拟点位的向量以及第一面片的法向量的夹角小于90
°
。
[0145]
本技术实施例提供的电子设备根据第一面片的法向量，确定出第一面片对应的虚拟点位。保证虚拟点位空间参数的准确性。
[0146]
进一步地，处理器1110，用于将第一区域渲染为目标颜色，对目标颜色对应的区域生成掩膜图像；根据第一全景图的渲染结果和掩膜图像，确定目标纹理信息。
[0147]
本技术实施例提供的电子设备将第一区域的颜色渲染为目标颜色，生成掩膜图像，估算出纹理缺失区域的纹理信息。
[0148]
进一步地，处理器1110，用于将第一全景图的渲染结果和掩膜图像的参数信息输入至第一预测模型，以通过第一预测模型输出目标纹理信息。
[0149]
本技术实施例提供的电子设备使用预测模型，确定纹理信息。保证估算纹理图像的准确性。
[0150]
进一步地，处理器1110，用于获取拍摄场景的多张深度图和与多张深度图对应的多张彩色图，并根据多张深度图和多张彩色图构建三维网格模型。
[0151]
本技术实施例提供的电子设备根据多张深度图和多张彩色图构建三维网格模型，保证了三维网格模型的准确性和完整性。
[0152]
进一步地，处理器1110，用于确定三维网格模型中的不可见区域的边界所对应的第三面片，将第四面片的纹理颜色填充至第三面片，第四面片为与第三面片相邻的并位于不可见区域边界外的面片；用于获取三维网格模型中的多个面片；用于通过纹理估计算法确定多个面片中任一个面片匹配对应的纹理信息。
[0153]
本技术实施例提供的电子设备使用纹理估计算法，计算出三维网格模型中每一个面片的纹理信息，确认缺少纹理信息的目标面片。
[0154]
应理解的是，本技术实施例中，输入单元1104可以包括图形处理器(graphics processing unit，gpu)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0155]
存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109
可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。
[0156]
处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。
[0157]
本技术实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0158]
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
[0159]
本技术实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0160]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0161]
本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述三维重建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0162]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0163]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做
出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例的方法。
[0164]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。