图像处理方法、装置、电子设备及可读存储介质与流程

1.本公开涉及信息处理领域，更具体地，涉及一种图像处理的方法、装置、电子设备及可读存储介质。


背景技术：

2.随着技术的不断发展，在许多应用中可以对三维(3d)空间进行数字化呈现，从而可以使用户在足不出户的情况下方便快捷的了解其感兴趣的三维空间，例如，用户期望通过网络浏览数字化的房屋三维空间以了解房源信息等。
3.在现有技术中，对三维空间进行数字化呈现包括以全景漫游、二维模型、三维模型等形式来呈现三维空间。在以三维模型形式来呈现三维空间的方案中，通常是获取三维空间的全景图，对全景图进行切图，然后将其贴到三维空间模型的简单的面片上。然而这样的方式没有考虑三维空间中的对象(例如，家具)，因此显示效果通常不够立体，无法给用户直观的视觉体验。
4.因此，期望一种具有更好的立体显示效果的图像处理方法。


技术实现要素：

5.针对上述问题，本公开提供了一种图像处理方法、装置、电子设备及可读存储介质，通过该方法获得的模型以及模型的贴图可以向用户提供更好的立体显示效果，从而给用户直观的视觉体验。
6.根据本公开的一方面提供了一种图像处理方法，包括：获取描述三维空间和所述三维空间中的目标对象的数据，并基于所述数据生成三维空间模型及目标对象模型，其中，所述目标对象模型位于所述三维空间模型中的预设位置处，且第一对象的模型具有默认的贴图，所述第一对象包括所述三维空间和/或所述目标对象；获取在所述三维空间中的第一位置处捕获的与所述第一对象有关的一个或多个目标图像和深度图；针对所述第一对象的模型上的一个或多个点，根据所述点到所述第一位置的距离以及从所述深度图中确定的与所述点对应的深度，确定使用从所述默认的贴图获取的颜色或从所述目标图像获取的颜色作为所述点的颜色；以及基于确定的所述点的颜色生成所述第一对象的模型的贴图。
7.根据本公开的一些实施例，其中，根据所述点到所述第一位置的距离以及从所述深度图中确定的与所述点对应的深度，确定使用从所述默认的贴图获取的颜色或从所述目标图像获取的颜色作为所述点的颜色，包括：确定所述点到所述第一位置的距离是否大于与所述点对应的深度；当所述距离大于所述对应的深度时，使用从所述默认的贴图获取的颜色作为所述点的颜色；以及当所述距离小于等于所述对应的深度时，使用从所述目标图像获取的颜色作为所述点的颜色。
8.根据本公开的一些实施例，其中，使用从所述目标图像获取的颜色作为所述点的颜色包括：根据所述点相对于所述第一位置的方向，对所述目标图像进行采样以获取采样颜色，将所获取的采样颜色作为所述点的颜色。
9.根据本公开的一些实施例，其中，所述默认的贴图包含低模贴图，使用从所述默认的贴图获取的颜色作为所述点的颜色包括：对所述低模贴图中与所述点对应的位置进行采样以获取采样颜色，将所获取的采样颜色作为所述点的颜色。
10.根据本公开的一些实施例，其中，所述对应的深度是基于所述点相对于所述第一位置的方向确定的。
11.根据本公开的一些实施例，其中，所述三维空间模型上的点是所述三维空间模型的顶点，和/或所述目标对象模型上的点是所述目标对象模型的顶点。
12.根据本公开的一些实施例，其中，所述目标对象模型包括多个目标对象模型，所述方法还包括：针对多个目标对象模型，将其中两个或更多个目标对象模型合并以生成单个目标对象模型。
13.根据本公开的一些实施例，所述方法还包括：对所生成的第一对象的模型的贴图进行压缩处理以生成压缩的贴图。
14.根据本公开的一些实施例，所述方法还包括：对所述三维空间模型、所述目标对象模型以及所述压缩的贴图执行预定处理以生成具有预定格式的资源；以及将所述资源存储在非易失性计算机可读存储介质中。
15.根据本公开的一些实施例，其中，所述目标图像包括全景图像，和/或所述深度图包括全景深度图。
16.根据本公开的另一方面，还提供了一种图像处理方法，包括：获取描述三维空间的数据，并基于所述数据生成三维空间模型，其中，所述三维空间模型具有默认的贴图；获取在所述三维空间中的第一位置处捕获的与所述三维空间有关的一个或多个目标图像和深度图；针对所述三维空间模型上的一个或多个点，根据所述点到所述第一位置的距离以及从所述深度图中确定的与所述点对应的深度，确定使用从所述默认的贴图获取的颜色或从所述目标图像获取的颜色作为所述点的颜色；以及基于确定的所述点的颜色生成所述三维空间模型的贴图。
17.根据本公开的另一方面，还提供了一种图像处理装置，包括：数据获取及模型生成单元，被配置为获取描述三维空间和所述三维空间中的目标对象的数据，并基于所述数据生成三维空间模型及目标对象模型，其中，所述目标对象模型位于所述三维空间模型中的预设位置处，且第一对象的模型具有默认的贴图，所述第一对象包括所述三维空间和/或所述目标对象；目标图像及深度图获取单元，被配置为获取在所述三维空间中的第一位置处捕获的与所述第一对象有关的一个或多个目标图像和深度图；颜色确定单元，被配置为针对所述第一对象的模型上的一个或多个点，根据所述点到所述第一位置的距离以及从所述深度图中确定的与所述点对应的深度，确定使用从所述默认的贴图获取的颜色或从所述目标图像获取的颜色作为所述点的颜色；以及贴图生成单元，被配置为基于确定的所述点的颜色生成所述第一对象的模型的贴图。
18.根据本公开的一些实施例，其中，所述颜色确定单元还被配置为：确定所述点到所述第一位置的距离是否大于与所述点对应的深度；当所述距离大于所述对应的深度时，使用从所述默认的贴图获取的颜色作为所述点的颜色；当所述距离小于等于所述对应的深度时，使用从所述目标图像获取的颜色作为所述点的颜色。
19.根据本公开的一些实施例，其中，所述颜色确定单元还包括目标图像采样模块，所
述目标图像采样模块被配置为根据所述点相对于所述第一位置的方向，对所述目标图像进行采样以获取采样颜色；所述颜色确定单元还被配置为将所获取的采样颜色作为所述点的颜色。
20.根据本公开的一些实施例，其中，所述默认的贴图包含低模贴图，所述颜色确定单元还包括贴图采样模块，所述贴图采样模块被配置为对所述低模贴图中与所述点对应的位置进行采样以获取采样颜色；所述颜色确定单元还被配置为将所获取的采样颜色作为所述点的颜色。
21.根据本公开的一些实施例，其中，所述对应的深度是基于所述点相对于所述第一位置的方向确定的。
22.根据本公开的一些实施例，其中，所述第一对象的模型上的点是所述三维空间模型和/或所述目标对象模型的顶点。
23.根据本公开的一些实施例，其中，所述目标对象模型包括多个目标对象模型，所述装置还包括模型合并单元，所述模型合并单元被配置为：针对多个目标对象模型，将其中两个或更多个目标对象模型合并以生成单个目标对象模型。
24.根据本公开的一些实施例，所述装置还包括贴图压缩单元，所述贴图压缩单元被配置为：对所生成的第一对象的模型的贴图进行压缩处理以生成压缩的贴图。
25.根据本公开的一些实施例，所述装置还包括处理单元，所述处理单元被配置为：对所述三维空间模型、所述目标对象模型以及所述压缩的贴图执行预定处理以生成具有预定格式的资源；以及将所述资源存储在非易失性计算机可读存储介质中。
26.根据本公开的一些实施例，其中，所述目标图像包括全景图像，和/或所述深度图包括全景深度图。
27.根据本公开的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码在由所述处理器执行时，实现上述方法中任一项所述的图像处理方法。
28.根据本公开的另一方面，还提供了一种非暂时性计算机可读存储介质，存储有计算机可读指令，其中，当所述计算机可读指令在由处理器执行时，实现上述方法中任一项所述的图像处理方法。
29.因此，根据本公开实施例的方法和装置，针对三维空间和/或三维空间中的目标对象，生成具有默认贴图的模型，并且获取在三维空间中的一个位置处捕获的目标图像和深度图，进而针对模型上的每个点，基于模型上的点到该位置的距离以及从深度图中确定的对应的深度，确定使用默认贴图还是目标图像的颜色信息来生成模型的贴图。这样，生成的模型以及模型的贴图可以向用户提供更好的立体的显示效果，进而给用户直观的视觉体验。
附图说明
30.为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
31.图1是现有技术中生成三维空间模型及三维空间模型的贴图的示意图；
32.图2示出了根据本公开第一实施例的图像处理方法的流程图；
33.图3示出了根据本公开第一实施例的模型中点的位置关系的示意图；
34.图4示出了根据本公开第一实施例的图像处理方法的确定采样颜色的流程图；
35.图5示出了根据本公开第一实施例生成的三维空间模型和目标对象模型以及模型的贴图的示意图；
36.图6示出了根据本公开第二实施例的图像处理方法的流程图；
37.图7示出了根据本公开第三实施例的图像处理方法的流程图；
38.图8示出了根据本公开第四实施例的图像处理装置的框图；
39.图9示出了根据本公开第四实施例的图像处理装置中的颜色确定单元的框图；
40.图10示出了根据本公开第五实施例的图像处理装置的框图；
41.图11示出了根据本公开一些实施例的电子设备的框图。
具体实施方式
42.为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
43.除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同，而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。
44.本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步。
45.在本公开的说明书和附图中，根据实施例，元素以单数或复数的形式来描述。然而，单数和复数形式被适当地选择用于所提出的情况仅仅是为了方便解释而无意将本公开限制于此。因此，单数形式可以包括复数形式，并且复数形式也可以包括单数形式，除非上下文另有明确说明。
46.此外，在本公开中，当术语“贴图”用作名词时，其表示的是一种图片(或纹理等)，其具有与三维模型的表面的特定的对应关系(例如，映射关系)，可用于与三维模型一起被渲染以呈现给用户。当术语“贴图”用作动词时，其有时也被称为纹理映射，表示使用图形处理技术将图片(或纹理等)应用到三维模型的表面以形成特定的对应关系，从而用于后续的
图形渲染或显示。
47.图1是现有技术中生成三维空间模型及三维空间模型的贴图的示意图。
48.如图1所示，作为三维空间的示例的3d户型图是通过对全景图进行切图，然后将其贴到简单的面片上而获得。其中例如沙发、茶几和厨房里的家具都是面片，它们都被简单地平铺在地面上。由于没有考虑三维空间中的对象，这样获得的3d户型图的显示效果不够立体，很难给用户直观的视觉体验。
49.针对这样的情况，本公开通过针对三维空间及对象的模型上的每个点，选择性地使用目标图像或默认贴图的颜色信息来获得模型的贴图，可以向用户提供更好的立体显示效果，从而给用户直观的视觉体验。
50.《第一实施例》
51.图2示出了根据本公开第一实施例的图像处理方法的流程图。如图2所示，该方法包括以下步骤：
52.步骤s210，获取描述三维空间和该三维空间中的目标对象的数据，并基于该数据生成三维空间模型及目标对象模型，其中，目标对象模型位于三维空间模型中的预设位置处，且第一对象的模型具有默认的贴图，所述第一对象包括所述三维空间和/或所述目标对象；
53.步骤s220，获取在三维空间中的第一位置处捕获的与第一对象有关的一个或多个目标图像和深度图；
54.步骤s230，针对第一对象的模型上的一个或多个点，根据该点到第一位置的距离以及从深度图中确定的与该点对应的深度，确定使用从默认的贴图获取的颜色或从目标图像获取的颜色作为该点的颜色；以及
55.步骤s240，基于确定的点的颜色生成第一对象的模型的贴图。
56.具体地，首先，在步骤s210，获取描述三维空间和该三维空间中的目标对象的数据，基于该数据生成三维空间模型及目标对象模型，其中，目标对象模型位于三维空间模型中的预设位置处，且第一对象的模型具有默认的贴图，所述第一对象包括所述三维空间和/或所述目标对象。。
57.在一个示例中，三维空间可以是实体场景的内部空间和/或外部空间。实体场景可以是能够使用设备捕获图像信息的任何现实存在的实体场景，而目标对象则可以是实体场景中存在的任意物体。例如，实体场景的内部空间可以是建筑物中的住宅、办公室等的内部空间，也可以是交通工具等的内部空间，目标对象则可以是住宅、办公室中的家具等，也可以是交通工具中的方向盘、座椅等。附加地或替代地，实体场景的外部空间可以是室外花园、街道、自然景观等，目标对象则可以是其中的雕塑、路灯、花坛等。
58.在一个示例中，描述三维空间和三维空间中目标对象的数据可以是具有例如json格式等便于生成三维空间模型和/或目标对象模型的格式的数据，其也可以是仅描述三维空间和三维空间中目标对象的坐标的数据。此外，这些数据还可以包括描述三维空间和三维空间中目标对象的材质等其他性质的数据。在一些示例中，描述三维空间的数据和描述三维空间中模型的数据可以分别具有不同的数据格式。此外，描述三维空间的数据和描述三维空间中模型的数据可以也可以分别被单独获取。
59.在一个示例中，目标对象模型在三维空间模型中的预设位置可以是根据实际的三
维空间中的目标对象的位置确定的，使得生成的三维空间模型和目标对象模型的位置关系与实际的三维空间和其中的目标对象的位置关系相对应，从而使得生成的模型与实际的场景相符合。应当注意的是，生成的三维空间模型和目标对象模型的形状与实际的三维空间和其中的目标对象的形状是相对应的。
60.在一个示例中，默认的贴图可以是由技术人员预先获取或制作的贴图。默认的贴图可以用于与模型一起为用户呈现立体的显示效果。例如，可以对模型以及模型的默认的贴图进行渲染以向用户呈现数字化的三维空间。在一个示例中，上述的描述三维空间和三维空间中的目标对象的数据以及默认的贴图可以是从本地存储设备中获取的，也可以是经由网络从服务器、数据库等中获取的。
61.根据本公开的实施例，目标对象模型可以包括多个目标对象模型。其中，针对多个目标对象模型，可以将其中两个或更多个目标对象模型合并以生成单个目标对象模型。例如，可以将具有相似的特征、包括相同的点等的目标对象模型合并。由于具有相似的特征、包括相同的点等，通过合并目标对象模型可以减少需要存储的数据以及需要处理的数据，从而可以在后续步骤中更快速地处理合并后的目标对象模型。例如，当两个目标对象模型具有多个相同的点时，如果作为两个模型进行存储和处理，则需要针对这两个模型分别存储关于这些点的数据，并且同样也需要分别处理这些数据；而当两个具有多个相同的点的目标模型被合并后，仅需要存储一遍并且也仅需要处理一遍关于这些点的数据，因此降低了存储和处理所需的资源。
62.类似地，在一些情况下，还可以将一个或多个目标对象模型合并入三维空间模型中以进行后续处理，以降低存储和处理所需的资源。
63.接着，在步骤s220，获取在三维空间中的第一位置处捕获的与第一对象有关的一个或多个目标图像和深度图。
64.根据本公开的一个实施例，目标图像可以包括全景(vr)图像，和/或深度图可以包括全景深度图。全景图像或全景深度图可以是以全景格式获取的目标图像或深度图。全景格式可以包括六面体格式、球形格式、条形图格式等。一般情况下，针对一个三维空间，以全景方式获取的全景图像可以包含在第一位置处能够捕获到的所有部分的颜色信息，因此可以仅捕获和使用一个全景图像用于该三维空间。类似地，针对一个三维空间，以全景方式获取的全景深度图可以包含在第一位置处能够捕获到的所有部分的深度信息，因此可以仅捕获和使用一个全景深度图。
65.在一个示例中，不同的全景格式的图像可以相互转换，通常可以将其他格式转为六面体格式，以便于在后续处理中确定三维模型中的点与全景图像和/或全景深度图中的点相对应，其具体用途将在下文进行详细阐述。
66.在一个示例中，当与要生成贴图的部分有关的所有颜色信息都包含在一个目标图像中时，可以仅获取和使用这一个目标图像。同样地，当与要生成贴图的部分有关的所有深度信息都包含在一个深度图中时，可以仅获取和使用这一个深度图。
67.替代地，当与要生成贴图的部分有关的所有的颜色信息包含在多个目标图像中时，可以获取并使用这些目标图像；同样地，当与要生成贴图的部分有关的所有的深度信息包含在多个深度图中时，可以获取并使用这些深度图。在一些情况下，也可以通过多个捕获的目标图像来生成全景图像，和/或通过多个捕获的深度图来生成全景深度图。
68.在一个示例中，第一位置在三维空间模型中具有对应位置。在一个示例中，为了确定第一位置在三维空间模型中的对应位置，第一位置可以是预先确定的，也可以是通过捕获的目标图像和深度图中包含的位置信息获得的。位置信息可以表示用于捕获的设备当前所处的实际位置，实际位置可以通过例如能够利用全球定位系统(gps)、北斗系统以及其他定位系统的元件(例如，芯片、传感器等)来获得。
69.在一个示例中，捕获的目标图像和/或深度图还可以包括角度信息。角度信息可以是设备的当前角速度信息，也可以是经角速度计算得到的表示设备或设备的镜头当前方向的信息，其中角速度信息可以通过陀螺仪传感器来获得。优选地，还可以利用gps芯片、陀螺仪传感器、加速度传感器以及设备内置和/或外接的其他传感器中的一个或多个获得的信息来计算位置信息，使得位置信息更加精确。优选地，还可以利用陀螺仪传感器、加速度传感器以及设备内置和/或外接的其他传感器中的一个或多个获得的信息来计算角度信息，使得角度信息更加精确。其中，角度信息的具体作用将在下文中结合示例进行详细的说明。
70.在一个示例中，用于捕获一个或多个目标图像和深度图的设备可以是照相机或者具有图像捕获功能的任何类型的便携式设备，如智能手机、平板电脑、笔记本电脑等。
71.在一个示例中，可以经由网络直接获取设备捕获的目标图像和/或深度图。在另一个示例中，可以从存储有图像的服务器或数据库中获取目标图像和/或深度图，这些目标图像和/或深度图可以通过设备经由网络或以其他方式传输至该服务器或数据库中。在一个示例中，网络可以是有线网络和/或无线网络。例如，有线网络可以采用双绞线、同轴电缆或光纤传输等方式进行数据传输，无线网络可以采用3g/4g/5g等移动通信网络、蓝牙、zigbee或者wifi等方式进行数据传输。
72.然后，在步骤s230，针对第一对象的模型(即仅是三维空间模型和/或目标对象模型)上的一个或多个点，根据该点到第一位置的距离以及从深度图中确定的与该点对应的深度，确定使用从默认的贴图获取的颜色或从目标图像获取的颜色作为该点的颜色。
73.模型上的点可以是任何类型的具有颜色信息的点。在一个示例中，模型上的点可以是具有特定大小的像素点。在另一个示例中，模型上的点还可以是图形处理技术中的顶点，其在下文将进行详细描述。
74.通常情况下，可以使用模型以及模型的默认的贴图为用户呈现立体的显示效果。然而，由于例如默认的贴图是由人工制作的而无法真实的体现三维空间的实际显示效果、默认的贴图比目标图像的分辨率更低等原因，使用默认的贴图通常不是优选的方案。因此，优选使用从目标图像获取的颜色信息来生成第一对象的模型上的贴图。
75.然而，在一些情况下，在三维空间内的某一个位置(例如，第一位置)处捕获的目标图像所包含的信息可能仅是有关第一对象的模型的一部分信息。例如，当三维空间中存在一个或多个目标对象时，由于用于生成贴图的目标图像是在三维空间中的某一个位置处捕获的，在第一对象的某些部分可能存在被遮挡的情况下(例如，目标对象之间的相互遮挡，或者目标对象的一部分没有朝向该位置因此无法被捕获到等情况)，所捕获的目标图像可能仅包括第一对象的部分信息，而不包括被遮挡部分的信息。在这种情况下，可以使用默认的贴图来确定被遮挡部分的贴图。
76.为了确定是应用目标图像还是默认的贴图，可以在获取三维空间的某一位置处的目标图像的基础上，在该位置处获取深度图。通过确定模型上的点到该位置的距离以及对
应的深度来确定是否使用所获取的目标图像生成贴图。
77.通过这种方式，例如，当第一对象的一部分没有被遮挡时，可以使用所获取的目标图像生成第一对象的模型的贴图。从而可以使得贴图的显示效果更好。同时，对无法使用目标图像生成贴图的部分可以使用为其预先设定的默认图片进行贴图或获取其颜色信息来生成贴图。
78.在一个示例中，默认的贴图可以是低模(即，低分辨率)贴图或者是高模(即，近似于目标图像的分辨率的高分辨率)贴图。
79.应当注意的是，“高”和“低”仅旨在表明一种相对关系。也就是说，低模贴图相对于捕获的一个或多个目标图像而言，可能使生成的贴图具有相对较差的显示效果。而高模贴图相对于低模图像而言，可能使生成的贴图具有相对较好的显示效果，例如与使用目标图像生成的贴图具有类似的显示效果。
80.因此，可以根据实际需求使第一对象的模型具有不同分辨率的默认的贴图。在一些情况下，为了使得使用目标图像与默认的贴图生成的贴图的显示效果相对一致，默认的贴图可以仅包括高模贴图。然而，由于生成高模贴图通常可能比生成低模贴图耗费更多的时间和成本，因此在一些情况下，为了提高效率并节约成本，可以使用户重点关注的部分具有高模贴图，而使相对不重要的部分具有低模贴图；在另一些情况下，为了进一步提高效率和节约成本，默认的贴图可以仅包含低模贴图。
81.根据本公开的实施例，对应的深度是基于该点相对于第一位置的方向确定的。
82.在一个示例中，如前所述，通过第一位置可以确定三维空间模型中的对应位置，因此可以确定模型上的点到第一位置(即，对应位置)的距离，以及模型上的点相对于第一位置的方向。此外，如前所述，深度图和/或目标图像可以包括角度信息，因此本领域技术人员可以容易地通过角度信息，确定与模型上的点对应的深度和/或从目标图像中获取对应的颜色作为该点的颜色。也就是说，基于模型上的点相对于第一位置的方向以及深度图和/或目标图像的角度信息，可以在深度图和/或目标图像中确定与该点相对于第一位置的方向相对应的深度信息和/或颜色信息。替代地，当深度图为全景深度图和/或目标图像为全景图像时，由于全景格式的特性，在无需额外的角度信息的情况下，本领域技术人员可以通过全景深度图和/或全景图像与三维空间模型的对应关系，确定与该点对应的深度和/或从目标图像中获取对应的颜色作为该点的颜色。其中，如前所述，当全景图像和/或全景深度图采用六面体格式时，本领域技术人员可以相对更容易地通过全景深度图和/或全景图像与三维空间模型的对应关系，确定与该点对应的深度和/或从目标图像中获取对应的颜色作为该点的颜色。
83.具体地，图3示出了根据本公开第一实施例的模型中点的位置关系的示意图。如图3所示，在三维空间模型中，第一位置的坐标为(0,0,1)，某一目标对象模型正面上的点a(例如，长方体家具正面上的一个点)的坐标为(0,-3,1),该目标对象模型背面上的同一方向上的点b(例如，该长方体家具背面上的同一方向上的一个点)的坐标为(0,-4,1)，以及三维空间模型上的同一方向上的点c(例如，墙壁上的同一方向上的一个点)的坐标为(0,-6,1)。因此根据上述点a、b、c相对于第一位置的位置关系，可以根据角度信息等确定目标图像和深度图中与模型上的点a、b、c对应的点；也可以在全景图像和全景深度图中根据对应关系确定与模型上的点a、b、c对应的点，从而确定与点a、b、c对应的深度信息和颜色信息。
84.根据本公开的实施例，可以确定该点到第一位置的距离是否大于与该点对应的深度；当该距离大于对应的深度时，可以使用从默认的贴图获取的颜色作为该点的颜色；当该距离小于等于对应的深度时，可以使用从目标图像获取的颜色作为该点的颜色。如前所述，当模型上的点是像素点时，可以将从目标图像或默认的贴图获取的颜色直接作为该像素点的颜色。
85.继续结合上述图3的示例，根据图中所示的位置关系，可以确定上述三点a、b、c都在相对于第一位置的同一方向上。因此当在第一位置处捕获图像时，该方向上的点b和点c都被点a所遮挡，因而所捕获的目标图像中仅具有关于点a的颜色信息而不具有关于点b和点c的颜色信息。此外，由于点a(坐标为(0,-3,1))的存在，所捕获的深度图在该方向上的深度的绝对值为3。
86.也就是说，当对点a进行处理时，可以确定点a到第一位置的距离等于对应的深度，因此可以使用从目标图像获取的颜色作为点a的颜色；当对点b、点c进行处理时，可以确定点b、点c到第一位置的距离均大于对应的深度，因此可以使用从点b和点c的默认的贴图获取的颜色作为其颜色。
87.这里还应当注意的是，如前文所述，由于目标对象模型位于三维空间模型中的预设位置处，因此三维空间模型和目标对象模型之间的相对位置关系与实际的三维空间和目标对象的位置关系是一致的。这可以确保例如，在三维空间模型中位于第一位置的同一方向的上述点a、b、c，在三维空间中也在相对于第一位置的该方向上而不会出现偏差。
88.在一个示例中，可以使用图形处理单元(gpu)实现本公开所述的方法。在使用gpu实现本公开的方案中，根据本公开的实施例，第一对象的模型(即三维空间模型和/或目标对象模型)上的点可以是三维空间模型和/或目标对象模型上的顶点(vertex)。
89.在gpu的处理过程中，gpu通常可以将模型的表面以网格的形式划分，这样网格的每个部分可以被单独地进行渲染。例如，模型的表面可以被划分成由顶点组成的不同大小、不同形状的图元(例如，图元可以是顶点、两个顶点构成线段、三个顶点构成的三角形或者多个顶点构成的多边形)。这些图元的顶点各自与模型上的点(即，模型上的顶点)相对应。其中，模型顶点可以包括位置、法向量、纹理坐标、顶点颜色等信息。因此，图元的顶点可以具有与其相对应的模型顶点的颜色信息。在一个示例中，可以利用从目标图像和/或默认贴图获取的颜色作为模型顶点的颜色信息，由gpu对模型进行光栅化等进一步处理将图元转换为片元，从而可以生成模型的贴图；并且可以对模型和贴图进行渲染以将数字化的三维空间呈现给用户。
90.具体地，在使用gpu来实现本公开所述的方法时，s230的步骤可以体现为使用gpu渲染方式，将模型顶点传入gpu的顶点着色器(vs)，在vs中，将平铺的模型纹理坐标转换至当前gpu支持的坐标范围内，作为vs的位置输出项，并将传入vs的模型顶点位置变换至世界坐标系中，同时，将世界空间坐标系的模型顶点位置和模型顶点对应低模贴图的纹理坐标传输到片元着色器(fs)，从vs到fs的过程，gpu会进行插值等操作。在fs中，对每一个片元，计算从经过插值的、在世界空间坐标系中模型顶点位置到捕获设备(例如，相机)位置的向量和距离。并且通过深度图可以得到深度值。如果距离小于等于深度值，则说明在目标图像中，可以看到该模型当前顶点，因而可以从目标图像获取颜色信息；如果距离大于深度值，则说明在目标图像中看不到该模型当前顶点，因而使用模型的低模贴图获取颜色信息。将
每个片元的颜色信息作为fs的输出项，保存到图片，即可得到最终的模型贴图。
91.最后，在步骤s240，基于确定的点的颜色生成第一对象的模型的贴图。根据第一对象的模型上的一个或多个点的颜色可以生成应用于该第一对象的模型上的贴图。
92.此外，如图4所示，步骤s230具体还可以包括以下步骤：
93.步骤s410，根据该点相对于第一位置的方向，对目标图像进行采样以获取采样颜色，将所获取的采样颜色作为该点的颜色；
94.步骤s420，对低模贴图中与该点对应的位置进行采样以获取采样颜色，将所获取的采样颜色作为该点的颜色。
95.具体地，针对第一对象的模型上的一个或多个点，可以确定点到第一位置的距离是否大于对应的深度。当点到第一位置的距离不大于(即，小于等于)对应的深度时，根据本公开的实施例，在s410处，可以根据该点相对于第一位置的方向，对目标图像进行采样以获取采样颜色，将所获取的采样颜色作为该点的颜色。在一个示例中，由于要生成贴图的点的像素大小与捕获的目标图像的同一方向上的像素大小可能不一致、要生成贴图的点的像素大小与捕获的目标图像上同一方向上的像素不完全重叠等原因，可以对目标图像进行采样以获取采样颜色，从而使得使用采样颜色生成的贴图可以与真实的三维空间相符合。在一个示例中，采样可以包括内插(即，下采样)、外推(即，上采样)等采样方式。
96.如前所述，默认的贴图可以包含低模贴图。当点到第一位置的距离大于对应的深度，根据本公开的实施例，在s420处，在默认的贴图包含低模贴图的情况下，可以对低模贴图中与该点对应的位置进行采样以获取采样颜色，将所获取的采样颜色作为该点的颜色。默认的贴图的采样方式可以参照目标图像的采样方式，也可以与之不同。
97.图5示出了根据本公开第一实施例生成的三维空间模型和目标对象模型以及模型的贴图的示意图。如图5所示，其中诸如茶几、沙发等家具都具有立体的显示效果，相较于图1提供了更加真实、直观的视觉体验。
98.因此，根据本公开第一实施例的图像处理方法，针对三维空间和三维空间中的目标对象，生成具有默认贴图的三维空间模型及目标对象模型，并且获取在三维空间中的一个位置处捕获的目标图像和深度图，进而针对模型的每个点，基于模型上的点到该位置的距离以及从深度图中确定的对应的深度，确定使用默认贴图还是目标图像的颜色信息来生成模型的贴图。这样，生成的模型以及模型的贴图可以向用户提供更好的立体显示效果，进而给用户直观的视觉体验。
99.《第二实施例》
100.图6示出了根据本公开第二实施例的图像处理方法。如图6所示，该方法包括以下步骤：
101.步骤s210，获取描述三维空间和该三维空间中的目标对象的数据，基于该数据生成三维空间模型及目标对象模型，其中，目标对象模型位于三维空间模型中的预设位置处，且第一对象的模型具有默认的贴图，所述第一对象包括所述三维空间和/或所述目标对象；
102.步骤s220，获取在三维空间中的第一位置处捕获的与第一对象有关的一个或多个目标图像和深度图；
103.步骤s230，针对第一对象的模型上的一个或多个点，根据该点到第一位置的距离以及从深度图中确定的与该点对应的深度，确定使用从默认的贴图获取的颜色或从目标图
像获取的颜色作为该点的颜色；
104.步骤s240，基于确定的点的颜色生成第一对象的模型的贴图；
105.步骤s610，对所生成的第一对象的模型的贴图进行压缩处理以生成压缩的贴图；以及
106.步骤s620，对三维空间模型、目标对象模型以及压缩的贴图执行预定处理以生成具有预定格式的资源；以及将该资源存储在非易失性计算机可读存储介质中。
107.由于步骤s210-s240与根据本公开第一实施例的图像处理方法基本相同，在此省略其详细描述。
108.此外，根据本公开的第二实施例，在生成第一对象的模型的贴图之后，在步骤610，可以对所生成的第一对象的模型的贴图进行压缩处理以生成压缩的贴图。压缩后的贴图相较于压缩之前的贴图可以使用更小的存储空间以及更小的传输网络带宽。
109.然后，在步骤s620，可以对三维空间模型、目标对象模型以及压缩的贴图执行预定处理以生成具有预定格式的资源；以及将该资源存储在非易失性计算机可读存储介质中。具有预定格式的资源一方面可以使用更小的存储空间以及网络传输带宽，另一方面可以便于处理设备对文件内容(即，模型和贴图)，进行更快速的渲染，从而快速地为用户提供想要浏览的三维空间和/或目标对象。此外，相较于未被处理的模型和贴图，经过处理后的具有预定格式的资源降低了对处理器(例如，gpu)的性能需求，因此可以在用户使用性能相对较低的设备时其同样可以浏览三维空间和目标对象。
110.在一些示例中，可以对三维空间模型、目标对象模型进行处理以生成fbx格式的文件，并将该fbx格式的文件与贴图一起转换为gltf格式文件。在一些示例中，三维空间模型、目标对象模型以及压缩的贴图也可以被处理成其他可以被快速渲染和/或便于存储的文件格式。
111.应当注意的是，在一些情况下，本公开所述的方法可以单独地实施步骤s610或步骤s620，也可以实施步骤s610和步骤s620两者。
112.因此，根据本公开第二实施例的图像处理方法，一方面通过压缩以及生成较小的资源包，可以减小存储空间和传输带宽，以提高前端设备的展示效率；另一方面通过生成具有预定格式的资源，可以降低对处理器的性能要求，从而使低端的设备也可以用于浏览三维空间和目标对象。
113.《第三实施例》
114.图7是根据本公开第三实施例的图像处理方法的流程图。在图7所示的方法的示例中，如前所述，由于三维空间模型中的一个或者多个目标对象模型可以被并入三维空间模型中，因此待处理的可能仅为一个三维空间模型中。此外，在一些情况下，还存在一些三维空间模型，其具有不规则的结构。例如，三维空间的俯视图具有“凸”字型结构，则当捕获图像和深度图的第一位置位于其角落时，所获取与三维空间有关的信息可能并不完整。因此，图7所示的方法可以适用于仅存在三维空间模型时的情况。
115.根据本公开的实施例，在步骤s710，获取描述三维空间的数据，基于该数据生成三维空间模型，其中，三维空间模型具有默认的贴图。
116.在步骤s720，获取在三维空间中的第一位置处捕获的与三维空间有关的一个或多个目标图像和深度图。
117.在步骤s730，针对三维空间模型上的一个或多个点，根据该点到第一位置的距离以及从深度图中确定的与该点对应的深度，确定使用从默认的贴图获取的颜色或从目标图像获取的颜色作为该点的颜色。
118.在步骤s740，基于确定的该点的颜色生成三维空间模型的贴图。
119.图7所示的第二实施例的图像处理的方法与第一实施例的图像处理方法基于相同的发明构思，因此关于第二实施例的图像处理方法的一些具体细节可以参考第一实施例，对于相同的内容不再赘述。
120.因此，根据本公开第三实施例的图像处理方法，针对三维空间，生成具有默认贴图的三维空间模型，并且获取在三维空间中的一个位置处捕获的目标图像和深度图，进而针对模型的每个点，基于模型上的点到该位置的距离以及从深度图中确定的对应的深度，确定使用默认贴图还是目标图像的颜色信息来生成模型的贴图。这样，生成的模型以及模型的贴图可以向用户提供更好的立体显示效果，进而给用户直观的视觉体验。
121.在一些情况下，本公开第三实施例的图像处理方法还可以进一步采用诸如图6所示的第二实施例的图像处理方法中的部分方法，例如对所生成的三维空间模型的贴图进行压缩处理以生成压缩的贴图；对三维空间模型以及压缩的贴图执行预定处理以生成具有预定格式的资源，以及将该资源存储在非易失性计算机可读存储介质中。
122.因此，根据本公开第三实施例的图像处理方法，在结合公开第二实施例的部分图像处理方法的情况下，针对三维空间还可以一方面通过压缩以及生成较小的资源包来减小存储空间和传输带宽，以提高前端设备的展示效率；另一方面通过生成具有预定格式的资源来降低对处理器的性能要求，从而使低端的设备也可以用于浏览三维空间。
123.《第四实施例》
124.本公开除了提供上述图像处理方法，还提供了图像处理装置，接下来将结合图8对此进行详细描述。
125.图8示出了根据本公开第四实施例的图像处理装置800的框图。如图8所示，本公开所述的图像处理装置800可以包括：数据获取及模型生成单元810、目标图像及深度图获取单元820、颜色确定单元830以及贴图生成单元840。
126.根据本公开的实施例，数据获取及模型生成单元810可以被配置为获取描述三维空间和三维空间中的目标对象的数据，基于数据生成三维空间模型及目标对象模型，其中，目标对象模型位于三维空间模型中的预设位置处，且第一对象的模型具有默认的贴图，所述第一对象包括所述三维空间和/或所述目标对象。
127.在一个示例中，目标对象模型可以包括多个目标对象模型，数据获取及模型生成单元810还可以包括模型合并模块，该模型合并模块可以被配置为：针对多个目标对象模型，将其中两个或更多个目标对象模型合并以生成单个目标对象模型。
128.根据本公开的实施例，目标图像及深度图获取单元820可以被配置为获取在三维空间中的第一位置处捕获的与第一对象有关的一个或多个目标图像和深度图。
129.根据本公开的实施例，颜色确定单元830可以被配置为针对第一对象的模型上的一个或多个点，根据该点到第一位置的距离以及从深度图中确定的与该点对应的深度，确定使用从默认的贴图获取的颜色或从目标图像获取的颜色作为该点的颜色。
130.在一个示例中，颜色确定单元830还可以被配置为确定点到第一位置的距离是否
大于与该点对应的深度；当该距离大于对应的深度时，使用从默认的贴图获取的颜色作为该点的颜色；当该距离小于等于对应的深度时，使用从目标图像获取的颜色作为该点的颜色。
131.在一个示例中，对应的深度可以是基于所述点相对于所述第一位置的方向确定的。
132.根据本公开的实施例，贴图生成单元840可以被配置为基于确定的点的颜色生成第一对象的模型的贴图。
133.在一个示例中，第一对象的模型上的点可以是所述三维空间模型和/或所述目标对象模型的顶点。
134.图9示出了根据本公开第四实施例的图像处理装置800中的颜色确定单元830的框图。
135.如图9所示，根据本公开的实施例，颜色确定单元830还可以包括目标图像采样模块910，目标图像采样模块910可以被配置为根据点相对于第一位置的方向，对目标图像进行采样以获取采样颜色；颜色确定单元830还可以被配置为将所获取的采样颜色作为所述点的颜色。
136.根据本公开的实施例，默认的贴图可以包含低模贴图，颜色确定单元830还可以包括贴图采样模块920，贴图采样模块920可以被配置为对低模贴图中与点对应的位置进行采样以获取采样颜色；颜色确定单元830还可以被配置为将所获取的采样颜色作为所述点的颜色。
137.根据本公开第四实施例的图像处理装置800，针对三维空间和三维空间中的目标对象，生成具有默认贴图的三维空间模型及目标对象模型，并且获取在三维空间中的一个位置处捕获的目标图像和深度图，进而针对模型的每个点，基于模型上的点到该位置的距离以及从深度图中确定的对应的深度，确定使用默认贴图还是目标图像的颜色信息来生成模型的贴图。这样，生成的模型以及模型的贴图可以向用户提供更好的立体显示效果，进而给用户直观的视觉体验。
138.《第五实施例》
139.图10示出了根据本公开第五实施例的图像处理装置1000的框图。如图10所示，本公开所述的图像处理装置100可以包括：数据获取及模型生成单元810、目标图像及深度图获取单元820、颜色确定单元830、贴图生成单元840、压缩单元1010以及处理单元1020，其中颜色确定单元830还可以包括目标图像采样模块910和贴图采样模块920。由于图10中的部分组件与图8、图9中的组件一致，因此以相同的参考标记对相同的组件进行标记并且不在图10中赘述。
140.如图10所示，根据本公开的实施例，贴图压缩单元1010，贴图压缩单元1010可以被配置为对所生成的第一对象的模型的贴图进行压缩处理以生成压缩的贴图。
141.此外，处理单元1020可以被配置为：对三维空间模型、目标对象模型以及压缩的贴图执行预定处理以生成具有预定格式的资源；以及将该资源存储在非易失性计算机可读存储介质中。
142.关于图8至图10所示的图像装置的一些具体细节还可以参考前述的图像处理方法的内容。
143.根据本公开第五实施例的图像处理装置，一方面通过压缩以及生成较小的资源包，可以减小存储空间和传输带宽，以提高前端设备的展示效率；另一方面通过生成具有预定格式的资源，可以降低对处理器的性能要求，从而使低端的设备也可以用于浏览三维空间和目标对象。
144.图11示出了根据本公开一些实施例的电子设备的框图。
145.参见图11，电子设备1100可以包括处理器1110和存储器1120。处理器1110和存储器1120都可以通过总线1130相连。电子设备1100可以是任何类型的便携式设备(如智能相机、智能手机、平板电脑等)也可以是任何类型的固定设备(如台式计算机、服务器等)。
146.处理器1110可以根据存储在存储器1120中的程序执行各种动作和处理。具体地，处理器1110可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是x86架构或arm架构的。
147.存储器1120存储有计算机可执行指令，在计算机可执行指令被处理器1110执行时实现上述各个实施例中的图像处理方法。存储器1120可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)、双倍数据速率同步动态随机存取存储器ddrsdram)、增强型同步动态随机存取存储器(esdram)、同步连接动态随机存取存储器(sldram)和直接内存总线随机存取存储器(dr ram)。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
148.此外，根据本公开的图像处理方法可被记录在计算机可读存储介质中。具体地，根据本公开，可提供一种存储有计算机可执行指令的计算机可读存储介质，当所述计算机可执行指令被处理器执行时，可促使处理器执行如上所述的图像处理方法。
149.需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
150.一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其它方面可以在可以由控制器、微处理器或其它计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为
框图、流程图或使用某些其它图像表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其它计算设备，或其某些组合中实施。
151.除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
152.以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。