阴影估计方法、装置、电子设备和可读存储介质与流程

1.本技术属于人工智能技术领域，具体涉及一种阴影估计方法、装置、电子设备和可读存储介质。


背景技术：

2.随着科技水平的发展，增强现实(augmented reality，ar)的应用越来越广泛。
3.ar是在ar空间中渲染虚拟对象的技术。其中，对虚拟对象的阴影渲染是衡量虚拟对象的渲染真实性的重要标准之一。然而，相关技术中还没有获取虚拟对象的阴影参数的具体方案，从而导致无法准确在ar空间中渲染虚拟对象的阴影。如此，如何获取虚拟对象的阴影参数是亟待解决的问题。


技术实现要素：

4.本技术实施例的目的是提供一种阴影估计方法、装置、电子设备和可读存储介质，能够获取虚拟对象的阴影参数。
5.第一方面，本技术实施例提供了一种阴影估计方法，该方法包括：获取目标虚拟空间对应的第一虚拟图像；且以第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染，以获取目标虚拟空间对应的第一映射图像；确定第一映射图像的材质估计图像，该材质估计图像用于指示第一映射图像中对象的材质反射率；以及基于材质估计图像，估计目标虚拟对象的阴影参数。
6.第二方面，本技术实施例提供了一种阴影估计装置，该装置包括：获取模块和处理模块。获取模块，用于获取目标虚拟空间对应的第一虚拟图像；处理模块，用于以获取模块获取的第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染；获取模块，还用于在处理模块对目标虚拟对象进行一次渲染后，获取目标虚拟空间对应的第一映射图像；处理模块，还用于估计获取模块获取的第一映射图像的材质估计图像，该材质估计图像用于指示第一映射图像中对象的材质反射率；处理模块，还用于基于材质估计图像，估计目标虚拟对象的阴影参数。
7.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
8.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
9.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
10.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
11.在本技术实施例中，获取目标虚拟空间对应的第一虚拟图像；且以第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染，以获取目标虚拟空间对应的第一映射图像；确定第一映射图像的材质估计图像，该材质估计图像用于指示第一映射图像中对象的材质反射率；基于材质估计图像，估计所述目标虚拟对象的阴影参数。通过该方案，由于以目标虚拟空间对应的第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染后，可以获取到包括第一虚拟图像和目标虚拟对象的第一映射图像，因此使得将第一映射图像输入材质估计模型后输出的材质估计图像可以反映目标虚拟对象的材质反射率以及第一虚拟图像中对象的材质反射率，从而可以确保能够基于该材质估计图像准确估计出目标虚拟对象的阴影参数。
附图说明
12.图1是本技术实施例提供的阴影估计方法的流程示意图之一；
13.图2是本技术实施例提供的阴影估计方法中的通用材质估计模型的结构示意图；
14.图3是本技术实施例提供的阴影估计方法的流程示意图之二；
15.图4是基于本技术实施例提供的阴影估计方法，在ar空间中渲染虚拟物体渲染过程示意图；
16.图5是基于本技术实施例提供的阴影估计装置的结构示意图；
17.图6是基于本技术实施例提供的电子设备的结构示意图之一；
18.图7是基于本技术实施例提供的电子设备的结构示意图之二。
具体实施方式
19.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
20.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
21.以下将对本技术实施例提供的技术方案中所涉及的技术术语进行解释说明。
22.增强现实ar：增强现实技术也被称为扩增现实，是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。
23.硬阴影：ar场景中虚拟对象边缘锐利的阴影，一般是虚拟对象在强光下呈现的阴影效果。
24.软阴影：相对硬阴影而言，软阴影为ar场景中虚拟对象的边缘较为模糊的阴影，一般是虚拟对象在较为柔和的光照条件下呈现的阴影效果。
25.自阴影：虚拟物体由于自身材质的反射属性而引起的自身阴影渲染效果。
26.反射率(albedo)：材质本质属性，物理含义为材质反射的辐射能量(例如光能)占总辐射能量的百分比，称为反射率。
27.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的阴影估计方法、装置、电子设备和可读存储介质进行详细地说明。
28.当前，如何在真实的场景中渲染逼真的虚拟数字物体是增强现实一直要克服的难题，除了更逼真的建模之外，业界的主要方案是通过神经网络模型的方式，实时预测光照参数；并将该光照参数提供给渲染器，来实现虚拟数字物体更加真实的渲染效果。然而阴影是虚拟数字物体渲染逼真与否的另一个重点，相关技术中并未很好的解决这个问题，具体而言，相关技术中并没有给出如何确定虚拟数字物体的阴影的具体方案。
29.本技术实施例的目的在于提供一种阴影估计方法。对于需要在虚拟空间中渲染的虚拟对象，可以先在虚拟空间中对其进行无阴影地渲染(为了便于描述，以下称为第一次渲染)，然后再获取该虚拟空间对应的第一映射图像，并估计该第一映射图像的材质估计图。由于第一映射图像中包括该虚拟对象，因此使得该材质估计图能够反映虚拟对象的材质反射率。从而使得可以基于该材质估计图，估计目标虚拟对象的阴影参数。
30.第一次渲染过程为：根据设备的相机采集模块提供的时序图像(即预览图像，也即虚拟空间对应的虚拟图像)，在虚拟空间中第一次渲染虚拟对象，此时渲染方式无任何阴影参数，渲染结果为包含虚拟物体的场景图像1(例如ar场景图像)，对场景图像1预处理，得到第一映射图像。
31.从而，可以将第一映射图像输入通用材质估计模型，输出与第一映射图像对应的材质估计图像。
32.在完成第一次渲染后，设备可以基于材质估计图像、估计的虚拟空间的主光源强度系数以及第一映射图像中的虚拟对象对应的第一掩膜图像，估计是否需要对该虚拟对象渲染自阴影。
33.进一步地，当需要估计虚拟对象的阴影类型或阴影强度时，设备可以基于估计的虚拟空间的主光源方向和虚拟对象的空间信息(该空间信息可以指示：虚拟对象的形状、体积以及在目标虚拟空间中的位置三维轮廓信息)，在虚拟空间中渲染虚拟对象的初始阴影(具体为硬阴影)，渲染结果为包含虚拟物体的初始阴影(硬阴影)的场景图像2；然后从场景图像2中分割出初始阴影对应的第二掩膜图像。
34.在完成第二次渲染后，设备可以结合第二掩膜图像、估计材质图，估计出虚拟对象的阴影类型；和/或，基于估计的虚拟空间的主光源强度系数、材质估计图像和第二掩膜图像，估计虚拟对象的阴影强度，阴影强度包括软阴影或硬阴影。
35.可以理解，虚拟对象的阴影参数包括以下至少之一：是否需要对虚拟对象渲染自阴影、虚拟对象的阴影类型、虚拟对象的阴影强度。
36.在获取到虚拟对象的阴影参数后，可以将该阴影参数作为渲染器的第三次渲染输入的一步分，以实现逼真阴影的虚拟对象渲染效果。
37.本技术实施例提供一种阴影估计方法，图1示出了本技术实施例提供的一种阴影
估计方法的流程图，该方法以电子设备为执行主体为例。如图1所示，本技术实施例提供的阴影估计方法可以包括下述的步骤101至步骤104。
38.步骤101、电子设备获取目标虚拟空间对应的第一虚拟图像。
39.可选地，目标虚拟空间可以是基于电子设备所处环境的三维空间创建的。
40.在使用电子设备的过程中，电子设备可以将目标虚拟空间与电子设备所处环境叠加，以形成增强现实空间。即呈现虚拟空间与电子设备所处环境叠加的显示效果。
41.本技术实施例中，第一虚拟图像为电子设备的摄像头实时采集的电子设备所处环境的图像。
42.可选地，第一虚拟图像可以为基于深度摄像头实时采集的深度图像，或者可以为电子设备基于多个摄像头实时采集的图像合成得到的图像。如此可以实现在虚拟空间中对虚拟对象渲染逼真的实时阴影效果。
43.可以看出，第一虚拟图像反映电子设备所处的真实环境。
44.可选地，在电子设备通过摄像头采集到真实环境的图像后，可以对采集到的图像执行预处理操作。具体的，该预处理操作可以包括：裁剪、基于电子设备的屏幕方向的旋转、重新设置图像大小和图像格式变换。
45.步骤102、电子设备以第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染，以获取目标虚拟空间对应的第一映射图像。
46.本技术实施例中，电子设备可以实时采集的电子设备所处的真实环境的图像(即第一虚拟图像)为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染，该渲染过程不涉及任何的阴影效果，仅为了将目标虚拟对象渲染在目标虚拟空间中。该渲染过程也可以认为是将第一虚拟图像与目标虚拟对象进行合成，得到一个ar场景图像(以下称为ar场景图像1)，即虚实结合图像，也可以称为渲染图像。然后，电子设备可以将该ar场景图像1进行映射处理，以得到第一映射图像。
47.其中，电子设备可以沿电子设备的用户的视线方向，对该ar场景图像1进行映射处理，以得到第一映射图像。
48.可以看出，第一映射图像中包括目标虚拟对象和第一虚拟图像，具体为映射后的目标虚拟对象和映射后的第一虚拟图像。
49.本技术实施例中，第一映射图像为二维图像。
50.可选地，第一映射图像为红(red，r)绿(green，g)蓝(blue，b)图像。
51.可选地，电子设备可以将第一虚拟图像、目标虚拟对象和目标虚拟空间的空间信息输入渲染模型中进行渲染，并通过渲染模型输出上述ar场景图像1。
52.步骤103、电子设备估计第一映射图的材质估计图像。
53.其中，上述材质估计图像可以用于指示第一映射图像中对象的材质反射率。
54.可以理解，“图像中对象的材质反射率”可以理解为：图像中的对象的材质的反射率。
55.本技术实施例中，材质估计图像可以指示第一映射图像中每个像素的材质反射率。
56.本技术实施例中，由于第一映射图像中包括目标虚拟对象和第一虚拟图像，因此材质估计图像可以指示目标虚拟对象的材质反射率和第一虚拟图像中每个对象的材质反
射率。
57.本技术实施例中，材质估计图像为单通道图像。
58.可选地，电子设备可以通过通用材质估计模型，估计第一映射图像的材质估计图。
59.具体的，电子设备可以将第一映射图像输入通用材质估计模型中，输出第一映射图像的材质估计模型。
60.可选地，电子设备可以将第一映射图像的图像rgb向量输入通用材质估计模型，输出单通道的材质估计数据(即材质估计图像)。
61.例如，假设第一映射图像是为572*572*3的图像，那么电子设备可以将第一映射图像的rgb向量输入通用材质估计模型，并输出向量484*484*1(即材质估计数据)，输出的向量表达的是第一映射图像中每个对象的反射率。可以看出，第一映射图像是尺寸为572*572的3通道图像，材质估计图像是尺寸为484*484的单通道图像。
62.本技术实施例提供一种能够估计包括虚拟对象的材质的通用材质估计模型，该通用材质估计模型的输出是能够反映输入图像中各对象(包括虚拟对象)的材质反射率的完整材质估计图像。
63.可选地，通用材质估计模型可以是基于训练数据集，对神经网络训练得到的模型。
64.其中，训练数据集包括：训练图像集和训练图像集的材质图像集，训练图像集中的材质反射率集中包括训练图像集中的每个训练图像的材质图像，各训练图像的材质图像可以指示各训练图像中各像素的反射率。
65.训练图像的材质图像可以目标设备获取，目标设备是可以采集不同材质的图像的真实反射属性(ground truth)的设备。
66.可选地，如图2所示，通用材质估计模型可以包括7个网络模块，依次为第一卷积模块21、第二卷积模块22、第三卷积模块23、第四卷积模块24、第一反卷积模块25、第二反卷积模块26和第三反卷积模块27。
67.示例性地，以图2所示的通用材质估计模型，估计初始图像的材质估计图的过程进行说明。具体的，对于一个初始输入图像，该输入图像先依次经过第一卷积模块21、第二卷积模块22、第三卷积模块23和第四卷积模块24进行卷积处理。然后，第一反卷积模块25基于第三卷积模块23的输出图像，对第四卷积模块的输出图像进行反卷积处理；第二反卷积模块26基于第二卷积模块22的输出图像，对第一反卷积模块的输出图像继续进行反卷积处理；第三反卷积模块27基于第一卷积模块21的输出图像，对第二反卷积模块的输出图像继续进行反卷积处理，并输出初始输入图像的材质估计图。图2中的双点划线表示复制操作，图2中的28、29和30所示的图像分别为第三卷积模块23、第二卷积模块22和第一卷积模块21的输出图像的复制图像。
68.当然，上述材质估计模型还可以包括损失函数，如l2 loss函数。
69.对于训练通用材质估计模型，以及损失函数的用途的描述，参见相关技术中的相关描述。
70.步骤104、电子设备基于材质估计图像，估计目标虚拟对象的阴影参数。
71.可选地，目标虚拟对象的阴影参数可以包括以下至少之一：第一参数、阴影类型、阴影强度。
72.其中，所述第一参数可以用于指示目标虚拟对象是否需求渲染自阴影，该阴影类
型包括软阴影或硬阴影。
73.如此，由于可以估计到目标虚拟对象的第一参数、阴影类型和阴影强度中的至少一项，因此可以提高估计目标虚拟对象阴影参数的灵活性。
74.对于自阴影、软阴影、硬阴影的描述具体参见上是名词解释部分的相关描述。
75.在本技术实施例提供的阴影估计装置中，由于以目标虚拟空间对应的第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染后，可以获取到包括第一虚拟图像和目标虚拟对象的第一映射图像，因此使得将第一映射图像输入材质估计模型后输出的材质估计图像可以反映目标虚拟对象的材质反射率以及第一虚拟图像中对象的材质反射率，从而可以确保能够基于该材质估计图像准确估计出目标虚拟对象的阴影参数。
76.下面结合3种方式对本技术实施例提供的阴影估计方法进行详细描述。
77.可选地，方式1，假设目标虚拟对象的阴影参数包括第一参数，那么电子设备基于材质估计图像，估计目标虚拟对象的阴影参数，可以包括下述的步骤a。
78.步骤a、电子设备基于材质估计图像、目标主光源强度系数以及第一映射图像中的目标虚拟对象对应的第一掩膜图像，估计目标虚拟对象的第一参数。
79.其中，目标主光源强度系数为电子设备估计的目标虚拟空间的主光源强度系数。
80.本技术实施例中，电子设备在得到第一映射图像之后，基于第一映射图像，获取第一映射图像中的目标虚拟对象的第一掩膜图像。
81.本技术实施例中，第一掩膜图像中与第一映射图像中的目标虚拟对象对应的图像区域的像素值为固定值，例如1该图像区域可以称为非零区域；第一掩膜图像中除该图像区域外的其他区域的像素值为0。
82.本技术实施例中，目标主光源强度系数具体可以指示电子设备所处环境的主光源强度。对于电子设备估计目标主光源强度系数的方法参见相关技术，本技术不作限定。
83.如此，由于电子设备可以基于材质估计图像、目标主光源强度系数以及第一掩膜图像，估计目标虚拟对象的第一参数，因此使得电子设备获知是否需要在以第一虚拟图像为背景的目标虚拟空间中为目标虚拟对象渲染自阴影，从而可以提高目标虚拟对象的渲染效果。
84.可选地，上述步骤a具体可以通过下述的步骤a1至步骤a3实现。
85.步骤a1、电子设备基于目标主光源强度系数和材质估计图像，确定目标虚拟空间对应的临时光源反射强度图像。
86.具体的，电子设备可以将目标主光源强度系数与材质估计图像中的每个像素的像素值相乘，以得到目标虚拟空间对应的临时光源反射强度图像。临时光源反射强度图像指示目标虚拟空间对主光源的反射强度。
87.步骤a2、电子设备基于第一掩膜图像，确定临时光源反射强度图像中与所述目标虚拟对象对应的第一图像区域。
88.具体的，电子设备可以对临时光源反射强度图像和第一掩膜图像逐像素进行与操作(即相乘)，并将临时光源反射强度图像像素值非零的像素图像区域确定为第一图像区域。可以理解，对临时光源反射强度图像和第一掩膜图像逐像素进行与操作的目的是：保留临时光源反射强度图像中与第一掩膜图像的非零区域对应的图像区域。
89.步骤a3、电子设备基于第一图像区域的平均像素值和第一像素阈值，确定第一参
数。
90.具体的，电子设备可以将第一图像区域的平均像素值与第一像素阈值进行比较。若第一图像区域的平均像素值大于第一像素阈值，则电子设备确定第一参数指示目标虚拟对象需求渲染自阴影，否则电子设备确定第一参数指示目标虚拟对象不渲染自阴影。
91.本技术实施例中，第一图像区域的平均像素值具体可以为：第一图像区域的所有像素的像素值之和除以第一图像区域中的像素个数。
92.第一像素阈值可以根据实际使用需求设定，本技术实施例不限定。
93.如此，由于第一图像区域为目标虚拟对象的临时光源反射强度图，因此若第一图像区域的平均像素值大于第一像素阈值，则表示目标虚拟对象的反射率较大，否则表示目标虚拟对象的反射率较小。如此基于第一图像区域的平均像素值和第一像素阈值，可以准确确定出目标虚拟对象是否需求渲染自阴影。
94.可选地，方式2，假设目标虚拟对象的阴影参数包括目标虚拟对象的阴影类型，那么在上述步骤104之前，本技术实施例提供的阴影估计方法还可以包括下述的步骤105。并且电子设备基于材质估计图像，估计目标虚拟对象的阴影参数可以包括下述的步骤b。
95.步骤105、电子设备基于目标主光源方向和目标虚拟对象的空间信息，在目标虚拟空间中渲染目标虚拟对象的初始阴影，以获取目标虚拟空间对应的第二映射图像。
96.其中，目标主光源方向为电子设备估计的目标虚拟空间的主光源方向，目标主光源方向可以指示电子设备所处环境中的主光源的方向。对于电子设备估计目标主光源方向的方法参见相关技术，本技术不作限定。
97.可选地，目标虚拟对象的初始阴影具体为目标虚拟对象的硬阴影。
98.本技术实施例中，电子设备可以将目标虚拟对象的空间信息、目标虚拟空间的空间信息以及目标主光源方向输入渲染模型中，以通过渲染模型在目标虚拟空间中渲染目标虚拟对象的初始阴影，并通过渲染模型输出一个ar场景图像(以下称为ar场景图像2)。然后，电子设备可以对该ar场景图像2进行映射处理，以得到第二映射图像。
99.其中，电子设备可以沿电子设备的用户的视线方向，对该ar场景图像2进行映射处理，以得到第二映射图像。
100.可以看出，第二映射图像中包括目标虚拟对象，具体为映射后的目标虚拟对象。
101.本技术实施例中，第二映射图像为二维图像。
102.本技术实施例中，目标虚拟对象的空间信息可以指示：目标虚拟对象的形状、体积以及在目标虚拟空间中的位置。
103.步骤b、电子设备基于材质估计图像和第二映射图像中的初始阴影对应的第二掩膜图像，估计阴影类型。
104.本技术实施例中，电子设备在得到第二映射图像之后，基于第二映射图像，获取第二映射图像中的初始阴影对应的第二掩膜图像。
105.本技术实施例中，第二掩膜图像中与第二映射图像中的初始阴影对应的图像区域的像素值为固定值，例如1，第二掩膜图像中除该图像区域外的其他区域的像素值为0。
106.如此，由于目标主光源方向可以指示电子设备所处环境的主光源的方向，从而基于目标主光源方向和目标虚拟对象的空间信息可以准确地在目标虚拟空间中渲染出目标虚拟对象的初始阴影，因此材质估计图像和初始阴影对应的掩膜图像，可以准确确定出目
标虚拟对象的阴影类型。
107.可选地，上述步骤b具体可以通过下述的步骤b1和步骤b2实现。
108.步骤b1、电子设备基于第二掩膜图像，确定材质估计图像中与初始阴影对应的第二图像区域。
109.具体的，电子设备可以对材质估计图像和第二掩膜图像逐像素进行与操作(即相乘)，并与操作后的图像中像素值非零的像素图像区域确定为第一图像区域。可以理解，对材质估计图像和第二掩膜图像逐像素进行与操作的目的是：保留材质估计图像中与第二掩膜图像的非零区域对应的图像区域。
110.步骤b2、电子设备基于第二图像区域的平均像素值和第二像素阈值，确定所述阴影类型。
111.具体的，电子设备可以将第二图像区域的平均像素值与第二像素阈值进行比较。若第二图像区域的平均像素值大于第二像素阈值，则电子设备确定目标虚拟对象的阴影类型为硬阴影，否则确定目标虚拟对象的阴影类型为软阴影。
112.第二像素阈值与第一像素阈值可以相同，也可以不同，具体可以根据实际使用需求确定。
113.本技术实施例中，假设目标虚拟对象的初始阴影渲染在目标虚拟空间的空间1，那么：第二图像区域可以指示渲染初始阴影前，空间1处的对象的材质反射率。第二图像区域的平均像素值大于第二像素阈值，表示渲染初始阴影前前空间1处的对象的材质反射率较大，从而目标虚拟对象遮挡照射在空间1的光线后，对空间1对象的材质反射率影响较大；否则渲染初始阴影前前空间1处的对象的材质反射率较小，从而目标虚拟对象遮挡照射在空间1的光线后，对空间1对象的材质反射率也较小。
114.如此，由于第二图像区域与初始阴影相对应，从而第二图像区域可以指示渲染目标虚拟对象的阴影前，目标虚拟空间中与该初始阴影对应空间的对象的材质反射率，因此若第二图像区域的平均像素值大于第二像素阈值，则表示目标虚拟对象的阴影对用于渲染该初始阴影的区域的反射率的影响较大，否则表示目标虚拟对象的阴影对用于渲染该初始阴影的区域的反射率的影响较小。如此基于第二图像区域的平均像素值和第二像素阈值，可以准确确定出目标虚拟对象的阴影类型。
115.可选地，方式3，假设目标虚拟对象的阴影参数包括目标虚拟对象的阴影类型，那么在上述步骤104之前，本技术实施例提供的阴影估计方法还可以包括下述的步骤106。电子设备基于材质估计图像，估计目标虚拟对象的阴影参数可以包括下述的步骤c。
116.步骤106、电子设备基于目标主光源方向和目标虚拟对象的空间信息，在目标虚拟空间中渲染目标虚拟对象的初始阴影，以获取目标虚拟空间对应的第二映射图像。
117.对于步骤106的描述具体可以参见上述步骤105中的相关描述，为了避免重复，此处不再赘述。
118.步骤c、电子设备基于目标主光源强度系数、材质估计图像和第二映射图像中的初始阴影对应的第二掩膜图像，估计阴影强度。
119.其中，目标主光源方向为电子设备估计的目标虚拟空间的主光源方向，目标主光源强度系数为电子设备估计的目标虚拟空间的主光源强度系数。
120.需要说明的是，电子设备可以基于光照估计算法，估计目标主光源方向和目标主
光源强度系数。
121.对于目标主光源方向和目标主光源强度系数的其他描述，具体可以参见上述实施例中的相关描述。
122.如此，由于目标主光源方向可以指示电子设备所处环境的主光源的方向，从而基于目标主光源方向和目标虚拟对象的空间信息可以准确地在目标虚拟空间中渲染出目标虚拟对象的初始阴影，进一步地因目标主光源强度系数可以指示电子设备所处环境的主光源的强度，因此结合目标主光源强度系数、材质估计图像和初始阴影对应的掩膜图像，可以准确确定出目标虚拟对象的阴影强度。
123.可选地，上述步骤c具体可以通过下述的步骤c1和步骤c2实现。
124.步骤c1、电子设备基于第二掩膜图像，确定材质估计图像中阴影所在的第二图像区域。
125.对于步骤c1的具体描述，可以参见上述实施例中对步骤b1的相关描述。
126.步骤c2、电子设备基于目标主光源强度系数和第二图像区域的平均像素值，确定阴影强度。
127.具体的，电子设备可以将第二图像区域的平均像素值与目标主光源强度系数的乘积，作为目标虚拟对象的阴影强度。
128.需要说明的是，电子设备还可以将目标主光源强度系数与第二图像区域的像素平方根的乘积，作为目标虚拟对象的阴影强度。
129.如此，由于第二图像区域与初始阴影相对应，从而第二图像区域可以指示渲染目标虚拟对象的阴影前，目标虚拟空间中与该初始阴影对应空间的对象的材质反射率，因此根据目标主光源强度系数和第二图像区域的平均像素值可以准确确定出目标虚拟对象的阴影强度。
130.需要说明的是，上述方式1～3是以阴影参数分别包括：第一参数、阴影强度和阴影类型为例进行示意的。实际实现中，当阴影参数同时包括阴影强度和阴影类型时，上述步骤105和步骤106相同，即仅获取一次第二映射图像。
131.可选地，在上述步骤104之后，本技术实施例提供的阴影估计方法还可以包括下述的步骤107。
132.步骤107、电子设备基于目标虚拟对象的阴影参数，以第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行二次渲染，以显示目标虚拟空间的空间场景。
133.可选地，电子设备可以将目标虚拟对象的阴影参数、光照参数(例如目标主光源方向和目标主光源强度系数)、目标虚拟对象、目标虚拟空间的空间信息和第一虚拟图像作为渲染器的输入，以通过渲染器在目标虚拟空间中对目标虚拟对象进行二次渲染，以显示经渲染器渲染的目标虚拟空间的空间场景。
134.具体的，渲染器可以在设置主光源的属性参数中应用阴影强度、阴影类型和是否渲染自阴影(即第一参数)等参数。具体的，阴影强度影响阴影渲染结果的整体亮暗效果，基于不同的阴影类型渲染器会选择不同的着色器(shader)，并且可以基于第一参数进行自阴影的渲染或不渲染自阴影。如此可以最终实现逼真的阴影渲染效果。如此，能够在ar场景下提供实时动态可变的阴影参数，包括阴影类型、阴影强度、自阴影判断等，该阴影参数可以作用于渲染器，使得渲染器渲染的目标虚拟对象更加的真实，从而可以提升用户体验。
135.需要说明的是，电子设备每获取一个第一虚拟图像，电子设备可以获取一次阴影参数。
136.如此，由于可以基于目标虚拟对象的阴影参数，以第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行渲染，因此可以实现目标虚拟对象的更加真实的渲染效果。
137.以下结合具体实施例对本技术提供的阴影估计方法进行示例性说明。
138.本技术实施例提出了一种阴影(参数)估计方法，阴影参数可以包括阴影强度、阴影类型(软阴影/硬阴影)和是否渲染自阴影(即第一参数)，旨在解决不同ar场景都能够渲染逼真的数字物体的阴影，提供更为逼真的ar体验。
139.针对ar场景渲染逼真的实时阴影效果，本技术实施例提供一种实时阴影参数估计方法，如图3所示，该方法可以包括下述的步骤301至步骤306。电子设备在ar空间中渲染虚拟物体渲染过程如图4所示。
140.步骤301、获取相机预览图像
141.本技术实施例中，基于摄像头获取相机预览流中实时获取相机预览图像(例如第一虚拟图像)，获取的相机预览图像用于下一步处理过程。获取到相机预览图像后，可以先对相机预览图像进行预处理，主要预处理为图像裁剪、基于手机(即电子设备)屏幕方向的旋转、重新设置图像大小和图像格式变换。
142.步骤302、以相机预览图像为背景，渲染虚拟物体
143.以步骤301中预处理后的相机预览图像为背景，在ar空间中渲染虚拟物体，该渲染过程不涉及任何的阴影效果，仅为了将虚拟物体渲染在ar空间。在完成渲染后，电子设备可以沿视线方向，对渲染了虚拟物体的ar空间进行映射处理，得到一个映射图像1，该映射图像1用于后续的材质图估计。本次渲染可以通过ar渲染器完成。
144.在得到映射图像1之后，可以额外确定出映射图像1中的虚拟物体的掩码(mask)图。
145.mask图是一种二值图像，mask区域为非零固定值，非mask区域设为零。
146.步骤303、获取包含虚拟物体的材质图
147.将步骤302合成的渲染图片(即映射图像1)作为训练好的通用材质估计模型(也称为通用材质估计网络)的输入，得到包含虚拟物体的材质图，该材质图为单通道数据，表示映射图像1中不同材质的反射率属性。该材质图用于和虚拟物体的阴影范围求图像交集。
148.对于通用材质估计模型以及训练通用材质模型的描述参见上述实施例中的相关描述。
149.步骤304、渲染并分割虚拟物体的阴影
150.基于光照估计结果中的估计主光源方向，在ar空间中做第二次渲染，第二次渲染具体为在ar空间中渲染虚拟物体的初始阴影(具体为硬阴影)，具体的，该渲染过程只需要虚拟物体的空间信息(也称为三维信息)和光照估计结果中的主光源方向及ar场景当前的空间信息一起作为渲染输入。第二次渲染的目的是为了获取虚拟物体的阴影的掩码图像。从而在第二次渲染完成后，电子设备可以沿视线方向，对渲染了虚拟物体的ar空间进行映射处理，得到一个映射图像2，然后电子设备可以确定出映射图像2中的虚拟物体的掩码(mask)图，并将该掩码图像作为虚拟物体的阴影掩码图。
151.可以理解，第二次渲染也是通过ar渲染器完成的。
152.步骤305、获取阴影参数
153.本技术实施例中的阴影参数包含三部分：阴影强度、阴影类型(软阴影/硬阴影)和是否渲染自阴影。
154.下面结合分别对估计阴影强度、阴影类型和是否渲染自阴影的方法进行说明。
155.步骤305a、估计虚拟物体的阴影强度
156.基于光照估计结果中的估计主光源强度系数、步骤303中的材质图及步骤302中的虚拟物体的mask图，估计虚拟物体的阴影强度。该估计过程为：估计与该材质图中的每个像素的像素值相乘，得到临时的光源反射强度图。然后利用该临时的光源反射强度图和虚拟物体的mask图进行逐像素与操作，即保留该临时的光源反射强度图中与虚拟物体mask图中的非零区域对应的图像区域，并确定保留的图像区域的像素的像素求均值，即将该保留的图像区域的所有像素值之和除以该保留的图像区域的像素个数。若确定的平均像素值大于一个预设像素阈值，则确定虚拟物体需求渲染自阴影；否则确定虚拟物体无需渲染自阴影。可以看出，该估计过程得到了是否渲染自阴影的参数结果。
157.步骤305b、估计虚拟物体的阴影类型
158.将步骤304得到的阴影mask图与步骤303中的材质图做图像与操作，该操作过程详细描述为：材质图和阴影mask图逐像素进行与操作，即材质图中与保留阴影mask图中非零的区域对应的图像区域。然后对保留的图像区域的像素的像素求均值。若确定的平均像素值大于设定的一个像素阈值，则确定虚拟物体需求渲染硬阴影；否则确定虚拟物体需求渲染渲染软阴影。如此可以得到虚拟对象的阴影类型。
159.步骤305c、估计虚拟物体的阴影强度
160.将步骤305b中确定的平均像素值与光照估计结果中的主光源强度系数之间的乘积，确定为虚拟物体的阴影强度。
161.步骤306、基于阴影参数渲染虚拟物体
162.将步骤305估计的阴影参数，包括：阴影强度、阴影类型(软/硬阴影)和是否渲染自阴影，作为ar渲染器的输入。以通过ar渲染器进行第三次渲染，该渲染过程详细描述为：ar渲染器接收该阴影参数，并在设置主光源的属性参数中应用阴影强度、阴影类型和是否渲染自阴影等参数。该渲染过程会利用到这些参数，具体的：阴影强度影响阴影渲染结果的整体亮暗效果；基于不同的阴影类型，渲染器会选择不同的shader(着色器)，并基于是否渲染自阴影的结果进行自阴影渲染或不渲染自阴影。如此可以实现逼真的阴影渲染效果。
163.本技术实施例提供的阴影估计方法，执行主体可以为阴影估计装置。本技术实施例中以阴影估计装置执行阴影估计方法为例，说明本技术实施例提供的阴影估计装置。
164.本技术实施例还提供一种阴影估计装置，图5示出了本技术实施例提供的阴影估计装置的结构示意图，如图5所示，该阴影估计装置50可以包括：获取模块51和处理模块52。
165.所述获取模块51，可以用于获取目标虚拟空间对应的第一虚拟图像；
166.所述处理模块52，可以用于以所述获取模块51获取的所述第一虚拟图像为背景，在所述目标虚拟空间中对目标虚拟对象进行一次渲染；
167.所述获取模块51，还可以用于在所述处理模块52对所述目标虚拟对象进行一次渲染后，获取所述目标虚拟空间对应的第一映射图像；
168.所述处理模块52，还可以用于估计获取模块51获取的所述第一映射图像的材质估
计图像，所述材质估计图像可以用于指示所述第一映射图像中对象的材质反射率；
169.所述处理模块52，还可以用于基于所述材质估计图像，估计所述目标虚拟对象的阴影参数。
170.一种可能的实现方式中，上述阴影参数包括以下至少之一：第一参数、阴影类型、阴影强度；
171.其中，所述第一参数可以用于指示所述目标虚拟对象是否需求渲染自阴影，所述阴影类型包括软阴影或硬阴影。
172.一种可能的实现方式中，上述阴影参数包括所述第一参数；
173.所述处理模块52，具体可以用于基于所述材质估计图像、目标主光源强度系数以及所述第一映射图像中的所述目标虚拟对象对应的第一掩膜图像，估计所述第一参数；
174.其中，所述目标主光源强度系数为估计的所述目标虚拟空间的主光源强度系数。
175.一种可能的实现方式中，上述处理模块52，具体可以用于：基于所述目标主光源强度系数和所述材质估计图像，确定所述目标虚拟空间对应的临时光源反射强度图像；且基于所述第一掩膜图像，确定所述临时光源反射强度图像中与所述目标虚拟对象对应的第一图像区域；并基于所述第一图像区域的平均像素值和第一像素阈值，确定所述第一参数。
176.一种可能的实现方式中，上述阴影参数包括所述阴影类型；
177.所述处理模块52，还可以用于在基于所述材质估计图像，估计所述目标虚拟对象的阴影参数之前，基于目标主光源方向和所述目标虚拟对象的空间信息，在所述目标虚拟空间中渲染所述目标虚拟对象的初始阴影；
178.所述获取模块51，还可以用于在所述处理模块52在所述目标虚拟空间中渲染所述目标虚拟对象的所述初始阴影之后，获取所述目标虚拟空间对应的第二映射图像；
179.所述处理模块52，具体可以用于基于所述材质估计图像和所述第二映射图像中的所述初始阴影对应的第二掩膜图像，估计所述阴影类型；
180.其中，所述目标主光源方向为估计的所述目标虚拟空间的主光源方向。
181.一种可能的实现方式中，上述处理模块52，具体可以用于：基于所述第二掩膜图像，确定所述材质估计图像中与所述初始阴影对应的第二图像区域；且基于所述第二图像区域的平均像素值和第二像素阈值，确定所述阴影类型。
182.一种可能的实现方式中，上述阴影参数包括所述阴影强度；
183.所述处理模块52，还可以用于在基于所述材质估计图像，估计所述目标虚拟对象的阴影参数之前，基于目标主光源方向和所述目标虚拟对象的空间信息，在所述目标虚拟空间中渲染所述目标虚拟对象的初始阴影，以获取所述目标虚拟空间对应的第二映射图像；
184.所述处理模块52，具体可以用于基于目标主光源强度系数、所述材质估计图像和所述第二映射图像中的所述初始阴影对应的第二掩膜图像，估计所述阴影强度；
185.其中，所述目标主光源方向为估计的所述目标虚拟空间的主光源方向，所述目标主光源强度系数为估计的所述目标虚拟空间的主光源强度系数。
186.一种可能的实现方式中，上述处理模块52，具体可以用于基于所述第二掩膜图像，确定所述材质估计图像中与所述初始阴影对应的第二图像区域；并基于所述目标主光源强度系数和所述第二图像区域的平均像素值，确定所述阴影强度。
187.一种可能的实现方式中，上述装置50还包括显示模块；
188.所述处理模块52，还可以用于在基于所述材质估计图像，估计所述目标虚拟对象的阴影参数之后，基于所述阴影参数，以所述第一虚拟图像为背景，在所述目标虚拟空间中对所述目标虚拟对象进行二次渲染；
189.所述显示模块，可以用于在所述处理模块52在所述目标虚拟空间中对所述目标虚拟对象进行二次渲染之后，显示所述目标虚拟空间的空间场景。
190.在本技术实施例提供的阴影估计装置中，由于以目标虚拟空间对应的第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染后，可以获取到包括第一虚拟图像和目标虚拟对象的第一映射图像，因此使得将第一映射图像输入材质估计模型后输出的材质估计图像可以反映目标虚拟对象的材质反射率以及第一虚拟图像中对象的材质反射率，从而可以确保能够基于该材质估计图像准确估计出目标虚拟对象的阴影参数。
191.本技术实施例中的阴影估计装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
192.本技术实施例中的阴影估计装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
193.本技术实施例提供的阴影估计装置能够实现图1至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。
194.可选地，如图6所示，本技术实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述阴影估计方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
195.图7为实现本技术实施例的一种电子设备的硬件结构示意图。
196.该电子设备7000包括但不限于：射频单元7001、网络模块7002、音频输出单元7003、输入单元7004、传感器7005、显示单元7006、用户输入单元7007、接口单元7008、存储器7009、以及处理器7010等部件。
197.本领域技术人员可以理解，电子设备7000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器7010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
198.处理器7010，可以用于获取目标虚拟空间对应的第一虚拟图像，且以第一虚拟图
像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染，以获取目标虚拟空间对应的第一映射图像；
199.处理器7010，还可以用于估计第一映射图像的材质估计图像，该材质估计图像可以用于指示第一映射图像中对象的材质反射率；
200.处理器7010，还可以用于基于材质估计图像，估计目标虚拟对象的阴影参数。
201.一种可能的实现方式中，上述阴影参数包括以下至少之一：第一参数、阴影类型、阴影强度；
202.其中，第一参数可以用于指示目标虚拟对象是否需求渲染自阴影，阴影类型包括软阴影或硬阴影。
203.一种可能的实现方式中，上述阴影参数包括第一参数；处理器7010，具体可以用于基于材质估计图像、目标主光源强度系数以及第一映射图像中的目标虚拟对象对应的第一掩膜图像，估计第一参数；
204.其中，目标主光源强度系数为估计的目标虚拟空间的主光源强度系数。
205.一种可能的实现方式中，上述处理器7010，具体可以用于：基于目标主光源强度系数和材质估计图像，确定目标虚拟空间对应的临时光源反射强度图像；且基于第一掩膜图像，确定临时光源反射强度图像中与目标虚拟对象对应的第一图像区域；并基于第一图像区域的平均像素值和第一像素阈值，确定第一参数。
206.一种可能的实现方式中，上述阴影参数包括阴影类型；
207.处理器7010，还可以用于在基于材质估计图像，估计目标虚拟对象的阴影参数之前，基于目标主光源方向和目标虚拟对象的空间信息，在目标虚拟空间中渲染目标虚拟对象的初始阴影；
208.处理器7010，还可以用于在目标虚拟空间中渲染目标虚拟对象的初始阴影之后，获取目标虚拟空间对应的第二映射图像；
209.处理器7010，具体可以用于基于材质估计图像和第二映射图像中的初始阴影对应的第二掩膜图像，估计阴影类型；
210.其中，目标主光源方向为估计的目标虚拟空间的主光源方向。
211.一种可能的实现方式中，上述处理器7010，具体可以用于：基于第二掩膜图像，确定材质估计图像中与初始阴影对应的第二图像区域；且基于第二图像区域的平均像素值和第二像素阈值，确定阴影类型。
212.一种可能的实现方式中，上述阴影参数包括阴影强度；
213.处理器7010，还可以用于在基于材质估计图像，估计目标虚拟对象的阴影参数之前，基于目标主光源方向和目标虚拟对象的空间信息，在目标虚拟空间中渲染目标虚拟对象的初始阴影，以获取目标虚拟空间对应的第二映射图像；
214.处理器7010，具体可以用于基于目标主光源强度系数、材质估计图像和第二映射图像中的初始阴影对应的第二掩膜图像，估计阴影强度；
215.其中，目标主光源方向为估计的目标虚拟空间的主光源方向，目标主光源强度系数为估计的目标虚拟空间的主光源强度系数。
216.一种可能的实现方式中，上述处理器7010，具体可以用于基于第二掩膜图像，确定材质估计图像中与初始阴影对应的第二图像区域；并基于目标主光源强度系数和第二图像
区域的平均像素值，确定阴影强度。
217.一种可能的实现方式中，处理器7010，还可以用于在基于材质估计图像，估计目标虚拟对象的阴影参数之后，基于阴影参数，以第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行二次渲染；
218.显示单元7006，可以用于在处理器7010在目标虚拟空间中对目标虚拟对象进行二次渲染之后，显示目标虚拟空间的空间场景。
219.在本技术实施例提供的电子设备中，由于以目标虚拟空间对应的第一虚拟图像为背景，在目标虚拟空间中对目标虚拟对象进行一次渲染后，可以获取到包括第一虚拟图像和目标虚拟对象的第一映射图像，因此使得将第一映射图像输入材质估计模型后输出的材质估计图像可以反映目标虚拟对象的材质反射率以及第一虚拟图像中对象的材质反射率，从而可以确保能够基于该材质估计图像准确估计出目标虚拟对象的阴影参数。
220.应理解的是，本技术实施例中，输入单元7004可以包括图形处理器(graphics processing unit，gpu)70041和麦克风70042，图形处理器70041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元7006可包括显示面板70061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板70061。用户输入单元7007包括触控面板70071以及其他输入设备70072中的至少一种。触控面板70071，也称为触摸屏。触控面板70071可包括触摸检测装置和触摸控制器两个部分。其他输入设备70072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
221.存储器7009可用于存储软件程序以及各种数据。存储器7009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器7009可以包括易失性存储器或非易失性存储器，或者，存储器7009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器7009包括但不限于这些和任意其它适合类型的存储器。
222.处理器7010可包括一个或多个处理单元；可选的，处理器7010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器7010中。
223.本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述阴影估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
224.其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
225.本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述阴影估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
226.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
227.本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述阴影估计方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
228.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
229.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
230.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。