一种室内空间全景深度确定方法及相关设备

1.本发明涉及全景图像技术领域，尤其涉及一种室内空间全景深度确定方法及相关设备。


背景技术：

2.通过全景图像能够快速且低成本地捕获或重建室内场景，全景深度估计是室内场景理解的基本任务之一，其预测的深度结果可以用于自动驾驶、增强现实和三维重建等下游任务。深度估计任务就是估计全景图像中场景的深度，即各个像素点到相机的距离。传统的深度估计方法需要依赖多幅图像，如运动恢复结构和立体视觉匹配。这些方法都依赖特征点的匹配，预测的深度图是稀疏的。随着深度学习技术的迅速发展，基于深度学习的单目深度估计被广泛研究，有了较高的预测精度。
3.然而，大量的深度估计工作都是基于透视图像进行设计，由于透视图像相比全景图像具有较小的视场，如果直接将这些方法用于估计全景图像的深度，就会造成较差的估计效果。与透视图像不同，全景图像虽然拥有更大的视场，但是其有着较大的投影失真。的方法都是全监督的，需要准确的真实深度标签。这些深度标签的获取是十分困难的，需要耗费大量的人力和成本。
4.为了解决深度标签获取的问题，自监督深度估计方法得到了快速的发展。自监督深度估计方法是指用光度一致性损失，即用重建rgb图像与目标rgb图像的差异进行监督，绕过了真实深度图标签的需求。然而现有的自监督全景深度估计网络只考虑了如何处理全景图像的失真，但是室内全景深度估计仍存在弱纹理区域的反向传播问题。


技术实现要素：

5.在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
6.为了解决上述问题，第一方面，本发明提出一种室内空间全景深度确定方法，上述方法包括：
7.获取上述室内空间的全景图像；
8.基于轻量化主干网络coordnet对上述全景图像进行特征提取以获取初步预测深度图；
9.获取所述初步预测深度图的损失信息，其中，损失信息包括显著方向法线损失和平面一致性深度损失；
10.基于上述损失信息对上述初步预测深度图进行优化以确定上述室内空间全景深度。
11.可选的，上述方法还包括：
12.根据上述初步预测深度图中所有像素点的法线：
13.将上述像素点的法线的余弦相似度最大的显著方向作为目标显著方向；
14.将上述像素点的法线与上述目标显著方向对齐；
15.将上述像素点的法线作为监督信号构建上述目标显著方向法线损失。
16.可选的，上述方法还包括：
17.获取上述全景图像的最优灭点方向和预测法线方向；
18.将上述最优灭点方向和上述预测法线方向作为上述目标显著方向。
19.可选的，上述方法还包括：
20.获取目标三维平面中每个像素点的平面深度，其中，上述平面深度是在目标平面中获取的，上述目标平面是由上述全景图像的颜色信息和几何信息进行融合和筛选后获取的；
21.基于上述初步预测深度图和上述平面深度确定上述平面一致性深度损失。
22.可选的，上述方法还包括：
23.基于上述初步预测深度图获取每个像素点的三维坐标信息以确定几何信息；
24.将上述颜色信息和上述几何信息融合计算获取边缘图；
25.将上述边缘图进行分割获取多个平面区域；
26.将像素值超过预设像素的上述平面区域作为上述目标平面。
27.可选的，上述损失信息还包括球形视点生成损失；
28.上述方法还包括：
29.获取目标视点的光度一致性损失；
30.获取上述目标视点的加权值；
31.基于上述目标视点的光度一致性损失和上述加权值获取上述球形视点生成损失。
32.可选的，上述损失信息还包括平滑预测深度损失；
33.上述方法还包括：
34.基于目标像素的三维笛卡尔坐标和增强权重确定上述平滑预测深度损失。
35.第二方面，本发明还提出一种室内空间全景深度确定装置，包括：
36.第一获取单元，用于获取上述室内空间内的全景图像；
37.第二获取单元，用于基于轻量化主干网络coordnet对上述全景图像进行特征提取以获取初步预测深度图；
38.第三获取单元，用于获取所述初步预测深度图的损失信息，其中，损失信息包括显著方向法线损失和平面一致性深度损失；
39.确定单元，用于基于上述损失信息对上述初步预测深度图进行优化以确定上述室内空间全景深度。
40.第三方面，一种电子设备，包括：储存器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器用于执行存储器中存储的计算机程序时实现如上述的第一方面任一项的室内空间全景深度确定方法的步骤。
41.第四方面，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现第一方面上述任一项的室内空间全景深度确定方法。
42.实施本发明实施例，将具有如下有益效果：
43.采用了上述室内空间全景深度确定方法之后，首先通过轻量化主干网络coordnet
对上述全景图像进行特征提取以获取初步预测深度图，并通过包括目标显著方向法线损失和平面一致性深度损失在内的损失信息对初步预测深度图进行优化，获取室内空间全景深度。可以充分利用室内场景丰富的结构和几何信息，解决室内场景弱纹理区域的反向传播问题，提高了全景深度估计的准确性。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.其中：
46.图1为本技术实施例提供的一种室内空间全景深度确定方法流程示意图；
47.图2为本技术实施例提供的一种全景深度估计模型的结构示意图；
48.图3为本技术实施例提供的一种不同全景深度确定方法的全景深度计算效果示意图；
49.图4为本技术实施例提供的一种室内空间全景深度确定装置结构示意图；
50.图5为本技术实施例提供的一种室内空间全景深度确定电子设备结构示意图。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
53.请参阅图1，为本技术实施例提供的一种室内空间全景深度确定方法流程示意图，具体可以包括：
54.s110、获取上述室内空间的全景图像；
55.示例性的，获取室内空间的全景图像，获取全景图像的方式可以是通过摄像头直接获取，也可以基于多个图片进行和成，获取全景图像的方式在此不做限制。
56.s120、基于轻量化主干网络coordnet对上述全景图像进行特征提取以获取初步预测深度图；
57.示例性的，在现有的一些方法中，采用常用的等距柱状投影作为输入全景图像的投影方式。考虑到等距柱状投影图像的失真情况，本方案采取轻量化主干网络coordnet进行特征提取，该网络不仅采用elu激活函数替代了常见的relu激活函数和批标准化处理，还运用了坐标卷积操作。为了学习到全景图像的位置信息，坐标卷积会对输入特征图加上横纵两个方向的坐标信息。给定一张全景rgb图像作为输入，通过coordnet进行特征提取获得初步预测深度图。
58.s130、获取上述初步预测深度图的损失信息，其中，损失信息包括目标显著方向法线损失和平面一致性深度损失；
59.示例性的，获取全景图像的损失信息，全景图像的损失信息包括目标显著方向法线损失和平面一致性深度损失，即对全景图像进行显著方向法线约束和平面一致性深度约束。在目标显著方向法线约束中，会对输入的全景图像检测全景灭点进而获取到场景中的显著方向，然后再根据每个像素点的预测法线向量找到与其最相似的显著方向(目标显著方向)进行对齐，对齐后的法线会与预测的法线计算损失形成约束。在平面一致性深度约束中，会将对齐后的法线信息与输入全景图像的颜色信息用于全景平面区域检测。检测得到的平面区域根据预测的深度信息可以转换成三维平面，然后计算其与相机之间的深度，再与原来初步预测深度图计算损失形成约束。
60.s140、基于上述损失信息对上述初步预测深度图进行优化以确定上述室内空间全景深度。
61.示例性的，通过包括显著方向法线损失和平面一致性深度损失在内的损失信息对初步预测深度图进行优化可以充分利用室内场景丰富的结构和几何信息，解决室内场景弱纹理区域的反向传播问题，从而尽可能地提升全景深度确定方法的准确性。
62.综上，本技术实施提供的方法，首先通过轻量化主干网络coordnet对上述全景图像进行特征提取以获取初步预测深度图，并通过包括显著方向法线损失和平面一致性深度损失在内的损失信息对初步预测深度图进行优化，获取室内空间全景深度。可以充分利用室内场景丰富的结构和几何信息，解决室内场景弱纹理区域的反向传播问题，提高了全景深度估计的准确性。
63.在一些示例中，上述方法还包括：
64.获取上述初步预测深度图中所有像素点的法线：
65.将上述像素点的法线的余弦相似度最大的显著方向作为目标显著方向；
66.将上述像素点的法线与上述目标显著方向执行对齐；
67.将上述像素点的法线作为监督信号构建上述目标显著方向法线损失。
68.示例性的，显著方向就是指满足曼哈顿世界假设的室内场景中主要表面(地板、墙壁、天花板)的法线方向，本技术运用目标显著方向作为监督信号去对齐初步预测深度图对应的像素的法线。为了使用目标显著方向对预测的法线形成约束，要先根据模型预测的深度图计算相应的法线图。
69.对于像素点的计算，首先根据预测深度图所有的像素点投影到相应的三维坐标p，具体通过以下式(1)计算：
70.p＝d
p
k-1
p
ꢀꢀ
(1)
71.其中，
[0072][0073]
k-1
表示erp逆投影矩阵，d
p
表示每个像素的初步预测深度。
[0074]
根据得到的三维坐标p计算出每点的法线n
p
。具体来说，每个像素的法线向量由它的7*7区域邻点计算得到。
[0075]
然后每个像素点的找到与其法线余弦相似度最大的显著方向用于对齐。每个像素点对齐后的法线记为具体的计算方式如式(3)所示：
[0076][0077]
其中，本方案只对齐法线与显著方向余弦相似性超过阈值γ的像素点。因此，显著方向掩膜m
p
定义为式(4)：
[0078][0079]
由于coordnet模型预测的法线在训练的初始阶段充满了噪声，所在初始阶段设置较小的阈值，使得更多像素点受到较为准确的显著方向的约束。然后阈值会随着训练周期进行增大，具体的计算方式设置为γ＝γ1·nepoch
γ2，其中γ1和γ2可以分别设置为1.663e-3
和0.9。
[0080]
最后，构建显著方向法线损失。每个在显著方向掩膜中的像素点都受其x相应的对齐的法线进行约束。使用对齐的法线作为监督信号并构建如式(5)所示的损失函数：
[0081][0082]
其中nv表示包含在显著方向掩膜m
p
中的像素点数量。
[0083]
在一些示例中，上述方法还包括：
[0084]
获取上述全景图像的最优灭点方向和预测法线方向；
[0085]
将上述最优灭点方向和上述预测法线方向作为上述目标显著方向。
[0086]
示例性的，要想获取室内全景图像的显著方向，首先要检测全景图像中的灭点。例如：给定一张分辨率为w
×
h的等距柱状投影图像，它的像素坐标p＝(u，v)能够通过φ＝2πu/w和θ＝πv/h两个公式可以直接映射到相应的角球坐标ρ＝(φ，θ)。因为真实世界中的直线在全景图像中投影为曲线，所以常见的对于透视图像的灭点检测方法是不可用的。对于全景投影来说，真实世界的直线对应球内过球心的圆面，所以本实施例通过相应圆面的法线来表达每条真实世界中的直线。
[0087]
具体地，可以首先对输入全景图像运用canny边缘检测操作获得所有的边缘点集，其中每个点可以根据等距柱状投影的逆投影映至射到三维坐标，然后用每条边用其点集的两个随机采样点的外积结果来表示。因此，每条边转换为了相应圆面的的法线。在计算所有任意两条平行直接的外积后，可以获得所有可能的灭点结果。最后，通过ransac算法可以在所有可能的灭点结果中筛选出最优的灭点。由于模型预测的法线方向与灭点方向相反，所
以最后的显著方向包括三个检测出的灭点方向及其相反方向
[0088]
在一些示例中，上述方法还包括：
[0089]
获取目标三维平面中每个像素点的平面深度，其中，上述平面深度是在目标平面中获取的，上述目标平面是由上述全景图像的颜色信息和几何信息进行融合和筛选后获取的；
[0090]
基于上述初步预测深度图和上述平面深度确定上述平面一致性深度损失。
[0091]
示例性的，由全景图像的颜色信息和几何信息进行融合和筛选后获取目标平面是，每个目标面通过以式(6)进行定义：
[0092]
x
iai
＝y
ꢀꢀ
(6)
[0093]
其中表示在第i个平面区域的像素点的三维坐标，表示每个三维平面的平面参数，y＝[1，1，
…
，1]
丅
表示值全为1的n维列向量。平面参数ai可以通过最小二乘问题的闭式得到，如式(7)所示：
[0094]ai
＝(x
丅
x ∈e)-1
x)
丅
y)
ꢀꢀ
(7)
[0095]
其中∈e表示加权的单位矩阵，用于数值稳定。
[0096]
目标平面中各像素点的深度可以通过其相应的平面参数ai计算得到，如式(8)所示：
[0097][0098]
利用式(9)通过初步预测深度图和上述平面深度确定上述平面一致性深度损失l
plane
：
[0099][0100]
其中，n
plane
表示所有平面区域中像素点数量的总和。
[0101]
在一些示例中，上述方法还包括：
[0102]
基于上述初步预测深度图获取每个像素点的三维坐标信息以确定几何信息；
[0103]
将上述颜色信息和上述几何信息融合计算获取边缘图；
[0104]
将上述边缘图进行分割获取多个平面区域；
[0105]
将像素值超过预设像素的上述平面区域作为上述目标平面。
[0106]
示例性的，平面一致性深度约束就是指所有像素点的三维坐标受其相应三维平面的约束。这种约束能够解决弱纹理区域的反向传播问题。同时，它能够解决显著方向法线约束无法作用于倾斜平面的缺点。这里的三维平面先是通过平面检测算法得到的二维平面，再根据预测深度转换到三维空间得到的。
[0107]
具体来说，为了得到全景图像的平面区域，要先将所有像素点根据预测深度转换为三维坐标。然后我们将全景图像的颜色信息和几何信息进行融合，再计算得到边缘图，然后对边缘图采用felzenszwalb超像素分割算法得到所有可能的平面区域，将像素值超过预设像素的上述平面区域作为上述目标平面。例如可以将预设像素设置为200。
[0108]
在一些示例中，上述损失信息还包括球形视点生成损失；
[0109]
上述方法还包括：
[0110]
获取目标视点的光度一致性损失；
[0111]
获取上述目标视点的加权值；
[0112]
基于上述目标视点的光度一致性损失和上述加权值获取上述球形视点生成损失。
[0113]
示例性的，在球形视点生成任务时目标视点通过dibr渲染得到。自监督深度估计中最初的光度一致性损失被通过式(10)定义：
[0114][0115]
其中，α被设置为0.85。考虑到全景图像的投影失真，设计了球形加权矩阵w如式(11)所示：
[0116]
w(p)＝cosθ
p
ꢀꢀ
(11)
[0117]
球形视点生成损失定义为所有有效像素的球形加权平均光度损失，如式(12)所示：
[0118][0119]
在一些示例中，上述损失信息还包括平滑预测深度损失；
[0120]
上述方法还包括：
[0121]
基于目标像素的三维笛卡尔坐标和增强权重确定上述平滑预测深度损失。
[0122]
示例性的，滑预测深度损失可以通过式(13)确定：
[0123][0124]
其中，v＝(x，y，z)表示为每个像素的三维笛卡尔坐标，增强权重被用于增强失真较强区域的平滑程度。
[0125]
在一些示例中，通过本技术提出的方法提出了一种全景深度模型，如图2所示，基于结构正则的自监督室内全景深度估计模型的框架由三个主要的部分组成：210：全景深度估计模块；220：显著方向法线约束模块；230：平面一致性深度约束模块。首先全景图像会经过全景深度估计模块预测出深度图。全景图像的每个像素点根据预测的深度可以转换成三维坐标，然后计算出每点的法线向量。在显著方向法线约束中，会对输入全景图像检测全景灭点进而获取到场景中的显著方向，然后再根据每个像素点的预测法线向量找到与其最相似的显著方向进行对齐，对齐后的法线会与预测的法线计算损失形成约束。在平面一致性深度约束中，会将对齐后的法线信息与输入全景图像的颜色信息用于全景平面区域检测。检测得到的平面区域根据预测的深度信息可以转换成三维平面，然后计算其与相机之间的深度，再与原来预测的深度计算损失形成约束。
[0126]
在一些示例中，在两个公开的室内全景rgb-d数据集上评估了本技术所提出的室内全景深度确定方法。这两个数据集分别是3d60中的matterport3d与st andford2d3d数据集。使用通用的参考指标用于评价全景深度估计效果。分别为abs rel(absolute relative error，绝对误差)、sq rel(squared relative error，平方相对误差)、rmse(root mean squared error，均方根误差)、rmsle(均方根对数误差，root mean squared logarithmic error)、和阈值下的准确率(δi＜1.25i，i＝1，2，3)。
[0127]
采用不同全景深度确定方法的模型性能比较的结果在表1中给出，很明显的看出本方案方法对应的模型(ours)在matterport3d和stanford2d3d数据集上相比起其他基准模型获得了很好的性能。相比于其它自监督全景深度估计方法，我们与目前最好的全监督全景深度估计方法的性能差距更小。表1所提出模型与基准模型在matterport3d与stanford2d3d数据库测试集上的实验评估。
[0128][0129]
表1
[0130]
表1的上半部分给出了各种全景深度估计方法在matterport3d数据集上的实验结果。从中可以看出，相比于其它自监督基准模型，本方案方法对应的计算模型在所有指标上都有了大幅的提升。表1的下半部分则给出了各种全景深度估计方法在stanford2d3d数据集上的实验结果。同样地，相比于其它自监督基准模型，本方案方法对应的计算模型在所有指标上都表现最好，特别是sq rel与r mse。同时，每个数据集的上半部分表示全监督的全景深度估计方法的性能结果，下半部分则表示自监督全景深度估计方法的性能结果。可以看出，目前自监督的与全监督的全景深度估计方法仍然有着不小的差距，而我们的自监督全景深度估计模型缩小了与全监督方法之间的差距。
[0131]
为了进一步分析，我们将我们的方法与两个性能表现较好的基准模型的深度预测结果可视化，结果如图3所示，3种不同方法对应的全景深度估计模型的预测效果在matterport3d与stanford2d3d数据集可视化比较，包括本方案所提出的全景深度确定方法对应的全景深度估计模型(ours)。输入全景图像(color)在第一列显示，基准图(ground-truth)在最后一列显示。本方案提出的方法与hu ang等人提出的structdepth以及zioulis等人提出的模型做对比。从图3的可视化结果中可以看出，相比huang等人提出的structdepth与zioulis等人的方法，本方案提出的全景深度确定结果更接近真实深度，特别是在平面区域，如地板、墙面、天花板等。同时，本方案提出的方法能够预测出更加丰富的细节。这些结果都证明了本技术提出的自监督室内全景深度确定方法能够预测出更加准确的全景深度图。
[0132]
请参阅图4，本技术实施例中室内空间全景深度确定装置的一个实施例，可以包括：
[0133]
第一获取单元41，用于获取上述室内空间内的全景图像；
[0134]
第二获取单元42，用于基于轻量化主干网络coordnet对上述全景图像进行特征提取以获取初步预测深度图；
[0135]
第三获取单元43，用于获取上述初步预测深度图的损失信息，其中，损失信息包括显著方向法线损失和平面一致性深度损失；
[0136]
确定单元44，用于基于上述损失信息对上述初步预测深度图进行优化以确定上述室内空间全景深度。
[0137]
如图5所示，本技术实施例还提供一种电子设备300，包括存储器310、处理器320及存储在存储器320上并可在处理器上运行的计算机程序311，处理器320执行计算机程序311时实现上述室内空间全景深度确定的任一方法的步骤。
[0138]
由于本实施例所介绍的电子设备为实施本技术实施例中一种室内空间全景深度确定装置所采用的设备，故而基于本技术实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本技术实施例中的方法不再详细介绍，只要本领域所属技术人员实施本技术实施例中的方法所采用的设备，都属于本技术所欲保护的范围。
[0139]
在具体实施过程中，该计算机程序311被处理器执行时可以实现图1对应的实施例中任一实施方式。
[0140]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0141]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0142]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0143]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0144]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0145]
本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的室内空间全景深度确定方法的流程。
[0146]
计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序
指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0147]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0148]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0149]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0150]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0151]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0152]
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。