基于球面特征的鱼眼图像特征处理方法、系统及电子设备与流程

1.本发明涉及基于图像处理领域，尤其涉及一种基于球面特征的鱼眼图像特征处理方法、系统、电子设备及存储介质。


背景技术：

2.由于具有更大的视场角，全景图像在自动驾驶、视频监控等领域发挥着重要作用。然而，与传统平面图像不同，由于全向图像由于具有更大的视场角，所以采用传统小孔成像方式无法将等于甚至大于180度的场景投影在有限范围的图像上。在获取更多信息的同时，全向图像也拥有其独特的投影方式。然而这些投影方式在平面图像上产生了不可避免的形变，原因是投影过程是经过非线性映射将球面信息强行投影到平面，所以在投影过程中存在插值和像素点丢弃等情况，而更棘手的是图像中处于不同位置的目标其形变的方向和程度都不相同，而且不同的投影格式之间的失真规则并没有关联。而传统图像则不具有这样的性质，所以直接进行算法的迁移将不能解决失真问题。随着自动驾驶等行业的快速发展，对全景图像处理算法的实用性需求变得更为紧迫。
3.现有技术中，最直观的做法是先将全景图像进行失真矫正，使其能够呈现与平面图像相似的平移不变性特征，即使用预处理步骤来矫正输入的全景图像；而另一种方法是直接对图像处理算法进行改进。
4.然而，一方面，对于全景图像进行失真矫正的方法，现有技术不仅忽略了实际识别问题中的人脸检测过程，而且仅依照形变程度来划分图像不能很好的体现图像形变程度随着位置变化的连续性，此外现有技术还依赖于圆弧的检测。问题在于，不同的人脸在鱼眼图像中的位置不同，许多目标并没有完整且鲁棒的圆弧供算法处理，正因为全景图像包含比平面图像更多的信息，投影在平面上才会产生失真，现有技术通过强行消除形变势必会使图像损失掉原有的信息，而先进行图像校正再进行检测算法势必会带来额外的时间损耗。另一方面，对于直接对图像处理算法进行改进的方法，现有技术采用多方向投影由于在多个方向上重复进行，浪费时间和硬件的运算资源。由于网络中不同的纬度之间的内核权重不相关，因此显著增加了模型大小，而且需要根据网络结构的变化做出相应的调整，可移植性较差，并且无法应用于其它投影格式的全向镜头图像。此外，现有技术中虽然允许权重分配，但是隐含地假设可以在等角投影所定义的2d平面上插值来表征球体上的特征，这中表示形式明显存在问题。换句话说，通过优化2d卷积以适配图像的形变问题，很难学习到球域特征。另外，尽管现有技术利用快速傅里叶变换来加快卷积速度，但由于频域内点乘本身具有很高的复杂度，因此计算开销较大，目前无法被广泛且高效地应用。


技术实现要素：

5.本发明提供一种基于球面特征的鱼眼图像特征处理方法、系统、电子设备及存储介质，旨在克服现有技术中的诸多问题，并且既能够通过统一的网络解决图像失真问题，又能够以较小的复杂度使用图像的球面特征进行人脸检测。
6.具体地，本发明实施例提供了以下技术方案：
7.第一方面，本发明的实施例提供一种基于球面特征的鱼眼图像特征处理方法，包括：
8.获取鱼眼图像并提取所述鱼眼图像中的多尺度特征得到多尺度特征图；
9.将所述多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到所述鱼眼图像特征处理模型输出的所述鱼眼图像的融合特征图，其中所述鱼眼图像特征处理模型用于从所述多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与所述球面特征进行融合以得到所述融合特征图。
10.进一步地，该基于球面特征的鱼眼图像特征处理方法还包括：
11.所述鱼眼图像特征处理模型包括特征图提取层、特征图优化层和特征图融合层；
12.其中，所述特征图提取层用于提取所述多尺度特征图中的平面特征和球面特征；
13.所述特征图优化层用于基于空间自注意力机制提取含有球域信息的平面特征；以及
14.所述特征图融合层用于将含有所述球域信息的平面特征与和所述球面特征融合得到融合特征图。
15.进一步地，该基于球面特征的鱼眼图像特征处理方法还包括：
16.所述基于空间自注意力机制提取含有球域信息的平面特征包括：使用所述球面特征指导所述平面特征关注到所述鱼眼图像中相应的失真位置信息。
17.进一步地，该基于球面特征的鱼眼图像特征处理方法还包括：
18.所述提取所述多尺度特征图中的平面特征和球面特征包括：
19.提取所述多尺度特征中的中间层进行球面卷积，同时利用路径增强和上采样分别将所述球面特征传递到其它层以共享信息。
20.进一步地，该基于球面特征的鱼眼图像特征处理方法还包括：
21.所述方法还包括：通过上下文感受模块对输出的所述融合特征图进行卷积运算，得到特征增强的融合特征图，
22.其中，所述通过上下文感受模块对输出的所述融合特征图进行卷积运算包括：采用了小卷积核、多分支结构进行不同尺度的卷积运算，通过不同的感受野增强多个卷积层内的上下文信息的提取能力，并采用空间通道可分离的卷积分解方式，分别在频域和空间域执行卷积运算。
23.进一步地，该基于球面特征的鱼眼图像特征处理方法还包括：
24.所述方法还包括：基于特征增强的所述融合特征图，通过回归头网络和分类头网络进行人脸检测，
25.其中，所述通过回归头网络和分类头网络进行人脸检测包括：
26.通过所述回归头网络，确定所述融合特征图的坐标；
27.通过所述分类头网络，确定所述融合特征图的类别；以及
28.基于所述坐标和所述类别，进行所述人脸检测。
29.进一步地，该基于球面特征的鱼眼图像特征处理方法还包括：
30.所述鱼眼图像的投影方式包括等矩形投影erp、立方体投影cmp和条带投影ssp。
31.第二方面，本发明的实施例还提供一种基于球面特征的鱼眼图像特征处理系统，包括：
32.多尺度特征获取模块，用于提取所述鱼眼图像中的多尺度特征得到多尺度特征图；
33.鱼眼图像特征处理模块，用于将所述多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到所述鱼眼图像特征处理模型输出的所述鱼眼图像的融合特征图，其中所述鱼眼图像特征处理模型用于从所述多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与所述球面特征进行融合以得到所述融合特征图。
34.第三方面，本发明的实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述基于球面特征的鱼眼图像特征处理方法的步骤。
35.第四方面，本发明的实施例还提供一种存储介质，包括其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于球面特征的鱼眼图像特征处理方法的步骤。
36.由上面技术方案可知，本发明实施例提供的一种基于球面特征的鱼眼图像特征处理方法、系统、电子设备及存储介质，旨在克服现有技术中的诸多问题，并且既能够通过统一的网络解决图像失真问题，又能够以较小的复杂度使用图像的球面特征进行人脸检测。本发明提出的技术方案中同时利用了平面2d和球面3d的图像特征，其并非简单的叠加，而是通过空间自注意力机制，使用球面特征指导平面2d特征关注到图形中相关的失真位置信息，随后将球面特征与优化过的平面特征相结合，形成最终的鱼眼图像特征，避免了仅仅使用2d特征无法捕获球面的旋转不变性图像信息，同时通过不同层间的特征交互，提高了球面特征的利用率，将中间层的球面信息传递到其他层，避免了不必要的球面卷积，同时由于注意力机制的引入，只需要使用两层球域卷积即可完成球面信息的提取工作，极大的降低了计算量。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明一实施例提供的基于球面特征的鱼眼图像特征处理方法的流程图；
39.图2为本发明一实施例提供的基于球面特征的鱼眼图像特征处理系统的结构示意图；以及
40.图3为本发明一实施例提供的电子设备的示意图。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，
而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本发明使用的各种术语或短语具有本领域普通技术人员公知的一般含义，即便如此，本发明仍然希望在此对这些术语或短语作更详尽的说明和解释。如果本文涉及的术语和短语有与公知含义不一致的，则以本发明所表述的含义为准；并且如果在本技术中没有定义，则其具有本领域普通技术人员通常理解的含义。
43.现有技术中，最直观的做法是先将全景图像进行失真矫正，使其能够呈现与平面图像相似的平移不变性特征，即使用预处理步骤来矫正输入的全景图像；而另一种方法是直接对图像处理算法进行改进。
44.然而，一方面，对于全景图像进行失真矫正的方法，现有技术不仅忽略了实际识别问题中的人脸检测过程，而且仅依照形变程度来划分图像不能很好的体现图像形变程度随着位置变化的连续性，此外现有技术还依赖于圆弧的检测。问题在于，不同的人脸在鱼眼图像中的位置不同，许多目标并没有完整且鲁棒的圆弧供算法处理，正因为全景图像包含比平面图像更多的信息，投影在平面上才会产生失真，现有技术通过强行消除形变势必会使图像损失掉原有的信息，而先进行图像校正再进行检测算法势必会带来额外的时间损耗。另一方面，对于直接对图像处理算法进行改进的方法，现有技术采用多方向投影由于在多个方向上重复进行，浪费时间和硬件的运算资源。由于网络中不同的纬度之间的内核权重不相关，因此显著增加了模型大小，而且需要根据网络结构的变化做出相应的调整，可移植性较差，并且无法应用于其它投影格式的全向镜头图像。此外，现有技术中虽然允许权重分配，但是隐含地假设可以在等角投影所定义的2d平面上插值来表征球体上的特征，这中表示形式明显存在问题。换句话说，通过优化2d卷积以适配图像的形变问题，很难学习到球域特征。另外，尽管现有技术利用快速傅里叶变换来加快卷积速度，但由于频域内点乘本身具有很高的复杂度，因此计算开销较大，目前无法被广泛且高效地应用。
45.针对于此，第一方面，本发明的一实施例提出一种基于球面特征的鱼眼图像特征处理方法，旨在克服现有技术中的诸多问题，并且既能够通过统一的网络解决图像失真问题，又能够以较小的复杂度使用图像的球面特征进行人脸检测。本发明提出的技术方案中同时利用了平面2d和球面3d的图像特征，其并非简单的叠加，而是通过空间自注意力机制，使用球面特征指导平面2d特征关注到图形中相关的失真位置信息，随后将球面特征与优化过的平面特征相结合，形成最终的鱼眼图像特征，避免了仅仅使用2d特征无法捕获球面的旋转不变性图像信息，同时通过不同层间的特征交互，提高了球面特征的利用率，将中间层的球面信息传递到其他层，避免了不必要的球面卷积，同时由于注意力机制的引入，只需要使用两层球域卷积即可完成球面信息的提取工作，极大的降低了计算量。
46.下面结合图1描述本发明的基于球面特征的鱼眼图像特征处理方法。
47.图1为本发明一实施例提供的基于球面特征的鱼眼图像特征处理方法的流程图。
48.在本实施例中，需要说明的是，该基于球面特征的鱼眼图像特征处理方法可以包括以下步骤：
49.s1：获取鱼眼图像并提取鱼眼图像中的多尺度特征得到多尺度特征图；
50.s2：将多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到鱼眼图像特征处理模型输出的鱼眼图像的融合特征图，其中鱼眼图像特征处理模型用于从多尺度特征
图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与球面特征进行融合以得到融合特征图。
51.具体地，本发明的一实施例提供的基于球面特征的鱼眼图像特征处理方法还可以被描述为包括但不限于以下步骤：抽取图像多尺度特征；提取多个尺度的图像特征层，将缩放步长设置为2(即每个卷积层的最后一层的步幅为2)，并通过连续的卷积层获得不同大小的特征图；将多尺度特征转换到球域提取图像的旋转不变性特征；通过球域特征图指导平面特征图注意到图形中相应的失真位置，得到具有失真信息的平面特征图；将包含失真信息的平面特征图与球面特征图在通道方向上进行融合，得到鱼眼图像的总特征图；将总特征图送入经过计算量优化的上下文感受模块；使用回归头网络和分类头网络对特征信息进行分类和回归得到最终的类别和坐标的输出。
52.在本实施例中，需要说明的是，该基于球面特征的鱼眼图像特征处理方法还可以包括：鱼眼图像特征处理模型包括特征图提取层、特征图优化层和特征图融合层；其中，特征图提取层用于提取多尺度特征图中的平面特征和球面特征；特征图优化层用于基于空间自注意力机制提取含有球域信息的平面特征；以及特征图融合层用于将含有球域信息的平面特征与和球面特征融合得到融合特征图。
53.具体地，针对鱼眼图像特征处理模型，如表1所示，分别对注意力模块和上下文模块进行训练以及消融实验测试，其分别在fddb
‑
360(平面数据集)和widerface
‑
360数据集(鱼眼图像)上进行。其中，利用四个nvidia tesla p40(24g)gpu进行训练，批量大小为8
×
8。使用动量设置为0.9的随机梯度下降作为优化方法。在不同的训练阶段，使用逐渐衰减(衰减率设置为5e^(
‑
4))的学习率来更新权重。学习率被初始化为1e^(
‑
3)。以mobilenet作为基础层的网络训练250个批次，以resnet作为基础层的网络训练100个批次。
[0054][0055][0056]
表1
[0057]
如表2所示，将本发明提供的方法与现有技术进行对比，可见本发明所提出的方法在失真的鱼眼图像和普通的平面图像上都具有较高的准确性或有效性。其中，widerface分为三个难度的数据子集，分别为困难、中等、容易。
[0058][0059]
表2
[0060]
在本实施例中，需要说明的是，该基于球面特征的鱼眼图像特征处理方法还可以包括：提取多尺度特征图中的平面特征和球面特征包括：提取多尺度特征中的中间层进行球面卷积，同时利用路径增强和上采样分别将球面特征传递到其它层以共享信息。
[0061]
具体地，检测算法对算法的运行时间有要求，而球面卷积的复杂度较高。在实验过程中发现中等大小的特征图对鱼眼图像中畸变人脸的感知更为重要，更有利于关注基于位置的畸变：更高级的特征图，语义信息更丰富，具有更强大的语义信息编码能力；相反，较大尺寸的特征图学习更多的内容信息，如轮廓和边缘，学习失真的能力比较小尺寸的更差。基于上述说明，结合球域卷积，本方法只提取多层特征中的中间层进行球面卷积，同时利用路径增强和上采样分别将球面特征传递到其他层，实现信息共享。这种“部分卷积，全体共享”的策略可以有效利用中间特征层对于球面特征的敏感度，同时可以避免在其它层重复进行复杂度较高的球面卷积。
[0062]
在本实施例中，需要说明的是，该基于球面特征的鱼眼图像特征处理方法还可以包括：基于空间自注意力机制提取含有球域信息的平面特征包括：使用球面特征指导平面特征关注到鱼眼图像中相应的失真位置信息。
[0063]
例如，由于球域卷积将特征图转换到球面中进行运算，能够提取到图像的旋转不变性特征，所以使用球域卷积的特征可以引导平面图像抓取和当前位置形变信息相关联的像素区域。
[0064]
具体地，通常的自注意力机制是将自身的图像信息(通过卷积等操作)进行编码，编码后的信息作为查询(query)引导自身提高对特定的目标区域的关注度(即，权重)，而本发明在编码过程中，基于图像的空间自注意力机制，将自身的2d平面信息转移到球面进行特征提取，再将球面信号作为查询来指导平面信息关注到图像中的失真位置。换句话说，图像的空间自注意力机制将平面图像特征图送入球形卷积网络，对得到的特征图与输入进行点对点运算，得到最终的鱼眼图像特征图。
[0065]
更具体地，使用空间注意力模块提取球域信息，其操作符如下所示：
[0066][0067]
其中，x
i
，x
j
表示点i的平面图像特征图和点j的球面特征图，y
i
表示基于球面注意力的平面特征图,它的尺寸与x
i
相同，我们采用单层卷积：而不是线性嵌入，其
中是将平面图像编码为输入信号表示的权重向量而f捕获平面特征图中特定点x
i
与所有其它点的长距离依赖关系。其它点属于从球面卷积中提取的特征图，其中包含失真信息。f(x
i
,x
j
)表示球面域特征和平面域特征的特征融合层，如下所示：
[0068][0069]
由于球面卷积管理球面域上的旋转不变信号，将球面cnn表示为以吸引球面信号的注意力。具体地，采用了两个连续的球面卷积层，通过注重计算量和性能之间的权衡，仅使用两层球面卷积，将特征图转化为s2和so(3)域进行卷积运算。第一个卷积层在球面域上进行，将平面坐标系中的h
×
w特征图转换为球坐标系中尺寸为α
×
β的特征图。第二个卷积层在球面域上执行到具有α
×
β
×
γ输出的so(3)域的转换。进一步地，最终将基于球域注意力的平面特征与球域卷积提取到的特征相结合得到最终的鱼眼图像特征图。
[0070]
此外，目标检测是一种计算机视觉图像处理技术，其可以识别和定位图像或视频中的对象。具体地，目标检测可用于对环境中的对象进行计数并确定和跟踪其精确位置，同时还能进行精确标记。因此，在汽车行驶、监控等实际应用场景中可以立即对找到的事物的类型进行分类，同时还可以在图像中定位事物。
[0071]
在本实施例中，需要说明的是，该基于球面特征的鱼眼图像特征处理方法还可以包括：通过上下文感受模块对输出的融合特征图进行卷积运算，得到特征增强的融合特征图，其中通过上下文感受模块对输出的融合特征图进行卷积运算包括：采用了小卷积核、多分支结构进行不同尺度的卷积运算，通过不同的感受野增强多个卷积层内的上下文信息的提取能力，并采用空间通道可分离的卷积分解方式，分别在频域和空间域执行卷积运算。
[0072]
具体地，为了满足计算量和运行速度的要求，针对上下文感受模块进行了改进，采用了小卷积核、同时采用多分支结构进行不同尺度的卷积运算，通过不同的感受野(described in inception)增强层内的上下文信息的提取能力，采用空间通道可分离的卷积分解方式，分别在频域和空间域执行卷积运算，可以检测小尺度人脸的同时保持较小的计算量。
[0073]
在本实施例中，需要说明的是，该基于球面特征的鱼眼图像特征处理方法还可以包括：基于特征增强的融合特征图，通过回归头网络和分类头网络进行人脸检测，其中通过回归头网络和分类头网络进行人脸检测包括：通过回归头网络，确定融合特征图的坐标；通过分类头网络，确定融合特征图的类别；以及基于坐标和类别，进行人脸检测。
[0074]
具体地，作为全景图像的一种投影格式，鱼眼图像是本方法的落脚点，然而就方法上来讲，球面特征的提取过程适用于等矩形投影erp、立方体投影cmp、条带投影ssp等多种全景图像的投影格式，多种格式的投影都可以将图像信息映射到球面上进行球面卷积，最终提取到基于位置的失真特征作为注意力机制的输入元素。
[0075]
综上，本发明首次提出了提取图像球面特征图的进行鱼眼图像特征处理算法，通过利用自注意力机制将球面信号与平面信号相融合，最终得到基于鱼眼图像的特征图用作人脸的分类和检测任务。
[0076]
基于同样的发明构思，另一方面，本发明的一实施例提出一种基于球面特征的鱼眼图像特征处理系统。
[0077]
下面结合图2对本发明提供的基于球面特征的鱼眼图像特征处理系统进行描述，
下文描述的基于球面特征的鱼眼图像特征处理系统与上文描述的基于球面特征的鱼眼图像特征处理方法可相互对应参照。
[0078]
图2为本发明一实施例提供的基于球面特征的鱼眼图像特征处理系统的结构示意图。
[0079]
在本实施例中，需要说明的是，该基于球面特征的鱼眼图像特征处理系统1包括：多尺度特征图获取模块10，用于获取鱼眼图像并提取鱼眼图像中的多尺度特征得到多尺度特征图；以及鱼眼图像特征处理模块20，用于将多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到鱼眼图像特征处理模型输出的鱼眼图像的融合特征图，其中鱼眼图像特征处理模型用于从多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与球面特征进行融合以得到融合特征图。
[0080]
由于本发明实施例提供的基于球面特征的鱼眼图像特征处理系统可以用于执行上述实施例所述的基于球面特征的鱼眼图像特征处理方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述实施例的介绍。
[0081]
在本实施例中，需要说明的是，本发明实施例的装置中的各个模块可以集成于一体，也可以分离部署。上述模块可以合并为一个模块，也可以进一步拆分成多个子单元。
[0082]
又一方面，基于相同的发明构思，本发明又一实施例提供了一种电子设备。
[0083]
图3为本发明一实施例提供的电子设备的示意图。
[0084]
在本实施例中，需要说明的是，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于球面特征的鱼眼图像特征处理方法，该方法包括：提取鱼眼图像中的多尺度特征得到多尺度特征图；以及将多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到鱼眼图像特征处理模型输出的鱼眼图像的融合特征图，其中鱼眼图像特征处理模型用于从多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与球面特征进行融合以得到融合特征图。
[0085]
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0086]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行基于球面特征的鱼眼图像特征处理方法，该方法包括：提取鱼眼图像中的多尺度特征得到多尺度特征图；以及将多尺度特征图输入至经训练的鱼眼图像特征处理模型中，得到鱼眼图像特征处理模型输出的鱼眼图像的融合特
征图，其中鱼眼图像特征处理模型用于从多尺度特征图提取平面特征和球面特征，并基于空间自注意力机制提取含有球域信息的平面特征，并将含有球域信息的平面特征与球面特征进行融合以得到融合特征图。
[0087]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0088]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0089]
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0090]
此外，在本发明中，参考术语“实施例”、“本实施例”、“又一实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0091]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。