半监督人脸特征点检测结果评价方法、装置及存储介质与流程

1.本发明涉及人脸检测技术领域，尤其是涉及一种半监督人脸特征点检测结果评价方法、装置及存储介质。


背景技术：

2.人脸特征点是指双眼、鼻子、2个嘴角等5个特征点或者包括更多轮廓点的28个特征点乃至64个、128个面部特征点。人脸特征点的质量在一定程度代表了人脸的质量，例如，特征点被遮挡或模糊不清，那么人脸就不能被有效识别，前期先挑选有质量高的特征点的人脸图像进行人脸识别，既可以提高人脸识别的准确率，还可以提高人脸识别的效率。
3.人脸特征点检测算法是一种检测人脸特征点位置的算法，广泛应用于人脸检测应用领域。现有的人脸特征点检测算法多基于深度学习实现，利用训练好的模型得到人脸特征点坐标的预测结果，然后通过比对模型的预测结果与人工标签的差异，能够评估模型预测结果的准确性。
4.但是在实际应用场景中使用训练好的模型时，由于此时的输入人脸图像没有标记好的人工标签，因此无法对模型预测结果的准确性进行评估。这使得人脸特征点检测模型预测结果的好坏是不确定的，会影响整个算法系统的稳定性。同时，由于缺乏这种预测结果准确性评估手段，使得模型不知道哪些应用场景中的图像预测起来比较困难(困难样本)，进而也就不知道如何改进模型。


技术实现要素：

5.有鉴于此，本发明公开了一种半监督人脸特征点检测结果评价方法、装置及存储介质，以实现对人脸特征点检测结果的准确评估以及困难样本的识别。
6.为此，本发明提供了以下技术方案：
7.一方面，本发明提供了一种半监督人脸特征点检测结果评价方法，包括：
8.将人脸图像输入到训练好的人脸特征点检测模型中；所述人脸检测点模型基于卷积神经网络构建；
9.获取所述人脸特征点检测模型输出的人脸特征点坐标预测结果与评价当前预测结果准确性的评估结果；所述评估结果为由训练过程中得到的人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度计算出的[0，1]范围内的数值，该数值越接近1表示预测质量越高，越接近0表示预测质量越差；
[0010]
当所述评估结果小于预设阈值时，则确定当前输入的人脸图像为困难样本。
[0011]
进一步地，所述人脸特征点检测模型按照以下方式进行训练：
[0012]
获取包括人脸图像及其对应人脸特征点人工标签的训练数据集；
[0013]
以所述训练数据集中的数据作为输入，采用所述人脸特征点检测模型预测出的输入人脸对应的2d人脸特征点坐标以及人脸特征点预测结果质量评估值；
[0014]
基于所述预测出的输入人脸对应的2d人脸特征点坐标以及输入人脸对应的人脸
特征点人工标签，分别计算人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度；
[0015]
基于所述人脸头部姿态相似度、所述人脸预测位置相似度和所述3d人脸相似度，计算评估标签；
[0016]
使用第一损失函数计算所述预测出的输入人脸对应的2d人脸特征点坐标与人脸特征点人工标签之间的第一距离；
[0017]
使用第二损失函数计算所述人脸特征点预测结果质量评估值与所述评估标签之间的第二距离；
[0018]
将所述第一损失函数的值和所述第二损失函数的值之和作为目标损失函数的值；
[0019]
通过梯度下降算法使所述目标损失函数的值减小，直至不再减小，使得模型预测的2d人脸特征点坐标与人脸特征点人工标签不断靠近，同时还能额外输出描述该次预测结果准确性的评估值。
[0020]
进一步地，计算人脸头部姿态相似度包括：
[0021]
使用3d建模技术在3d空间内创建标准3d人脸模型；
[0022]
构建输入人脸对应的人脸特征点人工标签与所述3d人脸模型对应点位置的几何关系；
[0023]
根据所述几何关系计算所述输入人脸的第一头部姿态[x，y，z]；
[0024]
获取所述人脸特征点检测模型预测出的输入人脸对应的2d人脸特征点坐标，使用所述2d人脸特征点坐标计算所述输入人脸的第二头部姿态[x
p
，y
p
，z
p
]；
[0025]
基于所述第一头部姿态[x，y，z]和所述第二头部姿态[x
p
，y
p
，z
p
]按照以下公式计算人脸头部姿态相似度s
headpose
：
[0026][0027]
其中，和分别为头部姿态在三个自由度上的相似度权重，该权重在模型训练开始前会初始化为1，随着训练的进行，三个参数会自动的调节大小，使得算法向最优解处不断收敛。
[0028]
进一步地，计算人脸预测位置相似度包括：
[0029]
根据输入图像对应人脸特征点人工标签确定框住人脸的第一紧致矩形框box；
[0030]
根据所述人脸特征点检测模型预测出的输入人脸对应的2d人脸特征点坐标确定框住人脸的第二紧致矩形框box
p
；
[0031]
基于所述第一紧致矩形框box和所述第二紧致矩形框box
p
按照以下公式计算人脸预测位置相似度s
position
：
[0032][0033]
其中，area(box)表示所述第一紧致矩形框的面积，area(box
p
)表示所述第二紧致矩形框的面积。
[0034]
进一步地，计算3d人脸相似度包括：
[0035]
将输入图像转化为rgbd图像；
[0036]
从所述rgbd图像中获取输入图像对应人脸特征点人工标签中各个人脸特征点的
第一深度信息(x，y)＝[x1，y1，z1，x2，y2，z2，
…
，x68，y68，z68]；
[0037]
获取所述人脸特征点检测模型网络输出的各个人脸特征点对应的第二深度信息(xp，yp)＝[x1p，y1p，z1p，x2p，y2p，z2p，
…
，x68p，y68p，z68p]；
[0038]
基于所述第一深度信息(x，y)＝[x1，y1，z1，x2，y2，z2，
…
，x68，y68，z68]和所述第二深度信息(xp，yp)＝[x1p，y1p，z1p，x2p，y2p，z2p，
…
，x68p，y68p，z68p]按照以下公式计算3d人脸相似度s
3d
：
[0039][0040]
进一步地，所述评估标签s按照以下方式计算：
[0041]
s＝0.3*s
headpose
0.4*s
position
0.3*s
3d
；
[0042]
其中，s
headpose
表示人脸头部姿态相似度，s
position
表示人脸预测位置相似度，s
3d
表示3d人脸相似度。
[0043]
进一步地，还包括：
[0044]
将所述困难样本保存到本地；
[0045]
人工标记所述困难样本，并添加到训练数据集内，使用所述训练数据集对所述人脸特征点检测模型进行更新训练。
[0046]
进一步地，所述人脸特征点检测模型为shufflenetv2卷积神经网络模型，所述shufflenetv2卷积神经网络模型的初始卷积层的宽度为16。
[0047]
又一方面，本发明还提供了一种半监督人脸特征点检测结果评价装置，所述装置包括：
[0048]
图像输入单元，用于将人脸图像输入到训练好的人脸特征点检测模型中；所述人脸检测点模型基于卷积神经网络构建；
[0049]
检测及评价单元，用于获取所述人脸特征点检测模型输出的人脸特征点坐标预测结果与评价当前预测结果准确性的评估结果；所述评估结果为由训练过程中得到的人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度计算出的[0，1]范围内的数值，该数值越接近1表示预测质量越高，越接近0表示预测质量越差；
[0050]
困难样本确定单元，用于当所述评估结果小于预设阈值时，则确定当前输入的人脸图像为困难样本。
[0051]
又一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现上述所提供的半监督人脸特征点检测结果评价方法。
[0052]
本发明的优点和积极效果：
[0053]
本发明中，在传统基于深度学习的人脸检测算法的基础之上添加了评价当前预测结果准确性的评估结果，使得算法模型在没有人工标记参考的情况下能够评估预测结果的质量，从而发掘训练好的模型在哪些情况下表现较差，从而针对性的改进。举例说明：在实际应用场景中，每一张输入到模型的人脸图像是没有人脸特征点位置标记的，此时无法通过人工标签和预测结果比对判断算法预测的好坏，但是本发明中的方法能够在预测人脸特征点坐标的同时，额外给出评价当前预测结果准确性的评估结果。从而能够知道模型在使
用过程中对哪些数据预测的效果好，哪些预测的不好，方便对算法进行针对性的改进。
附图说明
[0054]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为传统基于深度学习方法的检测模型结构示意图；
[0056]
图2为本发明实施例中一种人脸特征点检测模型的结构示意图；
[0057]
图3为本发明实施例中又一种人脸特征点检测模型的结构示意图；
[0058]
图4为本发明实施例中提供的一种半监督人脸特征点检测结果评价方法的流程图；
[0059]
图5为本发明实施例中改进的shufflenetv2卷积神经网络模型的结构示意图；
[0060]
图6为本发明实施例中提供的一种半监督人脸特征点检测结果评价装置的结构框图。
具体实施方式
[0061]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0062]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0063]
基于深度学习的人脸特征点检测方法使用大量带有人工标签的数据进行训练，在训练过程中模型的预测结果可以跟人工标签进行比对，从而可以评估模型检测结果的好坏。当模型训练完毕用于实际生产环境中时，模型只会输出输入人脸图像对应的特征点坐标信息，由于缺乏人工标签，此时算法检测结果的好坏难以评估。本发明提出一种半监督的人脸特征点检测模型检测结果评价方法，能够在不依赖于人工标签的情况下评估人脸特征点检测模型当前检测结果的准确性，可以应用于任何与人脸特征点检测相关的业务场景及行业，尤其是需要模型能够针对业务场景中出现的困难样本完成针对性更新。
[0064]
本发明实施例中，一种半监督人脸特征点检测结果评价方法的应用可以概括为：在实际环境中执行人脸特征点检测模型时，对于每一次检测，模型除了给出预测的人脸特征点坐标外，还会给出一个评价当前预测结果准确性的评估结果，该评估结果的值介于0和
1之间，值越大准确性越高，值越小准确性越低。当该评估结果的值小于某一阈值时，则认为当前输入到人脸特征点检测模型的人脸图像为困难样本。
[0065]
以n点人脸特征点检测算法训练为例，传统基于深度学习方法的人脸特征点检测模型结构如图1所示。以人脸图像作为输入，使用卷积神经网络(cnn)提取特征向量f，经过全连接网络变换后得到维度为2n的预测结果。使用损失函数计算维度为2n的预测值x
pre
与维度为2n的人工标签x
label
之间的距离d＝loss(x
pre
,x
label
)，并通过梯度下降算法不断的使损失函数的值d减小直至不再减小，即通过这种方法，使得模型的预测值与输入人脸的人工标签不断靠近。
[0066]
本发明在上述人脸特征点检测算法训练的基础上提供了两种改进方案。一种改进方案如图2所示，与传统方法基本类似，但预测值的维度变为2n 1，其中多出的一维度xe用于评估当前预测结果准确性。xe的标签x
elabel
的计算方法为：由训练过程中得到的人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度进行综合计算，得到[0，1]范围内的数值，该数值越接近1表示预测质量越高，越接近0表示预测质量越差。最终的损失函数定义为d＝loss(x
pre
,x
label
) loss(xe,x
elabel
)。另一种改进方案如图3所示，用于评估当前结果准确性的xe由网络的另外一个分支给出，x
elabel
及损失函数的定义与图2方法相同。
[0067]
训练完毕后，在使用中，本发明使用输出值xe与设定的阈值进行比较判断当前输入图像是否为困难样本。根据实际情况，如果能够将这些困难样本保存到本地，则使用人工对这些图像进行标记，然后对模型进行更新训练。如果不能保存这些困难样本，则在线分析这些数据的属性特点，归纳出模型识别不准确的原因，然后指导算法的改进训练。
[0068]
了解困难样本之后，可以针对性的更新模型，提高模型在业务场景下的准确性。在实际操作中，有两种方案可以执行：一是可以对这些困难样本进行在线分析(不需要将这些数据保存到本地，能更好的保护用户的隐私)，从而了解模型针对哪些输入图像的检测能力不足，并针对性改进；二是在获得用户的许可之后，将困难样本保存到本地，然后人工手动标记这些样本添加到原有数据集内，并使用新数据集对人脸特征点检测模型进行更新训练。
[0069]
参见图4，其示出了本发明实施例中一种半监督人脸特征点检测结果评价方法的流程图，该方法包括：
[0070]
s1：训练部分：
[0071]
搭建深度卷积神经网络模型，如图5所示，本发明中的模型为改进的shufflenetv2卷积神经网络模型，改进为简化了网络block的shuffle结构，在保持精度的同时能够显著的提升运算效率，具体改进包括：
[0072]
a、降低了shufflenetv2初始卷积层的宽度，由24降低到16，能够有效的提升模型的执行效率，同时较好的维持精度。
[0073]
b、简化了shufflenetv2的shuffle策略，保持精度不变的情况下，明显的提升了模型的推理速度。
[0074]
训练时人脸图像以及人脸图像对应的人脸五官与人脸轮廓特征点位置标签[x1,y1,x2,y2,
…
,x68,y68](人脸特征点人工标签)作为输入，采用人脸特征点检测模型得到预测结果，预测结果包括：输入人脸对应的特征点坐标位置以及评估结果；所述评估结果用于评估当前预测值的准确性；
[0075]
训练好的模型之所以能够输出人脸特征点的坐标在于训练中有对应的人工标签作为指引，已有数据集具有人工标记的人脸特征点坐标可以指引模型训练。但是要想模型能够输出关于预测结果质量的评估，算法训练时需要获取评估结果的标签，本发明使用相关计算理论根据已有数据及已有标签计算得到需要的质量评估标签，也就是评估结果的标签。[数据标签是人工标记的可以称为监督学习，如果同时还存在通过计算间接得到的标签，称为半监督学习]；评估结果标签从人脸头部姿态相似度、人脸预测位置相似度、3d人脸相似度三个方面综合评估预测的准确性，最终给出一个0～1的质量评估值，该值越接近1表示预测质量越高，越接近0表示预测质量越差。
[0076]
具体的训练过程如下：
[0077]
s101、获取包括人脸图像及其对应人脸特征点人工标签的训练数据集；
[0078]
s102、以所述训练数据集中的数据作为输入，采用所述人脸特征点检测模型预测出的输入人脸对应的2d人脸特征点坐标以及人脸特征点预测结果质量评估值；
[0079]
s103、基于所述预测出的输入人脸对应的2d人脸特征点坐标以及输入人脸对应的人脸特征点人工标签，分别计算人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度；
[0080]
s104、基于所述人脸头部姿态相似度、所述人脸预测位置相似度和所述3d人脸相似度，计算评估标签；具体地，评估标签s按照以下方式计算：
[0081]
s＝0.3*s
headpose
0.4*s
positoon
0.3*s
3d
；
[0082]
其中，s
headpose
表示人脸头部姿态相似度，s
position
表示人脸预测位置相似度，s
3d
表示3d人脸相似度。
[0083]
s105、使用第一损失函数计算所述预测出的输入人脸对应的2d人脸特征点坐标与人脸特征点人工标签之间的第一距离；
[0084]
s106、使用第二损失函数计算所述人脸特征点预测结果质量评估值与所述评估标签之间的第二距离；
[0085]
s107、将所述第一损失函数的值和所述第二损失函数的值之和作为目标损失函数的值；
[0086]
s108、通过梯度下降算法使所述目标损失函数的值减小，直至不再减小，使得模型预测的2d人脸特征点坐标与人脸特征点人工标签不断靠近，让网络学会自主预测输入人脸对应的特征点位置，同时还能额外输出描述该次预测结果准确性的评估值，以完成对所述人脸特征点检测模型的训练。
[0087]
其中，s103中，计算人脸头部姿态相似度包括：
[0088]
使用3d建模技术在3d空间内创建标准3d人脸模型；
[0089]
构建输入人脸对应的人脸特征点人工标签与所述3d人脸模型对应点位置的几何关系；
[0090]
根据所述几何关系计算所述输入人脸的第一头部姿态[x，y，z]；
[0091]
获取所述人脸特征点检测模型预测出的输入人脸对应的2d人脸特征点坐标，使用所述2d人脸特征点坐标计算所述输入人脸的第二头部姿态[x
p
，y
p
，z
p
]；
[0092]
基于所述第一头部姿态[x，y，z]和所述第二头部姿态[x
p
，y
p
，z
p
]按照以下公式计算人脸头部姿态相似度s
headpose
：
[0093][0094]
其中，和分别为头部姿态在三个自由度上的相似度权重，该权重在模型训练开始前会初始化为1，随着训练的进行，三个参数会自动的调节大小，使得算法向最优解处不断收敛。
[0095]
其中，计算人脸预测位置相似度包括：
[0096]
根据输入图像对应人脸特征点人工标签确定框住人脸的第一紧致矩形框box；
[0097]
根据所述人脸特征点检测模型预测出的输入人脸对应的2d人脸特征点坐标确定框住人脸的第二紧致矩形框box
p
；
[0098]
基于所述第一紧致矩形框box和所述第二紧致矩形框box
p
按照以下公式计算人脸预测位置相似度s
position
：
[0099][0100]
其中，area(box)表示所述第一紧致矩形框的面积，area(box
p
)表示所述第二紧致矩形框的面积。
[0101]
其中，计算3d人脸相似度包括：
[0102]
使用opencv将输入图像转化为rgbd图像；从所述rgbd图像中获取输入图像对应人脸特征点人工标签中各个人脸特征点的第一深度信息(x，y)＝[x1，y1，z1，x2，y2，z2，
…
，x68，y68，z68]；
[0103]
获取所述人脸特征点检测模型网络输出的各个人脸特征点对应的第二二深度信息(xp，yp)＝[x1p，y1p，z1p，x2p，y2p，z2p，
…
，x68p，y68p，z68p]；
[0104]
基于所述第一深度信息(x，y)＝[x1，y1，z1，x2，y2，z2，
…
，x68，y68，z68]和所述第二深度信息(xp，yp)＝[x1p，y1p，z1p，x2p，y2p，z2p，
…
，x68p，y68p，z68p]按照以下公式计算3d人脸相似度s
3d
：
[0105][0106]
s2：使用过程：
[0107]
模型训练好后，在使用过程中，模型会输出人脸特征点坐标以及评估预测准确性的评估值xe。
[0108]
具体地，将人脸图像输入到训练好的人脸特征点检测模型中；获取人脸特征点检测模型输出的人脸特征点坐标预测结果与评价当前预测结果准确性的评估结果；所述评估结果为由训练过程中得到的人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度计算出的[0，1]范围内的数值，该数值越接近1表示预测质量越高，越接近0表示预测质量越差；
[0109]
s3：如果xe大于人工设定的可靠性阈值，则不做处理。如果此值小于阈值，则当取得用户同意后，可以将当前采集到的人脸数据保存到本地，使用人工对其标注，然后使用这些新标注数据对模型进行更新训练。如果因为隐私保护不能保存这些数据时，则可以在线分析这些困难样本的属性：包括人脸角度、图像遮挡、图像质量、光照因素等，然后根据分析
结果，指导模型的改进。
[0110]
s4：根据s3的反馈，进行更新训练。
[0111]
本发明实施例中，在传统基于深度学习的人脸检测算法的基础之上添加了评价当前预测结果准确性的评估结果，使得算法模型在没有人工标记参考的情况下能够评估预测质量，从而发掘训练好的模型在哪些情况下表现较差，从而针对性的改进。举例说明：在实际应用场景中，每一张输入到模型的人脸图像是没有人脸特征点位置标记的，此时无法通过人工标签和预测结果比对判断算法预测的好坏，但是本发明中的方法能够在预测人脸特征点坐标的同时，额外给出评价当前预测结果准确性的评估结果。从而能够知道模型在使用过程中对哪些数据预测的效果好，哪些预测的不好，方便对算法进行针对性的改进。
[0112]
对应本发明中的半监督人脸特征点检测结果评价方法，本发明还提供了一种半监督人脸特征点检测评价装置。参见图6，其示出了本发明实施例中一种半监督人脸特征点检测评价装置的结构示意图，该装置包括：
[0113]
图像输入单元100，用于将人脸图像输入到训练好的人脸特征点检测模型中；所述人脸检测点模型基于卷积神经网络构建；
[0114]
检测以及评价单元200，用于获取所述人脸特征点检测模型输出的人脸特征点坐标预测结果与评价当前预测结果准确性的评估结果；所述评估结果为由训练过程中得到的人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度计算出的[0，1]范围内的数值，该数值越接近1表示预测质量越高，越接近0表示预测质量越差；
[0115]
困难样本确定单元300，用于当所述评估结果小于预设阈值时，则确定当前输入的人脸图像为困难样本。
[0116]
模型训练单元400，用于对人脸检测点模型进行训练，训练方式如下：
[0117]
获取包括人脸图像及其对应人脸特征点人工标签的训练数据集；
[0118]
以所述训练数据集中的数据作为输入，采用所述人脸特征点检测模型预测出的输入人脸对应的2d人脸特征点坐标以及人脸特征点预测结果质量评估值；
[0119]
基于所述预测出的输入人脸对应的2d人脸特征点坐标以及输入人脸对应的人脸特征点人工标签，分别计算人脸头部姿态相似度、人脸预测位置相似度和3d人脸相似度；
[0120]
基于所述人脸头部姿态相似度、所述人脸预测位置相似度和所述3d人脸相似度，计算评估标签；
[0121]
使用第一损失函数计算所述预测出的输入人脸对应的2d人脸特征点坐标与人脸特征点人工标签之间的第一距离；
[0122]
使用第二损失函数计算所述人脸特征点预测结果质量评估值与所述评估标签之间的第二距离；
[0123]
将所述第一损失函数的值和所述第二损失函数的值之和作为目标损失函数的值；
[0124]
通过梯度下降算法使所述目标损失函数的值减小，直至不再减小，使得模型预测的2d人脸特征点坐标与人脸特征点人工标签不断靠近，同时还能额外输出描述该次预测结果准确性的评估值。
[0125]
对于本发明实施例的半监督人脸特征点检测评价装置而言，由于其与上面实施例中的半监督人脸特征点检测评价方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。
[0126]
本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的半监督人脸特征点检测结果评价方法。
[0127]
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0128]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0129]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0130]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0131]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。