人脸遮挡定量分析方法、装置、电子设备及存储介质与流程

1.本发明涉及机器学习技术领域，特别是指一种人脸遮挡定量分析方法、装置、电子设备及存储介质。


背景技术：

2.在人脸识别系统中，人脸部区域的遮挡对算法的准确率有较大的影响，对人脸遮挡的判断主要包括以下几个方面。一是判断人脸是否遮挡，二是判断人脸遮挡的区域，三是人脸遮挡的比例。定量的人脸遮挡分析对系统的建设以及算法的应用较为重要，如果人脸只存在较小范围的遮挡，该类型的数据应该为合法数据，应该进行数据比对流程。在应用过程中，遮挡比例分析也是一个比较重要的业务点，如在地铁部署口罩检测的应用中，如果口罩只挡住嘴巴和同时挡住嘴巴和鼻子，如果使用深度学习进行二分类，算法都应该判断为佩戴口罩，但显然前者是不合规的，但结合定量的分析就可以较好的解决这一问题。
3.现有的人脸遮挡判断方法主要为以下几种：
4.(1)判断局部区域是否存在遮挡的方法。将人脸遮挡的判断等价为局部区域遮挡的判断，比如眼睛、鼻子和嘴巴等，通过深度学习方法进行一个二分类任务，判断这些区域是否存在遮挡。
5.(2)基于人脸整体遮挡判断的方法。将整张人脸图像作为输入，使用卷积神经网络提取人脸特征，然后进行二分类判断是否为遮挡人脸。
6.(3)基于物体检测的方法。该方法是检测是否存在某些特定类型的物体，如口罩检测、墨镜检测等。
7.以上技术方案均为定性的分析是否存在物体遮挡，缺少定量的描述。并且，基于物体检测的方法需要大量的总结和概括物体的类型，容易出现漏检、误检的问题。


技术实现要素：

8.本发明实施例要解决的技术问题是提供一种能够定量分析人脸遮挡比例的人脸遮挡定量分析方法、装置、电子设备及存储介质。
9.为解决上述技术问题，本发明实施例提供技术方案如下：
10.一方面，提供一种人脸遮挡定量分析方法，包括：
11.获取待分析的人脸图像，所述人脸图像为利用人脸外接矩形从人脸图像原图中截取得到；
12.对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点；
13.利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，所述人脸模板用于区分人脸区域和非人脸区域；
14.根据所述人脸上不属于人脸肤色的像素点的个数以及所述人脸区域的像素点的个数，计算得到人脸遮挡比例。
15.在本发明一些实施例中，所述获取待分析的人脸图像，包括：
16.获取人脸图像原图；
17.对所述人脸图像原图进行人脸检测，确定人脸的位置；
18.对人脸进行人脸关键点定位，所述人脸关键点包括人脸边缘关键点；
19.根据所述人脸关键点，利用人脸外接矩形从人脸图像原图中截取得到待分析的人脸图像。
20.在本发明一些实施例中，所述对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点，包括：
21.获取所述人脸图像上每个像素点的rgb三通道的像素值；
22.根据所述人脸图像上每个像素点的rgb三通道的像素值，判断得到不属于人脸肤色的像素点。
23.在本发明一些实施例中，所述人脸模板利用所述人脸图像中的人脸关键点制作得到，人脸关键点包括人脸边缘关键点。
24.在本发明一些实施例中，所述人脸模板中人脸区域去除了额头部分。
25.在本发明一些实施例中，所述利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点包括：
26.判断所述人脸图像中的人员是否佩戴墨镜；
27.若是，则所述人脸模板包括佩戴墨镜的模板和没有佩戴墨镜的模板，利用所述没有佩戴墨镜的模板从所述人脸图像中获取人脸区域的像素点，利用所述佩戴墨镜的模板从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，其中所述佩戴墨镜的模板中人脸区域去除了眼睛部分，所述没有佩戴墨镜的模板中人脸区域未去除眼睛部分。
28.在本发明一些实施例中，所述利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点包括：
29.判断所述人脸图像中的人员是否佩戴墨镜；
30.若否，则所述人脸模板仅包括没有佩戴墨镜的模板，利用所述没有佩戴墨镜的模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，其中所述没有佩戴墨镜的模板中人脸区域未去除眼睛部分。
31.另一方面，提供一种人脸遮挡定量分析装置，包括：
32.第一获取模块，用于获取待分析的人脸图像，所述人脸图像为利用人脸外接矩形从人脸图像原图中截取得到；
33.分割模块，用于对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点；
34.第二获取模块，用于利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点；
35.计算模块，用于根据所述人脸上不属于人脸肤色的像素点的个数以及所述人脸区域的像素点的个数，计算得到人脸遮挡比例。
36.再一方面，提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述任一所述的方法。
37.又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一所述的方法。
38.本发明实施例具有以下有益效果：
39.本发明实施例提供的人脸遮挡定量分析方法、装置、电子设备及存储介质，首先获取待分析的人脸图像，然后对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点，再利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，最后根据所述人脸上不属于人脸肤色的像素点的个数以及所述人脸区域的像素点的个数，计算得到人脸遮挡比例。本发明实施例以人脸图像为输入，给出了一种人脸遮挡的定量判断方法，该方法不但可以指出人脸图像中是否存在遮挡(人脸遮挡比例为零时即说明不存在遮挡)，还可以定量的分析人脸的遮挡比例，且准确率高，进而提高人脸应用系统的实用性。
附图说明
40.图1为本发明的人脸遮挡定量分析方法一个实施例的流程示意图；
41.图2为图1所示方法实施例中采用的人脸关键点定位算法中人脸关键点的位置分布示意图；
42.图3为图1所示方法实施例中人脸图像原图的示意图；
43.图4为图1所示方法实施例中人脸肤色分割的结果示意图，其中(a)对应人脸不存在遮挡的情形，(b)对应人脸存在遮挡的情形；
44.图5为图1所示方法实施例中人脸模板的示意图，其中(a)表示佩戴墨镜的模板，(b)表示没有佩戴墨镜的模板；
45.图6为本发明的人脸遮挡定量分析装置一个实施例的结构示意图；
46.图7为本发明的电子设备一个实施例的结构示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后......)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果
该特定姿态发生改变时，则该方向性指示也相应地随之改变。
49.另外，在本发明中涉及
″
第一
″
、
″
第二
″
等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有
″
第一
″
、
″
第二
″
的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
50.一方面，本发明实施例提供一种人脸遮挡定量分析方法，如图1所示，本实施例的方法包括：
51.步骤101：获取待分析的人脸图像，所述人脸图像为利用人脸外接矩形从人脸图像原图中截取得到；
52.作为一种可选的实施例，所述获取待分析的人脸图像(步骤101)，可以包括：
53.步骤1011：获取人脸图像原图；
54.步骤1012：对所述人脸图像原图进行人脸检测，确定人脸的位置；
55.步骤1013：对人脸进行人脸关键点定位，所述人脸关键点包括人脸边缘关键点；
56.上述步骤1012
‑
1013中，可以对输入图像使用ssd(single shot multibox detector)人脸检测器进行人脸检测，接着在获取的人脸图像上使用tdcnn方法进行关键点定位，可以获得脸周以及人脸局部等关键点的位置。需要说明的是，上述步骤为图像预处理步骤，人脸检测器不限于ssd，也可以使用craft、adaboost等。同理，人脸关键点定位方法也不限于使用tdcnn，也可以使用sdm(supvised descent method)等。在图2中，脸周以及人脸局部等关键点的数量为106个，可以理解的是，也可采用其他人脸关键点定位算法(关键点数量不局限于106个，可以多，也可以少)，只要能够得到人脸边缘关键点和人脸局部(眼睛、鼻子、嘴等)关键点即可。
57.步骤1014：根据所述人脸关键点，利用人脸外接矩形从人脸图像原图中截取得到待分析的人脸图像。
58.图3示出了人脸图像原图，其中外框wk为人脸检测结果(由上述步骤1012得到)，由于人脸检测结果中包含较多的背景区域，本发明的目的是分析人脸定量遮挡比例，所以需要尽可能减小背景区域的影响。显然，直接使用人脸检测的人脸图像是不合理的，在这里我们使用人脸外接矩形作为最终的人脸位置，即图中内框nk为最终确定的待分析的人脸图像。具体的，对应于图2，由于关键点1
‑
33号为人脸的边缘轮廓点，所以外接矩形是背景区域最小且较为合理的人脸位置。
59.步骤102：对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点；
60.作为一种可选的实施例，所述对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点(步骤102)，可以包括：
61.步骤1021：获取所述人脸图像上每个像素点的rgb三通道的像素值；
62.步骤1022：根据所述人脸图像上每个像素点的rgb三通道的像素值，判断得到不属于人脸肤色的像素点。
63.上述步骤1021
‑
1022在实施时，具体可以采用以下方法：
64.假设rgb三通道人脸图像的宽和高分别为w和h，对其进行通道分离，可以获得三个
输出结果均为w
×
h的单通道图像。输出(output)的每一个位置的像素值计算方式如下：
65.对每一个大小为w
×
h的单通道人脸图像，记为ired，igm和iblu，输出人脸分割结果记为output，output的每一个位置(x，y)，计算三个通道图像对应位置的最大值和最小值：
66.imax(x，y)＝max(ired(x，y)，igrn(x，y)，iblu(x，y))
67.imin(x，y)＝min(ired(x，y)，igrn(x，y)，iblu(x，y))
68.计算该位置下，最大值和最小值之间的差值：
69.irange(x，y)＝imax(x，y)
‑
imin(x，y)
70.计算该位置下，绿色通道和蓝色通道像素之间的绝对差值：
71.gbdiff(x，y)＝|igrn(x，y)
‑
iblu(x，y)|
×
1024
72.计算输出肤色分割结果：
[0073][0074]
其中euqal(1)为：
[0075]
imax(x，y)＝＝ire d(x，y)&&imax(x，y)＞15&&imax(x，y)＜250
[0076]
&&imax(x，y)！＝imin(x，y)&&gbdiff(x，y)＜796*irange(x，y)
[0077]
x＝1，2，...，w；y＝1，2，...，h。
[0078]
本发明实施例中，人脸的肤色是rgb通道，满足上述关系以后认为是肤色，否则非肤色，基于这个思想，把肤色和非肤色区域区别开。
[0079]
上述公式的含义是：如果肤色分割结果为equal(l)，则output(x，y)＝255(认为是肤色)，如果肤色分割结果为其他，则output(x，y)＝0(认为非肤色)。
[0080]
图4示出了人脸肤色分割结果，其中(a)表示不存在遮挡人脸的肤色分割结果，(b)表示有口罩遮挡人脸的肤色分割结果。如果没有遮挡，则结果显示为白色(对应肤色情况)，反之为黑色(对应非肤色情况)。但在图中我们可以发现，除了人脸以外两侧区域可视化结果也为黑色，显示为遮挡，但显然该区域不应被统计，因为其为非人脸区域。基于该分析，我们创建了人脸模板，以排除非人脸区域，具体介绍见后续步骤。
[0081]
步骤103：利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，所述人脸模板用于区分人脸区域和非人脸区域；
[0082]
本步骤中，人脸模板的主要目的在于区分人脸区域和非人脸区域，为实现该目的，优选的，人脸模板利用所述人脸图像中的人脸关键点制作得到，人脸关键点包括人脸边缘关键点，故借助于人脸边缘关键点即可制作出人脸模板。
[0083]
并且根据图4可以发现，在眼睛区域由于眼镜的镜架也会出现遮挡的判断，该部分也不应被统计。但如果测试人员佩戴的是墨镜，则遮挡应该计入统计。因此，本发明实施例中，人脸模板的创建根据是否戴墨镜可以分为两类。
[0084]
如果检测测试人员没有佩戴墨镜，则遮挡区域的判断为眼睛以下的部分，则可以使用图2中的关键点6～28、77、74、70为边缘点创建人脸模板。如果检测测试人员佩戴墨镜，则遮挡区域的判断为整张人脸，则可以使用图2中的关键点1～33、64、72、54为边缘点创建人脸模板。两种方式创建的人脸模板如图5所示，其中(a)表示佩戴墨镜的模板，(b)表示没
有佩戴墨镜的模板。需要说明的是，人脸模板是根据人脸图像中人脸的人脸关键点临时生成的，专用于当前人脸图像中的人脸，而非一个人脸模板通用于所有人脸，故能显著提高人脸遮挡定量分析的准确度。
[0085]
戴墨镜的模板和不戴墨镜的模板具体可以通过以下方法获取，由于已经定位到人脸关键点/特征点(脸颊特征点、眼睛特征点)，取眼睛特征点以下的部分即可获得戴墨镜模板，取眼睛特征点以上的部分即可获得不戴墨镜的模板。
[0086]
故，作为一种可选的实施例，所述利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点(步骤103)可以包括：
[0087]
步骤1031：判断所述人脸图像中的人员是否佩戴墨镜；
[0088]
本步骤中，判断人员是否佩戴墨镜可以采用本领域的常规方法，例如以人脸的归一化图像作为输入，使用深度学习方法进行二分类。具体实现为本领域公知常识，此处不再赘述。
[0089]
本步骤为人脸定性分析过程，主要是为了排除眼睛区域的干扰，因为眼睛的颜色和肤色有明显的区别，会影响肤色分割的效果，降低脸部遮挡定量分析的准确性。此外，佩戴墨镜时也会较大程度上影响定量分析的结果，所以本发明实施例先从定性的角度判断是否存在佩戴墨镜的情况。
[0090]
步骤1032：若是，则所述人脸模板包括佩戴墨镜的模板和没有佩戴墨镜的模板，利用所述没有佩戴墨镜的模板从所述人脸图像中获取人脸区域的像素点，利用所述佩戴墨镜的模板从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，其中所述佩戴墨镜的模板中人脸区域去除了眼睛部分，所述没有佩戴墨镜的模板中人脸区域未去除(保留了)眼睛部分。
[0091]
本实施例中，由于佩戴墨镜的模板中人脸区域去除了眼睛部分，所以在利用佩戴墨镜的模板从不属于人脸肤色的像素点中去除非人脸区域的像素点得到人脸上不属于人脸肤色的像素点的过程中，一是去除了非人脸区域的像素点，二是同时去除了眼睛部分的像素点，从而使得结果更准确。
[0092]
作为另一种可选的实施例，所述利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点(步骤103)可以包括：
[0093]
步骤1031：判断所述人脸图像中的人员是否佩戴墨镜；
[0094]
步骤1032’：若否，则所述人脸模板仅包括没有佩戴墨镜的模板，利用所述没有佩戴墨镜的模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，其中所述没有佩戴墨镜的模板中人脸区域未去除(保留了)眼睛部分。
[0095]
本实施例中，由于待测人员未佩戴墨镜，故人脸区域中无需排除眼睛部分的干扰。
[0096]
另外，发明人在研究过程中发现，由于男生额头部分通常没有头帘(肤色，能获得完整的椭圆脸)，女生额头部分一般会有头帘(非肤色)，如果此时按照有额头的比例去计算遮挡则不合理(因为男生是全脸，女生是半脸)，所以最好将额头部分去掉，以将男生和女生
″
归一化
″
。故，以上实施例中，人脸模板中人脸区域优选去除额头部分。在图5所示的人脸
模板中，即是已经去除了额头部分。
[0097]
去掉额头的方法可以参考如下：
[0098]
因为已经定位到人脸关键点(脸颊周围点以及眼睛点)，所以参考图2和图3把两边脸颊最顶端的特征点连接起来，不要连线以上的部分即可实现去掉额头。
[0099]
步骤104：根据所述人脸上不属于人脸肤色的像素点的个数以及所述人脸区域的像素点的个数，计算得到人脸遮挡比例。
[0100]
本步骤中，将人脸上不属于人脸肤色的像素点的个数除以人脸区域的像素点的个数，即得人脸遮挡比例。
[0101]
具体计算方法可参考如下：
[0102]
假设人脸肤色分割结果记为s，佩戴墨镜人脸模板为m1，未佩戴墨镜模板为m2，则人脸遮挡比例可以表示为：
[0103][0104]
其中，
[0105][0106]
occ_ratio表示人脸遮挡比例，nzero表示统计数据图像非0元素的个数，
⊙
表示数字图像对应位置点乘操作。
[0107]
综上，本发明实施例提供的人脸遮挡定量分析方法，首先获取待分析的人脸图像，然后对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点，再利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，最后根据所述人脸上不属于人脸肤色的像素点的个数以及所述人脸区域的像素点的个数，计算得到人脸遮挡比例。本发明实施例以人脸图像为输入，给出了一种人脸遮挡的定量判断方法，该方法不但可以指出人脸图像中是否存在遮挡(人脸遮挡比例为零时即说明不存在遮挡)，还可以定量的分析人脸的遮挡比例，且准确率高，进而提高人脸应用系统的实用性。
[0108]
另一方面，本发明实施例提供一种人脸遮挡定量分析装置，如图6所示，包括：
[0109]
第一获取模块11，用于获取待分析的人脸图像，所述人脸图像为利用人脸外接矩形从人脸图像原图中截取得到；
[0110]
分割模块12，用于对所述人脸图像进行人脸肤色分割，得到不属于人脸肤色的像素点；
[0111]
第二获取模块13，用于利用人脸模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点；
[0112]
计算模块14，用于根据所述人脸上不属于人脸肤色的像素点的个数以及所述人脸区域的像素点的个数，计算得到人脸遮挡比例。
[0113]
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0114]
优选的，所述第一获取模块11，包括：
[0115]
第一获取单元，用于获取人脸图像原图；
[0116]
检测单元，用于对所述人脸图像原图进行人脸检测，确定人脸的位置；
[0117]
定位单元，用于对人脸进行人脸关键点定位，所述人脸关键点包括人脸边缘关键点；
[0118]
截取单元，用于根据所述人脸关键点，利用人脸外接矩形从人脸图像原图中截取得到待分析的人脸图像。
[0119]
优选的，所述分割模块12，包括：
[0120]
第二获取单元，用于获取所述人脸图像上每个像素点的rgb三通道的像素值；
[0121]
第一判断单元，用于根据所述人脸图像上每个像素点的rgb三通道的像素值，判断得到不属于人脸肤色的像素点。
[0122]
优选的，所述人脸模板利用所述人脸图像中的人脸关键点制作得到，人脸关键点包括人脸边缘关键点。
[0123]
优选的，所述人脸模板中人脸区域去除了额头部分。
[0124]
优选的，所述第二获取模块13，包括：
[0125]
第二判断单元，用于判断所述人脸图像中的人员是否佩戴墨镜；若是，则所述人脸模板包括佩戴墨镜的模板和没有佩戴墨镜的模板，利用所述没有佩戴墨镜的模板从所述人脸图像中获取人脸区域的像素点，利用所述佩戴墨镜的模板从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，其中所述佩戴墨镜的模板中人脸区域去除了眼睛部分，所述没有佩戴墨镜的模板中人脸区域未去除眼睛部分。
[0126]
优选的，所述第二获取模块13，包括：
[0127]
第二判断单元，用于判断所述人脸图像中的人员是否佩戴墨镜；若否，则所述人脸模板仅包括没有佩戴墨镜的模板，利用所述没有佩戴墨镜的模板从所述人脸图像中获取人脸区域的像素点，并从所述不属于人脸肤色的像素点中去除非人脸区域的像素点，得到人脸上不属于人脸肤色的像素点，其中所述没有佩戴墨镜的模板中人脸区域未去除眼睛部分。
[0128]
本发明实施例还提供一种电子设备，图7为本发明的电子设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程，如图7所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一方法实施例所述的方法。
[0129]
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1所示实施例的描述，在此不再赘述。
[0130]
该电子设备以多种形式存在，包括但不限于：
[0131]
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
[0132]
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：pda、mid和umpc设备等，例如ipad。
[0133]
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0134]
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
[0135]
(5)其他具有数据交互功能的电子设备。
[0136]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例所述的方法步骤。
[0137]
本发明实施例还提供一种应用程序，所述应用程序被执行以实现本发明任一方法实施例提供的方法。
[0138]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。