人脸检测方法、装置、电子设备及存储介质与流程

1.本发明涉及机器学习技术领域，特别是指一种人脸检测方法、装置、电子设备及存储介质。


背景技术：

2.cnn(convolutional neural networks，卷积神经网络)在模式识别领域获得了较大的进步，尤其在图像人脸识别领域，识别效果可以远超人眼的辨别效果。由于cnn可以自适应的获得图像的特征并且可以获得较好的分类效果，所以基于cnn的人脸检测也取得了较大的突破。但较多的人脸检测方法将人脸建模成一个矩形框，对人脸的姿态鲁棒性较差。并且现有的很多网络结构通过下采样的方式增加特征图的感受野，但下采样会缩小特征的分辨率，不利于更好的检测出人脸。
3.根据人脸候选窗口获取方法的不同，现有基于cnn的人脸检测方法大体上可以分为一阶段人脸检测方法和二阶段人脸检测方法两种。
4.(1)一阶段人脸检测方法
5.一阶段人脸检测方法不需要提取人脸候选窗口，是一种将人脸图像输入到网络中，根据网络的特殊结构获得最终的人脸位置以及人脸置信度，该方法包括yolo、ssd、ssh、facebox等。以ssd为例，图像经过网络的卷积等运算后，会得到一个维度较小的特征图，特征图上的每一个单元(cell)与原图的某一个区域是一一对应的，并且越深层的特征图，其cell对应原图的感受野也就越大，所以较深层的特征图可以用于检测较大的人脸，较浅层的特征图可以用于检测较小的人脸。为了解决人脸的不同尺度和形状，ssd中使用了不同的边长和长宽比对人脸尺度进行放缩，根据分类和回归的训练结果可以获得最终的人脸置信度以及人脸位置。
6.(2)二阶段人脸检测方法
7.该方法首先需要获取人脸候选区域(也称为proposals)，接着使用cnn对人脸候选区域进行分类以及回归。获得proposal的方法有基于传统的方法，如选择性研究(selective research)等，也有使用cnn去获取proposal。该方法由于是对候选窗口进行进一步的分类，所以检测结果相对于一阶段方法来说比较准确。但是，其速度需要依赖于候选窗口的数量以及分类网络的大小，候选窗口数量越多，分类网络越深，往往检测速度也就越慢。
8.现有基于cnn的人脸检测技术中，一阶段人脸检测方法由于不需要获取proposal，所以需要网络较深以获得较好的检测效果，并且人脸搜索空间更广，导致训练困难，对数据的要求也比较高；二阶段人脸检测方法检测速度受限于proposal的数量，为了获得较好的检测效果，候选窗口的数量往往较多，并且候选窗口之间会有重叠部分导致大量的重复计算，进而减慢检测的速度。


技术实现要素：

9.本发明实施例要解决的技术问题是提供一种检测速度快，检测效果好的人脸检测方法、装置、电子设备及存储介质。
10.为解决上述技术问题，本发明实施例提供技术方案如下：
11.一方面，提供一种人脸检测方法，包括：
12.获取归一化后的人脸图像；
13.使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果，其中人脸检测采用人脸中心点建模方案，进行特征提取时使用空洞卷积和多尺度多阶段监督训练；
14.对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
15.在本发明一些实施例中，所述获取归一化后的人脸图像，包括：
16.获取人脸图像；
17.将所述人脸图像缩放为预设尺寸大小。
18.在本发明一些实施例中，所述使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果，包括：
19.使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个中间结果，每个中间结果均包括热图、补偿值和人脸尺度；
20.根据所述中间结果，得到多个人脸检测结果。
21.在本发明一些实施例中，所述使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个中间结果，包括阶段1和阶段2，其中，所述阶段1包括：
22.将所述归一化后的人脸图像作为阶段1网络的输入，经过空洞卷积、激活函数激活、bn运算获得第一特征图of1，利用of1计算得到热图、补偿值和人脸尺度，完成阶段1监督1的过程；
23.对of1继续进行空洞卷积、激活函数激活、bn运算获得第二特征图of2，利用of2计算得到热图、补偿值和人脸尺度，完成阶段1监督2的过程，以此类推，直至完成阶段1所有监督的过程；
24.所述阶段2包括：
25.第一特征图of1经过特征增强模块，获得阶段2中的第一增强特征图ef1，利用ef1计算得到热图、补偿值和人脸尺度，完成阶段2监督1的过程；
26.对ef1继续进行空洞卷积、激活函数激活、bn运算获得第二特征图ef2，利用ef2计算得到热图、补偿值和人脸尺度，完成阶段2监督2的过程，以此类推，直至完成阶段2所有监督的过程。
27.在本发明一些实施例中，所述特征增强模块的操作为分别对当前特征层和当前特征层的上一特征层进行卷积操作，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘操作，再使用两个以上空洞卷积进行卷积操作，对获得的特征图进行相加获得最终的特征增强模块输出。
28.在本发明一些实施例中，所述根据所述中间结果，得到多个人脸检测结果，包括：
29.判断热图上任一位置的值是否大于预设阈值，如果是，则认为是人脸中心点位置。
30.在本发明一些实施例中，所述人脸中心点建模方案认为人脸是正方形，和/或，所
述中间结果还包括定位关键点。
31.另一方面，提供一种人脸检测装置，包括：
32.获取模块，用于获取归一化后的人脸图像；
33.提取模块，用于使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果，其中人脸检测采用人脸中心点建模方案，进行特征提取时使用空洞卷积和多尺度多阶段监督训练；
34.抑制模块，用于对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
35.再一方面，提供一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述任一所述的方法。
36.又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一所述的方法。
37.本发明实施例具有以下有益效果：
38.本发明实施例提供的人脸检测方法、装置、电子设备及存储介质，首先获取归一化后的人脸图像，然后使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果，其中人脸检测采用人脸中心点建模方案，进行特征提取时使用空洞卷积和多尺度多阶段监督训练，最后对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。本发明实施例为实时的单阶段/一阶段深度人脸检测方法，其采用基于中心的人脸检测方法，可以较好地解决旋转人脸的检测问题；在cnn结构的设计上，使用空洞卷积增大感受野，提出特征增强模块加强特征的学习；采用多尺度多阶段训练策略，在不同的尺度上进行有监督训练，提高人脸检测效果。因此，本发明实施例人脸检测速度快，检测效果好。
附图说明
39.图1为本发明的人脸检测方法一个实施例的流程示意图；
40.图2为人脸检测模型示意图，其中(a)为常规矩形人脸的建模方案，(b)为本发明实施例采用的人脸中心点的建模方案；
41.图3为图1所示方法实施例中采用的空洞卷积的示意图，其中(a)表示标准的3
×
3卷积，(b)表示空洞率为1的3
×
3空洞卷积；
42.图4为图1所示方法实施例的原理图；
43.图5为图4中特征增强模块的原理图；
44.图6为本发明的人脸检测装置一个实施例的结构示意图；
45.图7为本发明的电子设备一个实施例的结构示意图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后......)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
48.另外，在本发明中涉及
″
第一
″
、
″
第二
″
等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有
″
第一
″
、
″
第二
″
的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
49.一方面，本发明实施例提供一种人脸检测方法，如图1所示，本实施例的方法包括：
50.步骤101：获取归一化后的人脸图像；
51.为方便图像检测，通常需要对图像进行归一化处理，此处可以采用本领域各种归一化方法，例如，作为一种可选的实施例，所述获取归一化后的人脸图像(步骤101)，可以包括：
52.步骤1011：获取人脸图像；
53.步骤1012：将所述人脸图像缩放为预设尺寸大小。
54.也就是说，本发明实施例中的归一化主要是指图像放缩，并非人脸检测定位过程中点的归一化。例如，假设原人脸图像大小为640
×
480，缩放可以检测的人脸尺寸是30
×
30，如果可以检测的最小人脸尺寸是60
×
60，则将图像放缩为320
×
240即可。
55.步骤102：使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果，其中人脸检测采用人脸中心点建模方案，进行特征提取时使用空洞卷积和多尺度多阶段监督训练；
56.为了提升人脸检测的效果，本发明实施例首先采用检测人脸中心点的方法替代常规的检测人脸矩形方式；接着在网络结构的设计上，使用空洞卷积，在不减小特征图分辨率的情况下，提高特征图的感受野，加强人脸检测效果；其次，在网络中引入特征增强模块用于增强人脸分类特征的性能；最后，使用多层有监督的方法，提高各种尺度人脸的检测效果。下面对这些技术关键点进行逐一说明。
57.(1)人脸中心点检测
58.人脸检测的目的是找到人脸的位置信息和尺度信息，人脸的位置可以使用一对坐标点(x，y)描述，尺度信息则使用人脸的宽w和高h描述。基于矩形框的人脸检测方法中，会检测人脸左上角的位置以及人脸的宽和高。但基于中心点的人脸检测方法检测的位置是人脸的中心点坐标以及中心点到人脸边界的宽和高。
59.图2中(a)表示常规矩形人脸的建模方案，图2中(b)表示本发明实施例采用的人脸中心点的建模方案。需要指出的是，本发明实施例中，人脸检测采用人脸中心点建模方案，
并且为了提高人脸检测的准确率，在人脸中心点建模方案中，认为人脸是一个正方形，所以两个方向的人脸尺度是相等的均为s。
60.(2)空洞卷积和特征增强模块
61.在网络结构的设计上，本发明实施例主要使用了空洞卷积和特征增强模块。空洞卷积是一种广泛应用于语义分割与目标检测领域的一种技术，在标准的卷积中，使用的是核与数字图像进行卷积运算获得输出特征图，而空洞卷积是一种稀疏形式的卷积，在卷积核参数之前使用0进行填充，图3中给出了标准卷积核与空洞卷积核的对比，从图中不难发现，空洞率为0的空洞卷积就是标准卷积。
62.在深度学习中，为了增大特征图的感受野并且降低网络的计算量，通常使用池化层和卷积层来增加感受野(receptive filed)，同时也缩小了特征图尺寸/分辨率(resolution)，然后再利用上采样还原图像尺寸，特征图缩小再放大的过程造成了精度上的损失，这样虽然可以增加感受野，但也降低了空间分辨率。
63.而空洞卷积的优点就在于，一方面可以增大感受野，用于检测或分割更大的目标，另一方面分辨率高了也可以更加精确的定位目标。在空洞卷积中，我们通过设置空洞率来调整感受野的大小(例如，如图3所示，当空洞率为0时，实际上就是卷积核大小为3
×
3，步长为1的标准卷积，当空洞率为1时，卷积核变为了5
×
5，此时感受野大小为7
×
7，当空洞率为2时，卷积核变为了7
×
7，此时感受野大小为15
×
15)，可见，只要每一层设置不同的空洞率，感受野就会不一样，也即获取了多尺度信息，多尺度的信息在视觉的相关研究中是极其重要的。所以，空洞卷积可以任意的扩大感受野，并且不引入额外的参数。
64.(3)特征增强模块
65.特征增强模块可以加强特征的学习，增强原始特征使这些特征更加可分(特征的泛化性提高)并鲁棒，在图5所示实施例中，该特征增强模块的操作为分别对当前特征层和当前特征层的上一层进行1*1卷积操作，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘操作，再使用空洞率分别为1、2、4的3*3空洞卷积进行卷积操作，对获得的三个特征图进行相加获得最终的特征增强模块输出。
66.(4)多尺度有监督人脸检测
67.图4给出了本发明实施例的人脸检测网络的原理示意图，本发明实施例分为两个阶段，阶段2中的特征由阶段1中的特征经过特征增强模块获得。这里需要说明的是，现有的深度学习网络均适用于本发明，例如可以使用resnet18网络。在每一个阶段中为了充分利用人脸的多尺度信息，获得更好的检测效果，本发明实施例使用了多尺度(multi-scale)多阶段监督训练的方案。
68.基于上述描述，作为一种可选的实施例，所述使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果(步骤102)，可以包括：
69.步骤1021：使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个中间结果，每个中间结果均包括热图、补偿值和人脸尺度；
70.本步骤中，如图4所示，每个中间结果均包括热图(heatmap)、补偿值(offset)和人脸尺度(scale)，并且还可以包括定位关键点(landmarks)。
71.其中，热图(heatmap)的大小与相应特征图的大小相同，可以理解的是，在本发明实施例中，热图中点的意义表示此处是人脸中心点的概率值大小；补偿值(offset)是对人
脸中心点的一个偏差估计(也即人脸中心点的偏移量)，目的是为了使得人脸中心位置更加的准确；人脸尺度(scale)是人脸尺度偏移量的回归值(也即人脸检测框的宽和高)；为了进一步提升人脸检测的效果，还可以同时输出定位关键点(landmarks)即人脸的若干关键点信息，例如人脸关键点可以为5个，包括两个人眼中心点、鼻尖点以及两个嘴角位置。
72.步骤1022：根据所述中间结果，得到多个人脸检测结果。
73.在进一步的实施例中，所述使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个中间结果(步骤1021)，如图4所示，可以包括阶段1和阶段2，其中，所述阶段1包括：
74.将所述归一化后的人脸图像作为阶段1网络的输入，经过空洞卷积(例如可以为空洞率为1的3*3空洞卷积)、激活函数(具体可以为relu函数)激活、bn(batch normalization)运算获得第一特征图of1，利用of1计算得到热图、补偿值和人脸尺度(计算方法为本领域公知常识，例如特征图经过全连接层和softmax即可得到热图，特征图经过不同的全连接层即可分别得到补偿值、人脸尺度、以及定位关键点)，完成阶段1监督1的过程；
75.对of1继续进行空洞卷积、激活函数激活、bn运算获得第二特征图of2，利用of2计算得到热图、补偿值和人脸尺度(计算方法同上)，完成阶段1监督2的过程，以此类推，直至完成阶段1所有监督的过程；
76.所述阶段2包括：
77.第一特征图of1经过特征增强模块，获得阶段2中的第一增强特征图ef1，利用ef1计算得到热图、补偿值和人脸尺度(计算方法同上)，完成阶段2监督1(即图4中的监督7)的过程；
78.对ef1继续进行空洞卷积、激活函数激活、bn运算获得第二特征图ef2，利用ef2计算得到热图、补偿值和人脸尺度，完成阶段2监督2(即图4中的监督8)的过程，以此类推，直至完成阶段2所有监督的过程。
79.这样，采用多尺度多阶段训练策略，在不同的尺度上进行有监督训练，能够提高人脸检测效果。
80.在进一步的实施例中，如图5所示，所述特征增强模块的操作可以为分别对当前特征层和当前特征层的上一特征层进行卷积操作(例如1*1卷积操作)，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘(product)操作，再使用两个以上空洞卷积(例如空洞率分别为1、2、4的3*3空洞卷积)进行卷积操作，对获得的特征图进行相加(concat)获得最终的特征增强模块输出。这样，通过特征增强模块，能够获得更加抽象的检测特征，提升人脸检测效果。
81.在图4-5所示实施例中，经过计算，我们在第一阶段(即阶段1)中一共可以获得6个特征图of1，of2，of3，of4，of5，of6以及6个监督过程。每一个监督过程中都可以得到一个4个人脸检测中间结果图(即热图、补偿值、人脸尺度和定位关键点)。第一阶段的每一个特征图(of1-6)经过特征增强模块后可以得到第二阶段(即阶段2)中的特征图ef1，ef2，ef3，ef4，ef5，ef6以及6个监督过程，每一个监督过程中也都可以得到4个人脸检测中间结果图。
82.作为另一种可选的实施例，所述根据所述中间结果，得到多个人脸检测结果(步骤1022)，可以包括：
83.判断热图上任一位置的值是否大于预设阈值，如果是，则认为是人脸中心点位置。
84.如前所述，将待测图像输入上文所述的卷积神经网络后，对每个特征图，均可以得到heatmap、offset、scale和landmarks四个人脸检测中间结果图，可以用于计算人脸的位置以及关键点坐标。
85.具体实施时，对于人脸的位置，判断heatmap上的(i，j)位置的值是否大于给定阈值，如果小于，则认为该点不是人脸的中心点(heatmap中点的意义表示此处是人脸中心点的概率值大小)，反之，该点则是人脸中心点位置。若该特征图是原图经过a倍下采样得到的，并且offset上对应位置的值为(off
x
，offy)，则人脸中心的位置为((i off
x
)
×
a，(j offy)
×
a)，由此即可得到heatmap上的点对应原图中的点的位置。
86.假设人脸尺度为offset在(i，j)位置的值为ts，则在原图上人脸的尺度可以表示为之所以能够这样表示原图上人脸的尺度，是因为在人脸检测中，cnn并不是直接回归人脸在原图像中的真实位置，而是回归得到人脸尺度的一个偏移量。训练时，假设网络经过步长为a下采样得到特征图，则在这一级人脸的尺度标签为ts＝log(s/a)。相应的，在测试(实际检测)过程中，网络对一张图像在该特征层回归得到尺度偏移量为ts，则其对应的原图人脸尺度应为
87.人脸关键点定位与人脸中心点位置不同，因为本发明是一个人脸检测任务，所以我们更关注于人脸检测位置的准确性，而弱化了人脸关键位置的判断，所以没有/无需对关键点进行偏移量的回归，每一个关键点的计算方式为其中，i＝1，2，...，5，和分别表示第i个关键点的横纵坐标的回归量，s为人脸的尺度。
88.步骤103：对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
89.可以想到的是，在网络的每一个尺度上都可能检测到人脸，并且会出现一个人脸同时在两个或多个尺度上都被检测到的情况。所以，在每个尺度计算人脸位置后，需要对结果使用nms(non-maximum suppression，非极大值抑制)进行后处理操作，其为本领域常规算法，此处不再赘述。
90.综上，本发明实施例提供的人脸检测方法，首先获取归一化后的人脸图像，然后使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果，其中人脸检测采用人脸中心点建模方案，进行特征提取时使用空洞卷积和多尺度多阶段监督训练，最后对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。本发明实施例为实时的单阶段/一阶段深度人脸检测方法，其采用基于中心的人脸检测方法，可以较好地解决旋转人脸的检测问题；在cnn结构的设计上，使用空洞卷积增大感受野，提出特征增强模块加强特征的学习；采用多尺度多阶段训练策略，在不同的尺度上进行有监督训练，提高人脸检测效果。因此，本发明实施例人脸检测速度快，检测效果好。
91.经测验，采用本发明图1、4-5所示实施例的方法(其中类别为三分类)在构造的测试集上，输入图像大小为640*480，最小检测人脸设定为60*60，在i5 cpu下的检测速度为50ms，准确率是99.85％；如果不使用空洞卷积，其他方法步骤相同，则人脸检测准确率为97.51％；如果只保留阶段1，去掉特征增强模块和阶段2，其他方法步骤相同，则人脸检测准确率为94.53％；由此可知，本发明实施例的方法人脸检测速度快，检测效果好。
92.此外，如果去掉监督1、监督2、监督7、监督8，其他步骤相同，则人脸检测准确率为
96.63％，并且漏检的人脸大多数为较小的人脸，说明浅层特征的多监督方法有利于提高小人脸的检出率。
93.另一方面，本发明实施例提供一种人脸检测装置，如图6所示，包括：
94.获取模块11，用于获取归一化后的人脸图像；
95.提取模块12，用于使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个人脸检测结果，其中人脸检测采用人脸中心点建模方案，进行特征提取时使用空洞卷积和多尺度多阶段监督训练；
96.抑制模块13，用于对所述多个人脸检测结果进行非极大值抑制，得到最终人脸检测结果。
97.本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
98.优选的，所述获取模块11，包括：
99.第一获取单元，用于获取人脸图像；
100.缩放单元，用于将所述人脸图像缩放为预设尺寸大小。
101.优选的，所述提取模块12，包括：
102.提取单元，用于使用卷积神经网络对所述归一化后的人脸图像进行特征提取，得到多个中间结果，每个中间结果均包括热图、补偿值和人脸尺度；
103.第二获取单元，根据所述中间结果，得到多个人脸检测结果。
104.优选的，所述提取单元，包括阶段1和阶段2，其中，所述阶段1包括：
105.将所述归一化后的人脸图像作为阶段1网络的输入，经过空洞卷积、激活函数激活、bn运算获得第一特征图of1，利用of1计算得到热图、补偿值和人脸尺度，完成阶段1监督1的过程；
106.对of1继续进行空洞卷积、激活函数激活、bn运算获得第二特征图of2，利用of2计算得到热图、补偿值和人脸尺度，完成阶段1监督2的过程，以此类推，直至完成阶段1所有监督的过程；
107.所述阶段2包括：
108.第一特征图of1经过特征增强模块，获得阶段2中的第一增强特征图ef1，利用ef1计算得到热图、补偿值和人脸尺度，完成阶段2监督1的过程；
109.对ef1继续进行空洞卷积、激活函数激活、bn运算获得第二特征图ef2，利用ef2计算得到热图、补偿值和人脸尺度，完成阶段2监督2的过程，以此类推，直至完成阶段2所有监督的过程。
110.优选的，所述特征增强模块的操作为分别对当前特征层和当前特征层的上一特征层进行卷积操作，然后对上一特征层卷积后的特征图进行上采样，对上采样后的结果与当前特征层卷积后的结果进行点乘操作，再使用两个以上空洞卷积进行卷积操作，对获得的特征图进行相加获得最终的特征增强模块输出。
111.优选的，所述第二获取单元，包括：
112.判断单元，用于判断热图上任一位置的值是否大于预设阈值，如果是，则认为是人脸中心点位置。
113.优选的，所述人脸中心点建模方案认为人脸是正方形，和/或，所述中间结果还包
括定位关键点。
114.本发明实施例还提供一种电子设备，图7为本发明的电子设备一个实施例的结构示意图，可以实现本发明图1所示实施例的流程，如图7所示，上述电子设备可以包括：壳体41、处理器42、存储器43、电路板44和电源电路45，其中，电路板44安置在壳体41围成的空间内部，处理器42和存储器43设置在电路板44上；电源电路45，用于为上述电子设备的各个电路或器件供电；存储器43用于存储可执行程序代码；处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述任一方法实施例所述的方法。
115.处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤，可以参见本发明图1所示实施例的描述，在此不再赘述。
116.该电子设备以多种形式存在，包括但不限于：
117.(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
118.(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：pda、mid和umpc设备等，例如ipad。
119.(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
120.(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
121.(5)其他具有数据交互功能的电子设备。
122.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例所述的方法步骤。
123.本发明实施例还提供一种应用程序，所述应用程序被执行以实现本发明任一方法实施例提供的方法。
124.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。