人脸关键点检测方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种人脸关键点检测方法及装置。


背景技术：

2.随着科学技术的发展，将人脸识别技术应用在实际生活中的场景越来越多，如，基于一张或多张2d图像中所识别的人脸，重新构建人脸3d模型，进而实现视频换脸的效果；或者，对用户面部进行活体检测，以验证所述用户的身份或者权限，以抵御各类欺诈式攻击。人脸关键点检测作为人脸识别技术中的重要组成部分，将很大程度影响到人脸识别/分析/搜索系统的整体性能。
3.目前，使用的人脸关键点检测模型，主要是将所有关键点放在一起训练，重点考虑关键点之间的相对位置关系，最后得到一个全局最优解。
4.然而，在现有人脸关键点检测过程中，未考虑人脸关键点任务的额外信息，特别是人脸处于不同姿态角度等情况，比如当原始人脸图像中的人脸位置，相较于正视状态的人脸图像而言，偏移姿态会造成人脸五官位置的偏移，以使人脸关键点的检测位置与目标位置的偏差较大，进而造成计算量过大，且在设定的迭代次数中，将无法准确的定位原始人脸图像中各人脸关键点的最终检测位置，从而增加人脸关键点的检测困难程度，降低人脸关键点的定位准确度。


技术实现要素：

5.本发明提供一种人脸关键点检测方法及装置，用以解决现有技术中由于姿态的影响以致人脸关键点检测准确率较差的缺陷，实现多姿态条件下准确检测人脸关键点。
6.本发明提供一种人脸关键点检测方法，包括：获取人脸图像；将所述人脸图像输入至人脸关键点检测模型中，得到所述人脸关键点检测模型输出的人脸关键点检测结果；其中，所述人脸关键点检测模型是基于样本图像及所述样本图像对应的角度类别标签和人脸关键点真值训练得到的；所述人脸关键点模型用于基于对所述人脸图像预测得到的角度类别，对所述人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
7.根据本发明提供的一种人脸关键点检测方法，所述人脸关键点检测模型，包括：角度预测层，对输入的人脸图像进行姿态角类型预测，得到角度类别；人脸关键点检测层，基于所述角度类别对所述人脸图像进行检测，得到人脸关键点检测结果。
8.根据本发明提供的一种人脸关键点检测方法，所述对输入的人脸图像进行姿态角类型预测，包括：基于输入的人脸图像进行特征提取，得到姿态角；基于预设角度类别，确定所述姿态角所属角度范围，得到角度类别。
9.根据本发明提供的一种人脸关键点检测方法，所述姿态角包括俯仰角和偏航角，所述角度预测层包括分别预测所述俯仰角的第一卷积层和预测所述偏航角的第二卷积层。
10.根据本发明提供的一种人脸关键点检测方法，训练所述人脸关键点检测模型，包括：获取样本图像及所述样本图像对应的角度类别标签和人脸关键点真值；将所述样本图
像作为待训练模型的输入数据，将所述角度类别标签作为所述待训练模型基于所述样本图片预测得到的角度预测类型的标签，将所述人脸关键点真值作为所述待训练模型基于所述角度预测类型进行人脸关键点检测得到的人脸关键点预测结果的标签，对所述待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
11.根据本发明提供的一种人脸关键点检测方法，所述对所述待训练模型进行训练，包括：将所述样本图像输入至角度预测层，得到所述角度预测层输出的角度预测类别；将所述角度预测类别和所述样本图像输入至人脸关键点检测层，得到所述人脸关键点检测层输出的人脸关键点预测结果；基于所述角度预测类别和所述角度类别标签构建角度损失函数，并基于所述人脸关键点预测结果和所述人脸关键点真值构建关键点损失函数；根据所述角度损失函数和所述关键点损失函数，得到总损失函数，并基于所述总损失函数收敛，结束训练。
12.本发明还提供一种人脸关键点检测装置，包括：数据获取模块，获取人脸图像；人脸关键点检测模块，将所述人脸图像输入至人脸关键点检测模型中，得到所述人脸关键点检测模型输出的人脸关键点检测结果；其中，所述人脸关键点检测模型是基于样本图像及所述样本图像对应的角度类别标签和人脸关键点真值训练得到的；所述人脸关键点模型用于基于对所述人脸图像预测得到的角度类别，对所述人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人脸关键点检测方法的步骤。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人脸关键点检测方法的步骤。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人脸关键点检测方法的步骤。
16.本发明提供的人脸关键点检测方法及装置，通过对将获取的人脸图像输入至人脸关键点检测模型中，以便于根据对人脸图像预测的姿态角对应的角度类型，对人脸图像进行关键点检测，以根据角度范围，提高人脸关键点的检测精度，避免受姿态的影响以致关键点检测精度较差的情形，提高人脸关键点检测的精度。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的人脸关键点检测方法的流程示意图；
19.图2是本发明提供的人脸关键点检测模型的架构示意图；
20.图3是本发明提供的训练人脸关键点检测模型的流程示意图；
21.图4是本发明提供的人脸关键点检测装置的结构示意图；
22.图5是本发明提供的训练模块的结构示意图；
23.图6是本发明提供的电子设备的结构示意图。
具体实施方式
24.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.图1示出了本发明一种人脸关键点检测方法的流程示意图，该方法包括：
26.s11，获取人脸图像；
27.s12，将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的角度类别标签和人脸关键点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的角度类别，对人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
28.需要说明的是，本说明书中的s1n不代表人脸关键点检测方法的先后顺序，下面具体结合图2描述本发明的人脸关键点检测方法。
29.步骤s11，获取人脸图像。
30.在本实施例中，获取人脸图像，包括：基于应用人脸关键点检测方法的电子设备或应用平台，获得待进行人脸关键点检测的人脸图像；或者，基于与应用人脸关键点检测方法的电子设备或应用平台连接的终端设备，获得人脸图像。需要说明的是，上述终端设备可以通过与其连接的视觉传感器获得识别区域内人物的人脸图像。应当注意，上述人脸图像可以为拍摄得到的单帧图片或图片帧序列，或者是对视频进行镜头分割，得到的与待检测人脸相关的图像帧或图像帧序列。
31.在一个可选实施例中，获取的人脸图像可以来源于毫米波雷达、激光雷达、探测器、摄像头以及其他摄像设备基于特定人脸拍摄的图像，此处不对人脸图像的来源做进一步地限定。
32.步骤s12，将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的角度类别标签和人脸关键点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的角度类别，对人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
33.在本实施例中，参考图2，人脸关键点检测模型，包括：角度预测层，对输入的人脸图像进行姿态角类型预测，得到角度类别；人脸关键点检测层，基于角度类别对人脸图像进行检测，得到人脸关键点检测结果。需要说明的是，通过角度预测层对输入的人脸图像进行角度预测，以便于根据预测得到的角度类别确定对应人脸图像的姿态角所属的角度范围，从而根据该范围对人脸图像进行关键点检测，以避免姿态角对人脸图像检测结果的影响，提高人脸关键点检测的精度。
34.具体而言，首先，角度预测层，对输入的人脸图像进行姿态角类型预测，得到角度类别。在本实施例中，对输入的人脸图像进行姿态角类型预测，包括：基于输入的人脸图像进行特征提取，得到姿态角；基于预设角度类别，确定姿态角所属角度范围，得到角度类别。
35.需要说明的是，在基于预设角度类别，确定姿态角所属角度范围，得到角度类别之
前，需要根据具体姿态角度大小进行划分，将一定范围内的姿态角划分为一类，比如将每十度划分为一类，通过对姿态角大小进行范围的划分，以便于相近姿态角的人脸图像为一类，从而基于人脸图像所属类别的角度范围对人脸图像进行检测，避免姿态角对人脸关键点检测的影响。
36.应当注意，当姿态角包括俯仰角pitch和偏航角yaw，角度预测层包括分别预测俯仰角的第一卷积层和预测偏航角的第二卷积层。
37.其次，人脸关键点检测层，基于角度类别对人脸图像进行检测，得到人脸关键点检测结果。在本实施例中，基于角度类别对人脸图像进行检测，得到人脸关键点检测结果，包括：基于角度类别，分配相应的权重数据，以对人脸图像进行关键点检测，得到人脸关键点检测结果；或者，对人脸图像进行关键点检测，得到初始关键点；基于角度类别对初始关键点进行角度纠正，得到人脸关键点检测结果。
38.在一个可选实施例中，参考图3，该方法，还包括：在将人脸图像输入至人脸关键点检测模型之前，训练人脸关键点检测模型，具体包括：
39.s31，获取样本图像及样本图像对应的角度类别标签和人脸关键点真值；
40.s32，将样本图像作为待训练模型的输入数据，将角度类别标签作为待训练模型基于样本图片预测得到的角度预测类型的标签，将人脸关键点真值作为待训练模型基于角度预测类型进行人脸关键点检测得到的人脸关键点预测结果的标签，对待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
41.需要说明的是，本说明书中的s3n不代表人脸关键点检测方法的先后顺序，下面具体描述本发明的人脸关键点检测方法。
42.步骤s31，获取样本图像及样本图像对应的角度类别标签和人脸关键点真值。
43.在本实施例中，获取样本图像及样本图像对应的角度类别标签和人脸关键点真值，包括：获取样本图像；对样本图像进行标注，得到角度类别标签和人脸关键点真值。
44.需要说明的是，获取样本图像，包括：获取视频流；基于预设间隔采集一定数量的视频帧图像作为样本图像；或者，基于至少一个人脸连续拍摄至少一帧图像，作为样本图像。应当注意，在获取视频流或者拍摄人脸图像时，可以基于不同的姿态角、遮挡物、光照等外界因素下获取。
45.另外，在获取样本图像之后，还包括：对获取的样本图像进行人脸识别，以去除未包含人脸的人脸图像。需要说明的是，样本图像可以理解为图片数据的集合，该图片数据可以是针对至少一个人脸目标，并且对应各人脸目标位于不同角度、不同像素颜色等状态下的图片，图片数据量通常比较大，可达到百万级别。上述样本图像用于训练待训练网络，以完成模型的构建。
46.在一个可选实施例中，在获取样本图像及样本图像对应的角度类别标签和人脸关键点真值之后，还包括：利用数据增强策略对样本图像进行数据增强。具体而言，数据增强策略包括翻转、旋转、裁剪、变形和缩放中的至少一种；和/或，数据增强策略包括噪声、模糊、颜色变换、擦除和填充中的至少一种。需要说明的是，基于本实施例选择的数据增强策略，适用于对上述样本图像进行数据增强，以便于增加训练图像数据量的同时，且有利于后续模型训练过程中，大幅度提升模型对于光照、遮挡、不完整、偏转角度大、表情等场景下的关键点检测精度。
47.在实际选择数据增强策略时，可以选择翻转、旋转、裁剪、变形或缩放中的任一种，也可以选择噪声、模糊、颜色变换、擦除和填充中的任一种，或者，选择翻转、旋转、裁剪、变形和缩放中的至少两种；或者，选择噪声、模糊、颜色变换、擦除和填充中的至少两种；或者，选择翻转、旋转、裁剪、变形、缩放、噪声、模糊、颜色变换、擦除和填充中的至少两种。
48.步骤s32，将样本图像作为待训练模型的输入数据，将角度类别标签作为待训练模型基于样本图片预测得到的角度预测类型的标签，将人脸关键点真值作为待训练模型基于角度预测类型进行人脸关键点检测得到的人脸关键点预测结果的标签，对待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
49.在本实施例中，待训练网络中通常包括分别用于对样本图像的姿态角类别进行预测的角度预测层、基于角度预测层得到的角度类别对人脸图像进行关键点检测的人脸关键点检测层和损失函数；按照预设的迭代规则，将上述样本图像或经数据增强后的样本图片输入至待训练模型中进行训练，得到训练后的目标识别模型。
50.具体而言，对待训练模型进行训练，包括：将样本图像输入至角度预测层，得到角度预测层输出的角度预测类别；将角度预测类别和样本图像输入至人脸关键点检测层，得到人脸关键点检测层输出的人脸关键点预测结果；基于角度预测类别和角度类别标签构建角度损失函数，并基于人脸关键点预测结果和人脸关键点真值构建关键点损失函数；根据角度损失函数和关键点损失函数，得到总损失函数，并基于总损失函数收敛，结束训练。需要说明的是，基于样本图像对应的姿态角所属角度预测类别，提高待识别模型对人脸关键点的学习能力，提高模型的检测精度，以避免受姿态的影响以致关键点检测精度较差的情况。
51.综上所述，本发明实施例通过对将获取的人脸图像输入至人脸关键点检测模型中，以便于根据对人脸图像预测的姿态角对应的角度类型，对人脸图像进行关键点检测，以根据角度范围，提高人脸关键点的检测精度，避免受姿态的影响以致关键点检测精度较差的情形，提高人脸关键点检测的精度。
52.下面对本发明提供的人脸关键点检测装置进行描述，下文描述的人脸关键点检测装置与上文描述的人脸关键点检测方法可相互对应参照。
53.图4示出了一种人脸关键点检测装置的结构示意图，该装置，包括：
54.数据获取模块41，获取人脸图像；
55.人脸关键点检测模块42，将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；
56.其中，人脸关键点检测模型是基于样本图像及样本图像对应的角度类别标签和人脸关键点真值训练得到的；
57.人脸关键点模型用于基于对人脸图像预测得到的角度类别，对人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
58.在本实施例中，数据获取模块41，包括：数据获取单元，基于应用人脸关键点检测方法的电子设备或应用平台，获得待进行人脸关键点检测的人脸图像；或者，数据获取单元，基于与应用人脸关键点检测方法的电子设备或应用平台连接的终端设备，获得人脸图像。需要说明的是，上述终端设备可以通过与其连接的视觉传感器获得识别区域内人物的人脸图像。应当注意，上述人脸图像可以为拍摄得到的单帧图片或图片帧序列，或者是对视
频进行镜头分割，得到的与待检测人脸相关的图像帧或图像帧序列。
59.在一个可选实施例中，数据获取模块41获取的人脸图像可以来源于毫米波雷达、激光雷达、探测器、摄像头以及其他摄像设备基于特定人脸拍摄的图像，此处不对人脸图像的来源做进一步地限定。
60.人脸关键点检测模块42，包括：角度预测单元，对输入的人脸图像进行姿态角类型预测，得到角度类别；人脸关键点检测单元，基于角度类别对人脸图像进行检测，得到人脸关键点检测结果。需要说明的是，通过角度预测层对输入的人脸图像进行角度预测，以便于根据预测得到的角度类别确定对应人脸图像的姿态角所属的角度范围，从而根据该范围对人脸图像进行关键点检测，以避免姿态角对人脸图像检测结果的影响，提高人脸关键点检测的精度。
61.具体而言，角度预测单元，包括：角度预测子单元，基于输入的人脸图像进行特征提取，得到姿态角；分类子单元，基于预设角度类别，确定姿态角所属角度范围，得到角度类别。
62.需要说明的是，角度预测单元，还包括：范围划分子单元，根据具体姿态角度大小进行划分，将一定范围内的姿态角划分为一类，比如将每十度划分为一类。通过在分类子单元基于预设角度类别，确定姿态角所属角度范围，得到角度类别之前，对姿态角的大小进行范围的划分，以便于相近姿态角的人脸图像为一类，从而基于人脸图像所属类别的角度范围对人脸图像进行检测，避免姿态角对人脸关键点检测的影响。
63.应当注意，当姿态角包括俯仰角pitch和偏航角yaw，角度预测单元包括分别预测俯仰角的第一卷积单元和预测偏航角的第二卷积单元，换言之，若姿态角包括至少两个，角度预测单元的数量根据姿态角的数量确定，以针对各角度分别对人脸图像进行角度类别的预测。
64.其次，人脸关键点检测单元，包括：检测子单元，基于角度类别，分配相应的权重数据，以对人脸图像进行关键点检测，得到人脸关键点检测结果；或者，检测子单元，对人脸图像进行关键点检测，得到初始关键点；纠偏子单元，基于角度类别对初始关键点进行角度纠正，得到人脸关键点检测结果。
65.在一个可选实施例中，参考图5，为了对人脸关键点检测模型进行训练，该装置还包括训练模块，具体包括：
66.样本获取单元51，获取样本图像及样本图像对应的角度类别标签和人脸关键点真值；
67.训练单元52，将样本图像作为待训练模型的输入数据，将角度类别标签作为待训练模型基于样本图片预测得到的角度预测类型的标签，将人脸关键点真值作为待训练模型基于角度预测类型进行人脸关键点检测得到的人脸关键点预测结果的标签，对待训练模型进行训练，得到用于生成人脸图像的人脸关键点检测结果的人脸关键点检测模型。
68.具体而言，样本获取单元51，包括：样本获取子单元，获取样本图像；标注子单元，对样本图像进行标注，得到角度类别标签和人脸关键点真值。
69.需要说明的是，样本获取子单元，包括：视频获取孙单元，获取视频流；图像采集孙单元，基于预设间隔采集一定数量的视频帧图像作为样本图像；或者，图像获取孙单元，基于至少一个人脸连续拍摄至少一帧图像，作为样本图像。应当注意，在获取视频流或者拍摄
人脸图像时，可以基于不同的姿态角、遮挡物、光照等外界因素下获取。
70.另外，样本获取子单元，还包括：筛选子单元，对获取的样本图像进行人脸识别，以去除未包含人脸的人脸图像。需要说明的是，样本图像可以理解为图片数据的集合，该图片数据可以是针对至少一个人脸目标，并且对应各人脸目标位于不同角度、不同像素颜色等状态下的图片，图片数据量通常比较大，可达到百万级别。上述样本图像用于训练待训练网络，以完成模型的构建。
71.在一个可选实施例中，该装置还包括：数据增强模块，利用数据增强策略对样本图像进行数据增强。具体而言，数据增强策略包括翻转、旋转、裁剪、变形和缩放中的至少一种；和/或，数据增强策略包括噪声、模糊、颜色变换、擦除和填充中的至少一种。需要说明的是，通过在获取样本图像及样本图像对应的角度类别标签和人脸关键点真值之后，基于本实施例选择的数据增强策略，对上述样本图像进行数据增强，以便于增加训练图像数据量的同时，且有利于后续模型训练过程中，大幅度提升模型对于光照、遮挡、不完整、偏转角度大、表情等场景下的关键点检测精度。
72.在实际选择数据增强策略时，可以选择翻转、旋转、裁剪、变形或缩放中的任一种，也可以选择噪声、模糊、颜色变换、擦除和填充中的任一种，或者，选择翻转、旋转、裁剪、变形和缩放中的至少两种；或者，选择噪声、模糊、颜色变换、擦除和填充中的至少两种；或者，选择翻转、旋转、裁剪、变形、缩放、噪声、模糊、颜色变换、擦除和填充中的至少两种。
73.训练单元52，包括：角度预测子单元，将样本图像输入至角度预测层，得到角度预测层输出的角度预测类别；将角度预测类别和样本图像输入至人脸关键点检测层，得到人脸关键点检测层输出的人脸关键点预测结果；损失函数构建子单元，基于角度预测类别和角度类别标签构建角度损失函数，并基于人脸关键点预测结果和人脸关键点真值构建关键点损失函数；训练子单元，根据角度损失函数和关键点损失函数，得到总损失函数，并基于总损失函数收敛，结束训练。需要说明的是，基于样本图像对应的姿态角所属角度预测类别，提高待识别模型对人脸关键点的学习能力，提高模型的检测精度，以避免受姿态的影响以致关键点检测精度较差的情况。
74.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)61、通信接口(communications interface)62、存储器(memory)63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信。处理器61可以调用存储器63中的逻辑指令，以执行人脸关键点检测方法，该方法包括：获取人脸图像；将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的角度类别标签和人脸关键点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的角度类别，对人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
75.此外，上述的存储器63中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，
read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
76.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人脸关键点检测方法，该方法包括：获取人脸图像；将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的角度类别标签和人脸关键点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的角度类别，对人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
77.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人脸关键点检测方法，该方法包括：获取人脸图像；将人脸图像输入至人脸关键点检测模型中，得到人脸关键点检测模型输出的人脸关键点检测结果；其中，人脸关键点检测模型是基于样本图像及样本图像对应的角度类别标签和人脸关键点真值训练得到的；人脸关键点模型用于基于对人脸图像预测得到的角度类别，对人脸图像进行人脸关键点检测，以得到人脸关键点检测结果。
78.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
79.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
80.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。