一种人脸信息识别方法、设备、存储介质及神经网络模型与流程

1.本技术属于人脸识别检测技术领域，尤其涉及一种人脸信息识别方法、设备、存储介质及神经网络模型。


背景技术：

2.yolov5神经网络模型是一种通用的目标检测模型，yolov5-face人脸识别检测模型在yolov5神经网络模型的基础上，新增加了对人脸关键点回归分支的检测，电子设备将待识别图像输入至yolov5-face人脸识别检测模型之后，可以通过该模型输出人脸位置信息。
3.当电子设备需要同时检测出待识别图像中的人脸位置信息和人脸三维角度信息时，通常采用在yolov5-face人脸识别检测模型的基础上，使用另外一个用于识别人脸三维角度的神经网络，如hopenet。示例性的，电子设备在获取到待识别图像后，首先将其输入至yolov5-face人脸识别检测模型，得到人脸位置信息，然后再基于该人脸位置信息剪裁待识别图像中的目标人脸，得到剪裁后的目标人脸图像，将剪裁后的目标人脸图像输入至用于识别人脸三维角度的神经网络中，得到人脸的三维角度信息。可以看出，电子设备在识别人脸位置信息以及人脸三维角度信息时，需要部署两种不同的神经网络模型，且通过两次输入，才能够得到人脸的三维角度信息，增大了电子设备的推理时间以及性能消耗。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种人脸信息识别方法、设备、存储介质及神经网络模型，以解决现有技术在进行人脸识别时，需要在电子设备中部署两种不同的神经网络模型，且电子设备需要执行两次输入的过程，才能得到人脸位置信息和人脸三维角度信息，导致增大了电子设备的推理时间以及性能消耗的问题。
5.本技术实施例的第一方面提供了一种人脸信息识别方法，应用于神经网络模型，该神经网络模型包括第一通道组和第二通道组，包括：获取待识别图像；识别待识别图像中的人脸位置信息；根据人脸位置信息确定人脸特征信息；通过第一通道组输出人脸位置信息，第二通道组输出人脸特征信息。
6.结合第一方面，在第一方面的第一种可能实现方式中，识别待识别图像中的人脸位置信息，包括：对待识别图像进行下采样，得到不同下采样倍数的第一目标图像；对第一目标图像进行特征融合，得到第二目标图像；识别第二目标图像中人脸位置信息。
7.结合第一方面的第一种可能实现方式，根据人脸位置信息确定人脸特征信息，包括：根据人脸位置信息剪裁待识别图像中的目标人脸，得到剪裁后的目标人脸图像；识别目标人脸图像中的人脸特征信息。
8.结合第一方面，在第一方面的第三种可能实现方式中，在通过第一通道组输出人脸位置信息，通过第二通道组输出人脸特征信息之前，该方法还包括：对人脸位置信息和人脸特征信息进行解码。
9.结合第一方面，在第一方面的第四种可能实现方式中，人脸特征信息为人脸三维角度信息。
10.本技术实施例的第二方面提供了一种神经网络模型，该神经网络模型包括第一通道组和第二通道组，该神经网络模型用于：获取待识别图像；识别待识别图像中的人脸位置信息；根据人脸位置信息确定人脸特征信息；通过第一通道组输出人脸位置信息，通过第二通道组输出人脸特征信息。
11.结合第二方面，在第二方面的第一种可能实现方式中，第二通道组的输出通道数是根据人脸特征信息确定的。
12.结合第二方面，在第二方面的第二种可能实现方式中，神经网络模型是通过如下方法训练得到的：修改神经网络模型中输出端的输出通道数，使神经网络模型包括用于识别人脸位置信息的第一通道组，和用于识别人脸特征信息的第二通道组；通过损失函数计算神经网络模型中人脸信息的损失参数；采用损失参数以及训练图像中人脸信息的标签值，对神经网络模型进行训练，得到能够识别人脸位置信息和人脸特征信息的神经网络模型。
13.本技术实施例的三方面提供了一种人脸信息识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
14.本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
15.本技术实施例与现有技术相比存在的有益效果是：本技术实施例提供一种人脸信息识别方法、装置、设备及存储介质，通过增加神经网络模型中通道组数，从而实现基于同一种神经网络模型，经过一次输入以及推理计算过程，在不同通道组中，同时输出人脸位置信息和人脸特征信息。本技术实施例提供的技术方案在保证精度的情况避免了资源浪费，节省了设备的资源以及性能消耗。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术实施例提供的一种人脸信息识别方法的流程图；
18.图2是本技术实施例提供的输出通道数修改前待识别图像输出流程的示意图；
19.图3是本技术实施例提供的输出通道数修改后待识别图像输出流程的示意图；
20.图4是本技术实施例提供的神经网络模型配置流程的示意图；
21.图5是本技术实施例提供的一种人脸信息识别设备的示意图。
具体实施方式
22.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具
体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
23.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
24.在神经网络模型中，电子设备通常使用如yolov5-face人脸识别检测模型的神经网络模型，检测待识别图像中的人脸位置信息，该人脸位置信息包括人脸分数、人脸所在区域以及人脸关键点(landmark)等信息。该人脸关键点包括：左眼、右眼、鼻子以及左嘴角、右嘴角所在的位置。
25.但是，在一些场景下(例如根据待识别图像对人脸进行三维建模)，电子设备不仅需要识别出待识别图像中的人脸位置信息，还需要识别出人脸的三维角度信息，该三位角度信息包括俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)的角度信息。
26.在另一些场景下(例如根据待识别图像中人脸的正侧对待识别图像进行剔除)，电子设备不仅需要识别出待识别图像中的人脸位置信息，还需要识别出人脸的三维角度信息，通过人脸的三维角度信息确定待识别图像中人脸是处于正脸还是侧脸，以及侧脸的侧向角度。然后再根据侧脸图片中侧脸的侧向角度对待识别图像进行剔除。
27.为了实现该目的，目前通常采用的方法是在yolov5-face人脸识别检测模型的基础上引入一个用于识别人脸三维角度信息的神经网络模型，如姿态估计算法模型(hopenet)。因此，当需要通过电子设备检测人脸的三维角度信息时，首先需要将待识别图像输入至yolov5-face人脸识别检测模型，得到人脸位置信息；然后再基于该人脸位置信息剪裁待识别图像中的目标人脸，得到剪裁后的目标人脸图片，将剪裁后的目标人脸图片输入至用于检测人脸三维角度的神经网络中，得到人脸的三维角度信息。该种获取人脸三维角度信息的方式，其需要待检测目标图片以及剪裁后的目标人脸图片的两次输入。而在进行人脸位置信息输入时，需要从yolov5-face人脸识别检测模型的输出端进行人脸位置信息的数据拷贝以及备份内存的操作，然后再基于该人脸位置信息剪裁待识别图像中的目标人脸，得到剪裁后的目标人脸图片，将剪裁后的目标人脸图片输入至用于检测人脸三维角度的神经网络中进行网络推理和解码，进而得到人脸的三维角度信息，该种方式增大了电子设备硬件性能的消耗。
28.同时，若电子设备在检测时，同一张待识别图像上存在多张人脸，则需要多张人脸位置信息分别拷贝数据并输入至用于检测人脸三维角度的神经网络中，从而加大神经网络的推理时间，以及电子设备的性能消耗。
29.基于此，本技术实施例提供一种神经网络模型，可以实现一次待识别图像的输入，通过该神经网络模型进行识别后，同时输出待识别图像中包括人脸位置信息和人脸特征信息的目的。
30.在本实施例中，电子设备可以是智能手机、平板电脑以及运行操作系统的计算机或者智能硬件设备等，本实施例对其不进行具体限制。
31.在一些实施例中，电子设备可以结合内置于该电子设备中的神经网络模型，对待识别图片中的人脸信息进行识别，下面首先对该神经网络模型进行示例性的说明。
32.本实施例还提供了一种神经网络模型，该神经网络模型包括第一通道组和第二通道组，该神经网络模型用于：获取待识别图像；识别待识别图像中的人脸位置信息；根据人
脸位置信息确定人脸特征信息；通过第一通道组输出人脸位置信息，通过第二通道组输出人脸特征信息。
33.应理解，本实施例中提供的神经网络模型可以是根据初始神经网络模型，通过用于识别人脸位置信息和人脸特征信息的训练数据进行训练得到的，也可以是基于现有的能够识别人脸位置信息的初始神经网络模型经过配置训练得到的。以下以上述后者为例，对本技术实施例提供的神经网络模型的配置训练过程进行解释说明。如图1所示，其配置训练过程具体包括以下步骤s11-s13。
34.在一些实施例中，电子设备中内置的神经网络模型为yolov5-face人脸识别检测模型。该yolov5-face人脸识别检测模型作为一种卷积神经网络模型，主要包括主干网络部分(backbone)、获取网络输出内容的网络部分(head)、用于收集不同阶段中特征图的网络层部分(neck)。
35.其中，backbone部分：利用卷积神经网络处理待识别图像，生成深层的特征图，用于抽象提取图片的特征。
36.head部分：利用之前提取的特征对输出的不同尺寸的图像特征进行预测，生成边界框并预测类别信息。
37.neck部分：是放在backbone和head之间的，是为了主干网络backbone提取的特征进行融合。
38.以下基于上述结构的yolov5-face人脸识别检测模型对本实施例提供的神经网络模型的配置训练过程进行详细的解释说明。
39.s11、电子设备修改初始神经网络模型中输出端的输出通道数，使该初始神经网络模型包括用于识别人脸位置信息的第一通道组，和，用于识别人脸特征信息的第二通道组。
40.在一些实施例中，第二通道组的输出通道数通过人脸特征信息确定。例如，当人脸特征信息为人脸的三维角度(俯仰角pitch，偏航角yaw，翻滚角roll)信息时，需要在神经网络模型中加入分别用于输出该俯仰角pitch，偏航角yaw，翻滚角roll的三个通道，该三个通道即为第二通道组。
41.示例性的，对于初始神经网络模型，电子设备将像素大小为608*608的待识别图像通过初始神经网络模型中的三部分网络处理后，在head部分的输出端得到特征分别为76*76*(4 1 1 10)*3，38*38*(4 1 1 10)*3，19*19*(4 1 1 10)*3的三张特征图像，如图2所示。其中，76*76、38*38、19*19为待识别图像经过不同下采样倍数得到的图像像素。(4 1 1 10)表示head部分输出端的总输出通道数，4表示4个位置坐标(x，y，w，h)的输出通道数(每个位置坐标拥有一个输出通道)，x，y分别表示锚框中人脸位置的左上角在图像坐标系上的x坐标和y坐标，w，h为该锚框中矩形的宽和高。在(4 1 1 10)中的第一个1是指目标的分数，即是否存在目标，存在目标则为1，不存在目标则为0，该目标的分数通过一个输出通道输出。第二个1是指人脸类别的分数，即存在目标后，目标属于何种类型，属于人脸则为1，不属于人脸则为0，该人脸类别的分数通过一个输出通道输出。10是指人脸位置信息中五个关键点(左眼、右眼、鼻子以及左嘴角、右嘴角)的位置，每个关键点都含有(x，y)，因此，五个关键点通过十个输出通道输出。3则是每层输出的特征图像上有3组不同尺度的锚框。
42.电子设备对神经网络模型中head部分的输出输出通道数进行修改，即对上述实施例中head部分输出端的(4 1 1 10)进行修改。当需要计算待识别图像中的人脸三维角度信
息时，将该输出通道数修改为(4 1 1 10 3)，加入用于计算人脸的三维角度信息的目标参数3。
43.在一些实施例中，电子设备完成输出通道数的修改之后，同样采用608*608的待识别图像为输入图像，通过神经网络模型中的三部分网络后，在head部分的输出端得到输出大小分别为76*76*(4 1 1 10 3)*3，38*38*(4 1 1 10 3)*3，19*19*(4 1 1 10 3)*3的三张特征图像，如图3所示，其中，(4 1 1 10 3)中的4 1 1 10以及*3的表达内容与上述表达内容一致，改进之处在于 3部分，即加入了用于计算人脸的三维角度信息的目标参数3。
44.在本实施例中，电子设备完成对初始神经网络模型中的输出输出通道数的修改，加入用于计算人脸目标信息的目标参数，从而得到修改后的神经网络模型。
45.s12、电子设备通过损失函数计算神经网络模型中人脸信息的损失参数。
46.在一些实施例中，电子设备通过下述公式对人脸信息的损失参数进行计算：
[0047][0048]
其中，
[0049]
在上述公式中，i表示一张待识别图像中人脸的个数，n表示所有待识别图像中总共的人脸个数；loss(x，y)表示预测值与标签值之间的平均绝对误差，xi为人脸信息的预测值，yi指的是人脸信息的标签值，预测值是指通过神经网络模型计算出的人脸信息的检测值，标签值为待识别图像中人脸信息的真实值。采用上述损失计算的方法计算预测值与标签值之间的偏差。
[0050]
示例性的，以像素大小为608*608的待识别图像通过神经网络模型中的三部分网络后，对神经网络模型输出端的输出输出通道数进行修改前，在head部分的输出端得到76*76*(4 1 1 10)*3，38*38*(4 1 1 10)*3，19*19*(4 1 1 10)*3的三张特征图像，其计算人脸信息的损失参数loss为分别计算人脸位置的损失lbox，目标的损失lobj，人脸分类的损失lcls以及关键点回归的损失lmark，即loss＝lbox lobj lcls lmark。对神经网络模型输出端的输出输出通道数进行修改后，在head部分的输出端得到76*76*(4 1 1 10 3)*3，38*38*(4 1 1 10 3)*3，19*19*(4 1 1 10 3)*3的三张特征图像，即加入了用于计算的人脸三维角度信息的目标参数3，电子设备在计算人脸信息的损失参数时，分别计算人脸位置的损失lbox，目标的损失lobj，人脸分类的损失lcls、关键点回归的损失lmark，以及人脸三维角度信息的损失lpose，即l＝lbox lobj lcls lmark lpose。
[0051]
s13、电子设备采用损失参数以及训练图像中人脸信息的标签值，对神经网络模型进行训练，得到能够识别人脸位置信息和人脸特征信息的所述神经网络模型。
[0052]
在一些实施例中，电子设备首先对训练图像进行标定，得到训练图像中人脸信息的标签值，即训练图像中人脸位置信息以及人脸特征信息的真实值。然后将标定好的训练图像以及计算出的人脸信息损失参数输入至神经网络模型中进行训练，得到适配于该损失参数以及训练图像的神经网络模型。
[0053]
基于上述神经网络模型，本实施例提供一种人脸信息识别方法，图4示出了本技术提供的人脸信息识别方法的流程图，如图4所示，该方法包括以下步骤s1-s5。
[0054]
s1、电子设备获取待识别图像。
[0055]
在本实施例中，待识别图像为包括目标人脸的二维图像，其可以为黑白图片或彩色图片。
[0056]
在一些实施例中，该待识别图像可以通过内置于电子设备中的摄像头拍照获取，该摄像头可以为任何一种能够采集二维图片的摄像头，比如：单目摄像头、彩色摄像头、黑白摄像头等。
[0057]
在另一些实施例中，该待识别图像可以是通过另一图像采集设备进行采集，然后将采集到的待识别图像发送至电子设备进行获取。该图像采集设备可以是手机、相机、手表或其他可穿戴设备。
[0058]
s2、电子设备通过神经网络模型识别待识别图像中的人脸位置信息。
[0059]
在一些实施例中，电子设备首先通过主干网络backbone部分进行待识别图像的特征提取，即对待识别图像通过下采样的方式得到不同倍数的特征图像，即第一目标图像。其中，下采样的过程即为将待识别图像按照预设倍数不断缩小的过程。以待识别图像的像素大小是608*608为例，按照下采样的倍数分别为8，16，32输出不同的特征图像。当下采样的倍数为8，输出的特征图像的像素为76*76，当下采样的倍数为8，输出的特征图像的像素为76*76，当下采样的倍数为16，输出的特征图像的像素为38*38，当下采样的倍数为32，输出的特征图像的像素为19*19。在每一张特征图像上根据图像中存在的特征目标会产生三个不同尺寸的锚框。每个锚框用于确定处于该锚框中的特征目标的位置信息，例如，当锚框中对应的特征目标为人脸时，该锚框则用于在后续识别过程中基于该锚框得到人脸的位置信息。
[0060]
然后基于网络层neck部分对下采样后的不同倍数的特征图像进行多尺度图像融合，得到第二目标图像。该图像融合过程即融合了深层卷积的高级别特征(下采样倍数为32所对应的特征图像中的特征)和浅层卷积的低级别特征(下采样倍数为8所对应的特征图像中的特征)，融合完成后再分别以上述下采样倍数各自输出。
[0061]
最后，将融合后得到的第二目标图像输入至输出端网络head部分，通过head部分进行分类和回归分析，该分类和回归分析包括对输出图像中是否存在人脸以及人脸位置进行检测，并基于上述锚框的位置输出人脸位置信息。
[0062]
s3、电子设备在神经网络模型中，根据人脸位置信息确定人脸特征信息。
[0063]
在一些实施例中，电子设备在如上述yolov5-face人脸识别检测模型的神经网络模型中，基于识别到的人脸位置信息剪裁待识别图像中的目标人脸，将人脸图片中的背景减掉只保留人脸部分，得到剪裁后的目标人脸图片。然后再通过该神经网络模型输出剪裁后的目标人脸图片中，目标人脸的人脸特征信息。
[0064]
其中，剪裁形状可以为正方形、矩形、椭圆等。
[0065]
s4、电子设备在神经网络模型中，对人脸位置信息和人脸特征信息进行解码。
[0066]
在一些实施例中，人脸位置信息和人脸特征信息是基于第二目标图像中锚框的位置坐标所得出的，而第二目标图像是缩小后的待识别图像，所以在确定待识别图像中人脸位置信息和人脸特征信息的真实值时，需要对该人脸位置信息和人脸特征信息进行解码，即将基于第二目标图像中锚框的位置坐标计算出的人脸位置信息和人脸特征信息，乘以第二目标图像中每张图片缩小的倍数(下采样的倍数)，从而得到待识别图像中的人脸位置信
息和人脸特征信息。
[0067]
例如，当电子设备通过神经网络模型在下采样倍数为8的第二目标图像中，识别到的人脸位置信息中人脸左眼的位置坐标为(x，y)，则经过解码后，得到人脸左眼的位置在待识别图像中的位置坐标为(8x，8y)。
[0068]
s5、电子设备通过神经网络模型的第一通道组输出人脸位置信息，第二通道组输出所述人脸特征信息。
[0069]
在电子设备内置的神经网络模型中，配置有用于输出人脸位置信息的第一通道组，和，用于输出人脸特征信息的第二通道组。
[0070]
示例性的，人脸位置信息即待识别图像中人脸的分数、人脸所在区域、五个关键点(左眼、右眼、鼻子以及左嘴角、右嘴角的位置)信息，通过神经网络模型的第一通道组输出，人脸的特征信息，例如人脸的三维角度信息(俯仰角pitch，偏航角yaw，翻滚角roll)，通过神经网络模型中的第二通道组输出。
[0071]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0072]
图5是本技术一实施例提供的人脸位置信息的计算设备的示意图。如图5所示，该实施例的人脸位置信息的计算设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如人脸位置信息的计算程序。所述处理器40执行所述计算机程序42时实现上述各个人脸位置信息的计算方法实施例中的步骤。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能。
[0073]
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述人脸位置信息的计算设备4中的执行过程。
[0074]
所述人脸位置信息的计算设备4可以是平板电脑、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述人脸位置信息的计算设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图5仅仅是人脸位置信息的计算设备4的示例，并不构成对人脸位置信息的计算设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述人脸位置信息的计算设备还可以包括输入输出设备、网络接入设备、总线等。
[0075]
所称处理器40可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0076]
所述存储器41可以是所述人脸位置信息的计算设备4的内部存储单元，例如人脸位置信息的计算设备4的硬盘或内存。所述存储器41也可以是所述人脸位置信息的计算设备4的外部存储设备，例如所述人脸位置信息的计算设备4上配备的插接式硬盘，智能存储
卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器41还可以既包括所述人脸位置信息的计算设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述人脸位置信息的计算设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
[0077]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0078]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0079]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0080]
在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0081]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0082]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0083]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可
以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0084]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。