关键点定位方法、装置、电子设备及存储介质与流程

1.本技术涉及人工智能领域，尤其涉及一种关键点定位方法、装置、电子设备及存储介质。


背景技术：

2.关键点定位，是利用图像处理和机器学习方法找出图像中的关键点位置的技术。作为许多计算机视觉任务的基础，关键点定位广泛应用于基于视频流的人机交互场景，如增强现实(ar，augmented reality)、虚拟现实(vr，virtual reality)、自动驾驶。在进行视频流的关键点定位时，存在定位耗时长的问题。


技术实现要素：

3.有鉴于此，本技术实施例提供一种关键点定位方法、装置、电子设备及存储介质，以至少解决相关技术在进行视频流的关键点定位时，存在的定位耗时长的问题。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供了一种关键点定位方法，所述方法包括：
6.基于第一图像的第一置信度，裁剪第二图像；所述第一置信度表征对应的图像在裁剪后得到的图像中包含目标对象的置信度；
7.将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像的第一置信度；所述第一设定模型用于识别输入的图像的关键点信息和第一置信度；其中，
8.所述第一图像表征所述第二图像在当前视频流中的前一帧图像。
9.其中，上述方案中，所述基于第一图像的第一置信度，裁剪第二图像，包括：
10.基于所述第一图像的第一置信度和第一设定阈值的关系，确定第二图像对应的裁剪框；
11.根据确定出的裁剪框裁剪第二图像。
12.上述方案中，所述基于所述第一图像的第一置信度和第一设定阈值的关系，确定第二图像对应的裁剪框，包括：
13.在所述第一图像的第一置信度大于第一设定阈值的情况下，基于第一图像的关键点信息确定第二图像对应的裁剪框；
14.在所述第一图像的第一置信度小于或等于第一设定阈值的情况下，将第二图像输入第二设定模型，得到第二图像对应的裁剪框；所述第二设定模型用于对输入的图像中的目标对象进行定位，得到对应的裁剪框。
15.上述方案中，在所述第一图像的第一置信度大于第一设定阈值的情况下，所述基于第一图像的关键点信息确定第二图像对应的裁剪框，包括：
16.基于第一图像的关键点信息在所述第一图像中确定第一区域；所述第一图像的所有关键点位于所述第一区域内；
17.通过调整所述第一区域，得到第二图像对应的裁剪框。
18.上述方案中，所述第一设定模型包括第一隐藏层、第二隐藏层和第三隐藏层，所述第一隐藏层、所述第二隐藏层并联，并与所述第三隐藏层串联；所述将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像的第一置信度，包括：
19.将裁剪后的第二图像输入至所述第三隐藏层，得到第二图像对应的第一特征图；
20.将所述第一特征图输入所述第一隐藏层，得到第二图像的关键点信息；
21.将所述第一特征图输入所述第二隐藏层，得到第二图像的第一置信度。
22.上述方案中，在所述将裁剪后的第二图像输入至所述第三隐藏层之前，所述方法还包括：
23.将视频流样本输入第一设定模型，得到所述视频流样本的至少两帧图像的第二置信度；
24.基于所述至少两帧图像样本的第二置信度和对应的标定结果确定损失值；
25.根据确定出的损失值更新所述第一设定模型的第二隐藏层的权重参数。
26.上述方案中，所述视频流中的至少一帧图像携带有手部关键点。
27.本技术实施例还提供了一种关键点定位装置，包括：
28.第一处理单元，用于基于第一图像的第一置信度，裁剪第二图像；所述第一置信度表征对应的图像在裁剪后得到的图像中包含目标对象的置信度；
29.第二处理单元，用于将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像的第一置信度；所述第一设定模型用于识别输入的图像的关键点信息和第一置信度；其中，
30.所述第一图像表征所述第二图像在当前视频流中的前一帧图像。
31.本技术实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
32.其中，所述处理器用于运行所述计算机程序时，执行上述关键点定位方法的步骤。
33.本技术实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述关键点定位方法的步骤。
34.本技术实施例提供的一种关键点定位方法、装置、电子设备及存储介质，在关键点定位方法中，基于第一图像在裁剪后得到的图像中包含目标对象的置信度，裁剪第二图像，将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像在裁剪后得到的图像中包含目标对象的置信度，其中，第一图像表征第二图像在当前视频流中的前一帧图像。电子设备基于前一帧图像在裁剪后的图像中包含目标对象的置信度，对这一帧图像进行裁剪，这样，能够减少电子设备对当前视频流的图像帧的检测次数，在节约了计算力的同时，提升了关键点定位时的速度，从而降低了关键点的定位耗时。
附图说明
35.图1为本技术实施例提供的一种关键点定位系统的架构示意图；
36.图2为本技术实施例提供的一种关键点定位方法实现流程示意图；
37.图3为本技术实施例提供的一种确定裁剪框的示意图；
38.图4为本技术实施例提供的一种第一设定模型的组成结构示意图；
39.图5为本技术应用实施例提供的一种关键点模型的结构示意图；
40.图6为本技术应用实施例提供的一种手部置信度分支的结构示意图；
41.图7为本技术实施例提供的一种关键点定位装置的结构示意图；
42.图8为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
43.关键点定位，是利用图像处理和机器学习方法找出图像中的关键点位置的技术。作为许多计算机视觉任务的基础，关键点定位广泛应用于基于视频流的人机交互场景，如ar、vr、自动驾驶。例如，用户在使用vr眼镜时，需要通过识别手部的动作来操作虚拟界面。
44.相关技术中，通过串联检测模型和关键点定位模型的组合进行视频流的关键点定位，存在消耗大量计算力、定位耗时长的问题。并且，随着移动终端设备的快速发展，模型组合更多地被部署到移动终端设备。而受限于计算资源，大部分终端设备难以支持模型组合的正常使用，存在模型应用场景受限的问题。
45.基于此，本技术实施例提供的一种关键点定位方法、装置、电子设备及存储介质，在关键点定位方法中，基于第一图像在裁剪后得到的图像中包含目标对象的置信度，裁剪第二图像，将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像在裁剪后得到的图像中包含目标对象的置信度，其中，第一图像表征第二图像在当前视频流中的前一帧图像。电子设备基于前一帧图像在裁剪后的图像中包含目标对象的置信度，对这一帧图像进行裁剪，这样，能够减少电子设备对当前视频流的图像帧的检测次数，在节约了计算力的同时，提升了关键点定位时的速度，从而降低了关键点的定位耗时。
46.并且，通过节约模型的计算力消耗，使模型能够普遍地适用于各类电子设备或各种场景。
47.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
48.图1为本技术实施例提供的关键点定位系统的架构示意图。其中，在本技术各实施例中，对相关技术中串联的检测模型和关键点定位模型的组合进行改进，得到图1示出的关键点定位系统的架构。
49.将视频流中的第一帧图像输入检测模型，得到裁剪框，在第一帧图像裁剪出目标区域，并将目标区域输入关键点模型。其中，关键点分支输出第一帧图像的关键点定位结果，手部置信度分支输出用于确定是否要将下一帧图像输入检测模型的手部置信度结果。如果置信度小于设定阈值，则将下一帧图像输入检测模型，获取裁剪框；如果置信度大于设定阈值，则下一帧图像无须输入检测模型，而是根据前一帧图像的关键点定位结果，从下一帧图像中裁剪出目标对象并送入关键点模型，从而得到下一帧图像的关键点定位结果和手部置信度结果。
50.在本技术各实施例中，通过优化关键点定位系统的架构，能够减少电子设备对当前视频流的图像帧的检测次数，在节约了计算力的同时，提升了关键点定位时的速度，从而降低了关键点的定位耗时。
51.下面将通过实施例并结合附图具体地对本技术的技术方案以及本技术的技术方
案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
52.图2为本技术实施例提供的关键点定位方法的实现流程示意图，其中，流程的执行主体为电子设备，包括但不限于手机、平板、智能手表、智能家电等移动终端设备。如图2所示，该方法包括：
53.步骤201：基于第一图像的第一置信度，裁剪第二图像。
54.其中，所述第一置信度表征对应的图像在裁剪后得到的图像中包含目标对象的置信度；所述第一图像表征所述第二图像在当前视频流中的前一帧图像。
55.基于当前视频流中的第一图像在裁剪后得到的图像中包含目标对象的置信度，确定第二图像对应的裁剪框，并基于确定出的裁剪框裁剪第二图像。
56.这里，置信度表征在裁剪后得到的图像中包含目标对象的可能性，置信度越高则对应的图像中越有可能包含目标对象。
57.步骤202：将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像的第一置信度；所述第一设定模型用于识别输入的图像的关键点信息和第一置信度。
58.将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息，和输入第一设定模型的裁剪后的第二图像的中包含目标对象的置信度。
59.这里，第一设定模型用于识别输入的图像的关键点信息和第一置信度，由于裁剪后的第二图像是未裁剪的第二图像的部分或全部，基于裁剪后的第二图像的关键点信息和裁剪第二图像时所使用的裁剪框的位置信息，能够确定未裁剪的第二图像的关键点信息。实际应用中，可以根据相关技术中的模型参数，设定第一设定模型的部分隐藏层的参数，以获得第二图像的关键点信息。这里的第一设定模型，也就是图1中的关键点定位模型。
60.第二图像的关键点信息，包括但不限于以下的表征方式：在第二图像上标记有关键点信息；用于确定关键点的信息，如关键点的坐标信息。
61.电子设备基于前一帧图像在裁剪后的图像中包含目标对象的置信度，对这一帧图像进行裁剪，能够减少对当前视频流的图像帧的检测次数，这样，在节约了计算力的同时，提升了关键点定位时的速度，从而降低了关键点的定位耗时。并且，通过节约模型的计算力消耗，使模型能够普遍地适用于各类电子设备或各种场景。
62.在一实施例中，所述基于第一图像的第一置信度，裁剪第二图像，包括：
63.基于所述第一图像的第一置信度和第一设定阈值的关系，确定第二图像对应的裁剪框；
64.根据确定出的裁剪框裁剪第二图像。
65.基于当前视频流中的前一帧图像在裁剪后得到的图像中包含目标对象的置信度和第一设定阈值的大小关系，采用对应的方式确定第二图像对应的裁剪框，并基于确定出的裁剪框裁剪第二图像。
66.在实际应用中，即使输入第一设定模型的图像中不包含目标对象，第一设定模型也会对输入的图像进行关键点识别，输出图像的关键点信息，这些关键点信息并不能表征对应的目标对象。这样，根据前一帧图像中是否包含目标对象，判断是否需要检测这一帧图像的关键点信息，从而实现视频流的关键点检测跳帧。
67.在一实施例中，所述基于所述第一图像的第一置信度和第一设定阈值的关系，确定第二图像对应的裁剪框，包括：
68.在所述第一图像的第一置信度大于第一设定阈值的情况下，基于第一图像的关键点信息确定第二图像对应的裁剪框；
69.在所述第一图像的第一置信度小于或等于第一设定阈值的情况下，将第二图像输入第二设定模型，得到第二图像对应的裁剪框；所述第二设定模型用于对输入的图像中的目标对象进行定位，得到对应的裁剪框。
70.判断第一图像的第一置信度是否大于第一设定阈值，并采用对应的方式确定第二图像对应的裁剪框：
71.在第一图像的第一置信度大于第一设定阈值的情况下，基于第一图像的关键点信息确定第二图像对应的裁剪框。第一置信度可以设定为0.95。
72.在第一图像的第一置信度小于或等于第一设定阈值的情况下，将第二图像输入第二设定模型，得到第二图像对应的裁剪框。这里的第二设定模型，也就是图1中的检测模型。
73.基于前一帧图像在裁剪后得到的图像中包含目标对象的置信度，在置信度高于第一设定阈值的情况下，表征前一帧图像中包含目标对象的可能性很高，关键点信息能够表征对应的目标对象，且视频流的图像是连贯的，因而可以根据前一帧图像的关键点信息确定这一帧图像的裁剪框，换句话说，这一帧图像不需要通过第二设定模型检测目标对象，这样，在视频流进行关键点定位时，无须对每一帧图像检测目标对象，在节约了计算力的同时，提升了关键点定位时的速度，从而降低了关键点的定位耗时。
74.并且，通过节约模型的计算力消耗，使模型能够普遍地适用于各类电子设备或各种场景。
75.对于当前视频流的第一帧图像，由于不存在前一帧图像，电子设备需要将第一帧图像输入第二设定模型，得到对应的裁剪框，并基于对应的裁剪框裁剪第一帧图像，将裁剪后的第一帧图像输入至第一设定模型，得到第一帧图像的关键点信息和裁剪后的第一帧图像中包含目标对象的置信度。
76.在一实施例中，在所述第一图像的第一置信度大于第一设定阈值的情况下，所述基于第一图像的关键点信息确定第二图像对应的裁剪框，包括：
77.基于第一图像的关键点信息在所述第一图像中确定第一区域；所述第一图像的所有关键点位于所述第一区域内；
78.通过调整所述第一区域，得到第二图像对应的裁剪框。
79.在第一图像的第一置信度大于第一设定阈值的情况下，基于第一图像的关键点信息，在第一图像中确定出第一区域，第一区域内包括了第一图像的所有关键点，并对第一区域进行调整，确定用于裁剪第二图像的裁剪框的位置信息，从而得到第二图像对应的裁剪框。
80.在一些实施例中，在确定用于裁剪第二图像的裁剪框的位置信息时，可以以区域的中心为中心，按照设定倍数对区域进行缩放，从而确定用于裁剪第二图像的裁剪框的位置信息。这里，对第一区域进行调整时，缩放的区域可以是第一区域，也可以是根据第一区域的尺寸信息在第一图像中确定出的第二区域。
81.以图3示出的在图像中确定裁剪框的示意图为例，对按照设定倍数对第二区域进
行缩放，确定用于裁剪第二图像的裁剪框的位置信息的方式进行说明：
82.基于第n帧图像的关键点信息，将包括了所有关键点的外接矩形确定为第一区域，基于长和宽中较大的值(这里为矩形的长)，确定与矩形的中心重合的正方形为第二区域，并以第二区域的中心为中心，按照设定倍数1.5对第二区域进行缩放，确定第n 1帧图像的裁剪框的位置信息，从而得到第n 1帧图像对应的裁剪框。
83.实际应用中，第一区域的形状可以是规则形状如矩形、椭圆形、梯形，也可以是不规则形状。
84.在一实施例中，所述第一设定模型包括第一隐藏层、第二隐藏层和第三隐藏层，所述第一隐藏层、所述第二隐藏层并联，并与所述第三隐藏层串联；所述将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像的第一置信度，包括：
85.将裁剪后的第二图像输入至所述第三隐藏层，得到第二图像对应的第一特征图；
86.将所述第一特征图输入所述第一隐藏层，得到第二图像的关键点信息；
87.将所述第一特征图输入所述第二隐藏层，得到第二图像的第一置信度。
88.结合图4，图4示出了本技术实施例提供的第一设定模型的组成结构示意图。如图4所示，第一设定模型包括第一隐藏层、第二隐藏层以及第三隐藏层。
89.电子设备将裁剪后的第二图像输入至第一设定模型的第三隐藏层进行特征提取处理，得到输入图像(即裁剪后的第二图像)对应的第一特征图，将第一特征图分别输入第一设定模型的第一隐藏层和第二隐藏层，得到输入图像对应的关键点信息和第一置信度。
90.这里，对于第一隐藏层、第二隐藏层、第三隐藏层中的一个或多个，可以是神经网络，且作为神经网络的隐藏层包括至少一层卷积层。其中，第三隐藏层可以由全卷积层构成，第三隐藏层也可以是支持向量机(svm，support vector machines)分类器，softmax分类器等。
91.在一实施例中，在所述将裁剪后的第二图像输入至所述第三隐藏层之前，所述方法还包括：
92.将视频流样本输入第一设定模型，得到所述视频流样本的至少两帧图像的第二置信度；
93.基于所述至少两帧图像样本的第二置信度和对应的标定结果确定损失值；
94.根据确定出的损失值更新所述第一设定模型的第二隐藏层的权重参数。
95.这里，基于视频流样本训练第一设定模型，将视频流样本的至少两帧图像作为图像样本，分别输入第一设定模型中，得到每帧图像样本的第二置信度，基于图像样本的第二置信度和对应的标定结果确定损失值，并根据确定出的损失值更新第一设定模型的第二隐藏层的权重参数。
96.电子设备根据第一设定模型的损失值对第二隐藏层进行权重参数的更新，以提升第一设定模型输出的第一置信度结果的准确率。其中，电子设备将第一设定模型的损失值在第二隐藏层中进行反向传播，在损失值在第一设定模型的第二隐藏层中反向传播的过程中，根据损失值计算出损失函数的梯度，并沿梯度的下降方向更新反向传播到当前层的权重参数。
97.电子设备将更新后得到的权重参数，作为训练完毕的第一设定模型所使用的权重参数。
98.这里，可设定更新停止条件，在满足更新停止条件时，将最后一次更新得到的权重参数，确定为训练完毕的第一设定模型所使用的权重参数。更新停止条件如设定的训练轮次(epoch)，一个训练轮次即为根据至少一个图像样本对第一设定模型训练一次的过程。当然，更新停止条件并不限于此，例如还可为设定的平均准确率(map，mean average precision)等。
99.需要说明的是，损失函数(loss function)用于度量模型的预测值与真实值(标定值)之间的不一致程度。在实际应用中，通过最小化损失函数来实现模型训练。
100.反向传播是相对于前向传播而言的，前向传播是指模型的前馈处理过程，而反向传播的方向与前向传播的方向相反。反向传播指根据模型输出的结果对模型各个层的权重参数进行更新。
101.在一实施例中，训练第二隐藏层之前，确定除第二隐藏层以外的模型参数，并计算第二隐藏层的损失值，这样，在不影响模型的关键点识别能力的情况下，第一设定模型能够获取用于判断图像中是否包含目标对象的置信度。
102.并且，在设定第一设定模型时，可以根据相关技术中的模型参数设定除第二隐藏层以外的其它隐藏层，从而简化模型训练过程，并使本实施例的关键点定位方法能够普遍地适用于已有的各种关键点定位的场景。
103.前文提及，用户在使用vr眼镜时，需要通过识别手部的动作来操作虚拟界面。在一实施例中，所述视频流中的至少一帧图像携带有手部关键点。
104.由于多自由度的非刚体关键点的定位难度更高，相对于人脸关键点定位，手部通常被建模为21个关节点，具有更高的自由度，这就要求手部关键点定位模型具备更高的建模能力，模型参数量更多、计算量更大。
105.将本技术各实施例用于手部关键点等非刚体关键点定位的场景，能够提升关键点定位时的速度，节约模型的计算力消耗，使模型能够普遍地适用于各类以移动终端设备为代表的电子设备或各种人机交互场景。
106.下面以手部关键点定位为具体场景，以编码解码式(encode-decode)结构构建关键点定位模型，结合应用实施例对本技术再作进一步详细的描述。
107.图5示出了本技术应用实施例提供的关键点模型的结构示意图，在编码部分之后添加一个与解码部分(也就是关键点分支)并联的分类分支(又称为手部置信度分支)。
108.将裁剪后的256*256*3图像输入编码部分，编码部分输出8*8*96的特征图，这个特征图分别作为关键点分支和手部置信度分支的输入，得到关键点分支和手部置信度分支分别输出的结果。
109.在实际应用中，关键点分支可以根据需要设置。如图6示出的一种手部置信度分支的结构示意图，将8*8*96的特征图转为1*1*1。通过3个卷积层将分辨率从8*8降至2*2，通过最大池化层将2*2转为1*1，再通过1*1卷积将通道数转为1，最后通过softmax激活函数将置信度结果约束在0～1之间。
110.在关键点分支的训练过程中，采用l2 loss，同时固化编码部分和解码部分的参数，只更新关键点分支的权重参数。
111.在本技术应用实施例中，通过对关键点模型增加手部置信度分支，优化手部关键点定位算法的架构，从而实现视频流的关键点检测跳帧，提升了整体算法的运行速度，并通
过节约模型的计算力消耗，使模型能够普遍地适用于各类电子设备或各种场景。
112.为实现本技术实施例的方法，本技术实施例还提供了一种关键点定位装置，如图7所示，该装置包括：
113.第一处理单元701，用于基于第一图像的第一置信度，裁剪第二图像；所述第一置信度表征对应的图像在裁剪后得到的图像中包含目标对象的置信度；
114.第二处理单元702，用于将裁剪后的第二图像输入至第一设定模型，得到第二图像的关键点信息和第二图像的第一置信度；所述第一设定模型用于识别输入的图像的关键点信息和第一置信度；其中，
115.所述第一图像表征所述第二图像在当前视频流中的前一帧图像。
116.其中，在一个实施例中，所述第一处理单元701，用于：
117.基于所述第一图像的第一置信度和第一设定阈值的关系，确定第二图像对应的裁剪框；
118.根据确定出的裁剪框裁剪第二图像。
119.在一个实施例中，所述第一处理单元701，还用于：
120.在所述第一图像的第一置信度大于第一设定阈值的情况下，基于第一图像的关键点信息确定第二图像对应的裁剪框；
121.在所述第一图像的第一置信度小于或等于第一设定阈值的情况下，将第二图像输入第二设定模型，得到第二图像对应的裁剪框；所述第二设定模型用于对输入的图像中的目标对象进行定位，得到对应的裁剪框。
122.在一个实施例中，在所述第一图像的第一置信度大于第一设定阈值的情况下，所述第一处理单元701，还用于：
123.基于第一图像的关键点信息在所述第一图像中确定第一区域；所述第一图像的所有关键点位于所述第一区域内；
124.通过调整所述第一区域，得到第二图像对应的裁剪框。
125.在一个实施例中，所述第一设定模型包括第一隐藏层、第二隐藏层和第三隐藏层，所述第一隐藏层、所述第二隐藏层并联，并与所述第三隐藏层串联；所述第二处理单元702，用于：
126.将裁剪后的第二图像输入至所述第三隐藏层，得到第二图像对应的第一特征图；
127.将所述第一特征图输入所述第一隐藏层，得到第二图像的关键点信息；
128.将所述第一特征图输入所述第二隐藏层，得到第二图像的第一置信度。
129.在一个实施例中，所述装置还包括：
130.输入单元，用于将视频流样本输入第一设定模型，得到所述视频流样本的至少两帧图像的第二置信度；
131.第三处理单元，用于基于所述至少两帧图像样本的第二置信度和对应的标定结果确定损失值；
132.更新单元，用于根据确定出的损失值更新所述第一设定模型的第二隐藏层的权重参数。
133.在一个实施例中，所述视频流中的至少一帧图像携带有手部关键点。
134.实际应用时，所述第一处理单元701、所述第二处理单元702、所述输入单元、所述
第三处理单元、所述更新单元可由基于关键点定位装置中的处理器，比如中央处理器(cpu，central processing unit)、数字信号处理器(dsp，digital signal processor)、微控制单元(mcu，microcontroller unit)或可编程门阵列(fpga，field－programmable gate array)等实现。
135.需要说明的是：上述实施例提供的关键点定位装置在进行关键点定位时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的关键点定位装置与关键点定位方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
136.基于上述程序模块的硬件实现，且为了实现本技术实施例关键点定位方法，本技术实施例还提供了一种电子设备，如图8所示，该电子设备包括：
137.通信接口1，能够与其它设备比如网络设备等进行信息交互；
138.处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的方法。而所述计算机程序存储在存储器3上。
139.当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统4。
140.本技术实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
141.可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本技术实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。
142.上述本技术实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理
器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
143.处理器2执行所述程序时实现本技术实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
144.在示例性实施例中，本技术实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器。
145.在本技术所提供的几个实施例中，应该理解到，所揭露的装置、电子设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
146.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
147.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
148.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
149.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
150.需要说明的是，本技术实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两
个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
151.另外，在本技术实例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本技术的实施例可以除了在这里图示或描述的那些以外的顺序实施。
152.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一个”表示多个中的任意一个或多个中的至少两个的任意组合，例如，包括a、b、c中的至少一个，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
153.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。
154.在具体实施方式中所描述的各个实施例中的各个具体技术特征，在不矛盾的情况下，可以进行各种组合，例如通过不同的具体技术特征的组合可以形成不同的实施方式，为了避免不必要的重复，本技术中各个具体技术特征的各种可能的组合方式不再另行说明。