骨骼动作识别方法、装置、电子设备及存储介质与流程

1.本技术涉及动作识别技术领域，具体而言，涉及一种骨骼动作识别方法、装置、电子设备及存储介质。


背景技术：

2.人体骨骼点数据相对于rgb视频数据具有更好的环境适应性和动作表达能力，因此基于骨骼点数据的动作识别算法得到广泛的关注和研究。在2d或3d坐标形式下，动态骨骼模态可以由人类关节位置的时间序列表示。然后，通过分析其动作模式可以做到人类行为识别。但基于骨骼进行动作识别的方法只是在各个时间步骤使用关节坐标形成特征向量，并对其进行时序分析。在方法能力中没有明确利用人类关节的空间关系，因此无法充分利用人体关节自然连接关系，存在骨骼动作识别精度低的问题。


技术实现要素：

3.有基于此，本技术实施例的目的在于提供一种骨骼动作识别方法、装置、电子设备及存储介质，用以解决目前骨骼动作识别精度低的问题。
4.第一方面，本技术实施例提供一种骨骼动作识别方法，包括：基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数，所述分区为所述动作识别模型中多个骨骼点构成的集合；
5.基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系；
6.基于所述目标连接关系对人体动作进行识别。
7.在上述实现过程中，以迭代的方式筛选出准确率最高的分区个数作为目标配置分区个数，基于目标配置分区个数自适应获取骨骼点连接关系，替代预设的人体关节自然连接关系，能够摆脱人体骨骼点自然连接关系的束缚，提高邻接矩阵的自适应学习能力以及模型的网络性能，能够适应不同动作的变化特征，从而提高骨骼动作识别模型的动作识别精度。
8.可选地，在所述基于视频序列的骨骼点数据和时序边生成时空图之前，所述方法还包括：
9.从所述视频序列中获取帧数据，在与所述帧数据对应的帧图像上获取所述骨骼点数据，所述骨骼点数据包括每个骨骼点的坐标数据；
10.基于人体的自然骨架连接关系构造空间图，连接两帧所述空间图中的相同骨骼点以构成所述时序边。
11.在上述实现过程中，经过批量归一化层对数据进行归一化处理，以多个自适应图卷积网络层和时间一维卷积级联提取归一化后数据的动作特征，最后由全连接层对特征进行分类，能够针对不同的图卷积层和端到端的骨骼样本，更准确地学习骨骼的拓扑结构，提
高动作识别的准确性。
12.可选地，所述动作识别模型的网络结构包括批量归一化层、多个自适应图卷积网络层、多个时间一维卷积和全连接层；
13.多个所述自适应图卷积网络层分别和多个所述时间一维卷积一一级联以构成多个网络层，所述批量归一化层、多个所述网络层和所述全连接层依次连接；
14.所述批量归一化层用于对所述时空图进行归一化处理；
15.所述多个自适应图卷积网络层和多个时间一维卷积用于提取归一化后数据的动作特征；
16.所述全连接层用于对所述动作特征进行识别。
17.可选地，所述多个网络层包括第一网络层和第二网络层，所述第一网络层位于l1层，所述第二网络层为l1层之后的网络层，在所述第二网络层中，所述适应图卷积网络层与所述时间一维卷积残差连接。
18.在上述实现过程中，在第二网络层中添加残差连接，将浅层的输出和深层的输出求和作为下一阶段的输入，使小损失的梯度更容易抵达模型中浅层的神经元，从而提高模型网络的稳定性。
19.可选地，在所述基于视频序列的骨骼点数据和时序边生成时空图之前，所述方法还包括：
20.基于随机梯度下降对动作数据集进行预处理，并设置初始学习率和权重衰减率；
21.基于跨目标划分方式和跨视角划分方式将所述动作数据集划分为训练集和验证集，所述跨目标划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集和所述验证集中的人物不同，所述跨视角划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集中包含多个由第一摄像头和第二摄像头拍摄的视频，在所述验证集中包含多个由第三摄像头拍摄的视频；
22.基于所述初始学习率、所述权重衰减率、所述训练集和所述验证集对初始动作识别模型进行训练，以得到所述动作识别模型。
23.可选地，在所述基于所述目标连接关系对人体动作进行识别之后，所述方法还包括：
24.将模型的识别结果传入分类器中，对人体动作进行行为分类；
25.基于所述行为分类的结果为所述视频序列生成概率标签，并以所述概率标签中概率最高的动作类别作为最终识别结果。
26.在上述实现过程中，将模型的识别结果传入分类器中，对全连接层的分类结果再次进行归一化并生成概率标签，能够进一步提高骨骼动作识别的精准度。
27.第二方面，本技术实施例提供一种骨骼动作识别装置，包括：
28.分区确定模块，用于基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数，所述分区为所述动作识别模型中多个骨骼点构成的集合；
29.连接关系生成模块，用于基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系；
30.识别模块，用于基于所述目标连接关系对人体动作进行识别。
31.在上述实现过程中，以迭代的方式筛选出准确率最高的分区个数作为目标配置分区个数，基于目标配置分区个数自适应获取骨骼点连接关系，替代预设的人体关节自然连接关系，能够摆脱人体骨骼点自然连接关系的束缚，提高邻接矩阵的自适应学习能力以及模型的网络性能，能够适应不同动作的变化特征，从而提高骨骼动作识别模型的动作识别精度。
32.可选地，骨骼动作识别装置还可以包括：
33.帧数据获取模块，用于在所述基于视频序列的骨骼点数据和时序边生成时空图之前，从所述视频序列中获取帧数据，在与所述帧数据对应的帧图像上获取所述骨骼点数据，所述骨骼点数据包括每个骨骼点的坐标数据。
34.构造模块，用于基于人体的自然骨架连接关系构造空间图，连接两帧所述空间图中的相同骨骼点以构成所述时序边。
35.在上述实现过程中，经过批量归一化层对数据进行归一化处理，以多个自适应图卷积网络层和时间一维卷积级联提取归一化后数据的动作特征，最后由全连接层对特征进行分类，能够针对不同的图卷积层和端到端的骨骼样本，更准确地学习骨骼的拓扑结构，提高动作识别的准确性。
36.可选地，骨骼动作识别装置还可以包括：
37.预处理模块，用于基于随机梯度下降对动作数据集进行预处理，并设置初始学习率和权重衰减率。
38.划分模块，用于基于跨目标划分方式和跨视角划分方式将所述动作数据集划分为训练集和验证集，所述跨目标划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集和所述验证集中的人物不同，所述跨视角划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集中包含多个由第一摄像头和第二摄像头拍摄的视频，在所述验证集中包含多个由第三摄像头拍摄的视频。
39.训练模块，用于基于所述初始学习率、所述权重衰减率、所述训练集和所述验证集对初始动作识别模型进行训练，以得到所述动作识别模型。
40.可选地，骨骼动作识别装置还可以包括：
41.分类模块，用于在所述基于所述目标连接关系对人体动作进行识别之后，将模型的识别结果传入分类器中，对人体动作进行行为分类；基于所述行为分类的结果为所述视频序列生成概率标签，并以所述概率标签中概率最高的动作类别作为最终识别结果。
42.在上述实现过程中，将模型的识别结果传入分类器中，对全连接层的分类结果再次进行归一化并生成概率标签，能够进一步提高骨骼动作识别的精准度。
43.第三方面，本技术实施例提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
44.第四方面，本技术实施例还提供一种存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
45.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
46.图1为双流自适应图卷积网络的网络结构示意图；
47.图2为本技术实施例提供的一种骨骼动作识别方法的步骤示意图；
48.图3为本技术实施例提供的对邻接矩阵ak必要性的实验结果示意图；
49.图4为本技术实施例提供的模型网络结构的示意图；
50.图5为本技术实施例提供的不同分区个数的动作识别准确率的实验结果图；
51.图6为本技术实施例提供的一种获取视频序列的骨骼点数据和时序边的步骤示意图；
52.图7为本技术实施例提供的动作识别模型的网络结构示意图；
53.图8为本技术实施例提供的一种训练骨骼动作识别模型的步骤示意图；
54.图9为本技术实施例提供的使用分类器对人体动作进行识别行为分类的步骤示意图；
55.图10为本技术实施例提供的比较参与对比的实验结果图；
56.图11为本技术实施例提供的骨骼动作识别装置的示意图。
具体实施方式
57.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
58.申请人在研究的过程中发现，目前在骨骼点动作识别领域内普遍采用双流自适应图卷积网络(2s-agcg)，通过使用传统的空间配置分区策略，根据人体关节的自然连接关系将骨骼点数据固定地划分为根节点、向心点和离心点三个分区。三个配置分区分别由邻接矩阵ak表示，以表示人体自然连接关系，其中k∈{1,2,3}，通过2s-agcg自适应地学习不存在的连接关系以及试图学习样本之间的数据相关性。
59.但由于2s-agcg使用固定空间配置分区方案，且需要手动设定各骨骼关节点之间的连接关系，无法适应不同动作的变化特征以及保证分区策略最优化。在实际中，对于不同类型的动作，其骨骼数据的特点也不尽相同，因此骨骼节点配置分区的数目也应当相应调
整，固定的配置分区个数将限制模型对骨骼数据的识别能力。
60.具体而言，请参看图1，图1为双流自适应图卷积网络的网络结构示意图，其中，f
in
为网络输入，f
out
为网络输出，kv为分区个数，res表示残差连接，c
in
为输入通道数，ce为临时通道数，c
out
为输出通道数，t为序列长度，n为人体关节点，ak表示人体关节邻接矩阵，bk表示参数学习矩阵，用以学习人体关节自然连接之外的连接，ck是样本数据之间的注意力图，softmax为相似性函数，θk和是两个高斯嵌入函数的权重，是卷积核大小为1
×
1的二维卷积。
61.在2s-agcg中，各个分区或卷积算子(即邻接矩阵)由人工根据人体关节自然连接关系构建，需要人为地将三个分区分别限制在根节点集、向心集和离心集。当分区个数高于3时将无法充分利用人体关节自然连接关系，因此在一定程度上限制了邻接矩阵的自适应学习能力，从而影响了骨骼动作的识别精度。
62.因此，本技术实施例提供一种骨骼动作识别方法，以解决由于动作识别模型使用固定空间配置分区而容易限制邻接矩阵的自适应学习能力，影响骨骼动作的识别精度的问题，请参看图2，图2为本技术实施例提供的一种骨骼动作识别方法的步骤示意图，该方法可以包括如下步骤：
63.在步骤s22中，基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数，所述分区为所述动作识别模型中多个骨骼点构成的集合。
64.其中，可以根据实施本技术方法的硬件条件设置迭代的次数，本技术对迭代的次数不做限制，具体地，本技术实施例以迭代7次为例，分别以一个分区个数至7个分区个数对时空图进行识别。
65.在步骤s23中，基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系。
66.在步骤s24中，基于所述目标连接关系对人体动作进行识别。
67.由于2s-agcg使用固定空间配置三个分区的方案，导致限制邻接矩阵的自适应学习能力，因此，本技术实施例舍弃在骨骼动作识别模型中预定义的邻接矩阵，使用经过迭代后得出的目标配置分区个数自适应获取骨骼点连接关系，以替代预设的人体关节自然连接关系。
68.具体地，请结合参看图3和图4，图3为本技术实施例提供的对邻接矩阵ak必要性的实验结果示意图，图4为本技术实施例提供的模型网络结构的示意图，其中，bc表示使用邻接矩阵ak初始化自适应邻接矩阵bk，bc/a表示使用0.000001初始化bk，3p和5p分别表示分区个数3和5(bc方法多余的2个分区由a2，a3初始化，bcpa方法多余的2个分区由0.000001初始化)。基于实验结果能够得出，在分区个数为3时使用邻接矩阵ak初始化bk网络识别准确率最高，人体关节自然连接约束对网络识别性能有促进作用，但在分区个数不为3时，则需要对邻接矩阵ak进行重新构造，因此本技术实施例舍弃邻接矩阵ak，使用0.000001初始化bk。
69.示例性地，在2s-agcn方法中使用固定3个配置分区的策略，申请人认为在分区个数增加的情况下，网络模型分类性能会有提升，因此基于ntu-rgbd数据集进行实验，请参看图5，图5为本技术实施例提供的不同分区个数的动作识别准确率的实验结果图，由实验结
果可知，在配置分区数量较少情况下网络模型的识别准确率性能随着配置分区个数的增加有所增长，在配置分区个数为5的情况下网络性能达到最优，随着分区个数的继续增加，网络性能开始下降。
70.由此可见，本技术实施例以迭代的方式筛选出准确率最高的分区个数作为目标配置分区个数，基于目标配置分区个数自适应获取骨骼点连接关系，替代预设的人体关节自然连接关系，能够摆脱人体骨骼点自然连接关系的束缚，提高邻接矩阵的自适应学习能力以及模型的网络性能，能够适应不同动作的变化特征，从而提高骨骼动作识别模型的动作识别精度。
71.在一可选的实施例中，在步骤s22之前，本技术实施例提供一种获取视频序列的骨骼点数据和时序边的施行步骤，请参看图6，图6为本技术实施例提供的一种获取视频序列的骨骼点数据和时序边的步骤示意图，该步骤可以包括：
72.在步骤s211中，从所述视频序列中获取帧数据，在与所述帧数据对应的帧图像上获取所述骨骼点数据，所述骨骼点数据包括每个骨骼点的坐标数据。
73.在步骤s212中，基于人体的自然骨架连接关系构造空间图，连接两帧所述空间图中的相同骨骼点以构成所述时序边。
74.其中，可以从视频序列中按照每过预定帧数抽取一帧的方式获取多帧的帧数据，也可以获取视频序列中一段视频中的所有帧，分别连接抽取出的前后相邻两帧对应空间图中相同的骨骼点构成时序边，将所有输入帧中关键骨骼点构成节点集(node set)，所有时序边构成边集(edge set)，即构成所需的时空图。
75.可选地，请参看图7，图7为本技术实施例提供的动作识别模型的网络结构示意图，所述动作识别模型的网络结构包括批量归一化层、多个自适应图卷积网络层、多个时间一维卷积和全连接层；
76.多个所述自适应图卷积网络层分别和多个所述时间一维卷积一一级联以构成多个网络层，所述批量归一化层、多个所述网络层和所述全连接层依次连接；所述批量归一化层用于对所述时空图进行归一化处理；所述多个自适应图卷积网络层和多个时间一维卷积用于提取归一化后数据的动作特征；所述全连接层用于对所述动作特征进行识别。
77.其中，x为模型的输入，bn为批量归一化层，mp-agcn为自适应图卷积网络层，tcn为时间一维卷积，fc为全连接层，l1、l2、l10等表示动作识别模型的网络层，虚线中的部分表示自适应图卷积网络层和时间一维卷积级联构成的网络层。
78.由此可见，在申请实施例提供的动作识别模型的网络结构中，经过批量归一化层对数据进行归一化处理，以多个自适应图卷积网络层和时间一维卷积级联提取归一化后数据的动作特征，最后由全连接层对特征进行分类，能够针对不同的图卷积层和端到端的骨骼样本，更准确地学习骨骼的拓扑结构，提高动作识别的准确性。
79.进一步地，所述多个网络层包括第一网络层和第二网络层，所述第一网络层位于l1层，所述第二网络层为l1层之后的网络层，在所述第二网络层中，所述适应图卷积网络层与所述时间一维卷积残差连接。
80.请继续参看图7，在图7中，以res表示适应图卷积网络层与时间一维卷积的残差连接，l1为第一网络层，l2至l10为第二网络层。
81.由此可见，本技术实施例在第二网络层中添加残差连接，将浅层的输出和深层的
输出求和作为下一阶段的输入，使小损失的梯度更容易抵达模型中浅层的神经元，从而提高模型网络的稳定性。
82.另外，本技术实施例还提供一种训练骨骼动作识别模型的施行步骤，请参看图8，图8为本技术实施例提供的一种训练骨骼动作识别模型的步骤示意图，在步骤s22之前，可以包括如下步骤：
83.在步骤s81中，基于随机梯度下降对动作数据集进行预处理，并设置初始学习率和权重衰减率。
84.在步骤s82中，基于跨目标划分方式和跨视角划分方式将所述动作数据集划分为训练集和验证集，所述跨目标划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集和所述验证集中的人物不同，所述跨视角划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集中包含多个由第一摄像头和第二摄像头拍摄的视频，在所述验证集中包含多个由第三摄像头拍摄的视频。
85.在步骤s83中，基于所述初始学习率、所述权重衰减率、所述训练集和所述验证集对初始动作识别模型进行训练，以得到所述动作识别模型。
86.示例性地，本技术实施例选用ntu-rgbd和kinetics-skeleton作为实验数据集，其中ntu-rgbd有60个动作类别，包含56000个动作数据，该数据集中的每一个动作数据由一系列的骨骼动作帧组成，每一帧最多包含两个骨架，每个骨架有25个骨骼节点，每个骨骼节点都有对应的三维空间坐标数据。kinetics-skeleton数据集有400个动作类别，包含300000个动作数据。数据集中的每一个动作数据由一系列的骨骼动作帧组成，每一帧最多包含两个骨架，每个骨架有18个骨骼节点，每个骨骼节点都有对应的三维空间坐标数据。
87.首先对两个数据集进行预处理，使用随机梯度下降优化策略，使每次数据更新都会朝着正确的方向进行，使数据收敛于极值点，且设置初始学习率和权重衰减率分别为0.1和0.0001，批量大小在ntu-rgbd和kinetics-skeleton数据集上分别为32和64，在ntu-rgbd数据集上的学习率衰减策略为在第30和第40epoch中分别除以10，训练次数设置为50epoch。在kinetics-skeleton数据集上的学习率衰减策略为在第45和第55epoch中分别除以10，训练次数设置为65epoch。通过初始学习率、权重衰减率、训练集和验证集对初始动作识别模型进行训练，最终得到训练完成的动作识别模型。
88.在一可选的实施例中，在步骤s24之后，本技术实施例还提供一种使用分类器对人体动作进行识别行为分类的施行步骤，请参看图9，图9为本技术实施例提供的使用分类器对人体动作进行识别行为分类的步骤示意图，该步骤可以包括如下：
89.在步骤s91中，将模型的识别结果传入分类器中，对人体动作进行行为分类。
90.在步骤s92中，基于所述行为分类的结果为所述视频序列生成概率标签，并以所述概率标签中概率最高的动作类别作为最终识别结果。
91.其中，本技术实施例采用softmax分类器对人体动作进行识别行为分类，softmax分类器可以理解为逻辑回归分类器面对多个分类的一般化归纳，其公式为：其中，l为生成的概率标签，依据动作概率进行排序，选取概率最高的类别作为最终的识别结果。
92.具体地，申请人基于ntu-rgbd和kinetics-skeleton数据集与目前一些主流方法
做了比较参与对比的方法，包括cnn方法和gcn方法等，请参看图10，图10为本技术实施例提供的比较参与对比的实验结果图。从实验结果中能得出通过本技术实施例提供的骨骼动作识别方法具有更高的动作识别精度。
93.由此可见，本技术实施例将模型的识别结果传入分类器中，对全连接层的分类结果再次进行归一化并生成概率标签，能够进一步提高骨骼动作识别的精准度。
94.基于同一发明构思，本技术实施例还提供一种骨骼动作识别装置110，请参看图11，图11为本技术实施例提供的骨骼动作识别装置的示意图，该骨骼动作识别装置110可以包括：
95.分区确定模块111，用于基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数，所述分区为所述动作识别模型中多个骨骼点构成的集合。
96.连接关系生成模块112，用于基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系。
97.识别模块113，用于基于所述目标连接关系对人体动作进行识别。
98.在一可选的实施例中，骨骼动作识别装置110还可以包括：
99.帧数据获取模块，用于在所述基于视频序列的骨骼点数据和时序边生成时空图之前，从所述视频序列中获取帧数据，在与所述帧数据对应的帧图像上获取所述骨骼点数据，所述骨骼点数据包括每个骨骼点的坐标数据。
100.构造模块，用于基于人体的自然骨架连接关系构造空间图，连接两帧所述空间图中的相同骨骼点以构成所述时序边。
101.可选地，骨骼动作识别装置110还可以包括：
102.预处理模块，用于基于随机梯度下降对动作数据集进行预处理，并设置初始学习率和权重衰减率。
103.划分模块，用于基于跨目标划分方式和跨视角划分方式将所述动作数据集划分为训练集和验证集，所述跨目标划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集和所述验证集中的人物不同，所述跨视角划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集中包含多个由第一摄像头和第二摄像头拍摄的视频，在所述验证集中包含多个由第三摄像头拍摄的视频。
104.训练模块，用于基于所述初始学习率、所述权重衰减率、所述训练集和所述验证集对初始动作识别模型进行训练，以得到所述动作识别模型。
105.在一可选的实施例中，骨骼动作识别装置110还可以包括：
106.分类模块，用于在所述基于所述目标连接关系对人体动作进行识别之后，将模型的识别结果传入分类器中，对人体动作进行行为分类；基于所述行为分类的结果为所述视频序列生成概率标签，并以所述概率标签中概率最高的动作类别作为最终识别结果。
107.基于同一发明构思，本技术实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
108.基于同一发明构思，本技术实施例还提供一种存储介质，所述可读取存储介质中
存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
109.所述存储介质可以是随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等各种可以存储程序代码的介质。其中，存储介质用于存储程序，所述处理器在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端所执行的方法可以应用于处理器中，或者由处理器实现。
110.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
111.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
112.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
113.可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。
114.所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。
115.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
116.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的
任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。