点云分类模型构建方法、点云分类方法、装置及设备

1.本发明涉及数据处理技术领域，尤其涉及点云分类模型构建方法、点云分类方法、装置及设备。


背景技术：

2.基于深度学习的点云分类模型发展迅速，其已经逐渐被应用到各个领域中，如人脸识别、机器人的物体识别、无人驾驶的障碍检测等。随着激光雷达的廉价普及，点云开始广泛应用于自动驾驶、机器人、ar/vr。点云作为三维世界主要的信息表示，已经是目前三维视觉炙手可热的研究热点，其研究方向包括点云分类、点云分割、点云检测等方向。其中点云分类作为三维点云基础任务，在相关应用场景检测识别都有非常广泛的应用。
3.目前点云处理技术最常用的是基于深度学习的方法，其在分类检测等领域已经取得了显著的成就。但是相比传统的技术而言，深度学习对计算力有一定的要求，其性能在计算资源不足的场景下受限，同时自动驾驶、ar等领域对算法模型的实时性十分严苛，这给算法的优化加速带来了挑战。复杂的模型结构使得模型推理速度较低，现有融合技术无法融合像resnet一样的残差连接大层的问题。


技术实现要素：

4.本发明的目的在于提供点云分类模型构建方法、点云分类方法、装置及设备，用于解决现有技术中点云模型结构复杂、模型推理速度低的问题。
5.为了实现上述目的，本发明提供如下技术方案：
6.第一方面，本发明提供点云分类模型构建方法，包括：
7.获取点云样本数据，搭建模型开始训练，得到初始训练模型；所述初始训练模型包括残差层、一维卷积层、线性层以及激活层；
8.提取所述初始训练模型的权重；
9.利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，得到目标一维卷积层；
10.根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，得到目标线性层；
11.基于所述目标一维卷积层以及所述目标线性层，构建得到无分支的目标点云分类模型。
12.第二方面，本发明提供点云分类方法，包括：
13.获取待分类点云数据；
14.提取所述待分类点云数据的特征向量；
15.将所述特征向量输入目标点云分类模型中，得到分类结果；所述目标点云分类模型是基于目标一维卷积层以及目标线性层构建得到的无分支网络；所述目标一维卷积层是提取初始训练模型的权重，并利用结构重参数化技术，将初始训练模型中的一维卷积层以
及激活层进行权重融合得到的；所述目标线性层是根据所述权重，利用所述结构重参数化技术，将所述初始训练模型中的线性层以及激活层进行权重融合得到的。
16.第三方面，本发明提供点云分类模型构建装置，包括：
17.初始训练模型搭建模块，用于获取点云样本数据，搭建模型开始训练，得到初始训练模型；所述初始训练模型包括残差层、一维卷积层、线性层以及激活层；
18.权重提取模块，用于提取所述初始训练模型的权重；
19.第一权重融合模块，用于利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，得到目标一维卷积层；
20.第二权重融合模块，用于根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，得到目标线性层；
21.目标点云分类模型构建模块，用于基于所述目标一维卷积层以及所述目标线性层，构建得到无分支的目标点云分类模型。
22.第四方面，本发明提供点云分类装置，包括：
23.待分类点云数据获取模块，用于获取待分类点云数据；
24.特征向量提取模块，用于提取所述待分类点云数据的特征向量；
25.分类模块，用于将所述特征向量输入目标点云分类模型中，得到分类结果；所述目标点云分类模型是基于目标一维卷积层以及目标线性层构建得到的无分支网络；所述目标一维卷积层是提取初始训练模型的权重，并利用结构重参数化技术，将初始训练模型中的一维卷积层以及激活层进行权重融合得到的；所述目标线性层是根据所述权重，利用所述结构重参数化技术，将所述初始训练模型中的线性层以及激活层进行权重融合得到的。
26.第五方面，本发明提供点云分类模型构建方法设备，包括：
27.通信单元/通信接口，用于获取点云样本数据，搭建模型开始训练，得到初始训练模型；所述初始训练模型包括残差层、一维卷积层、线性层以及激活层；
28.处理单元/处理器，用于提取所述初始训练模型的权重；
29.利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，得到目标一维卷积层；
30.根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，得到目标线性层；
31.基于所述目标一维卷积层以及所述目标线性层，构建得到无分支的目标点云分类模型。
32.第六方面，本发明提供点云分类设备，包括：
33.通信单元/通信接口，用于获取待分类点云数据；
34.处理单元/处理器，用于提取所述待分类点云数据的特征向量；
35.将所述特征向量输入目标点云分类模型中，得到分类结果；所述目标点云分类模型是基于目标一维卷积层以及目标线性层构建得到的无分支网络；所述目标一维卷积层是提取初始训练模型的权重，并利用结构重参数化技术，将初始训练模型中的一维卷积层以及激活层进行权重融合得到的；所述目标线性层是根据所述权重，利用所述结构重参数化技术，将所述初始训练模型中的线性层以及激活层进行权重融合得到的。
36.与现有技术相比，本发明提供点云分类模型构建方法、点云分类方法、装置及设
备。点云分类模型构建方法通过获取点云样本数据，搭建模型开始训练，得到包括残差层、一维卷积层、线性层以及激活层的初始训练模型；提取初始训练模型的权重；并利用结构重参数化技术，将初始训练模型中的一维卷积层以及激活层进行权重融合，得到目标一维卷积层；根据权重，利用结构重参数化技术，将线性层以及激活层进行权重融合，得到目标线性层；基于目标一维卷积层以及目标线性层，构建得到无分支的目标点云分类模型。训练阶段具有多分支残差结构以及大量bn层，模型具有良好的表征能力，经过训练后容易取得具有竞争力的性能，推理阶段时将模型进行权重融合，化为基本由一维卷积层以及目标线性层组成的无分支简单结构网络，以此降低模型复杂度，提升模型推理速度。
37.点云分类方法采用构建的目标点云分类模型进行点云分类，可以提高分类效率。
附图说明
38.此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
39.图1为本发明提供的点云分类模型构建方法的流程示意图；
40.图2为本发明提供的点云分类模型构建方法中基于结构重参数化进行权重融合的原理示意图；
41.图3为本发明提供的点云分类方法的流程示意图；
42.图4为本发明提供的供点云分类模型构建装置结构示意图；
43.图5为本发明提供的供点云分类装置结构示意图；
44.图6为本发明提供的电子设备结构示意图。
具体实施方式
45.为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
46.需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
47.本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
48.目前点云处理技术最常用的是基于深度学习的方法，其在分类检测等领域已经取
得了显著的成就。但是相比传统的技术而言，深度学习对计算力有一定的要求，其性能在计算资源不足的场景下受限，同时自动驾驶、ar等领域对算法模型的实时性十分严苛，这给算法的优化加速带来了挑战。复杂的模型结构使得模型推理速度较低，现有融合技术无法融合像resnet一样的残差连接大层的问题。
49.现有技术中，中国专利(cn114611700a)提出了一种基于conv2d算子的结构重参数化，其基本方法思路是融合conv2d_1x1分支和conv2d_3x3分支，解决了现有融合技术无法融合像resnet一样的残差连接大层的问题。但是其局限与conv2d算子，而点云处理经典算法pointnet用到了大量的conv1d算子。
50.对此，本发明提供一个适用于conv1d算子的结构重参数化技术，便于扩展到点云领域。
51.接下来，结合附图对本说明书实施例提供的方案进行说明：
52.实施例1
53.图1为本发明提供的点云分类模型构建方法的流程示意图，如图1所示，该流程可以包括以下步骤：
54.步骤110：获取点云样本数据，搭建模型开始训练，得到初始训练模型；所述初始训练模型包括残差层、一维卷积层、线性层以及激活层。
55.点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。点云数据除了具有几何位置以外，有的还有颜色信息。颜色信息通常是通过相机获取彩色影像，然后将对应位置的像素的颜色信息(rgb)赋予点云中对应的点。强度信息的获取是激光扫描仪接收装置采集到的回波强度，此强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
56.初始训练模型中至少可以包括残差层、一维卷积层、线性层以及激活层。其中，一维卷积(conv1d)是在width或者height方向上进行滑动窗口并相乘求和。自然语言处理中一个句子序列是一维的，所以使用conv1d，此时卷积核除去chanel，也是一维的。
57.一般将卷积神经网络看成两部分：特征提取层以及任务相关层。其中，特征提取层有一系列的conv、relu、pool等网络层串联或并联，最终得到特征图。任务相关层，比如用全连接层对得到的特征图做回归任务，拟合分布等。在图像分类中，经常使用全连接层输出每个类别的概率，但全连接层也有说法是线性变换层 激活函数 线性变换层 ......，多层感知机。当输入特征被一个线性(linear)层接收时，以一个展平成一维张量的形式接收，然后乘以权重矩阵。这个矩阵乘法产生输出特征。
58.与激活函数层、卷积层、全连接层、池化层一样，激活层(batch normalization，简称bn)也属于网络的一层。在网络的每一层输入的时候，又插入了一个归一化层，也就是先做一个归一化处理(归一化至：均值0、方差为1)，然后再进入网络的下一层。bn就是对不同样本的同一特征做归一化。bn层的作用主要有：加快网络的训练和收敛的速度、控制梯度爆炸防止梯度消失、防止过拟合。
59.步骤110中经过训练之后的初始训练模型虽然具有良好的性能，但是其具有一定的复杂度和计算量，一定程度限制了模型推理速度。因此，采用步骤120-150中的方案解决这一问题。
60.步骤120：提取所述初始训练模型的权重。
61.将训练得到的初始训练模型的模型权重(weight)提取出来，用于后续的权重融合。
62.步骤130：利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，得到目标一维卷积层。
63.结构重参数化(structural re-parameterization)可以指的是首先构造用于训练的一系列结构，并将其参数等价转换为用于推理或部署的另一组参数，从而将这一系列结构等价转换为另一系列结构。训练时的结构对应一组参数，推理时的结构对应另一组参数；只要能把前者的参数等价转换为后者，就可以将前者的结构等价转换为后者。结构a对应一组参数x，结构b对应一组参数y，如果我们能将x等价转换为y，就能将结构a等价转换为b。
64.步骤140：根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，得到目标线性层。
65.步骤150：基于所述目标一维卷积层以及所述目标线性层，构建得到无分支的目标点云分类模型。
66.图1中的方法，点云分类模型构建方法通过获取点云样本数据，搭建模型开始训练，得到包括残差层、一维卷积层、线性层以及激活层的初始训练模型；提取初始训练模型的权重；并利用结构重参数化技术，将初始训练模型中的一维卷积层以及激活层进行权重融合，得到目标一维卷积层；根据权重，利用结构重参数化技术，将线性层以及激活层进行权重融合，得到目标线性层；基于目标一维卷积层以及目标线性层，构建得到无分支的目标点云分类模型。训练阶段具有多分支残差结构以及大量bn层，模型具有良好的表征能力，经过训练后容易取得具有竞争力的性能，推理阶段时将模型进行权重融合，化为基本由一维卷积层以及目标线性层组成的无分支简单结构网络，以此降低模型复杂度，提升模型推理速度。
67.换句话说，本方案中提供的方法，训练阶段具有多分支残差结构以及大量bn层，模型具有良好的表征能力，经过训练后容易取得具有竞争力的性能，推理阶段时将模型进行权重融合，化为基本由conv1d组成的简单结构网络，以此降低模型复杂度和提升模型推理速度。
68.图1中的方法对应的实现原理可以结合图2进行说明。图2为本发明提供的点云分类模型构建方法中基于结构重参数化进行权重融合的原理示意图。如图2所示，基于conv1d层、linear层和bn层搭建点云分类模型，利用点云分类数据对模型进行训练，训练后得到模型的权重，将模型的conv1d层权重和bn层权重进行融合，重参数化为一个conv1d层，除此之外也包括linear层和bn层的权重融合，重参数化为一个linear层。权重融合后，将模型结构简化为基本由conv1d组成的简单结构网络。
69.基于图1的方法，本说明书实施例还提供了该方法的一些具体实施方式，下面进行说明。
70.可选的，步骤130具体可以包括：
71.利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合；将一维卷积层分支和激活层分支进行融合；其中，所述初始训练模型的融合残差层为conv1d算子，重参数化为一个一维卷积层。
72.可选的，步骤140具体可以包括：
73.根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，去除bn算子，得到目标线性层；其中，重参数化为一个线性层。
74.进一步地，一维卷积层以及所述激活层进行权重融合时，可以采用以下实现方式：
75.采用公式(1)：
76.conv1d(x)＝w
convld
*x b
convld
(1)
77.进行conv1d运算，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，其中，输入为x∈r
b*c*n
，b表示batchsize，c表示输入特征通道数，n表示输入特征个数，w
conv1d
表示权重，b
conv1d
表示偏置；
78.采用公式(2)：
[0079][0080]
进行bn运算，其中，γ表示bn层的缩放系数，mean表示bn层均值，var表示bn层方差，β表示bn层的偏移系数，则如公式(3)的计算过程：
[0081][0082]
令：
[0083]
融合得到目标一维卷积层的表达式为公式(4)：
[0084]
conv1d
′
(x)＝w
′
conv1d
*x b
′
conv1d
＝bn(conv1d(x))(4)
[0085]
通过上述步骤完成权重融合。
[0086]
进一步地，将一维卷积层分支和激活层分支进行融合，具体实现方式为：
[0087]
多分支残差层运算为公式(5)的计算过程：
[0088][0089]
令：
[0090]
[0091][0092]
融合得到目标一维卷积层表达式为公式(6)：
[0093]
conv1d
residuals
(x)＝w
residuals
*x b
residuals
＝bn(conv1d(x)) bn(6)
[0094]
融合残差层为conv1d算子，完成权重融合。
[0095]
在融合了conv1d层权重和bn层权重之后，还需要将线性层以及激活层进行权重融合，去除bn算子，得到目标线性层，具体可以包括：
[0096]
采用公式(7)线性层以及激活层进行权重融合：
[0097][0098]
其中，输入为x∈r
b*k
，b表示batchsize，k表示分类类别数，w
linear
表示线性层权重，b
linear
表示线性层偏置；令：
[0099][0100][0101]
融合得到目标线性层如公式(8)：
[0102]
lineat(x)
′
＝w
′
lineat
(x) b
′
linear
＝bn(lineat(x))(8)
[0103]
最后训练模型权重经过上述的结构重参数化大幅度降低模型复杂度，转为由conv1d、relu、linear等组成的简单无分支的直筒式网络，表达式为：
[0104]
model(x)≈linear(max(relu(conv1d(relu(conv1d(...)))))。
[0105]
本方案在modelnet40数据集上进行训练，最终模型的精度为89.3％，进行结构重参数化后模型的推理速度为，虽然精度性能和目前前沿点云分类算法还有微小的差距，但是其训练收敛速度和推理速度相比前沿点云分类算法具有极大的竞争力，可以在计算资源受限的条件下发挥更好的性能。
[0106]
通过具体应用比对，以配置为v10032g为例：现有技术中的模型的吞吐量(throughput)为105sample/s，准确率(acc)为89.2％；本方案的目标分类模型的吞吐量(throughput)为201sample/s，准确率(acc)为89.3％。
[0107]
与现有技术相比，本发明的有益效果是：引进残差模块，训练时可以加速网络收敛，收敛速度明显优于pointnet、pointnet 等网络。提出了基于conv1d的结构重参数化来解耦训练模型和推理模型，使得复杂的训练模型可以通过权重融合转为简单的推理模型并保持性能不变。简单的模型结构不仅加速了模型推理速度，同时极大方便了模型在各个硬件平台的底层部署。
[0108]
上述实施例1中提出构建点云分类模型的方法，训练完成之后，可以采用训练完成
的目标点云分类模型应用至具体的应用场景中进行分类。具体可以结合实施例2进行说明：
[0109]
实施例2
[0110]
图3为本发明提供的点云分类方法的流程示意图，如图3所示，该流程可以包括以下步骤：
[0111]
步骤310：获取待分类点云数据。
[0112]
步骤320：提取所述待分类点云数据的特征向量。
[0113]
步骤330：将所述特征向量输入目标点云分类模型中，得到分类结果；所述目标点云分类模型是基于目标一维卷积层以及目标线性层构建得到的无分支网络；所述目标一维卷积层是提取初始训练模型的权重，并利用结构重参数化技术，将初始训练模型中的一维卷积层以及激活层进行权重融合得到的；所述目标线性层是根据所述权重，利用所述结构重参数化技术，将所述初始训练模型中的线性层以及激活层进行权重融合得到的。
[0114]
实施例2主要是采用实施例1中的目标分类模型完成识别分类。对应的内容解释与实施例1相同，此处不再赘述。
[0115]
基于同样的思路，对应于实施例1，本发明还提供点云分类模型构建装置，图4为本发明提供的供点云分类模型构建装置结构示意图。如图4所示，所述装置可以包括：
[0116]
初始训练模型搭建模块410，用于获取点云样本数据，搭建模型开始训练，得到初始训练模型；所述初始训练模型包括残差层、一维卷积层、线性层以及激活层；
[0117]
权重提取模块420，用于提取所述初始训练模型的权重；
[0118]
第一权重融合模块430，用于利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，得到目标一维卷积层；
[0119]
第二权重融合模块440，用于根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，得到目标线性层；
[0120]
目标点云分类模型构建模块450，用于基于所述目标一维卷积层以及所述目标线性层，构建得到无分支的目标点云分类模型。
[0121]
基于图4中的装置，还可以包括一些具体的实施单元：
[0122]
可选的，第一权重融合模块430，具体可以包括：
[0123]
第一权重融合单元，用于利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合；将一维卷积层分支和激活层分支进行融合；其中，所述初始训练模型的融合残差层为conv1d算子，重参数化为一个一维卷积层。
[0124]
可选的，第二权重融合模块440，具体可以包括：
[0125]
第二权重融合单元，用于根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，去除bn算子，得到目标线性层；其中，重参数化为一个线性层。
[0126]
可选的，第一权重融合模块430具体可以用于：
[0127]
采用公式：
[0128]
conv1d(x)＝w
conv1d
*x b
conv1d
[0129]
conv1d(x)表示进行conv1d运算，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，其中，输入为x∈r
b*c*n
，b表示batchsize，c表示输入特征通道数，n表示输入特征个数，w
conv1d
表示一维卷积层权重，b
conv1d
表示一维卷积层偏置；
[0130]
采用公式：
[0131][0132]
bn(x)表示进行bn运算，其中，γ表示激活层的缩放系数，mean表示激活层均值，var表示激活层方差，β表示激活层的偏移系数，则：
[0133][0134]
令：
[0135]
融合得到目标一维卷积层的表达式为：
[0136]
con1d
′
(x)＝w
′
conv1d
*x b
′
conv1d
＝bn(conv1d(x))，完成权重融合。
[0137]
可选的，第二权重融合模块440具体可以用于：
[0138][0139]
其中，输入为x∈r
b*k
，b表示batchsize，k表示分类类别数，w
linear
表示线性层权重，b
linear
表示线性层偏置；令：
[0140][0141][0142]
融合得到目标线性层：
[0143]
linear(x)
′
＝w
′
linear
(x) b
′
linear
＝bn(linear(x))。
[0144]
基于同样的思路，对应于实施例2，本发明还提供点云分类模型构建装置，图5为本发明提供的供点云分类装置结构示意图。如图5所示，所述装置可以包括：
[0145]
待分类点云数据获取模块510，用于获取待分类点云数据；
[0146]
特征向量提取模块520，用于提取所述待分类点云数据的特征向量；
[0147]
分类模块530，用于将所述特征向量输入目标点云分类模型中，得到分类结果；所述目标点云分类模型是基于目标一维卷积层以及目标线性层构建得到的无分支网络；所述目标一维卷积层是提取初始训练模型的权重，并利用结构重参数化技术，将初始训练模型中的一维卷积层以及激活层进行权重融合得到的；所述目标线性层是根据所述权重，利用所述结构重参数化技术，将所述初始训练模型中的线性层以及激活层进行权重融合得到的。
[0148]
基于同样的思路，本说明书实施例还提供了点云分类模型构建方法设备以及点云分类设备。图6为本发明提供的电子设备结构示意图。可以包括：
[0149]
对应于实施例1，通信单元/通信接口，用于获取点云样本数据，搭建模型开始训练，得到初始训练模型；所述初始训练模型包括残差层、一维卷积层、线性层以及激活层；
[0150]
处理单元/处理器，用于提取所述初始训练模型的权重；
[0151]
利用结构重参数化技术，将所述初始训练模型中的所述一维卷积层以及所述激活层进行权重融合，得到目标一维卷积层；
[0152]
根据所述权重，利用所述结构重参数化技术，将所述线性层以及所述激活层进行权重融合，得到目标线性层；
[0153]
基于所述目标一维卷积层以及所述目标线性层，构建得到无分支的目标点云分类模型。
[0154]
对应于实施例2，通信单元/通信接口，用于获取待分类点云数据；
[0155]
处理单元/处理器，用于提取所述待分类点云数据的特征向量；
[0156]
将所述特征向量输入目标点云分类模型中，得到分类结果；所述目标点云分类模型是基于目标一维卷积层以及目标线性层构建得到的无分支网络；所述目标一维卷积层是提取初始训练模型的权重，并利用结构重参数化技术，将初始训练模型中的一维卷积层以及激活层进行权重融合得到的；所述目标线性层是根据所述权重，利用所述结构重参数化技术，将所述初始训练模型中的线性层以及激活层进行权重融合得到的。
[0157]
如图6所示，上述终端设备还可以包括通信线路。通信线路可包括一通路，在上述组件之间传送信息。
[0158]
可选的，如图6所示，该终端设备还可以包括存储器。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
[0159]
如图6所示，存储器可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
[0160]
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明
实施例对此不作具体限定。
[0161]
在具体实现中，作为一种实施例，如图6所示，处理器可以包括一个或多个cpu，如图6中的cpu0和cpu1。
[0162]
在具体实现中，作为一种实施例，如图6所示，终端设备可以包括多个处理器，如图6中的处理器。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
[0163]
上述主要从各个模块之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，各个模块为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件单元。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0164]
本发明实施例可以根据上述方法示例进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0165]
本说明书中的处理器还可以具有存储器的功能。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
[0166]
存储器可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
[0167]
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
[0168]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机
可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(digital video disc，dvd)；还可以是半导体介质，例如，固态硬盘(solid state drive，ssd)。
[0169]
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0170]
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。