基于上下文信息构建的激光点云目标检测方法及系统与流程

1.本发明涉及三维目标检测技术领域，尤其是指一种基于上下文信息构建的激光点云目标检测方法及系统。


背景技术：

2.近几年，针对三维目标检测的研究层出不穷但几乎都基于一个先验假设：点云是离散的、无序的、稁疏的。有研究尝试通过三维数据向二维降维，然后用图像处理方式完成三维检测任务。这类方法实现思路简单，只需将三维激光雷达数据向二维投影即可，投影有两种选择，一种是鸟瞰投影，如生成鸟瞰栅格图来描述雷达数据，然后实现目标检测任务；另一种则是将点云投影转换到图像平面，然后使用图像感知网络实现目标检测。但这两种方法均要对车载传感器进行正确标定，甚至是跨传感器间的标定，实验结果对标定情况十分敏感。同时由于维数的降低，直接投影丢弃了一部分宝贵的三维信息，因此有研究尝试直接对三维点云提取特征。其中，直接从点云提取特征的网络是近几年发展起来的。例如体素栅格(voxelnet)将点云空间分割成体素立方体，并使用三维卷积网络进行特征提取。pointnet是第一个将原始点云作为输入的网络，该网络对点云输入的顺序和点云整体的旋转不敏感。为了进一步提取点云的层次结构特征，charles后续又提出了基于pointnet的加强版：pointnet 网络。这两种模型主要应用于目标分类和语义分割。
3.以上介绍的方法都认为点云是无序的，因此目前在图像中表现优越的二维目标检测模型无法直接应用到点云数据上以实现三维目标检测任务。如此迫切需要提供一种基于点云内在顺序以及邻间关系的激光点云目标检测方法。


技术实现要素：

4.为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于上下文信息构建的激光点云目标检测方法及系统，其重视点云内在顺序以及邻间关系，解决了目前在图像中表现优越的二维目标检测模型无法直接应用到点云数据上以实现三维目标检测任务的问题。
5.为解决上述技术问题，本发明提供一种基于上下文信息构建的激光点云目标检测方法，包括以下步骤：
6.s101:获取原始激光点云数据，根据原始激光点云内部隐含的顺序生成点云伪全景图；
7.s102:提取原始激光点云中每个点的上下文信息特征；
8.s103:基于所述点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
9.s104:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
10.s105:将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
11.在本发明的一个实施例中，在s101中，根据原始激光点云内部隐含的顺序生成点云伪全景图的方法包括：
12.构建三维矩阵对原始激光点云特征作序列化存储，特征中包含一个激光采样点的所有信息，包括位置坐标(x,y,z)、辐射强度i、该点归属激光头的序号scanid；
13.按照激光头的序号scanid和旋转角度对点云进行排序，然后将颜色通道rgb三通道分别填入归一化后的dxy、i和z作可视化处理，得到伪全景图片，其中dxy是在xy平面上采样点到雷达的距离归一化后的结果，z为归一化的采样点高度；
14.其中，三维矩阵表示图像特征的组织结构，维度为h
×w×
n，其中h为激光头的序号scanid，w为离散化的旋转角度，n为投影的激光点的特征维度。
15.在本发明的一个实施例中，在s102中，提取原始激光点云中每个点的上下文信息特征的方法包括：
16.基于原始激光点云数据生成时内部自带的排列顺序构建三维特征矩阵，使用上下文信息特征矩阵将原始激光点云中的每个点作为中心提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。
17.在本发明的一个实施例中，在s103中，得到截锥体点云分组序列的方法包括：
18.将点云伪全景图卷绕成包罗激光雷达的圆柱体环视图，从点云伪全景图中裁剪出感兴趣区域，使用二维目标检测模型得到二维边界框作为二维候选框，将二维候选框拓展到三维截锥体候选区，通过当前三维截锥体候选区中心点对应的激光头俯仰角以及旋转角定位截锥体的中心线，并通过等步长且垂直于截锥体中心线的平行平面将截锥体切分成若干个小截锥体，得到截锥体点云分组序列。
19.此外，本发明还提供一种基于上下文信息构建的激光点云目标检测方法，包括以下步骤：
20.s201:获取原始激光点云数据和rgb图像；
21.s202:基于所述rgb图像对原始激光点云进行升维处理，提取升维后的激光点云中每个点的上下文信息特征；
22.s203:基于rgb图像得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
23.s204:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
24.s205:将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
25.在本发明的一个实施例中，在s102中，基于所述rgb图像对原始激光点云进行升维处理，提取升维后的激光点云中每个点的上下文信息特征的方法包括：
26.基于原始激光点云生成时内部自带的排列顺序生成三维特征矩阵，通过跨传感器标定找到原始激光点云在rgb图像上的对应像素，使用rgb特征升维原始激光点云特征，将升维后的激光点云中的每个点作为中心，提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。
27.并且，本发明还提供一种基于上下文信息构建的激光点云目标检测系统，包括：
28.数据获取模块，所述数据获取模块用于获取原始激光点云数据，根据原始激光点云内部隐含的顺序生成点云伪全景图；
29.上下文信息特征提取模块，所述上下文信息特征提取模块用于提取原始激光点云中每个点的上下文信息特征；
30.多分辨率切片模块，所述多分辨率切片模块用于基于所述点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
31.深度学习模块，所述深度学习模块用于将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
32.目标识别定位模块，所述目标识别定位模块用于将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
33.在本发明的一个实施例中，所述数据获取模块根据原始激光点云内部隐含的顺序生成点云伪全景图的方法包括：
34.构建三维矩阵对原始激光点云特征作序列化存储，特征中包含一个激光采样点的所有信息，包括位置坐标(x,y,z)、辐射强度i、该点归属激光头的序号scanid；
35.按照激光头的序号scanid和旋转角度对点云进行排序，然后将颜色通道rgb三通道分别填入归一化后的dxy、i和z作可视化处理，得到伪全景图片，其中dxy是在xy平面上采样点到雷达的距离归一化后的结果，z为归一化的采样点高度；
36.其中，三维矩阵表示图像特征的组织结构，维度为h
×w×
n，其中h为激光头的序号scanid，w为离散化的旋转角度，n为投影的激光点的特征维度。
37.在本发明的一个实施例中，所述上下文信息特征提取模块提取原始激光点云中每个点的上下文信息特征的方法包括：
38.基于原始激光点云数据生成时内部自带的排列顺序构建三维特征矩阵，使用上下文信息特征矩阵将原始激光点云中的每个点作为中心提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。
39.在本发明的一个实施例中，多分辨率切片模块得到截锥体点云分组序列的方法包括：
40.将点云伪全景图卷绕成包罗激光雷达的圆柱体环视图，从点云伪全景图中裁剪出感兴趣区域，使用二维目标检测模型得到二维边界框作为二维候选框，将二维候选框拓展到三维截锥体候选区，通过当前三维截锥体候选区中心点对应的激光头俯仰角以及旋转角定位截锥体的中心线，并通过等步长且垂直于截锥体中心线的平行平面将截锥体切分成若干个小截锥体，得到截锥体点云分组序列。
41.本发明的上述技术方案相比现有技术具有以下优点：
42.1.本发明所提出的一种基于上下文信息构建的激光点云目标检测方法，其重视点云内在顺序以及邻间关系，解决了目前在图像中表现优越的二维目标检测模型无法直接应用到点云数据上以实现三维目标检测任务的问题；
43.2.本发明所提出的一种基于上下文信息构建的激光点云目标检测方法，其点云伪全景图由有内部隐含顺序的雷达点云构成，因此定位二维候选框后可以直接得到候选区域中的点云，不需要通过跨传感器标定来定位二维候选框内的点云，显著提高了目标检测效果。
附图说明
44.为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
45.图1为本发明所提供的一种基于上下文信息构建的激光点云目标检测方法的流程示意图。
46.图2为本发明所提供的一种基于上下文信息构建的激光点云目标检测方法的网络结构示意图。
47.图3为本发明原始激光点云数据生成点云伪全景图的示意图。
48.图4为本发明基于原始激光点云数据生成时内部自带的排列顺序构建的三维特征矩阵示意图。
49.图5为本发明由二维候选框得到三维截锥体候选区的示意图。
50.图6为本发明上下文信息特征示意图。
51.图7为本发明视锥中心切片得到截锥体点云分组序列的示意图。
52.图8为本发明对于多分辨率特征之间的合并操作的示意图。
53.图9为本发明典型结果可视化效果。
54.图10为本发明所提供的一种基于上下文信息构建的融合单目视觉图像输入的激光点云目标检测方法的流程示意图。
55.图11为本发明所提供的一种基于上下文信息构建的融合单目视觉图像输入的激光点云目标检测方法的网络结构示意图。
具体实施方式
56.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
57.请参考图1至图9所示，本发明实施例提供一种基于上下文信息构建的激光点云目标检测方法，包括以下步骤：
58.s101:获取原始激光点云数据，根据原始激光点云内部隐含的顺序生成点云伪全景图；
59.s102:提取原始激光点云中每个点的上下文信息特征；
60.s103:基于所述点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序
列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
61.s104:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
62.s105:将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
63.除了道路本身之外，道路环境中还有众多道路参与者，如：车辆、行人、骑行者等，它们共同组成了智能车辆行驶的主体环境。与静态的路面不同，道路场景下的目标一般是运动的且类别繁多。基于激光点云的道路场景目标检测问题，激光雷达点云总被认为是杂乱无序的，但是在点云生成过程中，其实存在着内在的结构顺序。本实施例基于点云内在的上下文信息构建点云全景伪图，使用二维目标检测方法定位初步的二维候选框。基于点云的结构化重构，抽取点云的局部上下文特征。从二维候选框向三维拓展为三维空间内的视锥候选区域，使用多分辨率切片的方法将点云逐点语义特征(包括原始特征和局部上下文特征抽取子网络抽取的邻域特征)提取为逐切片特征。多分辨率特征的高层语义特征提取通过全卷积网络实现，最后进入分类器和回归器完成道路场景中的目标识别和边界框定位任务。
64.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测方法中，在s101中，获取原始激光点云数据的方法包括：
65.使用velodyne hdl-64s2激光雷达作为点云收集的实验设备，其包含64个激光头，分为上下两个模块，各32个激光头。所有激光头都安装在旋转基座上，提供360
°
的水平视野和26.8
°
的垂直视野。激光雷达原始输出数据在球体坐标系下，数据包括旋转角θ、测量距离d和辐射强度i。雷达供应商提供的标定文件中包含每个激光头的俯仰角φ。该激光雷达每秒主动发射出大约133万个采样点，提供出以雷达为中心的球体坐标系坐标(d,θ,φ)，为了后续处理，将其转换成笛卡尔坐标(x,y,z)。
66.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测方法中，在s101中，如图3所示，根据原始激光点云内部隐含的顺序生成点云伪全景图的方法包括：
67.构建三维矩阵对原始激光点云特征作序列化存储，特征中包含一个激光采样点的所有信息，包括位置坐标(x,y,z)、辐射强度i、该点归属激光头的序号scanid；
68.按照激光头的序号scanid和旋转角度对点云进行排序，然后将颜色通道rgb三通道分别填入归一化后的dxy、i和z作可视化处理，得到伪全景图片，其中dxy是在xy平面上采样点到雷达的距离归一化后的结果，z为归一化的采样点高度；
69.其中，三维矩阵表示图像特征的组织结构，维度为h
×w×
n，其中h为激光头的序号scanid，w为离散化的旋转角度，n为投影的激光点的特征维度。
70.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测方法中，在s102中，提取原始激光点云中每个点的上下文信息特征的方法包括：
71.基于原始激光点云数据生成时内部自带的排列顺序构建三维特征矩阵，三维特征矩阵如图4所示，使用上下文信息特征矩阵将原始激光点云中的每个点作为中心提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征，其可以参照图6所
示。
72.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测方法中，在s103中，如图5和图7所示，得到截锥体点云分组序列的方法包括：
73.将点云伪全景图卷绕成包罗激光雷达的圆柱体环视图，从点云伪全景图中裁剪出感兴趣区域，使用二维目标检测模型得到二维边界框作为二维候选框，将二维候选框拓展到三维截锥体候选区，通过当前三维截锥体候选区中心点对应的激光头俯仰角以及旋转角定位截锥体的中心线，并通过等步长且垂直于截锥体中心线的平行平面将截锥体切分成若干个小截锥体，得到截锥体点云分组序列。
74.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测方法中，在s105中，全卷积网络输出接下来进入两个检测头：分类器和回归器，以多任务训练的方式完成道路场景中的三维目标检测和定位任务。针对分类器分支，假设分类器最终分类k个不同种类的目标，则分类器将输入特征通过一维卷积操作压缩到l～
×
(k 1)维，该特征仍为逐截锥体序列特征，而分类数加一的原因是加上背景类。由于前景和背景的样本不平衡，本方法在分类器中采用中心损失(focal loss)。回归器任务是生成目标正确的三维边界框。对于道路场景，路面上的车辆、行人以及骑行者都可以认为是在一个平面上，其朝向(航向角)变化不一，但是俯仰和滚转可以忽略不计。在kitti库中，手工标定的目标有向三维边界框参数化为7个值。所有参数都统一到采集平台相机的像平面坐标系下。第一步得到三维目标框后，将其扩大一定的倍数，以确保将所有目标点都包含在感受野中。然后将框内点云归一化到三维框坐标系下，以此作为候选目标框代替网络的二维边界框再次输入到网络中，进行第二阶段的训练。kitti图像坐标系，将第一阶段目标框选出的点变换到当前目标框坐标系下，坐标中心为三维边界框中心，x轴正方向由第一阶段检测出的目标航向角决定。
75.为从低层次的几何特征中学习到高层次的点云语义信息，在第一条特征抽取主干中采用截锥体切片方法对点云进行分组，使得点云连续化。当然，在第二条特征抽取主干中，点云根据内在上下文信息重构也能将离散的点云变得连续。回到第一条特征抽取，在通过二维目标检测得到点云伪全景图中的二维候选框之后，如图5，将二维候选框推广到三维截锥体候选区。通过当前候选框中心点对应的激光头俯仰角以及旋转角可以定位视锥的中心线。通过一系列等步长并垂直于视锥中心线的平行平面将视锥切分成若干个小截锥体，则得到一串截锥体点云分组序列作为点云的合理局部分组。
76.对于一串从二维检测扩展而来的截锥体点云分组序列，将第二个特征抽取主干得到局部上下文特征叠加到每个点特征上，然后以小截锥体为单位，将其中所有点的逐点特征向量经过多层感知机和最大值池化变成逐截锥体序列特征，后送入全卷积网络以及后续的检测头。
77.为了融合多分辨率截锥体的特征，全卷积网络中使用了合并(merge)操作，如图8所示。这里的合并操作是将两个同样维度的特征矩阵先按截锥体切片的维度拼接，得到两倍截锥体特征维度的一个特征矩阵，再按特征维度进行压缩。
78.与现有技术相比，本发明所提出的一种基于上下文信息构建的激光点云目标检测方法，其重视点云内在顺序以及邻间关系，解决了目前在图像中表现优越的二维目标检测模型无法直接应用到点云数据上以实现三维目标检测任务的问题。
79.本发明所提出的一种基于上下文信息构建的激光点云目标检测方法，其点云伪全
景图由有内部隐含顺序的雷达点云构成，因此定位二维候选框后可以直接得到候选区域中的点云，不需要通过跨传感器标定来定位二维候选框内的点云，显著提高了目标检测效果。
80.考虑到单目视觉能提供更多的场景颜色、纹理等信息，丰富道路场景中可提取的特征信息。因此本发明实施例还提供一种基于上下文信息构建的激光点云目标检测方法，请参阅图10和图11所示，该方法包括以下步骤：
81.s201:获取原始激光点云数据和rgb图像；
82.s202:基于所述rgb图像对原始激光点云进行升维处理，提取升维后的激光点云中每个点的上下文信息特征；
83.s203:基于rgb图像得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
84.s204:将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
85.s205:将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
86.在本发明公开的的一种基于上下文信息构建的激光点云目标检测方法中，在s202中，基于所述rgb图像对原始激光点云进行升维处理，提取升维后的激光点云中每个点的上下文信息特征的方法包括：
87.基于原始激光点云生成时内部自带的排列顺序生成三维特征矩阵，通过跨传感器标定找到原始激光点云在rgb图像上的对应像素，使用rgb特征升维原始激光点云特征，将升维后的激光点云中的每个点作为中心，提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。
88.与现有技术相比，本发明融合单目视觉rgb图像，使用高分辨率的rgb二维候选框作为初步目标定位，并通过跨传感器标定将rgb特征叠加对应激光点特征上，进一步提高模型的目标检测效果。
89.下面对本发明实施例二公开的一种基于上下文信息构建的激光点云目标检测系统进行介绍，下文描述的一种基于上下文信息构建的激光点云目标检测系统与上文描述的一种基于上下文信息构建的激光点云目标检测方法可相互对应参照。
90.本发明实施例提供一种基于上下文信息构建的激光点云目标检测系统，包括：
91.数据获取模块，所述数据获取模块用于获取原始激光点云数据，根据原始激光点云内部隐含的顺序生成点云伪全景图；
92.上下文信息特征提取模块，所述上下文信息特征提取模块用于提取原始激光点云中每个点的上下文信息特征；
93.多分辨率切片模块，所述多分辨率切片模块用于基于所述点云伪全景图得到二维候选框，将二维候选框拓展到三维截锥体候选区，沿着截锥体中心轴方向将截锥体切分为若干个小截锥体，得到截锥体点云分组序列，同时将每个点的上下文信息特征叠加到截锥体点云分组序列的对应点上，并以小截锥体为单位，将其中所有点的逐点特征向量通过多层感知机和最大值池化得到逐截锥体序列特征；
94.深度学习模块，所述深度学习模块用于将所述逐截锥体序列特征输入至全卷积网络进行深度学习，输出高层语义特征；
95.目标识别定位模块，所述目标识别定位模块用于将高层语义特征输入至分类器和回归器完成目标识别任务和边界框定位任务。
96.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测系统中，所述数据获取模块根据原始激光点云内部隐含的顺序生成点云伪全景图的方法包括：
97.构建三维矩阵对原始激光点云特征作序列化存储，特征中包含一个激光采样点的所有信息，包括位置坐标(x,y,z)、辐射强度i、该点归属激光头的序号scanid；
98.按照激光头的序号scanid和旋转角度对点云进行排序，然后将颜色通道rgb三通道分别填入归一化后的dxy、i和z作可视化处理，得到伪全景图片，其中dxy是在xy平面上采样点到雷达的距离归一化后的结果，z为归一化的采样点高度；
99.其中，三维矩阵表示图像特征的组织结构，维度为h
×w×
n，其中h为激光头的序号scanid，w为离散化的旋转角度，n为投影的激光点的特征维度。
100.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测系统中，所述上下文信息特征提取模块提取原始激光点云中每个点的上下文信息特征的方法包括：
101.基于原始激光点云数据生成时内部自带的排列顺序构建三维特征矩阵，使用上下文信息特征矩阵将原始激光点云中的每个点作为中心提取其邻间特征，通过多层感知机和最大值池化得到每个点的上下文信息特征。
102.在本发明实施例公开的一种基于上下文信息构建的激光点云目标检测系统中，多分辨率切片模块得到截锥体点云分组序列的方法包括：
103.将点云伪全景图卷绕成包罗激光雷达的圆柱体环视图，从点云伪全景图中裁剪出感兴趣区域，使用二维目标检测模型得到二维边界框作为二维候选框，将二维候选框拓展到三维截锥体候选区，通过当前三维截锥体候选区中心点对应的激光头俯仰角以及旋转角定位截锥体的中心线，并通过等步长且垂直于截锥体中心线的平行平面将截锥体切分成若干个小截锥体，得到截锥体点云分组序列。
104.本实施例的基于上下文信息构建的激光点云目标检测系统用于实现前述的基于上下文信息构建的激光点云目标检测方法，因此该系统的具体实施方式可见前文中的基于上下文信息构建的激光点云目标检测方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
105.另外，由于本实施例的基于上下文信息构建的激光点云目标检测系统用于实现前述的基于上下文信息构建的激光点云目标检测方法，因此其作用与上述方法的作用相对应，这里不再赘述。
106.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
107.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
108.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
109.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
110.显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。