三维运动目标检测方法、装置和设备与流程

1.本技术涉及机器视觉技术领域，特别是涉及一种三维运动目标检测方法、装置、计算机设备和存储介质。


背景技术：

2.随着机器视觉领域中三维扫描仪器和深度传感器的快速发展，三维场景下的应用也相应的得到了越来越广泛的研究，诸如智能机器人、无人驾驶技术、增强现实和虚拟现实等领域的三维应用不断增加。而作为三维场景下重要的数据表征格式之一的点云数据也得到了越来越多的研究与应用。点云数据是在三维度量空间中定义的一组点的集合，实际应用场景中的点云是场景中物体表面周围的一组3d点。与此同时，在某些特殊环境下，可见光传感器有很大的局限性，这时候就需要非可见光传感器进行环境感知操作，并进行一定的数据处理以方便后续研究与应用。毫米波雷达、激光雷达、tof摄像机等非可见光传感器，都可以产生稀疏的点云数据，获取点云数据之后，再经过对点云数据进行一定程度的处理，从中检测出运动目标并应用到具体的应用场景，这对弥补可见光传感器的空缺具有很大的实际应用价值。
3.现有的点云数据处理方法很多，主要可以分为点云结合图片处理和直接对点云进行处理两类方法。点云结合图片的方法主要有mv3d、f-pointnet、mmf等；对点云直接进行处理的方法主要有voxelnet、second、pointpillars、pointrcnn、std、part-a2和pv-rcnn等。但作为主要点云特征提取网络的pointnet仍然有很大的局限性，pointnet在通过maxpool将所有特征进行筛选的时候，没有局部概念，很难对精细的特征做学习，在分割上有很大的局限性，针对这一问题，又出现pointnet 优化了这一问题。pointnet 作为对点云直接进行处理的点云模块，具有很广泛的实际应用价值和研究价值，众多的点云目标检测算法都采用这一模块作为检测算法的主干网络特征提取部分，然而，将点云目标检测算法落地实现还需要进一步提高其鲁棒性和检测精度，也应对点云的多种应用场景进行进一步的拓展与适配。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种三维运动目标检测方法、装置、计算机设备和存储介质。
5.一种三维运动目标检测方法，所述方法包括：
6.获取场景中待检测运动目标的原始点云；
7.对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
8.通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据；
9.通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征；
10.对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
11.在其中一个实施例中，所述点云特征包括：前景点、背景点分类结果和所述前景点、背景点对目标初始候选框的初始回归结果；所述通过特征提取网络提取所述点云精简数据中的点云特征包括：通过特征提取网络提取所述点云精简数据中的前景点、背景点分类结果和所述前景点、背景点对目标初始候选框的初始回归结果。
12.在其中一个实施例中，还包括：将所述点云集成特征输入预训练的区域生成网络，得到目标初始候选框；对所述前景点分类结果进行sigmoid评分，根据sigmoid评分结果得到前景点掩膜；将所述前景点掩膜、所述参考指标和所述目标初始候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
13.在其中一个实施例中，还包括：根据所述点云精简数据，生成储存真值信息的数据集，所述数据集包括真值框的文件名、目标物类别、目标物3d信息、真值框中的点云数据信息；所述真值框对应于第一候选框。
14.在其中一个实施例中，还包括：根据所述初始回归结果通过基于区间的精选化操作处理所述目标初始候选框，得到第一候选框；联合比对所述第一候选框与所述真值框，筛选得到第二候选框；根据所述前景点掩膜、所述参考指标和所述第二候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
15.在其中一个实施例中，还包括：所述前景点掩膜是所述sigmoid评分结果大于阈值的前景点。
16.一种三维运动目标检测装置，所述装置包括：
17.点云获取模块，用于获取场景中待检测目标的原始点云；
18.点云增强模块，用于对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
19.点云精简模块，用于通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据。
20.特征提取模块，用于通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征。
21.三维目标识别模块，用于对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
22.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
23.获取场景中待检测运动目标的原始点云；
24.对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
25.通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据；
26.通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通
过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征；
27.对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
28.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
29.获取场景中待检测运动目标的原始点云；
30.对所述原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
31.通过数据精简结构突出所述点云增强数据的局部特征，过滤无关信息，得到点云精简数据；
32.通过特征提取网络提取所述点云精简数据中的点云特征；根据所述点云特征，通过梯度集成网络将梯度的变化集成到包含所述点云特征的特征图中，得到点云集成特征；
33.对所述原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测所述目标伪图像，将得到的检测结果作为参考指标；将所述点云集成特征和所述参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
34.上述三维运动目标检测方法、装置、计算机设备和存储介质，通过对原始点云进行数据增强处理，能够丰富背景和小目标的特征；通过数据精简结构增强局部特征，过滤无关信息，得到点云精简数据，能够在保证信息完整性的基础上降低计算复杂度；通过特征提取网络提取点云精简数据的点云特征，通过梯度集成网络增强网络优化中的特征梯度信息，得到点云集成数据，可以在减少网络计算量的同时确保检测结果的准确率；通过对象识别框架获取伪图像的先验检测结果，并将所述先验检测结果作为参考指标结合所述点云集成数据输入预训练的三维目标识别网络，就能得到运动目标的检测结果。本发明实施例，进一步提高三维点云数据中目标检测算法的检测精确度和鲁棒性，并相应的提升相关应用场景中的实际应用效率，能够实现利用三维信息采集传感器实时采集运动目标点云，并分析检测视野中的目标存在情况和目标种类，实现对运动目标的检测。
附图说明
35.图1为一个实施例中三维运动目标检测方法的流程示意图；
36.图2为一个具体实施例中三维运动目标检测方法的流程示意图；
37.图3为一个实施例中三维运动目标检测装置的结构框图；
38.图4为一个实施例中计算机设备的内部结构图。
具体实施方式
39.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
40.在一个实施例中，如图1所示，提供了一种三维运动目标检测方法，包括以下步骤：
41.步骤102，获取场景中待检测运动目标的原始点云。
42.步骤102是通过毫米波雷达、激光雷达和tof相机等三维信息采集传感器采集目标
所在场景进行数据采集实现的。
43.步骤104，对原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据。
44.数据增强主要是为了减少网络的过拟合现象，通过对训练图片进行变换可以得到泛化能力更强的网络，更好的适应应用场景。mosaic结构是数据增强结构中的一种，本发明通过mosaic结构进行数据增强，能够丰富原始点云数据的背景和小目标特征，同时减少网络的运行时间，提高网络鲁棒性。
45.步骤106，通过数据精简结构突出点云增强数据的局部特征，过滤无关信息，得到点云精简数据。
46.数据精简结构可以实现对点云增强数据进行精简处理，数据精简结构包括focus结构，focus结构通过对点云增强数据进行切片操作，方便特征提取网络利用切片提取信息，同时，得到没有信息丢失情况下的下采样特征图，能够突出局部特征，从而实现精简数据。
47.步骤108，通过特征提取网络提取点云精简数据中的点云特征；根据点云特征，通过梯度集成网络将梯度的变化集成到包含点云特征的特征图中，得到点云集成特征。
48.特征提取网络包括pointnet 和特征权值提取机制，pointnet 具体来说就是通过采样层在输入的点云精简数据中选择一系列点，由此定义出局部区域的中心，构建局部区域，进而提取特征，pointnet可以很好地提取点云的特征，将pointnet作为pointnet 中的子网络，层级迭代提取特征。pointnet 通过层级结构利用局部区域信息学习特征，就可以使网络结构更有效更鲁棒。梯度集成网络包括cspnet(cross stage partial network，跨阶段局部网络)，cspnet通过分割梯度流使梯度流通过不同的网络路径传播，通过整合网络阶段开始和结束的特征图来尊重梯度的可变性，实现更丰富的梯度组合，同时减少计算量，将得到的点云集成特征作为三维目标识别网络的输入，能够提高rcnn的运算效率。
49.步骤110，对原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测目标伪图像，将得到的检测结果作为参考指标；将点云集成特征和参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
50.一般，从激光雷达中获取的点云数据以x、y、z三维坐标和反射强度i的形式表现，将点云数据从鸟瞰视角离散到x-y平面上的均匀划分网格中，就可以得到一组柱状集合p，将每个支柱中的点增加xc，yc，zc，x
p
和y
p
等参数(其中c下标表示点到支柱中所有点的算术平均值的距离，p下标表示点到支柱中心的偏移量)，这样，点云数据中的每个点就具有了九维的特征。对每个样本的非空支柱数和每个支柱中的点数施加一定程度的限制条件，就可以创建大小为(d，p，n)的张量。在这个过程中，如果柱状体中的数据太多，则进行随机采样进行减少，如果数据太少，则用0进行填充，pointnet可以对张量化的点云数据进行处理和特征提取，来生成(c，p，n)的张量，再对于通道使用最大池化操作，则可得到(c，p)的张量，编码后将特征散布回原始的支柱位置，就可以创建大小为(c，h，w)的伪图像。将伪图像检测结果作为一个参考结果，与改进pointrcnn输出的预测结果进行比对，提供一定的鸟瞰视角参考信息，用以确定一些复杂场景的目标位置，进一步提升检测准确率。
51.对象识别框架包括yolo v5，yolo v5通过数据加载器传递每一批训练数据，并同时增强训练数据，数据加载器可以进行三种数据增强：缩放，色彩空间调整和马赛克增强，
通过对象识别框架对伪图像中的目标进行先验检测，将检测结果作为参考指标，并将参考指标作为预训练三维目标识别网络的输入。三维目标识别网络指的是改进pointrcnn，改进pointrcnn能够从众多候选框中回归出精度更高的检测结果，参考指标的输入能够进一步提升检测准确性和鲁棒性。
52.上述三维运动目标检测方法中，通过对原始点云进行数据增强处理，能够丰富背景和小目标的特征；通过数据精简结构增强局部特征，过滤无关信息，得到点云精简数据，能够在保证信息完整性的基础上降低计算复杂度；通过特征提取网络提取点云精简数据的点云特征，通过梯度集成网络增强网络优化中的特征梯度信息，得到点云集成数据，可以在减少网络计算量的同时确保检测结果的准确率；通过对象识别框架获取伪图像的先验检测结果，并将先验检测结果作为参考指标结合点云集成数据输入预训练的三维目标识别网络，就能得到运动目标的检测结果。本发明实施例，能够实现利用三维信息采集传感器实时采集运动目标点云，并分析检测视野中的目标存在情况和目标种类，实现对运动目标的检测。
53.在其中一个实施例中，获取场景中待检测目标的原始点云包括：通过三维点云数据采集设备对待检测目标所在场景进行数据采集，加入负样本剔除场景中的无关目标，得到待检测目标的原始点云。在本实施例中，加入负样本以解决复杂场景中无关目标的误检问题，当前，点云目标检测算法更多的应用于自动驾驶领域，其中，最重要的是突出车辆、车道及障碍物，为了准确的识别物体信息，就可以进一步添加负样本进行训练，例如，在车辆目标检测过程中，就可以添加类似于车辆的集装箱、报刊亭等点云数据负样本，负样本可针对不同的应用场景进行选取。
54.在其中一个实施例中，点云特征包括：前景点、背景点分类结果和前景点、背景点对目标初始候选框的初始回归结果；通过特征提取网络提取点云精简数据中的点云特征包括：通过特征提取网络提取点云精简数据中的前景点、背景点分类结果和前景点、背景点对目标初始候选框的初始回归结果。
55.在本实施例中，前景点指的是属于目标类别的点，而地面点或者灌木点或者房屋点属于背景点，得到前景点、背景点分类结果的目的是区分前景对象，区分前景对象非常关键的一个问题是确定一个合适的背景，从像素的角度来理解，每一个像素就是有可能是前景点，也有可能是背景点，从而需要进行分类，防止背景中误入原属于前景点的对象，将点云分割为前景和背景对象来生成少量高质量的3d目标初始候选框，通过前景点能够得到前景点的掩膜；通过将点云集成数据输入区域生成网络(region proposal network，rpn)得到目标初始候选框，通过初始回归结果能够对前景点进行回归，减少点云数量。在前景点云分割阶段，前景点偏少，背景点偏多，在数量上很不均衡，可以通过focal loss降低大量简单负样本在训练中所占的权重，损失函数公式为：
56.ζ
focal
＝-α
t
(1-p
t
)
γ
log(p
t
)
57.其中，
58.其中，α是平衡因子，γ是可调节因子，t表示样本的复杂程度，上式中设定α＝0.25、γ＝2。具体地，前景点的点云特征经过rpn获取目标初始候选框的3d框，每一个前景点都会回归一个3d目标框。
59.在其中一个实施例中，将点云集成特征和参考指标输入预训练的三维目标识别网络包括：将点云集成特征输入预训练的区域生成网络，得到目标初始候选框；对前景点分类结果进行sigmoid评分，根据sigmoid评分结果得到前景点掩膜；将前景点掩膜、参考指标和目标初始候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
60.在本实施例中，通过将点云集成数据输入rpn得到目标初始候选框，目标初始候选框将用于输入改进pointrcnn中进一步筛选，广义上掩膜指的是用选定的图像、图形或物体，对处理的图像进行遮挡，来控制图像处理的区域或处理过程，在本实施例中，通过一个n
×
n的矩阵来对图像进行像素过滤，将前景突出显示出来，这个矩阵就是一种掩膜，使得改进pointrcnn只考虑前景点的3d框，过滤非前景点的3d框。
61.在其中一个实施例中，在将点云集成特征和参考指标输入预训练的目标识别网络之前，包括：根据点云精简数据，生成储存真值信息的数据集，数据集包括真值框的文件名、目标物类别、目标物3d信息、真值框中的点云数据信息；真值框对应于第一候选框。
62.在其中一个实施例中，将前景点掩膜、参考指标和目标初始候选框输入预训练的三维目标识别网络，得到运动目标识别结果包括：根据初始回归结果通过基于区间的精选化操作处理目标初始候选框，得到第一候选框；联合比对第一候选框与真值框，筛选得到第二候选框；根据前景点掩膜、参考指标和第二候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
63.在本实施例中，基于区间(bin)的精选化操作对初始回归结果在坐标轴上分组，当把数据进行分组处理后，数据会变得更加稳定，从而减少目标初始候选框的数量，得到第一候选框。在基于bin的过程中，其损失函数为：
[0064][0065][0066][0067]
其中，pos是前景点集合，n
pos
是前景点的数量，是bin过程后得到的预测框，是与前景点预测框的差值，和是真值目标，为交叉熵分类损失，为平滑l1损失，u为参数x、z、θ的集合，其中x、y是目标中心点的坐标，θ为在鸟瞰视角下的预测框方向角度，v为参数y、h、w、l的集合，其中y是目标中心点的y轴坐标，h、w、l表示预测框的尺寸，分别表示长、宽、高。在改进pointrcnn中，损失函数为：
[0068][0069]
[0070][0071]
其中，是目标初始候选框的集合，则是用来存储回归后得到的第一候选框，probi是bi的置信度，bi是目标初始候选框，labeli是第一候选框和真值框的吻合程度，是监督预测置信度的交叉熵损失，为平滑l1损失，u为参数x、z、θ的集合，其中x、y是目标中心点的坐标，θ为在鸟瞰视角下的预测框方向，为真值框，v为参数y、h、w、l的集合，其中y是目标中心点的y轴坐标，h、w、l表示预测框的尺寸，分别表示长、宽、高。
[0072]
在一个具体实施例中，训练改进pointrcnn的具体步骤为：
[0073]
s10：广泛收集三维点云数据集，同时通过点云数据采集设备采集大量实验场景，实验场景包括：道路车辆点云场景、道路行人点云场景、交通标识点云数据等。
[0074]
s20：对原始点云进行伪图像处理，得到鸟瞰视角的伪图像，将伪图像输入yolo v5网络，生成先验的伪图像检测结果。
[0075]
s30：通过mosaic结构对原始点云进行数据增强处理，提高数据中的背景信息和小目标信息，得到点云增强数据。
[0076]
s40：将pointnet 作为backbone，在backbone中加入focus结构和cspnet结构对点云增强数据进行数据精简，并保留重要的数据信息，将数据输入backbone中获取每个点初始的前景点、背景点分类结果和回归结果。
[0077]
s50：生成储存数据集真值信息的文件，包括真值框的文件名、目标物类别、目标物3d信息、真值框中的点云数据等信息。
[0078]
s60：将点云集成特征输入rpn网络，进行网络训练，得到点云数据中目标物体的目标初始候选框。
[0079]
s70：将目标初始候选框输入改进pointrcnn中进一步减少冗余框，同时结合yolo v5对伪图像的检测结果，输出最终的目标检测框。
[0080]
在一个具体实施例中，如图2所示，提供了一种三维运动目标检测方法的流程示意图，该方法可以实现对获取的原始点云直接处理并生成检测结果，具体地，通过mosaic结构对原始点云进行数据增强，得到点云增强数据，通过focus结构对点云增强数据进行轻量化处理，得到点云精简数据，通过pointnet 和特征权值提取机制对点云精简数据进行特征提取，将网络优化中的特征梯度信息通过cspnet集成到特征图中，得到点云集成数据，将点云集成数据输入预训练的rpn网络，生成目标初始候选框，同时，对原始点云进行俯瞰视角伪图像处理，采取yolo v5结构检测伪图像中的目标，并将生成的伪图像先验结果作为参考指标，通过改进pointrcnn进一步减少目标初始候选框中的冗余框，并将参考指标输入改进pointrcnn，生成目标检测框。
[0081]
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地
执行。
[0082]
在一个实施例中，提供了一种三维运动目标检测装置，包括：点云获取模块302、点云增强模块304、点云精简模块306、特征提取模块308和三维目标识别模块310，其中：
[0083]
点云获取模块302，用于获取场景中待检测目标的原始点云；
[0084]
点云增强模块304，用于对原始点云中的背景信息和小目标信息进行数据增强，得到点云增强数据；
[0085]
点云精简模块306，用于通过数据精简结构突出点云增强数据的局部特征，过滤无关信息，得到点云精简数据。
[0086]
特征提取模块308，用于通过特征提取网络提取点云精简数据中的点云特征；根据点云特征，通过梯度集成网络将梯度的变化集成到包含点云特征的特征图中，得到点云集成特征。
[0087]
三维目标识别模块310，用于对原始点云进行俯瞰视角伪图像处理，得到目标伪图像，通过对象识别框架检测目标伪图像，将得到的检测结果作为参考指标；将点云集成特征和参考指标输入预训练的三维目标识别网络，得到运动目标识别结果。
[0088]
在其中一个实施例中，点云获取模块302还用于通过三维点云数据采集设备对待检测目标所在场景进行数据采集，加入负样本剔除场景中的无关目标，得到待检测目标的原始点云。
[0089]
在其中一个实施例中，特征提取模块308还用于通过特征提取网络提取点云精简数据中的点云特征包括：通过特征提取网络提取点云精简数据中的前景点、背景点分类结果和前景点、背景点对目标初始候选框的初始回归结果。
[0090]
在其中一个实施例中，三维目标识别模块310还用于将点云集成特征输入预训练的区域生成网络，得到目标初始候选框；对前景点分类结果进行sigmoid评分，根据sigmoid评分结果得到前景点掩膜；将前景点掩膜、参考指标和目标初始候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
[0091]
在其中一个实施例中，还用于根据点云精简数据，生成储存真值信息的数据集，数据集包括真值框的文件名、目标物类别、目标物3d信息、真值框中的点云数据信息；真值框对应于第一候选框。
[0092]
在其中一个实施例中，三维目标识别模块310还用于根据初始回归结果通过基于区间的精选化操作处理目标初始候选框，得到第一候选框；联合比对第一候选框与真值框，筛选得到第二候选框；根据前景点掩膜、参考指标和第二候选框输入预训练的三维目标识别网络，得到运动目标识别结果。
[0093]
在其中一个实施例中，前景点掩膜是sigmoid评分结果大于阈值的前景点。
[0094]
关于三维运动目标检测装置的具体限定可以参见上文中对于三维运动目标检测方法的限定，在此不再赘述。上述三维运动目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0095]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示
屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维运动目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0096]
本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0097]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
[0098]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
[0099]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0100]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0101]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。