多尺度机非人检测方法、装置、介质及设备与流程

1.本发明涉及数据处理技术领域，尤其涉及一种多尺度机非人检测方法、装置、介质及设备。


背景技术：

2.随着交通运输行业的高速发展，带来的负面影响也逐渐显现：比如城市道路交通拥堵严重、交通安全事故频繁发生等等。为了改善交通环境，需要对道路交通场景中的机动车、非机动车以及行人进行管控。近年来随着计算机视觉技术的发展，基于深度卷积神经网络下目标定位与识别技术的智能分析监控系统广泛应用于道路交通监管场所，比如基于深度卷积神经网络的机非人检测技术，不仅能实现机非人(机动车、非机动车、行人)的检测，同时生成位置坐标和类别信息，而且检测速度很快，满足实时要求。
3.然而现有的检测技术对小目标检测困难，且因为anchor box的使用，使得大量的bounding box都处于背景中，导致样本不均衡；除此之外，在复杂场景中，对模糊及界定不清晰的边界框预测效果不够好；机非人检测的精确度和稳健性欠佳。


技术实现要素：

4.本发明实施例提供了一种多尺度机非人检测方法、装置、介质及设备，以解决现有技术在检测机非人目标时存在的小目标检测困难、机非人检测的精确度和稳健性欠佳的问题。
5.一种多尺度机非人检测方法，所述方法包括：
6.获取道路监控场景的图像训练集，对所述图像训练集中的训练样本进行预处理，所述训练样本为已知机非人位置信息和分类信息的道路监控场景图像；
7.采用预处理后的训练样本训练预设的机非人检测模型，所述机非人检测模型采用不同大小的四个预测尺度对输入图像进行机非人目标预测；
8.获取道路监控场景的待预测图像，通过训练好的机非人检测模型提取所述待预测图像中的机非人目标特征，所述待预测图像为未知机非人位置信息和分类信息的道路监控场景图像；
9.将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息。
10.可选地，所述对所述图像训练集中的训练样本进行预处理包括：
11.将所述图像训练集中的训练样本调整为预设尺寸。
12.可选地，所述机非人检测模型包括主干网络和特征融合层；
13.所述主干网络采用cspdarknet53网络，包括依次首尾相连的第一阶段、第二阶段、第三阶段、第四阶段，所述第一阶段和第二阶段输出浅层特征，所述第三阶段和第四阶段输出深层特征，其中所述第一阶段输出的浅层特征比第二阶段输出的浅层特征更浅，所述第四阶段输出的深层特征比第三阶段输出的深层特征更深；
14.所述特征融合层由conv、upsample、bottleneckcsp组成，用于对主干网络中第四阶段输出的深层特征进行特征提取，分别得到不同层次的第一特征、第二特征、第三特征、第四特征、第五特征以及第六特征；对所述第二阶段输出的浅层特征和第二特征上采样后的特征、所述第三阶段输出的深层特征和第一特征上采样后的特征、所述第一阶段输出的浅层特征和第三特征上采样后的特征、所述第四阶段输出的深层特征和第六特征、第二特征和第五特征、第三特征和第四特征分别进行融合，得到不同尺度的融合特征；将所述不同尺度的融合特征中的后四个融合特征输入预测层，所述预测层采用大小不同的四预测尺度进行机非人目标预测，得到机非人目标特征。
15.可选地，所述大小不同的四个预测尺度包括16*16、32*32、64*64、128*128，其中16*16用于进行大目标预测，所述128*128用于进行小目标预测。
16.可选地，所述机非人检测模型的损失函数为边框回归损失函数、置信度损失函数和分类损失函数的加权和；
17.所述边框回归损失函数采用ciou loss和distribution focal loss的和；
18.所述置信度损失函数采用focal loss；
19.所述分类损失函数采用多分类的focal loss。
20.可选地，所述将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息包括：
21.遍历所述道路监控场景图库中的特征信息，计算所述机非人目标特征与所述特征信息之间的相似度；
22.选取相似度最大的特征信息作为所述机非人目标特征的最相似特征；
23.以所述最相似特征对应的机非人位置信息和分类信息作为所述机非人目标特征的匹配信息。
24.可选地，所述相似度为余弦相似度；
25.所述余弦相似度为所述机非人目标特征与所述特征信息的转置矩阵的乘积。
26.一种多尺度机非人检测装置，所述装置包括：
27.预处理模块，用于获取道路监控场景的图像训练集，对所述图像训练集中的训练样本进行预处理，所述训练样本为已知机非人位置信息和分类信息的道路监控场景图像；
28.训练模块，用于采用预处理后的训练样本训练预设的机非人检测模型，所述机非人检测模型采用不同大小的四个预测尺度对输入图像进行机非人目标预测；
29.特征提取模块，用于获取道路监控场景的待预测图像，通过训练好的机非人检测模型提取所述待预测图像中的机非人目标特征，所述待预测图像为未知机非人位置信息和分类信息的道路监控场景图像；
30.匹配模块，用于将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息。
31.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的多尺度机非人检测方法。
32.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的多尺度机非人检测方法。
33.本发明实施例通过获取道路监控场景的图像训练集，对所述图像训练集中的训练样本进行预处理，所述训练样本为已知机非人位置信息和分类信息的道路监控场景图像；采用预处理后的训练样本训练预设的机非人检测模型，所述机非人检测模型采用不同大小的四个预测尺度对输入图像进行机非人目标预测；获取道路监控场景的待预测图像，通过训练好的机非人检测模型提取所述待预测图像中的机非人目标特征，所述待预测图像为未知机非人位置信息和分类信息的道路监控场景图像；将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息。本发明在机非人检测模型的预测步骤中采用四个预测尺度，可以兼顾更小目标的检测，对大目标和小目标都有较好的检测效果，有效地提高了机非人检测的精确度和稳健性。
附图说明
34.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
35.图1是本发明一实施例提供的多尺度机非人检测方法的流程图；
36.图2是本发明一实施例提供的主干网络的结构示意图；
37.图3是本发明一实施例提供的多尺度机非人检测方法中步骤s104的流程图；
38.图4是本发明一实施例提供的多尺度机非人检测装置的结构示意图；
39.图5是本发明一实施例中计算机设备的一示意图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本发明实施例基于构建机非人检测模型，通过在机非人检测模型预测步骤中，采用四个预测尺度，对大目标和小目标都有较好的检测效果，且所述机非人检测模型平衡了正负、难易样本，进一步提高了机非人检测的精确度和稳健性。
42.以下对本实施例提供的多尺度机非人检测方法进行详细的描述，如图1所示，所述多尺度机非人检测方法包括：
43.在步骤s101中，获取道路监控场景的图像训练集，对所述图像训练集中的训练样本进行预处理。
44.在本发明实施例中，所述训练样本为已知机非人位置信息和分类信息的道路监控场景图像，可以通过coco、voc等公开数据集或者自建数据集获取。coc的全称是common objects in context,是微软团队提供的一个可以用来进行图像识别的数据集。
45.对所述图像训练集中的训练样本进行预处理，将所述图像训练集中的训练样本调整为预设尺寸。示例性地，所述预设尺寸为宽512个像素，高512个像素；当然也可以选择其他预设尺寸，此处不作限制。
46.在步骤s102中，采用预处理后的训练样本训练预设的机非人检测模型，所述机非人检测模型采用不同大小的四个预测尺度对输入图像进行机非人目标预测。
47.在这里，本发明实施例采用预处理后的训练样本对预设的机非人检测模型进行训练。所述机非人检测模型包括主干网络和特征融合层。
48.其中，所述主干网络采用cspdarknet53网络，包括依次首尾相连的第一阶段、第二阶段、第三阶段、第四阶段，所述第一阶段和第二阶段输出浅层特征，所述第三阶段和第四阶段输出深层特征，其中所述第一阶段输出的浅层特征比第二阶段输出的浅层特征更浅，所述第四阶段输出的深层特征比第三阶段输出的深层特征更深。
49.本发明实施例通过将预处理后的训练样本输入至所述主干网络，通过所述主干网络提取带有机非人信息的三维矩阵特征。其中，所述第一阶段输出的浅层特征o1是第二阶段的输入，第二阶段输出的浅层特征o2是第三阶段的输入，第三阶段输出的深层特征o3是第四阶段的输入，第四阶段输出的深层特征o4是所要提取的带有机非人特征的的三维矩阵特征。为了便于理解，图2为本发明实施例提供的主干网络的结构示意图。所述第一阶段输出的浅层特征o1、第二阶段输出的浅层特征o2、第三阶段输出的深层特征o3、第四阶段输出的深层特征o4具体见附图2中的backbone部分。
50.所述特征融合层由conv、upsample、bottleneckcsp组成，用于对主干网络中第四阶段输出的深层特征进行特征提取，分别得到不同层次的第一特征、第二特征、第三特征、第四特征、第五特征以及第六特征；对所述第二阶段输出的浅层特征和经上采样后的第二特征、所述第三阶段输出的深层特征和经上采样后的第一特征、所述第一阶段输出的浅层特征和经上采样后的第三特征、所述第四阶段输出的深层特征和第六特征、第二特征和第五特征、第三特征和第四特征分别进行融合，得到不同尺度的融合特征；将所述不同尺度的融合特征中的后四个融合特征输入预测层，所述预测层采用大小不同的四预测尺度进行机非人目标预测，得到机非人目标特征。
51.在本发明实施例中，所述特征融合层主要由conv、upsample、bottleneckcsp三种基础模块组成。本发明实施例将主干网络得到的第四阶段输出的深层特征o4输入到所述特征融合层，继续进行特征提取，同样得到六个不同层次的特征，依次为第一特征p1、第二特征p2、第三特征p3、第四特征p4、第五特征p5以及第六特征p6。然后进行特征融合，具体包括：对所述第二特征p2进行上采样，对所述第二阶段输出的浅层特征o2和经上采样后的第二特征p2进行融合；对所述第一特征p1进行上采样，所述第三阶段输出的深层特征o3和经上采样后的第一特征p1进行融合；对所述第三特征p3进行上采样，所述第一阶段输出的浅层特征o1和经上采样后的第三特征p3进行融合；对所述第四阶段输出的深层特征o4和第六特征p6进行融合；对所述第二特征p2和第五特征p5进行融合、对所述第三特征p3和第四特征p4进行融合，从而得到不同尺度的融合特征。本发明实施例只选择后四个融合特征输入预测层中，按照四个预测尺度进行预测，并生成机非人目标特征。可选地，所述四个预测尺度包括但不限于16*16、32*32、64*64、128*128，其中16*16用于预测大目标，128*128用于预测小目标。在这里，所述预测尺度为输入预测层的特征图的大小。本发明实施例采用四个预测尺度，从而使得大尺寸和小尺寸的目标都能得到很好的特征提取。小目标包含的像素点较少，大目标包含的像素较多，浅层网络提取到的特征含有丰富的信息，深层网络提取到的特征包含的信息相对较小，鉴于此本发明实施例通过浅层网络对小目标进行提取以获得更丰富的信
息，通过深层网络对大目标进行提取。
52.本发明实施例通过在机非人检测模型预测步骤中，采用16*16、32*32、64*64、128*128四个预测尺度，对大目标和小目标都有较好的检测效果，相比于现有技术，兼顾了小目标的检测，有效地提高了机非人检测的精确度和稳健性。
53.在步骤s103中，获取道路监控场景的待预测图像，通过训练好的机非人检测模型提取所述待预测图像中的机非人目标特征，所述待预测图像为未知机非人位置信息和分类信息的道路监控场景图像。
54.在这里，本发明实施例利用已知机非人位置信息和分类信息的道路交通场景图片数据训练机非人检测模型，按预设方式计算总体损失，以反向传播更新网络参数。可选地，作为本发明的一个优选实例，所述机非人检测模型的损失函数为边框回归损失函数、置信度损失函数和分类损失函数的加权和。
55.其中，所述边框回归损失函数采用ciou loss和distribution focal loss的和。ciou loss的计算公式为：
[0056][0057]
其中，
[0058][0059][0060]
其中，w表示宽，h表示高，d代表的是两个中心点之间的欧氏距离，c代表闭包的对角线距离。
[0061]
distribution focal loss(dfl)以类似交叉熵的形式去优化与标签y最接近的一左一右两个位置的概率，从而让网络快速的聚焦到目标位置的邻近区域的分布中，使得他们的概率尽可能大。其计算公式为：
[0062]
dfl(si，s
i 1
)＝-((y
i 1-y)log(si) (y-yi)log(s
i 1
))
[0063]
假设对两个变量y
l
和yr(y
l
＜yr)，模型估计的概率值是)，模型估计的概率值是最终的预测是它们的线性组合：
[0064][0065]
预测对应的连续标签y也满足：y
l
≤y≤yr。
[0066]
本发明实施例通过在边框回归损失函数中，加入distribution focal loss(dfl)，改善了在复杂场景中，对模糊及界定不清晰的边界框预测效果不够好的情况。
[0067]
所述置信度损失函数采用focal loss。focal loss在平衡交叉熵损失函数的基础上，增加一个调节因子降低易分类样本权重，聚焦于难分类样本的训练，其定义如下：
[0068]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
[0069]
其中，a
t
用于调节正负样本，(1-p
t
)
γ
为调节因子，当p
t
接近于1时，表明其分类预测较好，是易分类样本，(1-p
t
)
γ
接近于0，因此损失被调低了，难分类样本的(1-p
t
)
γ
会接近于1，所以focal loss可以使模型在训练时更专注于难分类的样本，当γ越大易分类样本权重
降低程度越大。
[0070]
所述分类损失函数采用多分类的focal loss。其标签是one-hot形式，某类样本的标签向量只有在对应位置上为1，其余都为0，其计算公式为：
[0071]
fl_ds＝-αc(1-pc)
γ
log(pc)
[0072][0073]
但是上述focal loss只支持0或1这样的离散类别标签，将其用到置信度损失中需要扩展到对连续标签的预测，置信度损失计算公式为：
[0074]
fl_obj(σ)＝-α
t
|y-σ|
β
((1-y)log((1-σ) ylog(σ))
[0075]
其中，y为真实标签，σ为预测值，调节因子为|y-σ|
β
。
[0076]
最终的损失函数为：
[0077][0078]
其中，为控制变量，其含义是：第i个网格的第j个anchor box是否负责这个object，如果负责那么否则为0。第i个网格的b个anchor box中与该对象的ground truth box的iou大于阈值时，那它所对应的bounding box就负责预测这个目标。也是控制函数，它的含义与相反。
[0079]
本发明实施例通过在分类损失函数和置信度损失函数中，使用focal loss，平衡了正负、难易样本，进一步提升了机非人检测的准确度。
[0080]
计算边框回归损失函数、置信度损失函数和分类损失函数的加权和作为损失函数值，然后通过后向传播，更新主干网络和特征融合层的参数，直至损失收敛，得到训练好的机非人检测模型。
[0081]
在步骤s104中，将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息。
[0082]
在这里，本发明实施例预先构建道路监控场景图库，该图库中存储有多个特征信息，每个特征信息关联有对应的机非人目标的位置信息和分类信息。在通过机非人检测模型得到待预测图像的机非人目标特征后，通过将该机非人目标特征与所述道路监控场景图库进行比对，从而得到该机非人目标特征对应的配置信息，包括机非人目标的位置信息和分类信息。可选地，作为本发明的一个优选实例，如图3所示，步骤s104包括：
[0083]
在步骤s401中，遍历所述道路监控场景图库中的特征信息，计算所述机非人目标特征与所述特征信息之间的相似度。
[0084]
在这里，所述相似度为余弦相似度；所述余弦相似度为所述机非人目标特征与所述特征信息的转置矩阵的乘积。本发明实施例遍历所述道路监控场景图库中的每一个特征信息，计算所述机非人目标特征与所述特征信息的余弦相似度。假设所述机非人目标特征经归一化后为x
未
，道路监控场景图库中的特征信息经归一化后为x
已
，计算两个特征信息的余弦相似度为计算x
未
与x
已
的转置矩阵的矩阵乘积。
[0085]
在步骤s402中，选取相似度最大的特征信息作为所述机非人目标特征的最相似特征。
[0086]
在步骤s403中，以所述最相似特征对应的机非人位置信息和分类信息作为所述机非人目标特征的匹配信息。
[0087]
在计算得到待预测图像的机非人目标特征与道路交通场景图库中所有的特征信息的相似度之后，获取所述待预测图像的机非人目标特征最相似的特征信息，并以所述最相似的特征信息对应的机非人位置信息和分类信息作为所述机非人目标特征的匹配信息，从而完成对所述待预测图像的机非人目标检测。
[0088]
本发明实施例通过获取道路监控场景的图像训练集，对所述图像训练集中的训练样本进行预处理，所述训练样本为已知机非人位置信息和分类信息的道路监控场景图像；采用预处理后的训练样本训练预设的机非人检测模型，所述机非人检测模型采用不同大小的四个预测尺度对输入图像进行机非人目标预测；获取道路监控场景的待预测图像，通过训练好的机非人检测模型提取所述待预测图像中的机非人目标特征，所述待预测图像为未知机非人位置信息和分类信息的道路监控场景图像；将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息。本发明在机非人检测模型的预测步骤中采用四个预测尺度，可以兼顾更小目标的检测，对大目标和小目标都有较好的检测效果，有效地提高了机非人检测的精确度和稳健性。
[0089]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0090]
在一实施例中，本发明还提供一种多尺度机非人检测装置，该多尺度机非人检测装置与上述实施例中多尺度机非人检测方法一一对应。如图4所示，该多尺度机非人检测装置包括预处理模块41、训练模块42、特征提取模块43、匹配模块44。各功能模块详细说明如下：
[0091]
预处理模块41，用于获取道路监控场景的图像训练集，对所述图像训练集中的训练样本进行预处理，所述训练样本为已知机非人位置信息和分类信息的道路监控场景图像；
[0092]
训练模块42，用于采用预处理后的训练样本训练预设的机非人检测模型，所述机非人检测模型采用不同大小的四个预测尺度对输入图像进行机非人目标预测；
[0093]
特征提取模块43，用于获取道路监控场景的待预测图像，通过训练好的机非人检测模型提取所述待预测图像中的机非人目标特征，所述待预测图像为未知机非人位置信息和分类信息的道路监控场景图像；
[0094]
匹配模块44，用于将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息。
[0095]
可选地，所述预处理模块41具体用于：
[0096]
将所述图像训练集中的训练样本调整为预设尺寸。
[0097]
可选地，所述机非人检测模型包括主干网络和特征融合层；
[0098]
所述主干网络采用cspdarknet53网络，包括依次首尾相连的第一阶段、第二阶段、第三阶段、第四阶段，所述第一阶段和第二阶段输出浅层特征，所述第三阶段和第四阶段输出深层特征，其中所述第一阶段输出的浅层特征比第二阶段输出的浅层特征更浅，所述第四阶段输出的深层特征比第三阶段输出的深层特征更深；
[0099]
所述特征融合层由conv、upsample、bottleneckcsp组成，用于对主干网络中第四阶段输出的深层特征进行特征提取，分别得到不同层次的第一特征、第二特征、第三特征、第四特征、第五特征以及第六特征；对所述第二阶段输出的浅层特征和第二特征上采样后的特征、所述第三阶段输出的深层特征和第一特征上采样后的特征、所述第一阶段输出的浅层特征和第三特征上采样后的特征、所述第四阶段输出的深层特征和第六特征、第二特征和第五特征、第三特征和第四特征分别进行融合，得到不同尺度的融合特征；将所述不同尺度的融合特征中的后四个融合特征输入预测层，所述预测层采用大小不同的四预测尺度进行机非人目标预测，得到机非人目标特征。
[0100]
可选地，所述大小不同的四个预测尺度包括16*16、32*32、64*64、128*128，其中16*16用于进行大目标预测，所述128*128用于进行小目标预测。
[0101]
可选地，所述机非人检测模型的损失函数为边框回归损失函数、置信度损失函数和分类损失函数的加权和；
[0102]
所述边框回归损失函数采用ciou loss和distribution focal loss的和；
[0103]
所述置信度损失函数采用focal loss；
[0104]
所述分类损失函数采用多分类的focal loss。
[0105]
可选地，所述匹配模块44包括：
[0106]
相似度计算单元，用于遍历所述道路监控场景图库中的特征信息，计算所述机非人目标特征与所述特征信息之间的相似度；
[0107]
选取单元，用于选取相似度最大的特征信息作为所述机非人目标特征的最相似特征；
[0108]
匹配单元，用于以所述最相似特征对应的机非人位置信息和分类信息作为所述机非人目标特征的匹配信息。
[0109]
可选地，所述相似度为余弦相似度；
[0110]
所述余弦相似度为所述机非人目标特征与所述特征信息的转置矩阵的乘积。
[0111]
关于多尺度机非人检测装置的具体限定可以参见上文中对于多尺度机非人检测方法的限定，在此不再赘述。上述多尺度机非人检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0112]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多尺度机非人检测方法。
[0113]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0114]
获取道路监控场景的图像训练集，对所述图像训练集中的训练样本进行预处理，
所述训练样本为已知机非人位置信息和分类信息的道路监控场景图像；
[0115]
采用预处理后的训练样本训练预设的机非人检测模型，所述机非人检测模型采用不同大小的四个预测尺度对输入图像进行机非人目标预测；
[0116]
获取道路监控场景的待预测图像，通过训练好的机非人检测模型提取所述待预测图像中的机非人目标特征，所述待预测图像为未知机非人位置信息和分类信息的道路监控场景图像；
[0117]
将所述机非人目标特征与道路监控场景图库中的特征信息进行匹配，得到所述待预测图像中的机非人目标的位置信息和分类信息。
[0118]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0119]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0120]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。