基于注意力机制的无人车多分辨率视频生成方法和装置与流程

1.本技术涉及无人车技术领域，特别是涉及一种基于注意力机制的无人车多分辨率视频生成方法和装置。


背景技术：

2.随着人工智能领域的发展，出现了无人车技术。无人车技术依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆，目前已经应用在越来越多的场合中。
3.但是，现有的无人车在采集图像时，一般使用广角镜头或者高清镜头。使用广角镜头可以采集更广泛的视角，但是不仅占用了很多的带宽，而且图像不够清晰；而使用高清镜头可以采集更清晰的图像，但也占用了很多的带宽；并且，广角镜头和高清镜头的价格昂贵，性价比不高。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种基于注意力机制的无人车多分辨率视频生成方法，能够占用相对较少的带宽而又可以采集比较清晰的图像。
5.基于注意力机制的无人车多分辨率视频生成方法，包括：
6.获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；
7.将所述预测轨迹标注在预先设置的空白图像中，得到注意力图像；
8.根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像；所述注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；
9.获取无人车上安装的摄像机采集的实时图像，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，所述注意力掩码图像、所述实时图像以及所述降采样实时图像的尺寸一致；
10.根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像；其中，与所述预测轨迹距离越近的分区，填充的图像的分辨率越大；
11.根据所述合成图像，输出实时的视频流数据。
12.在其中一个实施例中，所述注意力掩码图像包括三个分区；对所述实时图像分别按照2*2和3*3的比率进行降采样，得到分辨率分别为实时图像分辨率1/4和1/9的两个降采样实时图像。
13.在其中一个实施例中，根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像包括：
14.根据分区与预测轨迹的距离，建立所述分区与所述实时图像，以及所述分区与所述降采样实时图像的对应关系；其中，与预测轨迹的距离越近的分区，与所述分区对应的所
述实时图像或所述降采样实时图像的分辨率越大；
15.对所述注意力掩码图像进行逐行逐列扫描，判断扫描的像素值，根据所述像素值的大小，确定分区，根据所述分区，将对应的图像填充至注意力掩码图像，扫描完成得到合成图像。
16.在其中一个实施例中，根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像包括：
17.对所述注意力图像中的像素点，通过摄像机标定得到的标定矩阵，确定车体坐标系中的对应点；
18.在车体坐标系中，计算所述对应点与预测轨迹之间的实际距离；
19.根据所述实际距离生成注意力掩码图像。
20.在其中一个实施例中，在输出实时的视频流数据之前，还包括：
21.将所述合成图像利用平滑的方法进行处理。
22.在其中一个实施例中，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，包括：
23.对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，并且将所述降采样实时图像进行尺寸放大，以使所述降采样实时图像的尺寸与所述实时图像的尺寸一致。
24.在其中一个实施例中，所述摄像机采集实时图像可以通过usb、网络、gmsl或fpdlink接口。
25.基于注意力机制的无人车多分辨率视频生成装置，包括：
26.预测轨迹获得模块，用于获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；
27.注意力图像获得模块，用于将所述预测轨迹标注在预先设置的空白图像中，得到注意力图像；
28.掩码图像获得模块，用于根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像；所述注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；
29.图像处理模块，用于获取无人车上安装的摄像机采集的实时图像，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，所述注意力掩码图像、所述实时图像以及所述降采样实时图像的尺寸一致；
30.合成图像获得模块，用于根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像；其中，与所述预测轨迹距离越近的分区，填充的图像的分辨率越大；
31.视频流输出模块，用于根据所述合成图像，输出实时的视频流数据。
32.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
33.获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；
34.将所述预测轨迹标注在预先设置的空白图像中，得到注意力图像；
35.根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距
离生成注意力掩码图像；所述注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；
36.获取无人车上安装的摄像机采集的实时图像，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，所述注意力掩码图像、所述实时图像以及所述降采样实时图像的尺寸一致；
37.根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像；其中，与所述预测轨迹距离越近的分区，填充的图像的分辨率越大；
38.根据所述合成图像，输出实时的视频流数据。
39.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
40.获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；
41.将所述预测轨迹标注在预先设置的空白图像中，得到注意力图像；
42.根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像；所述注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；
43.获取无人车上安装的摄像机采集的实时图像，对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，所述注意力掩码图像、所述实时图像以及所述降采样实时图像的尺寸一致；
44.根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像；其中，与所述预测轨迹距离越近的分区，填充的图像的分辨率越大；
45.根据所述合成图像，输出实时的视频流数据。
46.上述基于注意力机制的无人车多分辨率视频生成方法和装置，通过当前的方向盘转角综合车辆的动力学模型，判断无人车的行进趋势，进而得到预测轨迹；在将预测轨迹标注在图像中后，引入了注意力机制，无人车在行驶中，注意力集中在车辆待行驶区域，按照注意力集中度的高低划分不同的分区，并在各个分区按照注意力越集中则图像分辨率越高的原则填充图像，从而可以保证在注意力越高的分区，图像的清晰度越高，因为注意力集中的地方对图像清晰度的要求也最高，所以符合人的观察习惯；填充图像是将无人机采集的图像降采样并放大到原来的尺寸后得到，保证图像的尺寸没变但是信息进行了压缩，并将不同分辨率的图像进行融合叠加，从而保证占用相对较少的带宽但图像也保证了清晰度要求，大大方便了无人车的工作，且方案简单，容易实施。
附图说明
47.图1为一个实施例中基于注意力机制的无人车多分辨率视频生成方法的流程图；
48.图2为一个实施例中基于注意力机制的无人车多分辨率视频生成方法的示意图；
49.图3为一个实施例中基于注意力机制的无人车多分辨率视频生成方法的像素点与对应点的示意图；
50.图4为一个实施例中基于注意力机制的无人车多分辨率视频生成装置的示意图；
51.图5为一个实施例中一种计算机设备的内部结构图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
53.本技术提供的基于注意力机制的无人车多分辨率视频生成方法，在一个实施例中，如图1所示，包括：
54.步骤102：获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹。
55.方向盘转角可以通过安装在车辆上的方向盘转角传感器获得。
56.车辆的预测轨迹是指无人车在未来一段时间内将要行驶的轨迹。
57.方向盘转角是无人车行进的指示指标，可以用来判断无人车的行进趋势，综合车辆的动力学模型，可以得到车辆的预设轨迹。
58.步骤104：将预测轨迹标注在预先设置的空白图像中，得到注意力图像。
59.使用摄像机预先设置一定尺寸的空白图像。
60.摄像机使用前经过内参数和外参数的标定，具体可以采用传统相机标定法、主动视觉相机标定方法、相机自标定法或零失真相机标定法等实现。
61.摄像机的标定可以确定标定矩阵，标定矩阵是一个将三维世界中的坐标点映射到二维图像平面的过程的几何模型，表示了摄像机坐标系与车体坐标系之间的转换关系。
62.在地平面假设条件下，将预测轨迹投影到空白图像上，预测轨迹标记为黑色，从而得到白底黑色轨迹的二值图像，或者预测轨迹标记为白色，从而得到黑底白色轨迹的二值图像，记为注意力图像。
63.步骤106：根据注意力图像中像素点与预测轨迹，得到实际距离，根据实际距离生成注意力掩码图像；注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同。
64.对注意力图像中的任意像素点，通过摄像机标定结果即摄像机标定得到的标定矩阵，确定车体坐标系中的对应点；在车体坐标系中，计算对应点与预测轨迹之间的实际距离；根据实际距离，设置该点的像素值，根据像素值的大小，将注意力图像分成不同的分区，生成注意力掩码图像。
65.注意力掩码图像包括两个以上分区，例如可以设置为两个、三个或其他值，具体可以根据需求和实际情况设置。每个分区都有自己的像素值，分区与像素值一一对应。
66.注意力掩码图像的分区代表了注意力集中的不同程度，分区是基于人的行为进行的，也就是人的注意力集中在无人车的待行驶区域，即预测轨迹为中心的区域上。
67.步骤108：获取无人车上安装的摄像机采集的实时图像，对实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，注意力掩码图像、实时图像以及降采样实时图像的尺寸一致。
68.无人车上安装有摄像机，可以采集实时图像。
69.预设比率可以设置为x*y，x与y都是正整数且至少一个大于1，则得到的降采样实
时图像的分辨率为1/xy。
70.降采样实时图像的数量为两个以上。
71.降采样实时图像是经过降采样处理后的图像，因此降采样图像的分辨率比实时图像的分辨率小，且各个降采样实时图像的分辨率彼此不同。
72.得到降采样实时图像后，将降采样实时图像进行尺寸放大处理，以使降采样实时图像的尺寸与实时图像的尺寸一致，这样就得到了与实时图像的尺寸相同，但是信息进行压缩的图像。
73.步骤110：根据注意力掩码图像中每个分区的像素值为索引，将实时图像以及降采样实时图像填充至注意力掩码图像，得到合成图像；其中，与预测轨迹距离越近的分区，填充的图像的分辨率越大。
74.根据注意力掩码图像中每个分区与预测轨迹的距离，建立分区与实时图像，以及分区与降采样实时图像的对应关系；其中，与预测轨迹的距离越近的分区，与分区对应的实时图像或降采样实时图像的分辨率越大，实时图像的分辨率最大，即实时图像对应与预测轨迹距离最近的分区，而降采样实时图像按照分辨率从大到小的顺序，依次对应与预测轨迹距离从大到小的分区并排列在实时图像的两旁。
75.对注意力掩码图像进行逐行逐列扫描，判断扫描的像素值，根据像素值的大小，确定分区，根据分区，将对应的图像填充至注意力掩码图像上，扫描完成得到合成图像。
76.步骤112：根据合成图像，输出实时的视频流数据。
77.具体的，可以利用软件、硬件或其他手段将得到的图像压缩为视频流，例如：采用软件opencv、硬件海思hi3510压缩芯片或者gstream视频压缩库。视频流可以采用h.264或者其他格式的编码，以方便后续视频流的传输。
78.上述基于注意力机制的无人车多分辨率视频生成方法和装置，通过当前的方向盘转角综合车辆的动力学模型，判断无人车的行进趋势，进而得到预测轨迹；在将预测轨迹标注在图像中后，引入了注意力机制，无人车在行驶中，注意力集中在车辆待行驶区域，按照注意力集中度的高低划分不同的分区，并在各个分区按照注意力越集中则图像分辨率越高的原则填充图像，从而可以保证在注意力越高的分区，图像的清晰度越高，因为注意力集中的地方对图像清晰度的要求也最高，所以符合人的观察习惯；填充图像是将无人机采集的图像降采样并放大到原来的尺寸后得到，保证图像的尺寸没变但是信息进行了压缩，并将不同分辨率的图像进行融合叠加，从而保证占用相对较少的带宽但图像也保证了清晰度要求，大大方便了无人车的工作，且方案简单，容易实施。
79.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
80.在其中一个具体的实施例中，如图2至3所示，注意力掩码图像包括三个分区；对实时图像分别按照2*2和3*3的比率进行降采样，得到分辨率分别为实时图像分辨率1/4和1/9的两个降采样实时图像。
81.在本实施例中，对无人机上使用的摄像机进行图像标定，确定标定矩阵。
82.利用接口采集实时图像，表示为图像im，其大小为(w*h)，分辨率为原始分辨率。
83.将实时图像分别按照2*2和3*3比率进行降采样，得到分辨率为实时图像分辨率1/4的图像im1和分辨率为实时图像分辨率1/9的图像im2。
84.将图像im1和图像im2恢复到实时图像的大小，得到图像im1’和图像im2’。
85.以当前方向盘转角结合车辆的动力学特性，得到预测轨迹。
86.利用图像标定结果，将预测轨迹标注在与实时图像尺寸一致的灰度图像上，得到注意力图像im3，其中预测轨迹为白色，背景为黑色。
87.对注意力图像im3上的每一个像素点(u,v)，通过摄像机标定可以对应车体坐标系统中的一个点(x,y)。
88.在车体坐标系统，计算点(x,y)与车辆预测轨迹之间的距离d，通过以下距离判定，决定注意力图像im3的分辨率；
89.if：d<d1，设置注意力图像im3上该点的像素值为255；
90.if：d>d1并且d<d2，设置注意力图像im3上该点的像素值为125；
91.if：d>d2，设置注意力图像im3上该点的像素值为0。
92.其中，d1<d2，具体取值可以根据实际情况进行设定。
93.按照像素值的大小，将注意力图像im3分成三个不同区域，得到注意力掩码图像im4。
94.以注意力掩码图像im4为基础，以注意力掩码图像im4上的像素值为索引，对注意力掩码图像im4进行逐行逐列扫描。
95.假设注意力掩码图像im4的尺寸为w*h，步骤如下：
96.对行进行扫描，表示为i＝1：h
97.对列进行扫描，表示为j＝1：w
98.if im4(i，j*w)＝＝255，
99.continue；
100.else if im4(i，j*w)＝＝125，
101.im(i，j*w)＝im1(i，j*w)；
102.else if im4(i，j*w)＝＝0，
103.im(i，j*w)＝im2(i，j*w)。
104.扫描完成得到具有三个分辨率的合成图像im5。
105.对合成图像im5，利用平滑的方法对边界处进行平滑，得到平滑后图像im6。
106.对平滑后图像im6，压缩为h.264的视频流。
107.在其中一个实施例中，根据注意力掩码图像中每个分区的像素值为索引，将实时图像以及降采样实时图像填充至注意力掩码图像，得到合成图像包括：根据分区与预测轨迹的距离，建立分区与实时图像，以及分区与降采样实时图像的对应关系；其中，与预测轨迹的距离越近的分区，与分区对应的实时图像或降采样实时图像的分辨率越大；对注意力掩码图像进行逐行逐列扫描，判断扫描的像素值，根据像素值的大小，确定分区，根据分区，将对应的图像填充至注意力掩码图像，扫描完成得到合成图像。
108.在其中一个实施例中，根据注意力图像中像素点与预测轨迹，得到实际距离，根据
实际距离生成注意力掩码图像包括：对注意力图像中的像素点，通过摄像机标定得到的标定矩阵，确定车体坐标系中的对应点；在车体坐标系中，计算对应点与预测轨迹之间的实际距离；根据实际距离生成注意力掩码图像。
109.根据实际距离生成注意力掩码图像包括：根据实际距离，设置该点的像素值，根据注意力图像中所有像素值的大小，将注意力图像分成不同的分区，每个分区的像素值相同且不同分区的像素值不同，生成注意力掩码图像。
110.在其中一个实施例中，对实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，包括：对实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，并且将降采样实时图像进行尺寸放大，以使降采样实时图像的尺寸与实时图像的尺寸一致。
111.在其中一个实施例中，在输出实时的视频流数据之前，还包括：将合成图像利用平滑的方法进行处理。
112.合成图像是包括两个以上分区的图像，因为不同分区的分辨率不同，因此边界处不够自然，采用平滑的方法对边界处及整个图像进行平滑处理后的图像清晰自然。
113.在其中一个实施例中，摄像机采集实时图像可以通过usb、网络、gmsl或fpdlink接口。
114.本技术还提供一种基于注意力机制的无人车多分辨率视频生成装置，在一个实施例中，如图4所示，包括：预测轨迹获得模块402、注意力图像获得模块404、掩码图像获得模块406、图像处理模块408、合成图像获得模块410和视频流输出模块412。
115.预测轨迹获得模块402，用于获得当前的方向盘转角，并根据车辆的动力学模型，得到车辆的预测轨迹；
116.注意力图像获得模块404，用于将预测轨迹标注在预先设置的空白图像中，得到注意力图像；
117.掩码图像获得模块406，用于根据注意力图像中像素点与预测轨迹，得到实际距离，根据实际距离生成注意力掩码图像；注意力掩码图像包括两个以上分区，每个分区的像素值相同且不同分区的像素值不同；
118.图像处理模块408，用于获取无人车上安装的摄像机采集的实时图像，对实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像；其中，注意力掩码图像、实时图像以及降采样实时图像的尺寸一致；
119.合成图像获得模块410，用于根据注意力掩码图像中每个分区的像素值为索引，将实时图像以及降采样实时图像填充至注意力掩码图像，得到合成图像；其中，与预测轨迹距离越近的分区，填充的图像的分辨率越大；
120.视频流输出模块412，用于根据合成图像，输出实时的视频流数据。
121.在一个实施例中，掩码图像获得模块406和图像处理模块408还用于：注意力掩码图像包括三个分区；对实时图像分别按照2*2和3*3的比率进行降采样，得到分辨率分别为实时图像分辨率1/4和1/9的两个降采样实时图像。
122.在一个实施例中，合成图像获得模块410还用于：根据所述注意力掩码图像中每个分区的像素值为索引，将所述实时图像以及所述降采样实时图像填充至所述注意力掩码图像，得到合成图像包括：根据分区与预测轨迹的距离，建立所述分区与所述实时图像，以及
所述分区与所述降采样实时图像的对应关系；其中，与预测轨迹的距离越近的分区，与所述分区对应的所述实时图像或所述降采样实时图像的分辨率越大；对所述注意力掩码图像进行逐行逐列扫描，判断扫描的像素值，根据所述像素值的大小，确定分区，根据所述分区，将对应的图像填充至注意力掩码图像，扫描完成得到合成图像。
123.在一个实施例中，掩码图像获得模块406还用于：根据所述注意力图像中像素点与所述预测轨迹，得到实际距离，根据所述实际距离生成注意力掩码图像包括：对所述注意力图像中的像素点，通过摄像机标定得到的标定矩阵，确定车体坐标系中的对应点；在车体坐标系中，计算所述对应点与预测轨迹之间的实际距离；根据所述实际距离生成注意力掩码图像。
124.在一个实施例中，视频流输出模块412还用于：在输出实时的视频流数据之前，还包括：将所述合成图像利用平滑的方法对边界处进行处理。
125.在一个实施例中，图像处理模块408还用于：对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，包括：对所述实时图像按照预设比率进行降采样，得到不同分辨率的降采样实时图像，并且将所述降采样实时图像进行尺寸放大，以使所述降采样实时图像的尺寸与所述实时图像的尺寸一致。
126.在一个实施例中，图像处理模块408还用于：所述摄像机采集实时图像可以通过usb、网络、gmsl或fpdlink接口。
127.关于基于注意力机制的无人车多分辨率视频生成装置的具体限定可以参见上文中对于基于注意力机制的无人车多分辨率视频生成方法的限定，在此不再赘述。上述基于注意力机制的无人车多分辨率视频生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
128.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于注意力机制的无人车多分辨率视频生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。该计算机设备可以是仿真设备，输入装置将相关的信息输入给仿真设备，处理器执行存储器中的程序进行组合仿真，显示屏显示相关的仿真结果。
129.本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
130.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
131.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
132.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
133.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
134.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。