一种视频SAR多目标跟踪方法、装置及介质

一种视频sar多目标跟踪方法、装置及介质
技术领域
1.本发明涉及雷达信号处理技术领域，尤其是一种视频sar多目标跟踪方法、装置及存储介质。


背景技术：

2.合成孔径雷达(sar)是以微波波段电磁波为探测载体，依靠发射大带宽信号和航空/航天平台规则运动形成合成孔径获得对静止场景和运动目标的高分辨电磁散射分布成像技术。传统sar通常工作于毫米波以下频段，sar方位分辨率取决于波段和合成孔径尺寸，较低的工作频段通常导致合成孔径时间偏长、成像帧频率低，继而致使对运动目标成像聚焦性和灵活性差等问题。
3.视频sar(videosar)体制采用thz频段电磁波为工作载体，通过精细化信号处理实现十赫兹帧率、分米级高分辨场景和目标成像，有效突破合成孔径雷达对运动目标高动态成像局限性，具备空间高分辨和时间高帧率能力，可以通过对运动目标成像空时动态信息处理，特别在针对运动目标的雷达跟踪识别等方面具有极高潜力。
4.在视频sar中因为目标运动带来的多普勒效应，使得目标的回波信号出现位置偏移和散焦，运动目标所在位置因为没有雷达回波，在sar图像上形成了阴影。因此在视频sar中阴影的位置也即是动目标的真实位置。目前，针对视频sar的动目标检测和跟踪问题大多是基于阴影的。
5.现有的视频sar动目标跟踪方法依赖于手工设计特征的动目标阴影算法，例如背景差分法、帧间差分法等，其检测步骤较为繁琐，依赖于手工的参数调整，且存在较多的虚警与漏警。


技术实现要素：

6.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种视频sar多目标跟踪方法、装置及存储介质。
7.本发明所采取的技术方案是：
8.一方面，本发明实施例包括一种视频sar多目标跟踪方法，包括：
9.将视频sar的每一帧图像进行图像配准；
10.将配准后的视频sar的每一帧图像输入训练好的深度神经网络中进行动目标阴影检测，得到检测结果；
11.根据所述检测结果，使用航迹管理和全局最近邻数据关联方法进行视频sar的多目标跟踪。
12.进一步地，所述将视频sar的每一帧图像进行图像配准这一步骤，包括：
13.计算得到第一仿射变换矩阵，所述第一仿射变换矩阵为视频sar中相邻两帧图像间的仿射变换矩阵；
14.根据所述第一仿射变换矩阵，计算第二仿射变换矩阵，所述第二仿射变换矩阵为
当前帧图像与目标帧图像的仿射变换矩阵，所述目标帧图像为视频sar中的首帧图像；
15.根据所述第二仿射变换矩阵，对当前帧图像进行仿射变换。
16.进一步地，所述计算得到第一仿射变换矩阵这一步骤，包括：
17.使用orb算法提取视频sar中相邻两帧图像的特征描述子和所有的特征点；
18.以所述特征描述子的汉明距离为匹配代价匹配所有的所述特征点；
19.通过匹配的所有的所述特征点特征，计算相邻两帧图像间的仿射变换矩阵。
20.进一步地，所述方法还包括对深度神经网络进行训练，以得到所述训练好的深度神经网络，包括：
21.对配准后的视频sar的每一帧图像中的动目标阴影位置进行标注，以构建训练集；
22.定义损失函数；
23.将所述训练集输入深度神经网络，并通过所述损失函数进行训练，以得到所述训练好的深度神经网络。
24.进一步地，所述根据所述检测结果，使用航迹管理和全局最近邻数据关联方法进行视频sar的多目标跟踪这一步骤，包括：
25.基于逻辑的航迹起始算法确定目标航迹起始；
26.获取第一检测结果，所述第一检测结果为将当前帧图像输入训练好的深度神经网络中进行动目标阴影检测得到的检测结果；
27.根据全局最近邻数据关联，将所述第一检测结果与所述目标航迹进行关联；
28.利用关联到的检测结果对所述目标航迹的跟踪状态进行卡尔曼更新；
29.根据关联结果终止所述目标航迹，以终止对目标的跟踪。
30.进一步地，所述基于逻辑的航迹起始算法确定目标航迹起始这一步骤，包括：
31.使用单点起始法起始临时目标航迹；
32.若视频sar的连续n帧图像中，所述临时目标航迹被关联的次数超过第一阈值，则确定所述临时目标航迹为目标航迹，并起始所述目标航迹；
33.若视频sar的连续n帧图像中，所述临时目标航迹被关联的次数不超过所述第一阈值，则删除所述临时目标航迹。
34.进一步地，所述根据全局最近邻数据关联，将所述第一检测结果与所述目标航迹进行关联这一步骤，包括：
35.设置椭球形跟踪波门；
36.根据所述椭球形跟踪波门，确定所述第一检测结果与所述目标航迹是否关联；
37.生成关联代价矩阵；
38.使用munkres算法求解得到所述关联代价矩阵的最优解作为所述目标航迹与所述第一检测结果关联的结果。
39.进一步地，所述根据关联结果终止所述目标航迹，以终止对目标的跟踪具体包括：
40.若视频sar的第一预设数量帧图像中，存在至少第二预设数量帧图像的检测结果与所述目标航迹不关联，则终止所述目标航迹，以终止对目标的跟踪。
41.另一方面，本发明实施例还包括一种视频sar多目标跟踪装置，包括：
42.至少一个处理器；
43.至少一个存储器，用于存储至少一个程序；
44.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的视频sar多目标跟踪方法。
45.另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的视频sar多目标跟踪方法。
46.本发明的有益效果是：
47.本发明先对视频sar的每一帧图像进行图像配准，然后将配准后的每一帧图像输入训练好的深度神经网络中进行动目标阴影检测，能够得到高质量的检测结果，即能够精确地检测出各帧中动目标阴影位置，虚警率和漏警率较低；最后根据检测结果，使用航迹管理和全局最近邻数据关联方法进行视频sar的多目标跟踪。本发明能够准确地对输入的视频sar的目标进行跟踪，其跟踪产生的航迹连续、平滑，与目标的真实运动轨迹接近，具有良好的跟踪效果。
48.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
49.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
50.图1为本发明实施例所述视频sar多目标跟踪的步骤流程图；
51.图2为本发明实施例所述深度神经网络的结构示意图；
52.图3为本发明实施例所述深度神经网络对视频sar中某帧图像的检测结果的示意图；
53.图4为本发明实施例所述对一段视频sar跟踪之后产生的航迹示意图；
54.图5为本发明实施例所述视频sar多目标跟踪装置的结构示意图。
具体实施方式
55.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
56.参照图1，本发明实施例提出一种视频sar多目标跟踪方法，包括但不限于以下步骤：
57.s100.将视频sar的每一帧图像进行图像配准；
58.s200.将配准后的视频sar的每一帧图像输入训练好的深度神经网络中进行动目标阴影检测，得到检测结果；
59.s300.根据检测结果，使用航迹管理和全局最近邻数据关联方法进行视频sar的多目标跟踪。
60.本实施例中，针对步骤s100，也就是将视频sar的每一帧图像进行图像配准这一步骤，包括：
61.s101.计算得到第一仿射变换矩阵，第一仿射变换矩阵为视频sar中相邻两帧图像
间的仿射变换矩阵；
62.s102.根据第一仿射变换矩阵，计算第二仿射变换矩阵，第二仿射变换矩阵为当前帧图像与目标帧图像的仿射变换矩阵，目标帧图像为视频sar中的首帧图像；
63.s103.根据第二仿射变换矩阵，对当前帧图像进行仿射变换。
64.具体地，步骤s101，也就是计算得到第一仿射变换矩阵这一步骤，包括：
65.s101-1.使用orb算法提取视频sar中相邻两帧图像的特征描述子和所有的特征点；
66.s101-2.以特征描述子的汉明距离为匹配代价匹配所有的特征点；
67.s101-3.通过匹配的所有的特征点特征，计算相邻两帧图像间的仿射变换矩阵。
68.本实施例中，对于相邻的两帧，即第t帧和第t-1帧，首先使用orb(oriented fast and rotated brief)算法提取相邻两帧图像的特征点和特征描述子。然后使用特征描述子的汉明距离作为匹配代价，匹配各特征点。通过匹配的特征点，计算得到相邻两帧间的仿射变换矩阵，也就是第一仿射变换矩阵，记为m
t
。计算得到第一仿射变换矩阵之后，可进一步根据第一仿射变换矩阵计算当前帧图像(第t帧图像)与第一帧图像间的仿射变换矩阵，其中第一帧图像为视频sar中的首帧图像。具体地，当前帧图像(第t帧图像)与第一帧图像的仿射变换矩阵为这两帧之间所有相邻帧仿射变换矩阵的累乘，即m
t|
＝m2*m3*
···
*m
t
。
69.关于步骤s200，本实施例中，首先构建深度神经网络(centernet网络)。具体地，参照图2，以带转置卷积的resnet18作为特征提取网络，该网络包含了一个7*7卷积层和池化层进行特征图4倍下采样，然后级联了三个残差模块(resblock)，其中每个残差块将特征图两倍下采样，即每个残差模块输出的特征图大小分别为原图的1/8、1/16和1/32。该网络还包含了三个级联的转置卷积层，每个转置卷积层将特征图进行两倍上采样，输出的特征图大小分别为原图的1/16、1/8和1/4。本实施例中，以带转置卷积的resnet18作为特征提取网络能够得到输入图像1/4大小的特征图作为特征提取结果。
70.本实施例中，构建深度神经网络(centernet网络)之后，还需进一步构建检测头。具体地，对于经特征提取网络得到的特征图，连接到三个检测头作为网络的三个输出。每个检测头包含了一个3*3卷积层、relu层和1*1卷积层，三个检测头分别用来预测中心点，回归目标尺寸和中心点偏置。
71.本实施例中，构建得到深度神经网络，还需进一步对深度神经网络进行训练，以得到训练好的深度神经网络，以对视频sar中的每一帧图像的动目标阴影进行检测。具体地，使用labelme软件将视频sar中的各帧图像动目标阴影使用矩形框框出其位置。并取前连续若干帧图像作为测试集，剩余的连续若干帧图像作为训练集。构建好训练集之后，进一步定义损失函数，以对深度神经网络进行训练。具体地，在前述的centernet的网络结构，包括输出的三个检测头，分别代表中心点的热力图，中心点的偏移量和物体尺寸，针对这三个head先分别定义损失函数。其中中心点热力图的损失函数为逐点的focal loss累和。
[0072][0073]
其中y
xy
表示预设的热力图的在坐标(x,y)处的真值(ground truth)，表示坐标(x,y)处神经网络的预测值。真值是使用真实目标位置的高斯分布来产生的。
[0074]
具体地，如果对于视频sar的一帧图像，手工标记的阴影的矩形框中心点为{(p
x
,py)i}，则标记的目标在热力图上的值对应为一个均值为{(p
x
,py)i}，方差为σ2的高斯分布，即如果热力图上多个目标产生的高斯分布有重叠区域，则热力图上的对应区域取这些高斯分布的最大值。中心点偏移量的损失l
off
为l1 loss，即目标中心点真实偏移量与预测偏移量的l1 loss：
[0075][0076]
其中p是目标位置的真实值，r是特征图的缩放尺度，[
·
]运算符表示下取整，表示中心点偏移量在处的预测值。
[0077]
物体尺寸的损失l
size
为l1 loss，即目标真实尺寸与预测尺寸的l1 loss：
[0078][0079]
其中是预测的目标尺寸，sk是目标真实尺寸。
[0080]
最后，令总体损失函数为l＝l
heatmap
λ
size
l
size
λ
off
l
off
。
[0081]
本实施例中，参数α＝2,β＝4,λ
size
＝0.05,λ
off
＝0.05，n是一帧videosar图像的目标个数。
[0082]
本实施例中，构建的得到深度神经网络、标注训练集和定义的损失函数之后，使用训练集训练centernet。具体地，使用随机裁剪、翻转地方式进行数据扩充，在图像输入到centernet之前将图像统一缩放到512*512大小。使用sgd优化器进行模型参数优化，初始学习率设为0.02，学习率地衰减系数设为0.0001。训练的epoch数设为250。具体地，将视频sar的图像输入到centernet之后，首先对输出的heatmap进行峰值提取，此处的峰值定义大于其8邻域的点，并筛选出前100个峰值。具体地，设定了一个阈值θ，即仅保留heatmap中置信度不小于θ的峰值作为检测结果。一般地，θ是一个人为设定的参数，0《θ《1，在本发明的实施例中给定了一个θ的取值。设定检测框的左上角为例中给定了一个θ的取值。设定检测框的左上角为右下角为其中是heatmap预测出来的中心点，是中心点的偏移量，是预测出来的物体尺寸。
[0083]
关于步骤s300，由于本发明实施例是视频sar多目标跟踪，针对一段随时有目标出现和消失的sar视频，多目标跟踪需要在每一帧sar图像估计目标的数目和每个目标的位置。因为视频sar中动目标产生的阴影位置就是目标的真实位置，所以对目标的跟踪实质上是指对该目标产生的阴影进行跟踪。考虑到动目标形成的阴影尺寸较小，本实施例将检测出来的阴影视为点目标，其位置为检测框的中心点位置。由于videosar视频中存在目标的动态出现与离开问题，跟踪算法需要动态的确认目标数量和各个目标位置。为了适应的目标动态出现，及考虑到centernet的检测结果存在漏警和虚警问题，本发明实施例使用基于逻辑的航迹起始算法来起始一个新出现目标的航迹。
[0084]
具体地，在航迹起始阶段，使用单点起始法来起始一个临时航迹。即用单帧的检测位置来初始化一个卡尔曼滤波器，其状态由一个四维向量来表示，即x＝(u,u
′
,v,v
′
)，分别
表示目标的水平方向位置、水平方向速度、竖直方向位置和竖直方向速度。其状态转移模型为匀速运动模型(cv模型)。若centernet在某帧检测出检测框中心点位置(u,v)，则通过该检测结果初始化一个航迹头，并令目标初始状态为(u,0,v,0)，即将位置设为检测的中心点位置，速度设为0。
[0085]
对于前述起始的临时航迹，需要通过逻辑法判断该临时航迹是由目标产生，还是由centernet的误检产生。临时航迹确认的方法使用m/n逻辑法，即判断连续n帧中是否至少有m帧该航迹有量测与之关联，如果有则确认该临时航迹，认为该航迹为真实的目标产生，起始对该目标的跟踪。否则若连续的n帧中，该航迹被关联的次数少于m，则认为该临时航迹是由杂波带来的虚警产生的，删除该临时航迹。
[0086]
接下来，将航迹与当前帧图像通过centernet的检测结果进行关联。假定某个目标在上一帧的目标状态为x
t-1|t-1
，则当前帧的目标的一步状态预测x
t|t-1
＝ax
t-1|t-1
,一步预测的量测为z
t|t-1
＝hx
t-1|t
。其中a是cv模型的状态转移矩阵，h是观测矩阵。一般地，其中t是两帧之间的时间差，一般地可以取t＝1。一步预测的协方差为p
k|k-1
＝ap
k-1|k-1a′
q，其中p
k-1|k-1
是上一帧目标状态的协方差，q是状态转移噪声的协方差阵。则一步预测出的量测协方差s
t
＝hp
t|t-1h′
r,其中r是观测噪声的协方差阵。
[0087]
一般地，本实施例取其中为状态转移噪声方差，为量测噪声方差。在具体的实施例中，和的取值可以通过手工调整到合适的值。在求得量测坐标预测z
t|t-1
,预测的协方差为s
t
后,设置跟踪波门为后,设置跟踪波门为这里使用的是椭球形波门，其中γ为波门的门限值。仅认为落入波门的检测结果为该航迹可能的量测值，所有不落入波门的检测结果不可能与该航迹进行关联。即在图像平面绘制了一个以预测的量测坐标z
t|t-1
为圆心的一个椭圆，仅落入椭圆内的检测结果考虑与该航迹进行关联。
[0088]
接下来，进一步生成关联代价矩阵。假定t时刻有m个航迹记为t1···m，通过centernet网络检测出来有n个检测框。定义以下的代价矩阵其中d
ij
表示检测i到航迹j的关联代价，这里使用马氏距离来作为关联代价。即其中inv(
·
)表示矩阵的逆。若检测i落入了航迹j的波门内。否则对于没有落入波门内的检测设置关联代价d
ij
＝ ∞。
[0089]
本实施例设置关联矩阵ε＝{ε
ij
},其中ε
ij
用来指示检测结果i与航迹j是否关联，
如果关联则ε
ij
取1，反之ε
ij
取0。
[0090]
在给定了代价矩阵之后，求解最优的检测结果与航迹关联问题变成了求解如下的约束优化问题，即给定以下约束：
[0091]
(1)任意一个检测最多与一条航迹关联；
[0092]
(2)任意一条航迹最多与一个检测关联；
[0093]
求解最小代价的检测结果与航迹关联。用公式表示为：
[0094]
mine∑
i,j
ε
ijdij
；
[0095][0096][0097]
使用munkres算法求解该约束优化问题，得到最优的关联矩阵解作为检测结果与航迹关联的结果。
[0098]
得到关联结果后，使用关联到的检测结果更新航迹跟踪的状态，具体地是进行卡尔曼更新。具体地，若某航迹的状态预测为x
t|t-1
，经过上述数据关联算法与之关联的检测结果记为z，则使用检测结果z来更新该航迹的状态x。估计在当前帧该航迹的状态为x
t|t
＝x
t|t-1
k
t
(z-hx
t|t-1
)，其中状态的协方差为p
t|t
＝(1-k
t
h)p
t|t-1
。
[0099]
最后，如果某个航迹在最近n帧图像中，有至少m帧图像未与检测结果关联，则认为目标消失或离开画面，此时终止该航迹，以终止对目标的跟踪。
[0100]
以下介绍一个具体的实施例，以详细说明视频sar多目标跟踪的具体过程。
[0101]
(1)使用美国sandia实验室的视频sar作为数据集，把该视频的第1-350帧作为测试集，把第351-900帧作为训练集。
[0102]
(2)分别将训练集和测试集先进行图像配准，即使用opencv计算orb特征点、特征描述子和仿射变换矩阵，与相应段视频的第一帧进行配准(即测试集与第1帧配准，训练集与第351帧配准)。
[0103]
(3)构建如图2所示的centernet网络。
[0104]
(4)使用labelme标注工具对训练集标注出每帧图像中阴影的位置。
[0105]
(5)使用标注过的训练集训练centernet网络，具体地，可在一台使用i9-9900k cpu和nvidia rtx 2080ti gpu的电脑上训练250轮，并保存训练好的深度神经网络。
[0106]
(6)导入训练好的深度神经网络，然后把测试集中所有图像逐个地输入该网络，设置检测的置信度阈值＝0.05，得到测试集的阴影检测结果。其中图3是测试集视频sar某帧图像的动阴影检测结果示意图。
[0107]
(7)对于第一帧图像的检测结果，初始化若干个航迹头。
[0108]
(8)读取下一帧图像的检测结果，进行检测结果与航迹关联。先将检测结果与已起始的航迹进行关联。
[0109]
(9)设置状态转移噪声的方差,观测噪声的方差,跟踪波门的门限值。
[0110]
(10)如果检测结果关联到某条航迹，则进行航迹滤波。对于剩余未关联的检测，与临时航迹进行关联。
[0111]
(11)如果某条临时航迹满足连续n帧图像中至少有m帧图像该航迹有量测与之关
联，则确认该临时航迹。如果某条临时航迹在连续n帧图像中不存在有m帧图像该航迹有量测与之关联，则认为该临时航迹是由杂波带来的虚警产生的，删除该临时航迹。在本实施例中，选取m＝4，n＝5。
[0112]
(12)对于剩余未关联的检测结果，初始化航迹头。
[0113]
(13)对于本帧图像未关联上检测结果的航迹，如果某个航迹在最近n帧中，有至少m帧未与检测结果关联，则认为目标消失或离开画面，此时终止该航迹。具体地，取m＝n＝10的10/10逻辑，则认为目标消失或已离开画面，则终止该航迹。
[0114]
(14)绘制出当前的所有航迹(不包含临时航迹)，作为跟踪结果的展示。参照图4，图4是程序运行到第50帧时，算法产生的航迹示意图。
[0115]
(15)跳转到步骤(8)，循环运行步骤(8)-步骤(14)，直到测试集中所有图像都处理完成。
[0116]
本发明实施例一种视频sar多目标跟踪方法具有以下技术效果：
[0117]
本发明实施例先对视频sar的每一帧图像进行图像配准，然后将配准后的每一帧图像输入训练好的深度神经网络中进行动目标阴影检测，能够得到高质量的检测结果，即能够精确地检测出各帧中动目标阴影位置，虚警率和漏警率较低；最后根据检测结果，使用航迹管理和全局最近邻数据关联方法进行视频sar的多目标跟踪。本发明能够准确地对输入的视频sar的目标进行跟踪，其跟踪产生的航迹连续、平滑，与目标的真实运动轨迹接近，具有良好的跟踪效果。
[0118]
参照图5，本发明实施例还提供了一种视频sar多目标跟踪装置200，具体包括：
[0119]
至少一个处理器210；
[0120]
至少一个存储器220，用于存储至少一个程序；
[0121]
当至少一个程序被至少一个处理器210执行，使得至少一个处理器210实现如图1所示的方法。
[0122]
其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0123]
可以理解到，图5中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0124]
如图5所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图1所示实施例的步骤。
[0125]
以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
[0126]
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，处理器可执行的程序在被处理器执行时用于实现如图1所示的方法。
[0127]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或
计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
[0128]
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0129]
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
[0130]
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
[0131]
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0132]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。