目标分割追踪方法、装置、电子设备和存储介质与流程

1.本技术涉及图像处理技术，具体地，涉及一种目标分割追踪方法、装置、电子设备和存储介质。


背景技术：

2.在无人驾驶领域中，相机是使用最多也是相对较为成熟的传感器。无人驾驶的感知系统处于整个系统的最前端，用于对车辆周边环境的精确感知和数据形式化规约，是无人驾驶智能化控制的关键步骤之一。
3.在无人驾驶的感知系统中，对场景中的动态目标(行人、车辆及骑行者等)的识别和追踪任务能够提供有效的目标轨迹变化信息，从而分析场景中动态目标的运动意图，为无人驾驶决策和车辆控制提供判断依据。
4.目前，通常使用多目标分割和追踪(multi
‑
object tracking and segmentation，mots)任务模型来进行多目标的追踪。但是，由于mots模型的计算复杂度较高，受目前的无人驾驶领域的车载计算硬件的约束，导致在无人驾驶车辆的车载终端部署mots模型用于多目标追踪还存在着极大的挑战。


技术实现要素：

5.本技术实施例中提供了一种目标分割追踪方法、装置、电子设备和存储介质，用于解决目前的mots模型由于计算复杂度较高导致无法在车载终端部署的问题。
6.根据本技术实施例的第一个方面，提供了一种多目标分割追踪方法，所述方法包括：
7.获取待处理图像；
8.通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；
9.根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；
10.针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；
11.针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；
12.通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。
13.根据本技术实施例的第二个方面，提供了一种多目标分割追踪装置，所述装置包括：
14.图像获取模块，用于获取待处理图像；
15.卷积模块，用于通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待
处理图像的特征金字塔；
16.形心计算模块，用于根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；
17.目标轮廓计算模块，用于针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；
18.追踪向量计算模块，用于针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；
19.匹配模块，用于通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。
20.根据本技术实施例的第三个方面，提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行上述的多目标分割追踪方法。
21.根据本技术实施例的第四个方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的多目标分割追踪方法。
22.本技术实施例提供了一种多目标分割追踪方法、装置、电子设备和存储介质，首先通过卷积神经网络对待处理图像进行卷积编码，获得待处理图像的特征金字塔；然后根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。本技术实施例基于形心坐标进行目标的轮廓点的坐标预测，并通过轮廓预测结果计算目标追踪向量，将复杂的多目标分割追踪问题转化为目标形心的定位、轮廓的回归和追踪向量的生成问题，极大地简化了模型预测难度和学习难度，提升了模型总体的推算速度。
附图说明
23.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
24.图1为本技术实施例提供的电子设备的结构示意图；
25.图2为本技术实施例提供的多目标分割追踪方法的流程图；
26.图3为本技术实施例提供的步骤s12的子步骤流程图；
27.图4为本技术实施例提供的多目标分割追踪模型的示意图；
28.图5为本技术实施例提供的基于形心的极坐标轮廓生成的示意图；
29.图6为本技术实施例提供的基于极坐标交并比损失函数的掩码预测示意图；
30.图7为本技术实施例提供的基于tripletloss优化的追踪向量生成示意图；
31.图8为本技术实施例提供的多目标分割追踪模型在自动驾驶汽车开发平台agx上
的性能量化评估结果；
32.图9为本技术实施例提供的多目标分割追踪装置的功能模块图。
具体实施方式
33.图像实例分割任务是当前人工智能技术研究的热门领域之一，与针对检测框的目标检测方案相比，实例分割结果通过尽可能剔除重叠目标和干扰背景的方式能够提供更加精准的目标检测结果。因此，大量研究认为基于目标分割结果可以突破多目标追踪任务的瓶颈，在多目标检测和追踪(multi
‑
object detection and tracking，mot)任务的基础上，提出了多目标的分割和追踪(multi
‑
object tracking and segmentation，mots)任务模型。
34.由于基于包围框(bounding box)的检测任务仅需要预测目标类别和检测框信息(如检测框的中心点和长宽信息)，目标检测任务需要神经网络进行的非线性拟合任务相对简单。但是在传统的实例分割任务中，需要网络对图像中的每个像素进行分类(属于目标掩码则为1，否则为0)，从而获得每个目标的分割掩码，因此分割任务的回归任务通常更为复杂。同时，在mots任务中的分割任务不但需要分割出不同类别的目标，而且需要区分同类别目标中的不同实例，为每个实例赋予实例编号(instance id)，以方便在追踪任务中进行相邻帧间不同实例目标的匹配。因此，基于实例分割的追踪任务设计的网络模型(即mots任务模型)会比现有mot模型更加复杂。
35.在无人驾驶领域中，相机是使用最多也是相对较为成熟的传感器。无人驾驶的感知系统处于整个系统的最前端，用于对车辆周边环境的精确感知和数据形式化规约，是无人驾驶智能化控制的关键步骤之一。在无人驾驶的感知系统中，对场景中的动态目标(行人、车辆及骑行者等)的识别和追踪任务能够提供有效的目标轨迹变化信息，从而分析场景中动态目标的运动意图，为无人驾驶决策和车辆控制提供判断依据。
36.但是，由于mots模型的计算复杂度较高，受目前的无人驾驶领域的车载计算硬件的约束，导致在无人驾驶车辆的车载终端部署mots模型用于多目标追踪还存在着极大的挑战。
37.针对上述问题，本技术实施例提供了一种多目标分割追踪方法、装置、电子设备和存储介质，首先通过卷积神经网络对待处理图像进行卷积编码，获得待处理图像的特征金字塔；然后根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；针对每一个目标，根据所述特征金字塔和所述目标轮廓的坐标生成所述目标的追踪向量；通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。本技术实施例基于形心坐标进行目标的轮廓点的坐标预测，并通过轮廓预测结果计算目标追踪向量，将复杂的多目标分割追踪问题转化为目标形心的定位、轮廓的回归和追踪向量的生成问题，极大地简化了模型预测难度和学习难度，提升了模型总体的推算速度。
38.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
39.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.请参照图1，图1为本技术实施例提供的电子设备10的结构示意图。本技术实施例提供的多目标分割追踪方法应用于图1中的电子设备10，该电子设备10可以通过以太网接口或usb接口等连接方式与传感器(例如相机)连接，用于获取传感器采集到的图像数据。传感器设置在运动目标上，电子设备10根据传感器采集到的图像数据进行多目标分割和追踪。可选地，在本实施例中，运动目标可以为智能机器人或无人车。
41.可选地，在图1中，电子设备10包括：处理器11、存储器12和总线13，存储器12存储有处理器11可执行的机器可读指令，当电子设备10运行时，11处理器与存储器12之间通过总线13通信，机器可读指令被处理器11执行时执行本技术实施例提供的多目标分割追踪方法，以对采集到的图像数据中的各个目标进行分割和追踪，其中，目标可以为行人、车辆或骑行者。
42.下面结合附图对本技术实施例提供的多目标分割追踪方法进行进一步说明。
43.请参照图2，图2为本技术实施例提供的多目标分割追踪方法的流程图。该方法应用于图1中的电子设备10，包括以下步骤：
44.步骤s11，获取待处理图像。
45.步骤s12，通过卷积神经网络对待处理图像进行卷积编码，获得待处理图像的特征金字塔。
46.步骤s13，根据特征金字塔对待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标。
47.步骤s14，针对待处理图像中的每一个目标，根据特征金字塔对目标的轮廓进行回归，并基于形心坐标计算目标的多个轮廓点的坐标。
48.步骤s15，针对每一个目标，根据特征金字塔和目标的各个轮廓点的坐标生成目标的追踪向量。
49.步骤s16，通过匈牙利匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。
50.在上述步骤中，本技术实施例基于形心坐标进行目标的轮廓点的坐标预测，并通过轮廓预测结果计算目标追踪向量，将复杂的多目标分割追踪问题转化为目标形心的定位、轮廓的回归和追踪向量的生成问题，极大地简化了模型预测难度和学习难度，提升了模型总体的推算速度，使得多目标追踪方法满足在车载终端上进行部署的条件。
51.在本实施例中，电子设备10中部署有多目标分割追踪模型，所述多目标分割追踪模型包括多个分支网络，各个分支网络用于执行上述的步骤，从而实现对相机采集到的图像数据进行多目标分割和追踪。
52.可选地，请参照图3，图3为本技术实施例提供的步骤s12的子步骤流程图，在本实施例中，步骤s12包括以下子步骤：
53.步骤s121，使用卷积神经网络对待处理图像进行卷积编码和多次下采样，获得待处理图像的多个不同尺度的第一特征图。
54.步骤s122，对待处理图像的最小尺度的第一特征图进行卷积和多次上采样，以获得待处理图像的多个不同尺度的第二特征图。
55.步骤s123，将相同尺度的第一特征图和第二特征图进行拼接，获得待处理图像的特征金字塔。
56.在上述步骤中，电子设备10通过设置在无人驾驶车辆上的相机获取到待处理的图像后，将该帧待处理图像输入至卷积神经网络(例如resnet101主干网)中进行卷积编码和多次降采样，获得待处理图像的多个不同尺度的第一特征图。例如，通过卷积神经网络进行卷积编码和多次降采样后，可以分别获得1/4，1/8，1/16，1/32尺度的特征图，假设输入的待处理图像的分辨率为1024*256，则获得的第一特征图的分辨率分别为256*64、128*32、64*16和32*8。
57.然后对第一特征图中最小尺度的特征图进行卷积和多次上采样，以获得多个不同尺度的第二特征图。例如，第一特征图中分辨率最小为32*8，将尺度为32*8的特征图进行卷积和多次上采样，分别获得64*16、128*32、256*64尺度的第二特征图。
58.最后将相同尺度的第一特征图与第二特征图进行拼接，最终获得待处理图像的特征金字塔。例如，将第一特征图中的256*64尺度的特征图与第二特征图中的256*64尺度的特征图进行拼接，将128*32尺度的第一特征图与128*32尺度的第二特征图进行拼接，将64*16尺度的第一特征图与64*16尺度的第二特征图进行拼接，根据拼接后的特征图及32*8的特征图获得该待处理图像的特征金字塔。如图4所示，图4为本技术实施例提供的多目标分割追踪模型的示意图。
59.在获得特征金字塔之后，则根据所述特征金字塔对各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标。具体地，步骤s13包括：
60.通过目标类别预测模型对所述特征金字塔进行处理，获得多尺度热力图预测结果，所述多尺度热力图预测结果用于表征各个所述目标在特征图上的位置和类别；通过多尺度热力图预测结果获得各个类别的热力图，其中，所述热力图包括多个同类别的目标；将所述热力图中热力值最大的点作为各个目标的形心，获得各个目标的形心坐标。
61.在上述步骤中，本技术实施例提供的多目标分割追踪模型的目标类别预测模型首先基于特征金字塔获得多尺度热力图预测结果，然后基于多尺度热力图预测结果得到不同类别的二维热力图。每个热力图中包括有同类别的多个目标。例如，若待处理图像中存在2个目标类别(行人及车辆)，且每个目标类别包括多个目标，例如，待处理图像中包括2辆车辆及3个行人，则此时会生成2个热力图，每个热力图包括一个目标类别在当前帧待处理图像中的所有的目标，同时，热力图上还会包括各个目标的位置(用1表示)以及除目标之外的背景(用0表示)，即可获得各个目标的形心坐标。具体地，可以将每个热力图中热力值最大的点作为目标的形心，若一个热力图中包括多个目标，则此步骤可以获得多个目标的形心。
62.可选地，在训练多尺度热力图预测模型之前，需要先对预测模型的目标(即凸多边形的形心坐标)的计算方式进行设置。在本实施例中，可以通过以下公式计算凸多边形的形心坐标(c
x
，c
y
)：
[0063][0064][0065][0066]
其中，(x
i
，y
i
)为多边形角点的坐标，编号i按顺时针方向递增，a为凸边形的有向面积。
[0067]
可选地，在获得各个目标的形心坐标之后，针对所述待处理图像中的每一个目标，可以根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标得到所述目标的多个轮廓点的坐标，即步骤s14，具体地，所述步骤包括：
[0068]
针对每一个目标，基于所述目标的形心为所述目标构建坐标系，其中，所述目标的形心为所述目标的坐标系中的原点；根据所述目标的轮廓获得所述目标的多个轮廓点，并基于所述目标的形心坐标计算各个轮廓点的坐标。
[0069]
在上述步骤中，电子设备10可以通过多目标分割追踪模型中的目标轮廓回归模型为每个目标构建一个坐标系，各个坐标系的原点为对应的目标的形心，然后根据该目标的初始轮廓确定该目标的各个轮廓点，根据该目标的形心坐标计算各个轮廓点的坐标。
[0070]
可选地，在本实施例的一种实施方式中，坐标系可以为极坐标系，可以通过基于形心的极坐标轮廓预测网络以各个目标的形心为极点建立极坐标系，并计算出各个轮廓点的极坐标。
[0071]
值得说明的是，预测获得的目标的精确轮廓结果为一组以该目标的形心坐标为极点的极坐标系下的轮廓坐标contour＝{(r1，θ1)，...(r
i
，θ
i
)，...，(r
n
，θ
n
)}，考虑整个坐标系为360度，可以将整个坐标系平均分成n个区域，则系为360度，可以将整个坐标系平均分成n个区域，则以形心o为极点，以与垂直正方向夹角为θ
i
的射线o
x
为极轴，o
x
与目标的初始轮廓的交点为o
i
，o与o
i
的欧式距离的值为r
i
。
[0072]
在训练基于形心的极坐标轮廓预测网络的过程中，可以通过基于交并比(intersection over union，iou)公式和极坐标交并比损失函(contour iou loss)数对目标掩码进行训练和学习：
[0073][0074][0075]
r
min
＝min(rp，rt)
[0076]
r
max
＝max(rp，rt)
[0077]
其中，rp是网络预测出的目标的各个轮廓点距离目标的形心的值，rt是目标的各个轮廓点距离目标的形心的真值，r
min
和r
max
是n维向量。
[0078]
请结合参照图5及图6，图5为本技术实施例提供的基于形心的极坐标轮廓生成的示意图，图6为本技术实施例提供的基于轮廓交并比损失函数的掩码预测示意图。在本实施
例中，以0度为起始点，固定角度(例如图5中所示的30
°
)顺时针增加，以进行目标的轮廓预测。当使用δθ＝30
°
时，整个极坐标系被从坐标原点(即形心所在的点)发射的向量等分为12份，该目标轮廓的边缘与该向量的交点半径r
i
＝1，...，12即为该极坐标下的目标掩码的多边形角点。当调节使用更小的δθ时，对目标的切分数量越多，需要预测的轮廓点越多，预测轮廓的掩码相较于基准轮廓就更加准确，但δθ越小，计算复杂度越大，模型学习和拟合难度增加，用户可根据具体任务对δθ进行调节。
[0079]
在获得目标的各个轮廓点的极坐标之后，针对每一个目标，可以根据所述特征金字塔和所述目标的极坐标生成所述目标的追踪向量，具体地，所述步骤包括：
[0080]
针对每一个目标，根据所述目标的各个轮廓点的坐标及所述目标的形心坐标计算获得所述目标的掩膜图像；根据所述目标的掩膜图像及所述特征金字塔获取所述掩膜图像的特征图；将所述掩膜图像的特征图输入至全连接层，获得所述目标的追踪向量。
[0081]
在上述步骤中，在获得当前帧图像的目标之后，需要对每个目标赋予一个唯一的识别向量，用于帧间的目标追踪匹配。针对每一个需要计算追踪向量的目标，根据该目标的各个轮廓点的坐标及形心坐标计算得到该目标的掩膜图像(即mask)，将mask与特征金字塔中的各个特征图相乘，获得该mask的特征图，然后将所有目标的mask的特征图输入至全连接层中，以获得各个目标的追踪向量。
[0082]
为了保证整个网络能够实现端到端学习，采用形心坐标加轮廓点坐标(即笛卡尔坐标系)对目标进行表征，即[cx，cy，xi，yi，...，xn，yn]。此外，由于生成的目标形心存在一定的随机性，因此，一方面需要通过非极大值抑制来压制可能存在的错误样本；另一方面，则需要通过一个全联通层将来自不同尺度的特征图的追踪向量进行合并计算，生成一个固定长度的追踪向量，如图7所示。
[0083]
可选地，在获得追踪向量之后，还可以获取连续多帧图像中的目标的追踪向量，然后通过tripletloss函数对追踪向量生成部分的算法进行反向优化。例如，以检测车辆为例，tripletloss函数可以基于连续四帧中的车辆的追踪向量进行互相学习，使得同一目标的追踪向量与标签基准生成的追踪向量尽可能近(即欧氏距离尽可能小)，使得与其它随机选择的车辆的追踪向量尽可能远，从而优化配准效果。
[0084]
tripletloss考虑三方面因素，预测结果(t)、随机同类型负样本(f)和训练标签(gt)。tripletloss根据gt计算预测结果中的t和f，除了保证所有的t之间相互靠近，还需要考虑可能出现的t与其它f可能相似的情况，因此需要保证t和f的欧式距离尽可能远。
[0085]
tripletloss的公式如下：
[0086][0087]
其中，d(a，b)表示向量a和b的距离，d(f
θ
(x
i
)，f
θ
(y
i
))表示平方欧氏距离。表示第a帧的第i个目标，m为偏移常数。p和n分别为当前数据批中的正样本和负样本目标，e为自然底数。
[0088]
在通过匈牙利算法匹配算法对连续帧中的各个目标的追踪向量进行匹配，获得各个目标的追踪id过程中，可以基于上一帧中目标的数量n构建匈牙利算法矩阵，下一帧中与上一帧相似度高的n个目标参与配准。将相似度高的各个目标赋予相同的追踪id；其余未参
与配准的则判定为新出现目标，追加追踪id进行编码，参与下一次配准。
[0089]
可选地，在所有损失函数下降并保证模型收敛之后，可以进一步基于tensorrt对多目标分割追踪模型的部分算子和参数类型进行优化，以使模型能够在车载嵌入式低功耗平台进行部署。其中可选的模型参数类型包括float32、float16和int8三种。如图8所示，图8为本技术实施例提供的多目标分割追踪模型在自动驾驶汽车开发平台agx上的性能量化评估结果。
[0090]
请参照图9，图9为本技术实施例提供的多目标分割追踪装置110的功能模块图。在本实施例中，多目标分割追踪装置110包括：
[0091]
图像获取模块1101，用于获取待处理图像；
[0092]
卷积模块1102，用于通过卷积神经网络对所述待处理图像进行卷积编码，获得所述待处理图像的特征金字塔；
[0093]
形心计算模块1103，用于根据所述特征金字塔对所述待处理图像中的各个目标的类别和位置进行预测，并基于各个目标的类别和位置计算各个目标的形心坐标；
[0094]
目标轮廓计算模块1104，用于针对所述待处理图像中的每一个目标，根据所述特征金字塔对所述目标的轮廓进行回归，并基于所述形心坐标计算所述目标的多个轮廓点的坐标；
[0095]
追踪向量计算模块1105，用于针对每一个目标，根据所述特征金字塔和所述目标的各个轮廓点的坐标生成所述目标的追踪向量；
[0096]
匹配模块1106，用于通过匈牙利算法匹配算法对连续多帧待处理图像中的所述目标的追踪向量进行匹配，获得所述目标的追踪id。
[0097]
可选地，在本实施例中，所述卷积模块1102具体用于：
[0098]
使用卷积神经网络对所述待处理图像进行卷积编码和多次下采样，获得所述待处理图像的多个不同尺度的第一特征图；
[0099]
对所述待处理图像的最小尺度的第一特征图进行卷积和多次上采样，以获得所述待处理图像的多个不同尺度的第二特征图；
[0100]
将相同尺度的第一特征图和第二特征图进行拼接，获得所述待处理图像的特征金字塔。
[0101]
值得说明的是，多目标分割追踪装置110中各个模块的工作原理及流程可参照前述提供的多目标分割追踪方法，在此不再赘述。
[0102]
可选地，本技术实施例还提供了一种存储介质，存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的多目标分割追踪方法。
[0103]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0104]
本技术是参照本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令
到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0105]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0106]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0107]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0108]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。