用于单目深度估计的方法和装置与流程

1.本技术一般涉及智能驾驶领域，更具体地，涉及用于单目深度估计的方法和装置。


背景技术：

2.单目深度估计在无人驾驶技术领域中得到了广泛的应用，其可以探测前方障碍物的距离，预防碰撞和减少交通事故。单目深度估计通常采用大规模神经网络进行学习来达到较高的精度，但这种方法需要消耗相当大的计算资源，导致计算机设备的处理效率降低。现有的单目深度估计模型的训练需要有标签数据(例如，通过激光雷达获得的深度图)，而有标签数据获取比较昂贵，数量会受到限制。使用自监督学习的方法对神经网络模型进行训练，训练过程不需要有标注数据，但是训练出的模型精度低。
3.因此亟需能够高效地利用有限的有标签数据和大量的无标签数据来训练单目深度估计神经网络模型的技术方案。


技术实现要素：

4.针对现有技术中存在的以上技术问题，本技术提供了一种用于单目深度估计的方法，包括：
5.对教师模型进行预先训练；
6.根据经预先训练的教师模型对学生模型进行知识蒸馏，包括将有标签训练样本集输入所述经预先训练的教师模型和所述学生模型，所述有标签训练样本集中的每个有标签训练样本包括第一源图像和对应深度图；
7.使用无标签训练样本集对所述学生模型进行无监督训练以获得训练完成的学生模型，其中所述无标签训练样本集中的每个无标签训练样本包括至少两个第二源图像；以及
8.使用所述训练完成的学生模型对待预测图像进行处理以生成深度图。
9.可任选地，根据经预先训练的教师模型对学生模型进行知识蒸馏包括：
10.迭代执行以下步骤直至对所述学生模型的训练达到第一预设条件：
11.将有标签训练样本中的第一源图像输入所述经预先训练的教师模型和所述学生模型；
12.使用所述经预先训练的教师模型的输出、所述学生模型的输出和有标签训练样本中的深度图来确定第一损失值，所述第一损失值根据所述经预先训练的教师模型的输出与所述学生模型的输出之间的蒸馏损失值、以及所述学生模型的输出与所述深度图之间的对比损失值来确定；以及
13.使用所述第一损失值来调整所述学生模型的参数。
14.可任选地，所述学生模型包括深度估计模型和位姿估计模型，对所述学生模型进行无监督训练包括：
15.迭代执行以下步骤直至对所述学生模型的训练达到第二预设条件：
16.将无标签训练样本输入所述学生模型，所述无标签训练样本包括第一图像和第二图像；
17.将所述第一图像输入所述深度估计模型以得到第一深度图；
18.将所述第一图像和所述第二图像输入所述位姿估计模型以得到位姿变换矩阵；
19.使用所述第一深度图、所述位姿变换矩阵通过反投影和双线性插值以得到重建帧；
20.确定所述第二图像和所述重建图像之间的损失值作为第二损失值；以及使用所述第二损失值来调整所述深度估计模型的参数。
21.可任选地，所述第一图像和所述第二图像是视频流的连续帧或者双目图像的左图像和右图像。
22.可任选地，所述第二损失值是根据光度损失函数确定的。
23.可任选地，对教师模型进行预先训练包括：
24.使用有标签预训练样本集对所述教师模型进行训练，其中所述有标签预训练样本集中的每个样本包括预训练源图像和对应的深度图。
25.可任选地，所述教师模型包括深度估计模型。
26.本技术的另一方面提供了一种用于单目深度估计的装置，包括：
27.用于对教师模型进行预先训练的模块；
28.用于根据经预先训练的教师模型对学生模型进行知识蒸馏的模块，包括用于将有标签训练样本集输入所述经预先训练的教师模型和所述学生模型的模块，所述有标签训练样本集中的每个有标签训练样本包括第一源图像和对应深度图；
29.用于使用无标签训练样本集对所述学生模型进行无监督训练以获得训练完成的学生模型的模块，其中所述无标签训练样本集中的每个无标签训练样本包括至少两个第二源图像；以及
30.用于使用所述训练完成的学生模型对待预测图像进行处理以生成深度图的模块。
31.可任选地，根据经预先训练的教师模型对学生模型进行知识蒸馏包括：
32.迭代执行以下步骤直至对所述学生模型的训练达到第一预设条件：
33.将有标签训练样本中的第一源图像输入所述经预先训练的教师模型和所述学生模型；
34.使用所述经预先训练的教师模型的输出、所述学生模型的输出和有标签训练样本中的深度图来确定第一损失值，所述第一损失值根据所述经预先训练的教师模型的输出与所述学生模型的输出之间的蒸馏损失值、以及所述学生模型的输出与所述深度图之间的对比损失值来确定；以及
35.使用所述第一损失值来调整所述学生模型的参数。
36.可任选地，所述学生模型包括深度估计模型和位姿估计模型，对所述学生模型进行无监督训练包括：
37.迭代执行以下步骤直至对所述学生模型的训练达到第二预设条件：
38.将无标签训练样本输入所述学生模型，所述无标签训练样本包括第一图像和第二图像；
39.将所述第一图像输入所述深度估计模型以得到第一深度图；
40.将所述第一图像和所述第二图像输入所述位姿估计模型以得到位姿变换矩阵；
41.使用所述第一深度图、所述位姿变换矩阵通过反投影和双线性插值以得到重建帧；
42.确定所述第二图像和所述重建图像之间的损失值作为第二损失值；以及
43.使用所述第二损失值来调整所述深度估计模型的参数。
44.可任选地，所述第一图像和所述第二图像是视频流的连续帧或者双目图像的左图像和右图像。
45.可任选地，所述第二损失值是根据光度损失函数确定的。
46.可任选地，对教师模型进行预先训练包括：
47.使用有标签预训练样本集对所述教师模型进行训练，其中所述有标签预训练样本集中的每个样本包括预训练源图像和对应的深度图。
48.可任选地，所述教师模型包括深度估计模型。
49.本技术的又一方面提供了一种电子设备，包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如以上所述的用于单目深度估计的方法。
50.本技术的技术方案能够使用一定量的有标签样本和大量的无标签样本来训练单目深度估计神经网络。一方面，使用教师模型中的单目深度模型训练学生模型中的单目深度模型，使得能够使用结构较为简单的学生模型实现单目深度估计的高准确度，在节省电子设备的资源(例如，处理器资源、存储资源)的同时提高单目深度估计的精度。另一方面，通过迭代多次使用训练样本集直到预定数目的训练步数，进一步提高了训练样本(尤其是有标签训练样本)的利用率，提高了单目深度估计的精度。
附图说明
51.图1是根据本公开的各方面的用于单目深度估计的装置的示图。
52.图2是根据本公开的各方面的用于单目深度估计的方法的示图。
53.图3是根据本公开的各方面的用于单目深度估计的第一训练阶段的示图。
54.图4是根据本公开的各方面的用于单目深度估计的第二训练阶段的示图。
55.图5是根据本公开的各方面的用于单目深度估计的无监督训练的示图。
56.图6是根据本公开的各方面的用于单目深度估计的方法的流程图。
57.图7是根据本技术的各方面的用于单目深度估计的电子设备的示图。
具体实施方式
58.为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
59.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
60.本公开提出了一种高效率且成本低的使用神经网络来进行单目深度估计的方案。
61.本公开的技术方案采用半监督方式、利用知识蒸馏(教师学生网络)来训练单目深度估计神经网络模型。
62.具体而言，本技术的单目深度估计方法包括两训练阶段：第一阶段使用有标签训练样本集利用教师模型对学生模型进行有监督训练以获得经有监督训练的学生模型，随后利用无标签训练样本集对学生模型进行无监督训练以获得训练完成的学生模型。
63.图1是根据本公开的各方面的用于单目深度估计的装置100的示图。
64.如图1所示，装置100可包括用于单目深度估计的教师模型102和学生模型104。
65.教师模型102可包括深度估计模型106，学生模型104可包括深度估计模型108和位姿估计模型110。
66.深度估计模型106和108可以根据输入的源图像数据(单目图像数据)预测对应的深度图。输入的源图像数据的形式可以是例如图像的像素图。
67.教师模型102的深度估计模型106与学生模型104的深度估计模型108的结构相似，但教师模型106的结构较复杂(例如，参数较多)且精度较高，学生模型104的结构较简单(例如，参数较少)。利用教师模型106进行预测虽然精度较高，但需要更多的时延并且消耗的处理资源更多。通过使用经预先训练的教师模型106对学生模型104进行知识蒸馏，可以将教师模型106的参数转移到学生模型104上，使学生模型104的预测性能接近于教师模型106，但学生模型104的结构更为简单，预测的时延较短且消耗较少的处理资源。
68.具体而言，可以首先使用有标签训练样本集(在本文被称为教师有标签训练样本集)来预先训练教师模型102的深度估计模型106。该教师有标签训练样本集中的样本可包括一源图像及其对应的标签数据(即，深度图)。
69.随后可以使用经预先训练的教师模型102对学生模型104进行知识蒸馏。利用教师模型102在预先训练中学习到的知识来指导学生模型104的训练。具体而言，利用教师模型102中的深度估计模型106在预先训练中学习到的知识来指导学生模型104的深度估计模型108的训练。
70.在知识蒸馏中，可以将有标签训练样本集(在本文被称为蒸馏有标签训练样本集)中的每个样本同时输入深度估计模型106和深度估计模型108。该蒸馏有标签训练样本集中的每个样本可包括一源图像及其标签(即，对应的深度图)。蒸馏有标签训练样本集可以与教师有标签训练样本集相同或不同。
71.可通过确定经预先训练的教师模型102的输出与学生模型104的输出之间的蒸馏损失值以及学生模型104的输出深度图与样本中的深度图的对比损失值来确定第一训练阶段的损失值(在本文称为第一损失值)。通过使第一损失值收敛，达到对深度估计模型108的第一阶段训练的目标。
72.学生模型104经过第一阶段的训练可成为中间学生模型104’，其中深度估计模型108经过第一阶段的训练成为中间深度估计模型108’。
73.在完成知识蒸馏之后，可以使用无标签训练样本集对中间学生模型104’进行无监督训练。
74.无标签训练样本集中的每个无标签训练样本可以包括至少两个源图像。该至少两个源图像可以是单目视频流中的连续图像帧。无标签训练样本不包括与源图像相对应的深度图。
75.在一示例中，每个无标签训练样本可包括两个源图像ia和ib。中间深度估计模型108’可以预测第一源图像ia的深度图sa。位姿估计模型110可以确定该两个源图像ia和ib
之间的位姿(例如，两个图像之间的位移、旋转等)。
76.中间学生模型104’可使用位姿数据来对深度图sa进行变换(例如，warping)生成经变换的深度图sa’。随后对深度图sa’进行图像重建以生成经变换的图像ia’。可以获取第一源图像ia与经变换的图像ia’之间的损失值作为无监督损失值。该损失值可以是光度损失值。在训练过程中，使该无监督损失值收敛，从而达到对中间学生模型104’的无监督训练的目标。
77.经过第一训练阶段和第二训练阶段的学生模型104”可被用来预测单目图像的对应深度图。
78.与在教师模型102中设置深度估计模型和位姿估计模型相比，本公开在教师模型102中仅设置深度估计模型106，对教师模型102的深度估计模型106进行有监督的预先训练，能够在尽量节省教师模型102的计算资源的情况下，提高教师模型102的预测精度。
79.图2是根据本公开的各方面的用于单目深度估计的方法的示图。
80.如图2所示，本公开的用于单独深度估计的方法包括第一训练阶段202和第二训练阶段204。
81.第一训练阶段202包括使用教师模型102对学生模型104进行知识蒸馏，以达到对学生模型104进行有监督训练的目标，如以下图3中所解说的。
82.第二训练阶段204是对学生模型104进行自监督训练，如以下图4中所解说的。
83.图3是根据本公开的各方面的用于单目深度估计的第一训练阶段(知识蒸馏/有监督训练)的示图。
84.在步骤302，可以预先训练教师模型102。
85.具体而言，可以使用有标签训练样本来训练教师模型102(深度估计模型106)。该有标签训练样本集中的样本可包括一源图像及其对应的深度图。该源图像可以是单目相机获取的图像，该深度图可以是激光雷达、深度相机等设备所获取的与源图像对应的深度图。
86.教师模型102可以处理样本中源图像以预测其深度图，并确定所预测的深度图与样本中的深度图之间的损失值。通过使该损失值收敛，得到经预先训练的教师模型102(例如，使用梯度下降法来调整教师模型102的参数)。
87.在步骤304，可以使用经预先训练的教师模型102对学生模型104进行知识蒸馏。
88.具体而言，可以将有标签训练样本集中的每个样本同时输入教师模型102的深度估计模型106和学生模型104的深度估计模型108。该有标签训练样本集中的每个样本可包括一源图像及其标签(即，与源图像相对应的深度图)，该深度图可以是激光雷达、深度相机等设备所获取的与源图像对应的深度图。
89.教师模型102的深度估计模型106和学生模型104的深度估计模型108可以对每个样本中的源图像进行处理分别生成深度图d
t
和深度图ds。
90.步骤304的有标签训练样本集可以与步骤302的有标签训练样本集相同或不同。
91.可以使用经预先训练的教师模型102(深度估计模型106)的输出、学生模型104(深度估计模型108)的输出和有标签训练样本中的深度图来确定第一损失值l1。
92.在一方面，针对每个样本，可以根据学生模型104的输出深度图ds和训练样本集中的深度图(在本文被成为标签深度图)来确定对比损失值lc。
93.例如，lc可以如下表示：
[0094][0095]
其中n表示训练样本集中的样本数目，表示针对第i个样本输出的深度图和标签深度图之间的距离。
[0096]
在一示例中，深度图和标签深度图之间的距离可以是两个深度图的各像素值之差的求和或平均值。本领域技术人员将领会，该距离也可以是其他的图像距离(例如，l1距离等)。
[0097]
在一方面，针对每个样本，可以根据经预先训练的教师模型102的输出深度图d
t
和学生模型104的输出深度图ds来确定蒸馏损失值ld。
[0098]
ld可以是kl散度损失值。例如，ld可以如下表示：
[0099][0100]
其中n表示训练样本集中的样本数目，m表示深度图d
t
和深度图ds中的像素的数目，表示学生模型104针对第i个样本的输出深度图ds的第j个像素点的值，表示教师模型102针对第i个样本的输出深度图d
t
的第j个像素点的值。
[0101]
第一损失值l1可以是对比损失值lc和蒸馏损失值ld的加权和。
[0102]
例如，l1＝lc wld，
[0103]
其中0《w《1。
[0104]
可以根据第一损失值l1来调整学生模型104的深度估计模型108的参数(例如，模型的权重等)。例如，可以使用梯度下降法来调整深度估计模型108的参数。
[0105]
在步骤306，可以确定是否达到第一预定训练步数。
[0106]
在初始状态时，可以使第一训练步数被置为0。
[0107]
在使用有标签训练样本集中的所有样本对学生模型104进行知识蒸馏之后，可以确定第一训练步数是否达到第一预定训练步数。
[0108]
如果达到第一预定训练步数，则在步骤308，第一训练阶段完成。
[0109]
如果未达到第一预定训练步数，则使第一训练步数递增，并且返回步骤304，使用有标签训练样本集继续进行学生模型的知识蒸馏。
[0110]
图4是根据本公开的各方面的用于单目深度估计的第二训练阶段的示图。
[0111]
第二训练阶段是对经过第一训练阶段训练的学生模型104的无监督训练。
[0112]
在步骤402，向学生模型104输入无标签训练样本集。
[0113]
无标签训练样本集中的每个样本可包括至少两个源图像。该至少两个源图像可以是视频流的前后相邻帧，也可以是双目图像中的左图像和右图像。
[0114]
在步骤404，可对学生模型104进行无监督训练。
[0115]
图5是根据本公开的各方面的用于单目深度估计的无监督训练的示图。
[0116]
在图5的示例中，每个无标签训练样本可包括两个源图像：第一源图像ia和第二源图像ib。本领域技术人员将领会，更多数量的源图像也在本公开的构想中。
[0117]
第一源图像ia被输入深度估计模型108进行深度估计(502)以生成预测的深度图
sa。
[0118]
第一源图像ia和第二源图像ib被输入位姿估计模型110进行位姿估计(504)以生成位姿数据(例如，位姿变换矩阵)。
[0119]
位姿数据可对预测的深度图sa进行变换(例如，warping)以生成变换后的深度图sb’。
[0120]
可对深度图sb’进行图像重建(506)以生成图像ib’。例如，可以通过对深度图sb’进行反投影和双线性插值来得到重建图像ib’。
[0121]
可以根据第二源图像ib和经重建的图像ib’来确定第二损失值(508)。该第二损失值可以是两个图像之间的光度损失值。
[0122]
随后可以根据所确定的第二损失值来调整学生模型104的参数(510)。例如，可以使用梯度下降法来调整学生模型104的参数。
[0123]
可以针对无标签训练样本集中的每个样本进行以上操作。
[0124]
在步骤406，可以确定是否达到预定的第二训练步数。
[0125]
在初始状态时，可以使第二训练步数被置为0。
[0126]
在使用无标签训练样本集中的所有样本对学生模型104进行无监督训练之后，可以确定第二训练步数是否达到第二预定训练步数。
[0127]
如果达到第二预定训练步数，则在步骤408，第二训练阶段完成。
[0128]
如果未达到第二预定训练步数，则使第二训练步数递增，并且返回步骤402，使用无标签训练样本集继续对学生模型进行无监督训练。
[0129]
图6是根据本公开的各方面的用于单目深度估计的方法的流程图。
[0130]
在步骤602，可以对教师模型进行预先训练。
[0131]
在一方面，对教师模型进行预先训练包括：使用有标签预训练样本集对所述教师模型进行训练，其中所述有标签预训练样本集中的每个样本包括预训练源图像和对应的深度图。
[0132]
在一方面，教师模型可包括深度估计模型。
[0133]
在步骤604，可以根据经预先训练的教师模型对学生模型进行知识蒸馏，包括将有标签训练样本集输入经预先训练的教师模型和学生模型，该有标签训练样本集中的每个有标签训练样本包括第一源图像和对应深度图。
[0134]
具体而言，根据经预先训练的教师模型对学生模型进行知识蒸馏包括：迭代执行以下步骤直至对所述学生模型的训练达到第一预设条件：将有标签训练样本中的第一源图像输入经预先训练的教师模型和学生模型；使用经预先训练的教师模型的输出、学生模型的输出和有标签训练样本中的深度图来确定第一损失值，第一损失值根据经预先训练的教师模型的输出与学生模型的输出之间的蒸馏损失值、以及学生模型的输出与所述深度图之间的对比损失值来确定；以及使用第一损失值来调整学生模型的参数。
[0135]
第一预设条件可以是迭代使用有标签训练样本集对学生模型进行知识蒸馏达第一预定训练步数，如上所述。
[0136]
在步骤606，可以使用无标签训练样本集对学生模型进行无监督训练以获得训练完成的学生模型，其中该无标签训练样本集中的每个无标签训练样本包括至少两个第二源图像。
[0137]
学生模型可以包括深度估计模型和位姿估计模型，对学生模型进行无监督训练包括：迭代执行以下步骤直至对所述学生模型的训练达到第二预设条件：将无标签训练样本输入所述学生模型，该无标签训练样本包括第一图像和第二图像；将第一图像输入所述深度估计模型以得到第一深度图；将第一图像和第二图像输入位姿估计模型以得到位姿变换矩阵；使用第一深度图、位姿变换矩阵通过反投影和双线性插值以得到重建帧；确定第二图像和重建图像之间的损失值作为第二损失值；以及使用第二损失值来调整所述深度估计模型的参数。
[0138]
第一预设条件可以是迭代使用无标签训练样本集对学生模型进行无监督训练达第二预定训练步数，如上所述。
[0139]
在一方面，第一图像和第二图像是视频流的连续帧或者双目图像的左图像和右图像。
[0140]
在一方面，第二损失值是根据光度损失函数确定的。
[0141]
在步骤608，可以使用训练完成的学生模型对待预测图像进行处理以生成深度图。
[0142]
图7是根据本技术的各方面的用于单目深度估计的电子设备的示图。
[0143]
如图7所示，电子设备700可包括存储器702和处理器704。存储器702中存储有程序指令，处理器704可通过总线706与存储器702连接并通信，处理器704可调用存储器702中的程序指令以执行以下步骤：对教师模型进行预先训练；根据经预先训练的教师模型对学生模型进行知识蒸馏，包括将有标签训练样本集输入所述经预先训练的教师模型和所述学生模型，所述有标签训练样本集中的每个有标签训练样本包括第一源图像和对应深度图；使用无标签训练样本集对所述学生模型进行无监督训练以获得训练完成的学生模型，其中所述无标签训练样本集中的每个无标签训练样本包括至少两个第二源图像；以及使用所述训练完成的学生模型对待预测图像进行处理以生成深度图。
[0144]
可任选地，处理器404还可以调用存储器402中的程序指令以执行以下步骤：迭代执行以下步骤直至对所述学生模型的训练达到第一预设条件：将有标签训练样本中的第一源图像输入所述经预先训练的教师模型和所述学生模型；使用所述经预先训练的教师模型的输出、所述学生模型的输出和有标签训练样本中的深度图来确定第一损失值，所述第一损失值根据所述经预先训练的教师模型的输出与所述学生模型的输出之间的蒸馏损失值、以及所述学生模型的输出与所述深度图之间的对比损失值来确定；以及使用所述第一损失值来调整所述学生模型的参数。
[0145]
可任选地，处理器404还可以调用存储器402中的程序指令以执行以下步骤：迭代执行以下步骤直至对所述学生模型的训练达到第二预设条件：将无标签训练样本输入所述学生模型，所述无标签训练样本包括第一图像和第二图像；将所述第一图像输入所述深度估计模型以得到第一深度图；将所述第一图像和所述第二图像输入所述位姿估计模型以得到位姿变换矩阵；使用所述第一深度图、所述位姿变换矩阵通过反投影和双线性插值以得到重建帧；确定所述第二图像和所述重建图像之间的损失值作为第二损失值；以及使用所述第二损失值来调整所述深度估计模型的参数。
[0146]
可任选地，第一图像和第二图像是视频流的连续帧或者双目图像的左图像和右图像。
[0147]
可任选地，第二损失值是根据光度损失函数确定的。
[0148]
可选地，处理器404还可以调用存储器402中的程序指令以执行以下步骤：使用有标签预训练样本集对教师模型进行训练，其中该有标签预训练样本集中的每个样本包括预训练源图像和对应的深度图。
[0149]
本文结合附图阐述的说明描述了示例配置而不代表可被实现或者落在权利要求的范围内的所有示例。本文所使用的术语“示例性”意指“用作示例、实例或解说”，而并不意指“优于”或“胜过其他示例”。本详细描述包括具体细节以提供对所描述的技术的理解。然而，可以在没有这些具体细节的情况下实践这些技术。在一些实例中，众所周知的结构和设备以框图形式示出以避免模糊所描述的示例的概念。
[0150]
在附图中，类似组件或特征可具有相同的附图标记。此外，相同类型的各个组件可通过在附图标记后跟随短划线以及在类似组件之间进行区分的第二标记来加以区分。如果在说明书中仅使用第一附图标记，则该描述可应用于具有相同的第一附图标记的类似组件中的任何一个组件而不论第二附图标记如何。
[0151]
结合本文中的公开描述的各种解说性框以及模块可以用设计成执行本文中描述的功能的通用处理器、dsp、asic、fpga或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可被实现为计算设备的组合(例如，dsp与微处理器的组合、多个微处理器、与dsp核心协同的一个或多个微处理器，或者任何其他此类配置)。
[0152]
本文中所描述的功能可以在硬件、由处理器执行的软件、固件、或其任何组合中实现。如果在由处理器执行的软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。其他示例和实现落在本公开及所附权利要求的范围内。例如，由于软件的本质，以上描述的功能可使用由处理器执行的软件、硬件、固件、硬连线或其任何组合来实现。实现功能的特征也可物理地位于各种位置，包括被分布以使得功能的各部分在不同的物理位置处实现。另外，如本文(包括权利要求中)所使用的，在项目列举(例如，以附有诸如“中的至少一个”或“中的一个或多个”之类的措辞的项目列举)中使用的“或”指示包含性列举，以使得例如a、b或c中的至少一个的列举意指a或b或c或ab或ac或bc或abc(即，a和b和c)。同样，如本文所使用的，短语“基于”不应被解读为引述封闭条件集。例如，被描述为“基于条件a”的示例性步骤可基于条件a和条件b两者而不脱离本公开的范围。换言之，如本文所使用的，短语“基于”应当以与短语“至少部分地基于”相同的方式来解读。
[0153]
计算机可读介质包括非瞬态计算机存储介质和通信介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。非瞬态存储介质可以是能被通用或专用计算机访问的任何可用介质。作为示例而非限定，非瞬态计算机可读介质可包括ram、rom、电可擦除可编程只读存储器(eeprom)、压缩盘(cd)rom或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来携带或存储指令或数据结构形式的期望程序代码手段且能被通用或专用计算机、或者通用或专用处理器访问的任何其他非瞬态介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来的，则该同轴电缆、光纤电缆、双绞线、数字订户线(dsl)、或诸如红外、无线电、以及微波之类的无线
技术就被包括在介质的定义之中。如本文所使用的盘(disk)和碟(disc)包括cd、激光碟、光碟、数字通用碟(dvd)、软盘和蓝光碟，其中盘常常磁性地再现数据而碟用激光来光学地再现数据。以上介质的组合也被包括在计算机可读介质的范围内。
[0154]
提供本文的描述是为了使得本领域技术人员能够制作或使用本公开。对本公开的各种修改对于本领域技术人员将是显而易见的，并且本文中定义的普适原理可被应用于其他变形而不会脱离本公开的范围。由此，本公开并非被限定于本文所描述的示例和设计，而是应被授予与本文所公开的原理和新颖特征相一致的最广范围。