虚拟和增强现实系统和方法与流程

虚拟和增强现实系统和方法
1.本技术是申请号为201680060759.6的中国专利申请“虚拟和增强现实系统和方法”(申请日为2016年8月17日)的分案申请。
2.相关申请的交叉引用
3.本技术根据35usc
§
119(e)要求2015年8月18日提交的美国临时申请no.62/206,765题为“虚拟和增强现实系统和方法(virtual and augmented reality systems and methods)”的优先权权益，其通过引用全部并入在此。
技术领域
4.本公开涉及虚拟和增强现实成像和可视化系统。


背景技术：

5.现代计算和显示技术促进了虚拟现实和增强现实系统的发展。虚拟现实或“vr”系统为用户创造模拟的环境来体验。这可以通过将计算机生成的图像通过显示器呈现给用户来完成。这个图像创造了让用户沉浸在模拟环境中的感觉体验。虚拟现实场景通常只包含计算机生成的图像的呈现，而不包括实际的真实世界的图像的呈现。
6.增强现实系统通常用模拟元素来补充真实世界环境。例如，增强现实或“ar”系统可以通过显示器向用户提供周围真实世界环境的视图。然而，计算机生成的图像也可以呈现在显示器上，以增强现实世界的环境。这个计算机生成的图像可以包括与现实世界环境上下相关的元素。这些元素可以包括模拟的文本、图像、对象等。模拟的元素通常可以实时交互。图1描绘了示例性的增强现实场景1，其中，ar技术的用户看到以背景中的人、树、建筑为特征的真实世界的公园状的设置6以及实体平台1120。除了这些项目以外，计算机生成的图像也呈现给用户。计算机生成的图像可以包括例如站在真实世界的平台1120上的机器人雕像1110，以及看起来像飞行的蜜蜂的化身的卡通式的头像角色2，尽管这些元素2、1110不实际存在于真实的世界环境中。
7.由于人类的视觉感知系统是复杂的，所以开发促进虚拟图像元素在其它虚拟或现实世界图像元素中的舒适的、感觉自然的、丰富的呈现的vr或ar技术是有挑战性的。


技术实现要素：

8.在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的图像；显示控制器，其被配置为从图形处理器接收渲染的虚拟或增强现实图像数据，以及至少部分地基于嵌入在渲染的图像中的控制信息来控制显示器；其中，嵌入的控制信息指示当显示图像时应用于渲染图像的至少一部分的移位。
9.在一些实施例中，与在渲染图像中的一个或多个虚拟或增强现实对象的位置相比，移位改变所述一个或多个对象的显示位置。
10.在一些实施例中，移位包括图像的至少一部分在同一深度平面内的指定数量的像素的横向移位。
11.在一些实施例中，移位包括图像的至少一部分从一个深度平面到另一深度平面的纵向移位。
12.在一些实施例中，显示控制器还被配置为缩放所述图像的至少一部分连同从一个深度平面到另一深度平面的纵向移位。
13.在一些实施例中，移位包括图像的至少一部分从一个深度平面到虚拟深度平面的纵向移位，该虚拟深度平面包括至少两个深度平面的加权组合。
14.在一些实施例中，移位基于关于用户的头部姿势的信息。
15.在一些实施例中，移位由显示控制器执行而不重新渲染图像。
16.在一些实施例中，在虚拟或增强现实显示系统中的方法包括：从图形处理器接收渲染的虚拟或增强现实图像数据；以及至少部分基于嵌入在渲染的图像中的控制信息，显示多个深度平面的图像；其中，嵌入的控制信息指示当显示图像时应用于渲染图像的至少一部分的移位。
17.在一些实施例中，方法还包括与在渲染图像中的一个或多个虚拟或增强现实对象的位置相比，移位所述一个或多个对象的显示位置。
18.在一些实施例中，方法还包括基于控制信息将图像的至少一部分横向移位同一深度平面内的指定数量的像素。
19.在一些实施例中，方法还包括基于控制信息，将图像的至少一部分从一个深度平面纵向移位到另一深度平面。
20.在一些实施例中，方法还包括：缩放所述图像的至少一部分连同所述图像从一个深度平面纵向移位到另一深度平面。
21.在一些实施例中，方法还包括：将图像的至少一部分从一个深度平面纵向移位到虚拟深度平面，该虚拟深度平面包括至少两个深度平面的加权组合。
22.在一些实施例中，该移位基于关于用户的头部姿势的信息。
23.在一些实施例中，方法还包括：移位图像而不重新渲染图像。
24.在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的虚拟或增强现实图像，图像包括由像素数据的行和列组成的系列图像；显示控制器，其被配置为从图形处理器接收图像并且至少部分地基于嵌入在图像中的控制信息来控制显示器，其中，嵌入的控制信息包括深度平面指示符数据，该深度平面指示符数据指示多个深度平面中的哪一个以显示图像的至少一部分。
25.在一些实施例中，控制信息不改变该系列图像中的像素数据的行数和列数。
26.在一些实施例中，控制信息包括替代系列图像中的一个或多个图像中的像素数据的行或列的行或列信息。
27.在一些实施例中，控制信息包括附加到用于系列图像中的一个或多个图像的像素数据的行或列信息。
28.在一些实施例中，像素数据包括多个颜色值，并且其中，深度平面指示符数据替代至少一个颜色值的一个或多个位。
29.在一些实施例中，深度平面指示符数据替代至少一个颜色值的一个或多个最低有效位。
30.在一些实施例中，深度平面指示符数据替代蓝色值的一个或多个位。
31.在一些实施例中，每个像素包括深度平面指示符数据。
32.在一些实施例中，显示控制器被配置为至少部分地基于深度平面指示符数据对系列图像进行排序。
33.在一些实施例中，虚拟或增强现实显示系统中的方法包括：从图形处理器接收虚拟或增强现实图像，该图像包括由用于多个深度平面的像素数据的行和列组成的系列图像；至少部分地基于嵌入在图像中的控制信息来显示图像，其中，嵌入的控制信息包括深度平面指示符数据，深度平面指示符数据指示多个深度平面中的哪一个以显示图像的至少一部分。
34.在一些实施例中，控制信息不改变该系列图像中的像素数据的行数和列数。
35.在一些实施例中，控制信息包括替代系列图像中的一个或多个图像中的像素数据的行或列的行或列信息。
36.在一些实施例中，控制信息包括附加到用于系列图像中的一个或多个图像的像素数据的行或列信息。
37.在一些实施例中，像素数据包括多个颜色值，并且其中，深度平面指示符数据替代至少一个颜色值的一个或多个位。
38.在一些实施例中，深度平面指示符数据替代至少一个颜色值的一个或多个最低有效位。
39.在一些实施例中，深度平面指示符数据替代蓝色值的一个或多个位。
40.在一些实施例中，每个像素包括深度平面指示符数据。
41.在一些实施例中，方法还包括至少部分地基于深度平面指示符数据对系列图像进行排序。
42.在一些实施例中，虚拟或增强现实显示系统包括：第一传感器，其被配置为随时间提供用户的头部姿势的测量；以及处理器，其被配置为基于至少一个头部姿势测量并且基于至少一个计算的预测头部姿势来估计用户的头部姿势，其中，处理器被配置为使用一个或多个增益因子来组合头部姿势测量和预测头部姿势，并且其中，一个或多个增益因子在运动的生理范围内基于用户的头部姿势位置而变化。
43.在一些实施例中，第一传感器被配置为头戴式。
44.在一些实施例中，第一传感器包括惯性测量单元。
45.在一些实施例中，当用户的头部姿势在运动的生理范围的中心部分中时，一个或多个增益因子强调预测头部姿势超过头部姿势测量。
46.在一些实施例中，当用户的头部姿势比运动的用户生理范围的极限更接近运动的生理范围的中间时，一个或多个增益因子强调预测头部姿势超过头部姿势测量。
47.在一些实施例中，当用户的头部姿势接近运动的生理范围的极限时，一个或多个增益因子强调头部姿势测量超过预测头部姿势。
48.在一些实施例中，当用户的头部姿势比运动的生理范围的中间更接近运动的生理范围的极限时，一个或多个增益因子强调头部姿势测量超过预测头部姿势。
49.在一些实施例中，第一传感器被配置为头戴式，并且还包括被配置为身体安装的第二传感器，其中，至少一个头部姿势测量基于来自第一传感器和第二传感器的测量来确定。
50.在一些实施例中，头部姿势测量基于来自第一传感器和第二传感器的测量之间的差异来确定。
51.在一些实施例中，估计虚拟或增强现实显示系统中的头部姿势的方法包括：从第一传感器接收用户的头部姿势随时间变化的测量；以及使用处理器基于至少一个头部姿势测量并且基于至少一个计算的预测头部姿势来估计用户的头部姿势，其中，估计用户的头部姿势包括使用一个或多个增益因子组合头部姿势测量和预测头部姿势，并且其中，一个或多个增益因子在运动的生理范围内基于用户的头部姿势位置而变化。
52.在一些实施例中，第一传感器被配置为头戴式，并且方法还包括：从配置为身体安装的第二传感器接收身体方位测量；以及基于至少一个头部姿势测量并且基于至少一个计算的预测头部姿势来估计用户的头部姿势，其中，至少一个头部姿势测量基于来自第一传感器和第二传感器两者的测量来确定。
53.在一些实施例中，虚拟或增强现实显示系统包括：传感器，其被配置为确定环境照明的一个或多个特征；处理器，其被配置为基于环境照明的一个或多个特征来调整虚拟对象的一个或多个特征；以及显示器，其被配置为向用户显示虚拟对象。
54.在一些实施例中，环境照明的一个或多个特征包括环境照明的亮度。
55.在一些实施例中，环境照明的一个或多个特征包括环境照明的色调。
56.在一些实施例中，虚拟对象的一个或多个特征包括虚拟对象的亮度。
57.在一些实施例中，虚拟对象的一个或多个特征包括虚拟对象的色调。
58.在一些实施例中，虚拟或增强现实显示系统中的方法包括：从传感器接收环境照明的一个或多个特征；使用处理器基于环境照明的一个或多个特征来调整虚拟对象的一个或多个特征；以及向用户显示虚拟对象。
59.在一些实施例中，虚拟或增强现实显示系统包括：处理器，其被配置为压缩虚拟或增强现实图像数据，图像包括多个深度平面的图像，处理器被配置为通过减少图像的深度平面之间的冗余信息来压缩图像数据；显示器，其被配置为显示多个深度平面的图像。
60.在一些实施例中，深度平面的图像根据相对于相邻深度平面的差异来表示。
61.在一些实施例中，处理器编码深度平面之间的对象的运动。
62.在一些实施例中，虚拟或增强现实显示系统中的方法包括：用处理器压缩虚拟或增强现实图像数据，图像包括多个深度平面的图像，处理器被配置为通过减少图像的深度平面之间的冗余信息来压缩图像数据；显示多个深度平面的图像。
63.在一些实施例中，深度平面的图像根据相对于相邻深度平面的差异来表示。
64.在一些实施例中，方法还包括编码深度平面之间的对象的运动。
65.在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的虚拟或增强现实图像；显示控制器，其被配置为控制显示器，其中，显示控制器动态地配置显示器的子部分以在每个显示周期刷新。
66.在一些实施例中，显示器包括扫描显示器，并且显示控制器动态地配置扫描图案以跳过不需要刷新图像的显示器的区域。
67.在一些实施例中，显示周期包括视频图像的帧。
68.在一些实施例中，如果要刷新的显示器的子部分的尺寸减小，则显示控制器增加视频帧速率。
69.在一些实施例中，如果要刷新的显示器的子部分的尺寸增加，则显示控制器降低视频帧速率。
70.在一些实施例中，虚拟或增强现实显示系统中的方法包括：用显示器显示多个深度平面的虚拟或增强现实图像；动态地配置显示器的子部分以在每个显示周期刷新。
71.在一些实施例中，显示器包括扫描显示器，并且该方法还包括动态地配置扫描图案以跳过不需要刷新图像的显示器的区域。
72.在一些实施例中，显示周期包括视频图像的帧。
73.在一些实施例中，方法还包括如果要刷新的显示器的子部分的尺寸减小，则增加视频帧速率。
74.在一些实施例中，该方法还包括如果要刷新的显示器的子部分的尺寸增加，则降低视频帧速率。
75.在一些实施例中，虚拟或增强现实显示系统包括：发射器，其发射空间中变化的电场或磁场；允许用户与虚拟对象或场景交互的有形物体，有形物体包括检测来自发射器的电场或磁场的传感器，其中，来自传感器的测量用于确定有形物体相对于发射器的位置或方向。
76.在一些实施例中，发射器与虚拟或增强现实显示系统的头戴式部分集成。
77.在一些实施例中，虚拟或增强现实显示系统中的方法包括：使用发射机发射在空间中变化的电场或磁场；使用传感器检测电场或磁场；使用来自传感器的测量来确定传感器相对于发射器的位置或方向。
78.在一些实施例中，发射器与虚拟或增强现实显示系统的头戴式部分集成。
79.在一些实施例中，虚拟或增强现实显示系统包括被配置为显示多个深度平面的图像的显示器；显示控制器，其被配置为接收渲染的虚拟或增强现实图像数据，并且至少部分地基于嵌入在渲染的图像中的控制信息来控制显示器，其中，嵌入的控制信息指示期望的亮度或颜色以当显示图像时应用于渲染图像的至少一部分。与渲染的图像中的一个或多个对象的位置相比，期望的亮度或颜色可以改变一个或多个虚拟或增强现实对象的显示位置。期望的亮度或颜色可以将图像的至少一部分从一个深度平面纵向移位到虚拟深度平面，该虚拟深度平面包括至少两个深度平面的加权组合。
80.在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示多个深度平面的图像；显示控制器，其被配置为接收渲染的虚拟或增强现实图像数据，并且至少部分地基于控制信息来控制显示器，其中，控制信息指示至少一个深度平面是不活动的，并且显示控制器被配置为基于至少一个深度平面是不活动的指示来控制显示器，从而降低功耗。
81.在一些实施例中，至少一个深度平面是不活动的指示包括控制信息，控制信息包括指定显示图像的多个活动深度平面的深度平面指示符数据。
82.在一些实施例中，至少一个深度平面是不活动的指示包括控制信息，控制信息包括指定至少一个深度平面是不活动的深度平面指示符数据。
83.在一些实施例中，控制信息被嵌入在渲染的图像中。
84.在一些实施例中，作为指示至少一个深度平面是不活动的所述控制信息的结果，显示控制器导致一个或多个光源的功率降低，从而降低功耗。
85.在一些实施例中，虚拟或增强现实显示系统中的方法包括：接收渲染的虚拟或增强现实图像数据以在多个深度平面上显示图像；接收指示至少一个深度平面是不活动的控制信息；以及至少部分地基于指示至少一个深度平面是不活动的所述控制信息显示多个深度平面的图像，从而降低功耗。
86.在一些实施例中，控制信息包括指定显示图像的多个活动深度平面的深度平面指示符数据。
87.在一些实施例中，控制信息包括指定至少一个深度平面是不活动的深度平面指示符数据。
88.在一些实施例中，控制信息被嵌入在渲染的图像中。
89.在一些实施例中，作为指示至少一个深度平面是不活动的所述控制信息的结果，一个或多个光源的功率降低，从而降低功耗。
90.在一些实施例中，虚拟或增强现实显示系统包括：显示器，其被配置为显示具有多个色场的多个深度平面的图像；显示控制器，其被配置为接收渲染的虚拟或增强现实图像数据，并且至少部分地基于控制信息来控制显示器，其中，控制信息指示至少一个色场是不活动的，并且显示控制器被配置为基于至少一个色场是不活动的指示来控制显示器，从而降低功耗。
91.在一些实施例中，至少一个色场是不活动的指示包括控制信息，该控制信息包括指定显示图像的多个活动色场的色场指示符数据。
92.在一些实施例中，至少一个色场不活动的指示包括控制信息，该控制信息包括指定至少一个色场是不活动的色场指示符数据。
93.在一些实施例中，控制信息被嵌入在渲染的图像中。
94.在一些实施例中，作为指示至少一个色场是不活动的所述控制信息的结果，显示控制器导致一个或多个光源的功率降低，从而降低功耗。
95.在一些实施例中，虚拟或增强现实显示系统中的方法包括：接收渲染的虚拟或增强现实图像数据以在具有多个色场的多个深度平面上显示图像；接收指示至少一个色场是不活动的控制信息；以及至少部分地基于指示至少一个色场是不活动的所述控制信息来显示多个深度平面中的多个色场的图像，从而降低功耗。
96.在一些实施例中，控制信息包括指定显示图像的多个活动色场的色场指示符数据。
97.在一些实施例中，控制信息包括指定至少一个色场是活动的色场指示符数据。
98.在一些实施例中，控制信息被嵌入在渲染的图像中。
99.在一些实施例中，作为指示至少一个色场是不活动的所述控制信息的结果，一个或多个光源的功率降低，从而降低功耗。
附图说明
100.图1示出了使用示例ar系统的用户对增强现实(ar)的视图。
101.图2示出了可穿戴显示系统的示例。
102.图3示出了用于为用户模拟三维图像的传统显示系统。
103.图4示出了使用多个深度平面来模拟三维图像的方法的方面。
104.图5a-5c示出了曲率半径和焦点半径之间的关系。
105.图6示出了用于向用户输出图像信息的波导堆叠的示例。
106.图7示出了由波导输出的出射光束的示例。
107.图8示出了波导堆叠的示例设计，其中每个深度平面具有三个相关联的波导，每个波导输出不同颜色的光。
108.图9示出了用于显示光场图像的虚拟或增强现实系统的示例时序方案。
109.图10示出了包括附加控制数据的视频数据的帧的示例格式。
110.图11示出了包括控制数据的视频数据的帧的另一示例格式。
111.图12示出了包括嵌入控制数据的视频数据的像素的示例格式。
112.图13示出了如何将视频的帧分离成可以串行显示的颜色分量。
113.图14示出了如何使用深度平面指示符数据将光场视频数据的帧分离成多个深度平面，每个深度平面可以被分裂成用于显示的颜色分量子帧。
114.图15示出了其中图12的深度平面指示符数据指示光场视频数据的帧的一个或多个深度平面是不活动的示例。
115.图16示出了增强现实系统中计算机生成的图像的帧的示例绘图区域。
116.图17示意性地示出了用户的头部围绕两个旋转轴的可能运动。
117.图18示出了如何将用户的头部姿势映射到三维表面上。
118.图19示意性地示出了可用于限定增益因子以改善头部姿势跟踪的各种头部姿势区域。
具体实施方式
119.在此公开的虚拟和增强现实系统可以包括向用户呈现计算机生成的图像的显示器。在一些实施例中，显示系统是可穿戴的，这可以有利地提供更具沉浸感的vr或ar体验。图2示出可穿戴显示系统80的示例。显示系统80包括显示器62以及支持该显示器62的功能的各种机械和电子模块和系统。显示器62可以耦合到框架64，框架64可由显示系统用户或观看者60佩戴并且被配置为将显示器62定位在用户60的眼睛前方。在一些实施例中，扬声器66耦合到框架64并且定位成邻近用户的耳道(在一些实施例中，未示出的另一个扬声器定位成邻近用户的另一个耳道以提供立体声/可塑造声音控制)。显示器62诸如通过有线或无线连接68可操作地耦合到本地数据处理模块70，该本地数据处理模块70可以以各种配置安装，诸如固定地附接到框架64，固定地附接到用户佩戴的头盔或帽子，嵌入到耳机中，或以其它方式可移除地附接到用户60(例如，以背包方式的配置，以带式耦合方式的配置等)。
120.本地处理和数据模块70可以包括处理器以及诸如非易失性存储器(例如，闪速存储器)的数字存储器，二者都可用于辅助处理以及存储数据。这包括从传感器捕获的数据，传感器诸如图像捕获装置(诸如照相机)、麦克风、惯性测量单元、加速度计、指南针、gps单元、无线电装置和/或陀螺仪。传感器可以例如可操作地耦合到框架64或以其它方式附接到用户60。可选地或另外地，传感器数据可以使用远程处理模块72和/或远程数据储存库74获取和/或处理，可能在这种处理或检索之后传送给显示器62。本地处理和数据模块70可以通过诸如经由有线或无线通信链路的通信链路(76，78)操作性地耦合到远程处理模块72和远程数据储存库74，使得这些远程模块(72，74)可操作性地彼此耦合并作为资源可用于本地
处理和数据模块70。
121.在一些实施例中，远程处理模块72可以包括被配置为分析和处理数据(例如，传感器数据和/或图像信息)的一个或多个处理器。在一些实施例中，远程数据储存库74可以包括数字数据存储设施，其可以通过互联网或其它网络配置以“云”资源配置而可用。在一些实施例中，在本地处理和数据模块中存储全部数据，并且执行全部计算，允许从远程模块完全自主使用。
122.在一些实施例中，通过显示器62提供的计算机生成的图像可以产生三维的印象。这可以通过例如向用户呈现立体图像来完成。在一些传统系统中，这样的图像可以包括来自略微不同视角的场景或对象的分离图像。分离的图像可以分别呈现给用户的右眼和左眼，从而模拟双眼视觉及其相关的深度感知。
123.图3示出用于模拟用户的三维图像的传统显示系统。两个不同的图像74和76被输出给用户，一个图像用于每只眼睛4和6。图像74和76与眼睛4和6沿着平行于观看者视线的光轴线或z轴线间隔开距离10。图像74和76是平坦的，并且眼睛4和6可以通过呈现(assume)单个适应(accommodate)状态来聚焦在图像上。这种系统依赖于人类视觉系统以组合图像74和76来提供组合图像的深度感知。
124.然而，应当理解，人类视觉系统更加复杂，并且提供对深度的现实感知是更具挑战性的。例如，传统的“3d”显示系统的许多观看者发现这种系统不舒服，或者根本不能感知到深度感。不受理论的限制，相信对象的观看者可能由于聚散度和适应性的组合而将该对象感知为“三维”。两只眼睛彼此相对的聚散运动(即，光瞳孔彼此相向或远离的滚动运动，以会聚眼睛的视线来注视对象)与眼睛晶状体的聚焦(或“适应性”)密切相关。在正常情况下，改变眼睛晶状体的焦点或适应眼睛，以将焦点从在不同距离处的一个对象改变到另一个对象，将会在称为“适应性聚散度反射(accommodation-vergence reflex)”的关系下自动地导致在聚散度上的匹配改变达到相同的距离。同样，在正常情况下，聚散度的改变将引发适应性的匹配改变。如在此所指出的，许多立体显示系统使用稍微不同的呈现(并且因此稍微不同的图像)来向每只眼睛显示场景，以使得人类视觉系统感知到三维视角。然而，这种系统对于许多观看者来说是不舒服的，因为，这些系统仅提供场景的不同呈现，但是眼睛以单一适应状态观看所有图像信息，并且因此针对“适应性聚散度反射”进行工作。提供适应性和聚散度之间的更好匹配的显示系统可以形成更逼真且舒适的三维图像模拟。
125.例如，可以将光场图像呈现给用户以模拟三维视图。光场图像可以模仿在真实世界环境中进入观看者眼睛的光线。例如，当显示光场图像时，来自被模拟为在远处被感知的对象的光线在进入观看者的眼睛时被使得更准直，而来自被模拟为在附近被感知的对象的光线被使得更发散。因此，来自场景中的对象的光线进入观看者眼睛的角度取决于这些对象距观看者的模拟距离。虚拟或增强现实系统中的光场图像可以包括来自不同深度平面的场景或对象的多个图像。对于每个深度平面，图像可以是不同的(例如，提供场景或对象的略微不同的呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于向用户提供舒适的深度感知。
126.当这些多个深度平面图像同时或快速连续地呈现给观看者时，观看者将该结果解释为三维图像。当观看者体验这种类型的光场图像时，眼睛可以适应以聚焦不同的深度平面，就像他们在体验真实世界场景时一样。这些焦点提示可以提供更逼真的模拟三维环境。
127.在一些配置中，在每个深度平面处，可以通过覆盖各自具有特定分量颜色的分量图像来形成全色图像。例如，可以分别输出红色、绿色和蓝色图像以形成每个全色深度平面图像。结果，每个深度平面可以具有与其关联的多个分量颜色图像。
128.图4示出使用多个深度平面来模拟三维图像的方法的方面。参考图4，在z轴线上距眼睛4和眼睛6的不同距离处的对象由眼睛(4，6)适应，使得那些对象在焦点中。眼睛4和眼睛6呈现特定的适应状态，在沿着z轴线的不同距离处聚焦到对象中。因此，可以说特定的适应状态与深度平面14中的特定一个深度平面相关联，以使得当眼睛处于该深度平面的适应状态时，特定深度平面中的对象或对象的部分被聚焦。在一些实施例中，可以通过为眼睛(4，6)中的每一只眼睛提供不同的图像呈现来模拟三维图像，并且还通过提供与深度平面中每一个深度平面对应的图像的不同呈现来模拟三维图像。
129.对象与眼睛(4或6)之间的距离可以改变来自该对象的光的发散量，如该眼睛所观察的。图5a-5c示出了距离与光线的发散之间的关系。对象与眼睛4之间的距离以距离减小的顺序表示为r1、r2和r3。如在图5a-5c中所示，随着到对象的距离减小，光线变得更加发散。随着距离的增加，光线变得更加准直。换句话说，可以说由点(对象或对象的部分)产生的光场具有球面波前曲率，这是该点距用户眼睛有多远的函数。曲率随着对象和眼睛4之间的距离减小而增加。因此，在不同的深度平面处，光线的发散度也不同，发散度随着深度平面与观看者的眼睛4之间的距离减小而增加。尽管在图5a-5c和在此的其它附图中为了清楚说明仅示出单只眼睛4，将会理解，关于眼睛4的讨论可以应用于观看者的双眼(4和6)。
130.不受理论的限制，据信人类眼睛通常可以解释有限数量的深度平面以提供深度感知。因此，通过向眼睛提供与这些有限数量的深度平面中的每一个平面对应的图像的不同呈现，可以实现感知深度的高度可信的模拟。
131.图6示出用于向用户输出图像信息的波导堆叠的示例。显示系统1000包括可以用于采用多个波导(182，184，186，188，190)向眼睛/大脑提供三维感知的波导堆叠或堆叠波导组件178。在一些实施例中，显示系统1000是图2的系统80，图6更详细地示意性地示出了该系统80的一些部分。例如，波导组件178可以被集成到图2的显示器62中。
132.继续参考图6，波导组件178还可以包括在波导之间的多个特征(198，196，194，192)。在一些实施例中，特征(198，196，194，192)可以是透镜。波导(182，184，186，188，190)和/或多个透镜(198，196，194，192)可以被配置为以各种级别的波前曲率或光线发散向眼睛发送图像信息。每个波导级别可以与特定的深度平面相关联，并且可以被配置为输出与该深度平面对应的图像信息。图像注入装置(200，202，204，206，208)可用于将图像信息注入到波导(182，184，186，188，190)中，如在此所述，其中的每一个可以被配置为分配入射光穿过每一个相应的波导，用于向眼睛4输出。光从图像注入装置(200，202，204，206，208)的输出表面(300，302，304，306，308)出射并被注入到波导(182，184，186，188，190)的相应输入边缘(382，384，386，388，390)。在一些实施例中，可以将单个光束(例如，准直光束)注入到每一个波导中，以便与特定波导相关联的深度平面对应的特定角度(和发散量)输出朝向眼睛4定向的克隆准直光束的整个视场。
133.在一些实施例中，图像注入装置(200，202，204，206，208)是分立显示器，其每一个产生用于分别注入到相应波导(182，184，186，188，190)中的图像信息。在一些其它实施例中，图像注入装置(200，202，204，206，208)是单个复用显示器的输出端，其可以例如经由一
个或多个光导管(诸如光缆)向图像注入装置(200，202，204，206，208)中的每一个图像注入装置输送图像信息。
134.控制器210控制堆叠波导组件178和图像注入装置(200，202，204，206，208)的操作。在一些实施例中，控制器210包括根据例如在此公开的各种方案中的任一个来调节到波导(182，184，186，188，190)的图像信息的定时和提供的编程(例如，在非暂时性计算机可读介质中的指令)。在一些实施例中，控制器可以是单个整体装置，或通过有线或无线通信通道连接的分布式系统。在一些实施例中，控制器210可以是处理模块(70或72)(图2)的部分。
135.波导(182，184，186，188，190)可以被配置为通过全内反射(tir)在每一个相应的波导内传播光。波导(182，184，186，188，190)可以每一个是平面的或弯曲的，具有主要的顶表面和底表面以及在这些主要的顶表面和底表面之间延伸的边缘。在所示的配置中，波导(182，184，186，188，190)每一个可以包括光重定向元件(282，284，286，288，290)，其被配置为将在每一个相应波导内传播的光重定向到波导外以向眼睛4输出图像信息。光束在波导中传播的光照射光重定向元件的位置处被波导输出。光重定向元件(282，284，286，288，290)可以是反射和/或衍射光学特征。虽然为了便于描述和清晰起见而将其图示设置在波导(182，184，186，188，190)的底部主表面处，但是在一些实施例中，光重定向元件(282，284，286，288，290)可以设置在顶部和/或底部主表面处，和/或可以直接设置在波导(182，184，186，188，190)的体积中。在一些实施例中，光重定向元件(282，284，286，288，290)可以形成在附接到透明基板的材料层中以形成波导(182，184，186，188，190)。在一些其它实施例中，波导(182，184，186，188，190)可以是单片材料，并且光重定向元件(282，284，286，288，290)可以形成在那片材料的表面上和/或那片材料的内部中。
136.继续参考图6，如在此所讨论的，每一个波导(182，184，186，188，190)被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导182可以被配置为将如注入到这种波导182中的准直光传送到眼睛4。准直光可以代表光学无限远焦平面。下一个上行波导184可以被配置为在准直光可以到达眼睛4之前发出穿过第一透镜(192；例如，负透镜)的准直光；这种第一透镜192可以被配置为产生轻微的凸面的波前曲率，以使得眼睛/大脑将来自下一个上行波导184的光解释为来自第一焦平面，该第一焦平面从光学无穷远更靠近向内朝向眼睛4。类似地，第三上行波导186在到达眼睛4之前使其输出光通过第一192和第二194透镜两者；第一192和第二194透镜的组合光强度可被配置为产生另一增量的波前曲率，以使得眼睛/大脑将来自第三波导186的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自下一个上行波导184的光更靠近向内朝向人。
137.其它波导层(188，190)和透镜(196，198)被类似地配置，其中堆叠中的最高波导190通过它与眼睛之间的全部透镜发送其输出，用于代表最靠近人的焦平面的聚合(aggregate)焦度。当在堆叠波导组件178的另一侧上观看/解释来自世界144的光时，为了补偿透镜(198，196，194，192)的堆叠，补偿透镜层180可以设置在堆叠的顶部处以补偿下面的透镜堆叠(198，196，194，192)的聚合焦度。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光重定向元件和透镜的聚焦方面可以是静态的(即，不是动态的或电激活的)。在一些替代实施例中，它们可以是使用电激活特征而动态的。
138.继续参考图6，光重定向元件(282，284，286，288，290)可以被配置为将光重定向到它们相应的波导之外并且对于与波导相关联的特定深度平面输出具有适当的发散量或准
直量的该光。结果，具有不同相关联深度平面的波导可具有不同配置的光重定向元件(282，284，286，288，290)，其取决于相关联的深度平面输出具有不同发散量的光。在一些实施例中，如在此所讨论的，光重定向元件(282，284，286，288，290)可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光重定向元件(282，284，286，288，290)可以是体积全息图、表面全息图和/或衍射光栅。在2015年3月7日提交的美国专利申请no.14/641,376中描述了诸如衍射光栅的光重定向元件，其通过引用全部并入在此。在一些实施例中，特征(198，196，194，192)可以不是透镜；相反，它们可以简单地是间隔物(例如，用于形成气隙的包层和/或结构)。
139.在一些实施例中，光重定向元件(282，284，286，288，290)是形成衍射图案或“衍射光学元件”(在此也称为“doe”)的衍射特征。优选地，doe具有相对较低的衍射效率，以使得仅光束的一部分通过doe的每一个交点偏转向眼睛4，而其余部分经由全内反射继续移动通过波导。携带图像信息的光因此被分成多个相关的出射光束，该出射光束在多个位置处离开波导，并且该结果对于在波导内反射的该特定准直光束是朝向眼睛4的相当均匀图案的出射发射。
140.在一些实施例中，一个或多个doe可以在它们主动地衍射的“开”状态和它们不显著衍射的“关”状态之间可切换。例如，可切换的doe可以包括聚合物分散液晶层，其中微滴在主体介质中包含衍射图案，并且微滴的折射率可以切换为基本上匹配主体材料的折射率(在这种情况下，图案不明显地衍射入射光)，或者微滴可以切换为与主体介质的指数不匹配的指数(在这种情况下，该图案主动地衍射入射光)。
141.图7示出了由波导输出的出射光束的示例。示出了一个波导，但是可以理解，波导178堆叠中的其它波导可以类似地起作用。光400在波导182的输入边缘382处被注入到波导182中，并且通过tir在波导182内传播。在光400撞击在doe 282上的点处，一部分光如出射光束402离开波导。出射光束402被示出为基本上平行，但是如在此所讨论的，取决于与波导182相关联的深度平面，该出射光束402同样可以以一定角度(例如，形成发散的出射光束(bean))被重定向以传播到眼睛4。应该理解的是，基本上平行的出射光束可以指示与距眼睛4较大模拟距离(例如，光学无穷远)处的深度平面对应的波导。其它波导可以输出更加发散的出射光束图案，这将需要眼睛4适应聚焦在更近的模拟距离上并且将被大脑解释为光来自比光学无穷远更接近眼睛4的距离。
142.图8示意性地示出了堆叠波导组件的示例设计，其中每个深度平面具有三个相关波导，每个波导输出不同颜色的光。可以通过在多个分量(例如，三个或更多个分量颜色)中的每一个中覆盖图像，在每个深度平面处形成全色图像。在一些实施例中，分量颜色包括红色、绿色和蓝色。在一些其它实施例中，包括品红色、黄色和青色的其它颜色可以与红色、绿色或蓝色中的一种结合使用或者可以代替红色、绿色或蓝色中的一种。每个波导可以被配置为输出特定的分量颜色，并且因此每个深度平面可以具有与它关联的多个波导。每个深度平面可以具有例如与它相关联的三个波导：一个用于输出红光，第二个用于输出绿光，第三个用于输出蓝光。
143.继续参考图8，示出了深度平面14a-14f。在所示的实施例中，每个深度平面具有与其相关联的三个分量颜色图像：第一颜色的第一图像，g；第二颜色的第二图像，r；以及第三颜色的第三图像，b。按照在此的惯例，这些字母中的每一个后面的数字表示屈光度(1/m)，
或深度平面与观察者之间的视距的倒数，并且图中的每个方框表示单独的分量颜色图像。在一些实施例中，g是绿色，r是红色，以及b是蓝色。如上面所讨论的，深度平面距观察者的感知距离可以由光重定向元件(282，284，286，288，290)(例如，衍射光学元件(doe))和/或通过透镜(198，196，194，192)来建立，其使光以与视距相关联的角度发散。
144.在一些配置中，每个分量颜色图像可以由波导堆叠中的不同波导输出。例如，每个深度平面可以具有与其相关联的三个分量颜色图像：第一波导用于输出第一颜色，g；第二波导用于输出第二颜色，r；以及第三波导用于输出第三颜色，b。在波导被用于输出分量颜色图像的配置中，图中的每个方框可被理解为表示单独的波导。
145.尽管为了便于描述，在该示意图中，与每个深度平面相关联的波导被示出为彼此相邻，但是应该理解的是，在物理装置中，波导可以全部以一个波导水平设置在堆叠中。在图中用字母g、r和b后面的对于屈光度的不同数字表示不同的深度平面。
146.显示时序方案
147.在一些实施例中，虚拟或增强现实系统对于视频数据的给定帧通过连续显示多个不同的深度平面来提供光场图像。然后系统更新到视频数据的下一帧，并对于该帧连续显示多个不同的深度平面。例如，视频数据的第一帧实际上可以包括三个分离的数据子帧：远场帧d0、中场帧d1和近场帧d2。d0、d1和d2可以连续显示。随后，可以显示视频数据的第二帧。视频数据的第二帧同样可以包括连续显示的远场帧、中场帧和近场帧等。虽然这个例子使用三个深度平面，但是光场图像并不受此限制。相反，根据例如期望的视频帧速率和系统的能力，可以使用任何复数个深度平面。
148.因为光场视频数据的每个帧包括用于不同深度平面的多个子帧，所以提供光场图像的系统可以受益于能够具有高刷新率的显示面板。例如，如果系统以120hz的帧速率显示视频，但包含来自多个不同的深度平面的图像，则显示器需要能够具有大于120hz的刷新率，以便适应用于视频的每帧的多个深度平面图像。在一些实施例中，使用硅基液晶(lcos)显示面板，但也可以使用其它类型的显示面板(包括颜色顺序显示器和非颜色顺序显示器)。
149.图9示出了用于显示光场图像的虚拟或增强现实系统的示例时序方案。在这个例子中，视频帧速率是120hz，光场图像包括三个深度平面。在一些实施例中，每个帧的绿色、红色和蓝色分量连续显示，而不是同时显示。
150.120hz的视频帧速率允许以8.333毫秒显示视频的单个帧的全部深度平面。如图9所示，视频数据的每个帧包括三个深度平面，每个深度平面包括绿色、红色和蓝色分量。例如，深度平面d0包括绿色子帧g0、红色子帧r0和蓝色子帧b0。类似地，深度平面d1分别包括绿色、红色和蓝色子帧g1、r1和b1，并且深度平面d2分别包括绿色、红色和蓝色子帧g2、r2和b2。假定每个视频帧包括三个深度平面，并且每个深度平面具有三个颜色分量，则将分配的8.333毫秒分成九段，每段0.926毫秒。如图9所示，在第一时间段期间显示第一深度平面的绿色子帧g0，在第二时间段期间显示第一深度平面的红色子帧r0，以此类推。对于视频的每帧的总绿色开启时间为2.778毫秒。对于每个视频帧的总红色开启时间和总蓝色开启时间也是如此。然而，应该理解的是，也可以使用其它视频帧速率，在这种情况下，可以相应地调整图9中所示的特定时间间隔。尽管各个颜色分量被示出为具有相同的显示时间，但是这不是必需的，并且颜色分量之间的显示时间的比率可以变化。此外，图9所示的深度平面和颜
色分量子帧的闪烁顺序仅仅是一个示例。其它闪烁顺序也可以使用。而且，虽然图9示出了使用颜色顺序显示技术的实施例，但是在此描述的技术不限于颜色顺序显示。
151.其它显示时序方案也是可能的。例如，帧速率、深度平面的数量和颜色分量可以变化。在一些实施例中，如在此所述的虚拟或增强现实系统的帧速率是80hz并且存在三个深度平面。在一些实施例中，可以在不同的帧中显示不同的深度平面。例如，具有四个深度平面的光场视频可以以60hz的有效帧速率来显示，通过以120hz的帧速率显示每帧的两个深度平面(对于60hz的有效帧速率，深度平面d0和d1可以在第一个8.33毫秒内显示，深度平面d2和d3可以在接下来的8.33毫秒中显示，全深度信息在16.7毫秒内提供)。在一些实施例中，所示的深度平面的数量可以在显示器上在空间上变化。例如，可以在用户的视线中的显示器的子部分中显示更多数量的深度平面，并且可以在位于用户的周边视觉中的显示器的子部分中显示更少数量的深度平面。在这样的实施例中，可以使用眼睛跟踪器(例如，照相机和眼睛跟踪软件)来确定用户正在看显示器的哪个部分。
152.视频数据的控制数据
153.图10示出了包括附加控制数据的视频数据的帧的示例格式。如图10所示，视频数据的每个帧可以包括格式化为行和列的像素数据的阵列。在所示示例中，有1280列和960行的像素数据，其形成图像。图10还示出了可以将控制数据1010附加到视频数据的帧。在这个示例中，控制包1010可以被附加到视频数据的帧，例如作为额外的行。第一行(行000)包含控制信息，而行1-960包含实际图像。因此，在该实施例中，主机向显示控制器发送1280
×
961的分辨率。
154.显示控制器读取附加的控制信息并使用它，例如以配置发送到一个或多个显示面板(例如，左眼显示面板和右眼显示面板)的图像信息1020。在这个示例中，控制信息1010的行不被发送到显示面板。因此，当主机以1280
×
961的分辨率向显示控制器发送信息时，显示控制器从数据流中去除控制信息1010，并且仅以1280
×
960的分辨率向显示面板发送视频信息1020。图像数据可以以例如显示串行接口(dsi)格式被发送到显示面板(例如，lcos显示面板)。尽管图10示出了附加的控制信息1010包括附加在视频数据的每个帧的开始处的单个行，但是可以替代地附加其它量的控制信息。此外，控制信息1010不一定必须被附加在视频数据的每个帧的开始处，而是可以替代地在其它位置处被插入到视频数据中。然而，在帧的开始处的附加控制信息可以允许控制器在显示图像数据之前在渲染图像的帧的开始处更容易地作用于控制信息。
155.图11示出了包括控制数据的视频数据的帧的另一个示例格式。图11类似于图10，除了以下之外：插入控制信息1110代替第一行视频数据而不是附加到第一行之前的视频数据的帧。因此，帧的第一行(行000)包含控制信息，而剩余的959行包含实际图像数据1120。
156.在这个示例中，主机以1280
×
960的分辨率向显示控制器发送信息。显示控制器可以使用控制数据1110来配置发送到显示面板的图像信息。显示控制器然后向显示面板发送图11所示的视频数据的帧。然而，在一些实施例中，在向显示面板发送图11所示的视频数据的帧之前，显示控制器可以通过例如将该行视频数据设置为零来去除控制信息1110。这导致视频数据的每个帧的第一行在显示器上显示为黑线。
157.使用图11所示的方案，控制信息1110可以与视频数据的帧一起被包括，而不改变发送到显示控制器的信息的分辨率。然而，在这个示例中的折衷是由于一些图像数据被控
制数据代替的事实，有效显示分辨率降低。尽管图11示出了插入控制数据1110代替第一行图像数据，但是替代地，可以插入控制数据代替帧中的另一行。
158.在例如图10和11(以及随后的图12)中示出的控制数据可以用于许多不同的目的。例如，控制数据可以指示应该在左眼视频面板还是右眼视频面板上显示视频数据的帧。控制数据可以指示视频数据的帧对应于多个深度平面中的哪一个。控制数据可以指示光场视频数据的闪烁顺序。例如，控制数据可以指示显示每个深度平面的顺序，以及显示每个深度平面的颜色分量子帧的顺序。此外，在主机已经产生用于显示的内容之后，可能需要将像素向左/右或上/下移位。控制数据可以包括指定应由显示控制器执行的像素移位的方向和幅度的像素移位信息，而不是调整和重新渲染图像数据。
159.这样的像素移位可以由于许多原因而被执行。在由于例如用户的头部移动而图像内容需要在显示器上移动的情况下，可以执行像素移位。在这种情况下，内容可以是相同的，但是其在显示器上的观看区域内的位置可能需要被移位。不是在gpu上重新渲染图像内容并再次将整个像素组发送到显示控制器，而是可以使用像素移位控制信息将像素移位应用于图像数据。如图10和11所示，像素移位控制信息可被包括在帧的开始处。可替换和/或另外地，延迟更新控制数据包可以在帧内(例如，在第一行之后)被发送以基于更新的头部姿势中间帧来执行适当的像素移位。这可以通过使用例如移动产业处理器接口(mipi)显示器串行接口(dsi)虚拟通道来完成。
160.也可以在用户正在移动他或她的头部并且想要更精确地表示像素的情况下执行像素移位。不是gpu重新渲染图像，而是可以使用像素移位方法来应用在显示器上延迟移位。在此描述的任何像素移位可以影响单个深度平面或多个深度平面。如在此已经讨论的，在一些实施例中，在显示各种深度平面之间存在时间上的差异。在这些时间差期间，用户可能会移动他或她的眼睛，以使得观看视锥(frustum)可能需要移位。这可以使用任何深度平面的像素移位来实现。
161.像素移位控制信息可以指示单个深度平面的帧内的x-y方向上的像素移位。可选地和/或另外地，像素移位控制信息可以指示深度平面缓冲器之间的z方向上的移位。例如，之前在一个或多个深度平面中显示的对象可以移动到以z像素移位设置的另一个深度平面。这种类型的移位还可以包括缩放器(scaler)来放大或缩小每个深度的局部图像。例如，假定显示的特征在两个深度平面之间浮动，并且不存在该特征与另一个对象的遮挡。通过使用z像素移位和缩放器向前或向后一个或多个深度平面重新绘制特征，可以实现特征在深度方向上的明显移动。这可以在不重新渲染特征并向显示控制器发送帧更新的情况下实现，以更低的计算成本产生更平滑的运动性能。
162.缩放器还可以用于补偿由于例如透镜192、194、196、198而在显示器内发生的放大效应。这样的透镜可以产生用户可观察的虚拟图像。当虚拟对象从一个深度平面移动到另一个深度平面时，虚拟图像的光学放大实际上将与物理世界中预期的相反。例如，在物理世界中，当对象位于离观察者更远的深度平面处时，对象看起来比如果位于更近的深度平面更小。然而，当虚拟对象从更近的深度平面移动到显示器中的更远的深度平面时，透镜实际上可以放大对象的虚拟图像。因此，在一些实施例中，使用缩放器来补偿显示器中的光学放大效应。可以为每个深度平面提供缩放器，以校正由光学器件引起的放大效应。另外，如果在每种颜色的基础上存在任何缩放问题，则可以为每种颜色提供缩放器。
163.在一些实施例中，最大水平像素移位可以对应于整个面板宽度，而最大垂直像素移位可以对应于整个面板高度。控制数据可以指示正移位和负移位二者。使用该像素移位信息，显示控制器可以在深度平面之间向左或向右、向上或向下以及向前或向后移位视频数据的帧。像素移位信息也可以使得视频数据的帧完全或部分地从左眼显示面板移位到右眼显示面板，反之亦然。可以为光场视频数据中的每个深度平面包括像素移位信息。
164.在一些实施例中，例如使用基于扫描的显示器的那些实施例中，可以提供增量分布的像素移位。例如，视频帧的图像可以在一个或多个深度平面中增量地移位，直到到达图像的结尾(例如，底部)。在帧内首先显示的像素可以比稍后显示的像素更多或更少地移位，以便补偿头部移动或模拟对象的运动。此外，基于每个平面可以存在增量像素移位。例如，一个深度平面中的像素可以比另一个深度平面中的像素更多或更少地移位。在一些实施例中，使用眼睛跟踪技术来确定用户正在固定注视显示屏的哪个部分。不同深度平面中的对象或者甚至在单个深度平面内的不同位置处的对象可以根据用户正在观看的位置而被像素移位(或不移位)。如果存在用户没有注视的对象，那么可以忽略这些对象的像素移位信息，以便改善用户正在注视的图像中的像素移位的性能。再次，可以使用眼睛跟踪器来确定用户正在看显示器上的哪里。
165.控制信息也可用于指定和/或调节一个或多个虚拟深度平面。通过以适当的权重混合两个深度平面图像以保持图像的期望亮度，可以在虚拟或增强现实系统中的两个设定的深度平面之间的期望间隔处提供虚拟深度平面。例如，如果期望虚拟深度平面在深度平面d0和深度平面d1之间，则混合单元可以将d0图像数据的像素值加权50％，同时还将d1图像数据的像素值加权50％。(只要权重总和为100％，则可以保持图像的视亮度)。结果将是似乎位于d0和d1之间的中间的虚拟深度平面。虚拟深度平面的视深度可以通过使用不同的混合权重来控制。例如，如果期望虚拟深度平面看起来比d0更接近d1，则可以对d1图像加权得更重。可以使用一个或多个缩放器来确保虚拟对象在正在被混合的两个深度平面中基本上相同的尺寸，以使得在混合操作期间虚拟对象的相同部分被组合。控制数据可以指定何时计算虚拟深度平面图像，并且控制信息还可以包括用于虚拟深度平面的混合权重。在各种实施例中，权重可被存储在可编程查找表(lut)中。控制信息可用于从lut中选择适当的权重，以提供期望的虚拟深度平面。
166.控制信息还可以指示两个立体显示器中的一个立体显示器的图像帧是否应该被复制到另一个中。例如，在最远的模拟深度平面(例如，背景图像)的情况下，右眼图像与左眼图像之间存在相对较小的差异(例如，由于视差移位)。在这种情况下，控制信息可以指示立体显示器中的一个立体显示器的图像被复制到另一个显示器用于一个或多个深度平面。这可以实现，而不在gpu上为右眼和左眼显示器重新渲染图像数据或将数据重新传输到显示控制器。如果右眼图像和左眼图像之间存在相对较小的差异，则像素移位也可以用于补偿，而不为两只眼睛重新渲染或重新传输图像数据。
167.图10和图11中所示的控制数据也可以用于除了在此具体列举的那些之外的其它目的。
168.尽管图10和图11示出了控制数据行可以与视频数据包含在一起，但是控制数据也可以(或可选地)嵌入到视频数据的各个像素中。这在图12中示出，其示出了包括嵌入的控制数据1240的视频数据的像素1200的示例格式。图12示出了视频数据的像素包括蓝色值
1230(字节0)、绿色值1220(字节1)和红色值1210(字节2)。在该实施例中，每个颜色值具有8位的颜色深度。在一些实施例中，与颜色值中的一个或多个颜色值相对应的一个或多个位可以由控制数据1240代替，以颜色值的位深度为代价。因此，控制数据可以直接嵌入到视频数据的像素中，以像素的颜色值的动态范围为代价。例如，如图12所示，蓝色值的突出显示的两个最低有效位可以专用作控制数据1240。尽管未示出，但其它颜色值的位也可以专用作控制数据。而且，不同数量的像素位可以专用作控制数据。
169.在一些实施例中，嵌入在视频数据的像素中的控制数据1240可以是深度平面指示符数据(尽管嵌入像素中的控制数据也可以是任何其它类型的控制数据，包括在此所述的其它类型)。如在此所讨论的，光场视频数据可以包括多个深度平面。视频帧中一个或多个像素的位深度可以减小，并且所得到的可用位可以用于指示像素对应的深度平面。
170.作为一个具体的示例，考虑图12所示的24位rgb像素数据。红色、绿色和蓝色颜色值的每一个具有8位的位深度。如已经讨论的，可以牺牲一个或多个颜色分量的位深度并用深度平面指示符数据代替。例如，由于眼睛对蓝色不太敏感，所以蓝色分量可以由六位(图12中的位b3-b8)代替八位来表示。所得到的额外两位(位b1和b2)可用于指定该像素对应的最多四个深度平面中的哪一个。如果有更多或更少的深度平面，则可以牺牲更多或更少数量的颜色位。例如，如果位深度减少一位，则可以指定最多两个深度平面。如果位深度减少三位，则可以指定最多八个深度平面等。以这种方式，可以对颜色值的动态范围进行折衷，以便将深度平面指示符数据直接编码到图像数据本身内。
171.在一些实施例中，深度平面指示符数据1240被编码在视频数据的每个像素中。在其它实施例中，深度平面指示符数据1240可以被编码在每帧一个像素中，或者每行一个像素中，每个虚拟或增强现实对象一个像素中等。另外，深度平面指示符数据1240可以被编码在仅单个颜色分量中，或多个颜色分量中。类似地，直接在图像数据内编码深度平面指示符数据1240的技术不仅限于颜色图像。该技术可以以相同的方式用于灰度图像等等。
172.图12示出了用于编码图像数据中的深度平面指示符数据的一种技术。另一种技术是采用色度子采样并使用得到的可用位作为深度平面指示符数据。例如，图像数据可以用ycbcr格式表示，其中y表示亮度分量(其可以或者可以不是伽马校正)，cb表示蓝色差异色度分量，cr表示红色差异色度分量。由于眼睛对色度分辨率比亮度分辨率不太敏感，所以可以以比亮度信息更低的分辨率提供色度信息，而不会不适当地降低图像质量。在一些实施例中，使用ycbcr 4:2:2格式，其中为每个像素提供y值，但是仅以交替方式为每隔一个像素提供cb和cr值的每个。如果像素(在没有色度子采样的情况下)通常由24位信息(8位y值、8位cb值和8位cr值)组成，那么在采用色度子采样之后，每个像素将只需要16位信息(8位y值和8位cb或cr值)。剩余的8位可以用作深度平面指示符数据。深度平面指示符数据可用于将像素分离成适当的深度平面以在适当的时间显示。
173.在图12所示的实施例和色度子采样实施例中，深度平面指示符数据可以指定由虚拟或增强现实系统支持的实际深度平面和/或如本文所讨论的虚拟深度平面。如果深度平面指示符数据指定虚拟深度平面，则其也可以指定要被混合的深度平面的权重，如在此所讨论的。
174.嵌入的深度平面指示符数据在显示控制器中的使用如图14所示。但首先，图13以背景的方式提供，以示出仅呈现单个深度平面时显示控制器的操作。图13示出了如何将视
频的帧分离成可串行显示的颜色分量。图13的左侧面板1310示出了包括每秒视频120帧的一帧的图像。如图13的右侧面板1330所示，图像被分离成红色、绿色和蓝色分量，它们在1/120秒(8.33ms)的过程中通过显示控制器在显示器上闪烁。为简单起见，图13示出每个颜色分量都会闪烁一次，并且每个颜色分量在相同的时间量都是活动(active)的。然后，人类视觉系统将各个颜色分量子帧融合成图13的左侧面板中所示的原始颜色图像。图14示出了当视频数据的每帧包括多个深度平面时如何适应该过程。
175.图14示出了如何使用深度平面指示符数据将光场视频数据的帧分离成多个深度平面，每个深度平面可以被分成用于显示的颜色分量子帧。在一些实施例中，主机将光场视频数据流发送到显示控制器。该视频数据流由图14的左侧面板1410中的图像表示。显示控制器可以使用嵌入的深度平面指示符数据1240将视频数据流分离成多个rxgxbx序列，其中r0g0b0序列对应于第一深度平面，r1g1b1序列对应于第二深度平面，以及r2g2b2序列对应于第三深度平面。如图13所示，该深度平面分离可以基于每个像素中的两个最低有效蓝色位来执行。结果显示在图14的中间面板1420中，该图示出了三个分离的深度平面图像。最后，图14的中间面板1420中所示的三个分离的深度平面图像中的每一个可以被分离为它的成分颜色分量子帧。如图14的右侧面板1430所示，每个深度平面的颜色分量子帧然后可以顺序地闪烁到显示器。例如，序列顺序可以是如图14中所示的r0g0b0r1g1b1r2g2b2，或者如图9所示的g0r0b0g1r1b1g2r2b2。
176.深度平面指示符数据1240可以被显示控制器使用来确定要使用的rxgxbx序列的数量以及哪个像素对应于哪个序列。也可以提供控制数据以指定闪烁到显示器的rxgxbx颜色序列的顺序。例如，在包括三个深度平面(d0、d1、d2)的视频数据的情况下，有六个可能的顺序，其中各个rxgxbx序列可以闪烁到显示面板：d0、d1、d2；d0、d2、d1；d1、d0、d2；d1、d2、d0；d2、d0、d1；以及d2、d1、d0。如果由控制数据指定的顺序是d0、d1、d2，则具有与第一深度平面d0对应的蓝色lsb位0b00的像素可以被选择作为第一rxgxbx颜色序列图像输出。具有与第二深度平面d1对应的蓝色lsb位0b01的像素可以被选择作为第二rxgxbx颜色序列图像输出，等等。
177.图15示出了其中图12的深度平面指示符数据指示光场视频数据的帧的一个或多个深度平面是不活动的示例。图15与图14类似之处在于其示出了视频数据流(由图15的左侧面板1510表示)被分离成深度平面(由图15的中间面板1520表示)，其然后分别分离成颜色分量子帧(由图15的右侧面板1530表示)。然而，图15与图14不同之处在于，只有单个深度平面示出为活动的。
178.如已经讨论的那样，图12中的深度平面指示符数据1240包括每个像素中的蓝色值的两个最低有效位。这两位可以指定最多四个深度平面。然而，光场视频数据可以包括少于四个深度平面。例如，在前面的示例中，光场视频数据仅包括三个深度平面。在视频数据包括少于可指定深度平面的最大数量的这种情况下，深度平面指示符数据可以指定一个或多个深度平面是不活动。例如，继续前面的示例，如果像素中的两个蓝色lsb位被设置为0b11，则该像素可以被分配给不活动的第四深度平面d3。如图15所示，在输出序列中仅激活三个rxgxbx颜色序列中的一个；不活动的深度平面示出为黑色框架。如前所述，可以提供控制数据来指定显示深度平面的顺序。如图15的中间面板1520所示，在所示的示例中，控制数据已经指定了不活动深度平面d3在该序列中首先和最后显示。因此，只有序列中的中间帧包括
闪烁到显示器的实际图像数据。(也可以使用其它序列。例如，活动深度平面可以在序列中首先排序或最后排序，或者可以在序列中多次重复)。当显示控制器看到像素被分配给不活动的深度平面，则显示控制器可以简单地忽略该像素并且不将其闪烁到显示器。例如，当控制数据指示深度平面是不活动的时，可以减少(例如，关闭)向特定深度平面的显示器提供光的光源的功率，从而降低功耗。这可以节省显示驱动器的开关功率。因此，可以通过将视频数据的一个或多个深度平面指定为不活动来实现功率节省模式。类似地，在一些实施例中，控制数据可指示一个或多个颜色场在深度平面内不活动，而深度平面中的一个或多个其它颜色场是活动的。基于这个控制数据，显示控制器可以控制显示器忽略不活动的一个颜色场或多个颜色场，并且显示来自一个或多个活动颜色场而没有不活动颜色场的图像。例如，当控制数据指示颜色场是不活动的时，可以减少(例如，关闭)向特定颜色场的显示器提供光的光源的功率，从而降低功耗。因此，为显示器提供照明的光源(诸如发光二极管(led)、激光器等)对于不活动的深度平面和/或不活动的颜色场而言可以被关闭或者减小其功率。
179.多深度平面图像压缩
180.在一些实施例中，图像压缩技术被应用在多个深度平面上，以便通过去除深度平面之间的信息的冗余来减少视频图像数据的量。例如，不是为每个深度平面发送图像数据的整个帧，而是可以依据相对于相邻深度平面的变化来表示一些或全部深度平面。(这也可以在相邻时刻的帧之间的时间基础上完成)。压缩技术可以是无损的或者它可以是有损的，以使得小于给定阈值的相邻深度平面帧之间或时间相邻帧之间的变化可以被忽略，这导致图像信息的减少。另外，压缩算法可以使用运动矢量在单个深度平面内(x-y运动)和/或在深度平面(z运动)之间编码物体的运动。如此处所讨论的，不是要求运动物体的图像数据随时间重复发送，而是可以用像素移位控制信息完全或部分地实现物体的运动。
181.动态可配置的显示绘图区域
182.在显示光场图像的系统中，由于对于每个视频帧包括相对较大量的信息(例如，多个深度平面、每个具有多个颜色分量)，实现高视频帧速率具有挑战性。然而，通过识别计算机生成的光场图像一次只能占用显示的部分，可以改善视频帧速率，特别是在增强现实模式下，如图16所示。
183.图16示出了增强现实系统中的计算机生成的图像的帧的示例绘图区域。图16与图1类似，除了它仅示出要在其中绘制增强现实图像的显示器的部分之外。在这种情况下，增强现实图像包括机器人雕像1110和蜜蜂角色2。增强现实模式中的显示器的其余区域可以简单地是用户周围的真实世界环境的视图。因此，可能不需要在显示器的这些区域绘制计算机生成的图像。通常情况下，计算机生成的图像一次只占据显示区域的相对较小的部分。通过动态地重新配置从帧到帧刷新的特定绘图区域以排除不需要显示计算机生成的图像的区域，可以改善视频帧速率。
184.计算机生成的增强现实图像可以被表示为多个像素，每个像素具有例如相关联的亮度和颜色。视频数据的帧可以包括这样像素的m
×
n阵列，其中m表示行的数量以及n表示列的数量。在一些实施例中，增强现实系统的显示器至少部分透明，以便除了显示计算机生成的图像之外还能够提供用户的真实世界环境的视图。如果计算机生成的图像中给定像素的亮度设置为零或相对较低的值，则观看者将在该像素位置处看到真实世界的环境。可选
地，如果给定像素的亮度设置为较高值，则观看者将在该像素位置处看到计算机生成的图像。对于任何给定的增强现实图像的帧，许多像素的亮度可能低于指定的阈值，以使得它们不需要在显示器上显示。不是对于这些低于阈值的像素的每一个像素来刷新显示器，而是显示器可以动态配置为不刷新这些像素。
185.在一些实施例中，增强现实系统包括用于控制显示的显示控制器。控制器可以动态配置显示器的绘图区域。例如，控制器可以动态地配置在任何给定刷新周期期间视频数据的帧中的哪些像素被刷新。在一些实施例中，控制器可以接收与视频的第一帧对应的计算机生成的图像数据。如在此所讨论的，计算机生成的图像可以包括若干深度平面。基于视频的第一帧的图像数据，控制器可以动态地确定对于每个深度平面刷新显示像素的哪个显示像素。例如，如果显示器利用扫描型显示技术，则控制器可以动态地调整扫描图案以跳过不需要刷新增强现实图像的区域(例如，没有增强现实图像的帧的区域或增强现实图像的亮度降至指定阈值以下)。
186.以这种方式，基于接收到的视频数据的每帧，控制器可以识别应当显示增强现实图像的显示器的子部分。每个这样的子部分可以包括显示器上的单个连续区域或多个非连续区域(如图16所示)。显示器的这些子部分可以针对光场图像数据中的每个深度平面来确定。然后显示控制器可以使显示器针对该特定视频帧仅刷新显示器的所识别的子部分。该过程可以针对视频的每帧执行。在一些实施例中，控制器动态调整将在视频数据的每帧的开始处刷新的显示器的区域。
187.如果控制器确定应该刷新的显示器的区域随着时间变得越来越小，则控制器可以增加视频帧速率，因为绘制增强现实数据的每一帧需要更少的时间。可选地，如果控制器确定应该刷新的显示器的区域随时间变得越来越大，则其可以降低视频帧速率以允许足够的时间绘制增强现实数据的每一帧。视频帧速率的变化可能与需要用图像填充的显示器的部分成反比。例如，如果只需要填充十分之一的显示器，则控制器可以将帧速率提高10倍。
188.这种视频帧速率调整可以在逐帧的基础上执行。可选地，可以以指定的时间间隔或者当要刷新的显示器的子部分的大小增加或减少特定量时执行这种视频帧速率调整。在某些情况下，取决于特定的显示技术，控制器还可以调整显示器上显示的增强现实图像的分辨率。例如，如果显示器上的增强现实图像的尺寸相对较小，则控制器可以使图像以增加的分辨率显示。相反，如果显示器上的增强现实图像的尺寸相对较大，则控制器可以使图像以降低的分辨率显示。
189.增强的头部姿势估计
190.如在此所讨论的，虚拟和增强现实系统可以包括身体安装式显示器，诸如头盔、眼镜、护目镜等。另外，虚拟增强现实系统可以包括诸如陀螺仪、加速度计等的传感器，其执行可用于估计和跟踪在三维空间中用户头部的位置、方向、速度和/或加速度的测量。传感器可以设置在用户戴在他或她头上的惯性测量单元中。以这种方式，可以估计用户的头部姿势。头部姿势估计可以用作允许用户与虚拟或增强现实场景交互的手段。例如，如果用户转动或倾斜他或她的头部，则可以以相应的方式(例如，场景的视场可以被移位或倾斜)来调整虚拟或增强现实场景。
191.图17示意性地示出了用户头部围绕两个旋转轴的可能运动。如图所示，用户可以围绕垂直轴和与页面垂直的水平轴旋转他或她的头部。虽然未示出，但用户也可以围绕位
于页面平面中的水平轴旋转他或她的头部。在一些实施例中，将用户的视线的方向定义为头部姿势方向可能是有用的。(尽管头部姿势的这种定义不一定会考虑头部的侧向倾斜，但头部姿势的其它定义可以)。图18示出了用户的头部姿势如何能够映射到三维表面1810上。图18包括指示用户的头部姿势的表面法线向量1820。三维表面上的每个可能的表面法向向量1820对应于不同的头部姿势。在图18中，当他或她直接向前看时，直接向上指向的表面法向向量将对应于用户的中立头部姿势。
192.基于来自头戴式惯性测量单元的传感器测量，可以使用各种算法来估计和跟踪用户的头部姿势。这些包括例如卡尔曼(kalman)滤波器和其它类似的算法。这些类型的算法通常产生基于随着时间而不是仅在任何单个时刻的传感器测量的估计。例如，kalman滤波器包括预测阶段，其中滤波器基于前一时刻的头部姿势估计来输出头部姿势的预测估计。接下来，在更新阶段期间，滤波器基于当前传感器测量来更新头部姿势估计。这样的算法可以提高头部姿势估计的准确性，这减少了响应于头部移动而适当地显示虚拟或增强现实图像的错误。精确的头部姿势估计还可以减少系统中的时延。
193.通常，kalman滤波器或类似算法针对用户的中立头部姿势附近的头部姿势(对应于图18中的垂直表面法向向量1820)产生最准确头部姿势估计。不幸的是，这种算法在头部姿势偏离中立头部姿势更远时可能无法正确估计头部姿势运动，因为它们没有考虑人体生理或用户头部相对于身体的运动所施加的运动限制。然而，为了减少这些弱点对头部姿势跟踪的影响，可以进行各种适应。
194.在一些实施例中，使用kalman滤波器或类似算法的头部姿势估计和跟踪可以通过使用可变增益因子来改善，可变增益因子根据生理上可能的头部姿势的包络内的当前头部姿势位置而不同。图18示出了对应于这种生理上可能的头部姿势的包络的三维表面1810。图18示出了用户的头部具有不超过约180
°
的任何方向的运动范围(例如，左右或上下)。生理包络内的当前头部姿势可以用于调整kalman滤波器估计的可变增益因子。在靠近包络中心的区域(即中立头部姿势)，可以设置增益因子以强调预测的头部姿势超过测量的头部姿势，因为由于该区域中的头部运动的较高线性度，kalman滤波器预测误差可能较低。这可以减少系统中的时延，而不会不当地影响头部姿势估计精度。当头部姿势接近生理头部运动包络边界时，则该算法可以使用设定的增益因子来减少过滤器对预测头部姿势的依赖或者强调测量头部姿势超过预测头部姿势以减少误差。
195.在一些实施例中，图18中所示的生理头部姿势包络线上的每个位置可对应于不同的增益。在其它实施例中，生理头部姿势包络可以被分成分离的区域，并且不同的增益值可以与每个不同的区域相关联。这在图19中示出。
196.图19示意性地示出了可用于定义增益因子以改善头部姿势跟踪的各种头部姿势区域。图19示出了对应于相对中立头部姿势的中心区域1910。它还包括对应于生理边界附近的头部姿势的外部区域1930以及中心区域和外部区域之间的中间区域1920。在一些实施例中，可以为每个头部姿势区域指定不同的一组增益因子。中心区域1910示出具有较高线性运动的区域，其将具有由kalman滤波器算法产生的较高准确度预测值。当头部姿势位于中心区域1910内时，可以设置kalman滤波器的增益因子以强调预测的头部姿势超过测量的头部姿势或者以其它方式减少对测量的头部姿势的依赖。当头部姿势离开中心区域并进入中间区域或外部区域(分别为1920、1930)时，如果不考虑该算法，运动会受到生理因素的更
多限制，这些生理因素将对kalman预测的头部姿势产生不利影响。因此，在这些区域(特别是外部区域1930)中，可以设置kalman滤波器增益值以减少滤波器对预测的头部姿势的依赖并增加其对测量的头部姿势的依赖。例如，如果已知头部的加速度将在靠近包络边界处停止，则强烈依赖将来的太远的预测头部姿势将是不准确的。虽然图19中示出了三个头部姿势区域，但是在其它实施例中可以使用不同数量的头部姿势区域。
197.在一些实施例中，还可以通过感测用户头部相对于用户身体的位置、方向、速度和/或加速度而不是以绝对意义感测头部的运动来改善头部姿势估计和跟踪。这可以通过提供由用户佩戴在他或她身上(例如，在躯干或腰部上)的附加惯性测量单元来完成。注意头部姿势是头部和身体运动的函数是很重要的。生理上可能的头部姿势的包络不固定在空间中；它随着例如身体旋转而移动。如果用户坐在椅子上移动他或她的头部同时保持身体不动，则生理包络将相对受到限制，以使得通过仅考虑头部运动可以实现相对良好的头部姿势估计。然而，当用户实际佩戴虚拟或增强现实头戴式显示器并四处移动时，则可能的头部姿势的生理包络随着身体移动而变化。
198.佩戴在身体上的第二惯性测量单元(例如，与用于虚拟或增强现实系统的电池组和/或处理器一起安装)可以帮助提供额外的信息以跟踪头部姿势的生理包络的运动。代替将包络固定在空间中，第二惯性测量单元可以允许相对于身体确定头部的移动。例如，如果身体向右旋转，则生理包络可以相应地向右旋转以更精确地确定生理包络内的头部姿势并且避免不适当地约束kalman滤波器的操作。
199.在一些实施例中，使用头戴式惯性测量单元确定的头部运动可以从使用身体安装式惯性测量单元确定的身体运动中减去。例如，可以从头部的绝对位置、方位、速度和/或加速度中减去身体的绝对位置、方位、速度和/或加速度，以估计头部相对于身体的位置、方位、速度和/或加速度。一旦头部相对于身体的方位或运动已知，则可以更准确地估计生理包络内的实际头部姿势位置。如本文所讨论的，这允许确定kalman滤波器增益因子以改善头部姿势的估计和跟踪。
200.增强的“图腾(totem)”位置估计
201.在一些虚拟或增强现实系统中，指定的有形对象可以用作“图腾”，其允许用户与虚拟对象或场景交互。例如，用户握在他或她手中的有形块可被系统识别为交互式装置，诸如计算机鼠标。该系统可以包括例如跟踪用户手中的有形块的移动并随后相应地调整虚拟指针(pointer)的照相机。使用计算机视觉来跟踪空间中的图腾的可能的缺点是图腾有时可能会在照相机的视场之外或者被遮挡。因此，提供用于以六个自由度在三维中稳健地跟踪图腾的位置和运动的系统将是有益的。
202.在一些实施例中，用于跟踪图腾的位置和运动的系统包括图腾中的一个或多个传感器。这些一个或多个传感器可以是加速度计和/或陀螺仪，其独立地确定空间中的图腾的位置和移动。这些数据可以发送到虚拟或增强现实系统。
203.可选地，图腾中的一个或多个传感器可以与发射器一起结合工作以确定图腾和空间的位置和移动。例如，发射器可以在空间中产生空间变化的电场和/或磁场，并且图腾可以包括在图腾的位置处重复测量场的一个或多个传感器，从而允许图腾的位置和运动要被确定。在一些实施例中，这样的发射器可以有利地并入虚拟或增强现实系统的头戴式显示器中。可选地，发射器可以并入身体安装式背包中。以这种方式，可以确定图腾分别相对于
用户的头部或身体的位置和/或运动。由于图腾的位置和/或运动可以相对于用户的头部或身体来确定，所以这可能比如果发射器仅位于固定位置处(例如，在附近的桌子上)更有用的信息。
204.基于环境照明的图像颜色的调整
205.在一些实施例中，在此描述的虚拟和增强现实系统包括用于检测环境照明的亮度和/或色调的一个或多个传感器(例如，照相机)。这样的传感器可以被包括在例如虚拟或增强现实系统的显示头盔中。然后可以使用感测到的关于环境照明的信息来调整虚拟对象的生成像素的亮度或色调。例如，如果环境照明具有淡黄色投射，则计算机生成的虚拟对象可以被改变为具有与房间中的真实对象更接近匹配的淡黄色调。这种像素调整可以在gpu渲染图像时进行。可替换地和/或另外地，可以在通过使用在此讨论的控制信息进行渲染之后进行这样的像素调整。
206.为了总结本公开，在此已经描述了本发明的某些方面、优点和特征。应当理解，根据本发明的任何特定实施例，不一定可以实现所有这些优点。因此，本发明可以以实现或优化在此所教导的一个优点或一组优点的方式来实施或执行，而不必实现在此可能教导或提出的其它优点。
207.已经结合附图描述了实施例。然而，应当理解的是，这些附图不是按比例绘制的。距离、角度等仅仅是说明性的，并不一定与所示装置的实际尺寸和布局有精确的关系。此外，前述实施例已经以详细程度进行了描述，以允许本领域的普通技术人员制造和使用在此所述的装置、系统、方法等。各种各样的变化是可能的。组件、元件和/或步骤可以被改变、添加、移除或重新排列。
208.在此描述的装置和方法可以有利地使用例如计算机软件、硬件、固件或者软件、硬件和固件的任意组合来至少部分地实现。软件模块可以包括存储在计算机存储器中的计算机可执行代码，用于执行在此描述的功能。在一些实施例中，计算机可执行代码由一个或多个通用计算机执行。然而，根据本公开，本领域技术人员将理解，可以使用将在通用计算机上执行的软件来实现的任何模块也可以使用硬件、软件或固件的不同组合来实现。例如，这种模块可以使用集成电路的组合完全以硬件实现。可选地或另外地，可以使用被设计为执行在此描述的特定功能的专用计算机而不是通用计算机完全或部分地实现这种模块。另外，在所描述的方法是或可能至少部分由计算机软件执行的情况下，应当理解，可以在非暂时性计算机可读介质上提供这样的方法(例如，诸如cd或dvd的光盘、硬盘驱动器、闪存、软盘等)，当其被计算机或其它处理设备读取时，使其执行该方法。
209.虽然已经明确描述了某些实施例，但是基于本公开，其它实施例对于本领域的普通技术人员将变得显而易见。