检测眼睛跟踪校准误差的制作方法

检测眼睛跟踪校准误差


背景技术：

1.在一些类型的沉浸式计算的情况下，个体佩戴头戴式显示器（“hmd”），以便具有增强现实（“ar”）和/或虚拟现实（“vr”）体验。在沉浸式计算的情况下通常采用的一个特征是眼睛跟踪。眼睛跟踪使得能够实现诸如对vr场景中呈现的虚拟对象的用户选择、注视点渲染等之类的特征。然而，不太可能每次一个人佩戴hmd，hmd均以与先前会话相同的方式放置在该人的头部上。附加地，不同的用户具有不同的头部形状和大小，可能佩戴相同的hmd。因此，在眼睛跟踪的情况下可能出现误差，例如，使得一只眼睛的中央凹的感知目标从另一只眼睛的中央凹的感知目标偏移。
附图说明
2.本公开的特征通过示例的方式图示，并且不限于（一个或多个）以下附图，其中类似的数字指示类似的元件。
3.图1描绘了其中可以实现本公开所选择的方面的示例环境。
4.图2a
‑
d展示了可以如何使用所公开的技术来检测眼睛跟踪校准误差的示例。
5.图3展示了可以如何使用眼睛姿态来确定呈现给佩戴hmd的用户的图像上的目标的示例。
6.图4描绘了用于实践本公开所选择的方面的示例方法。
7.图5示出了根据本公开的示例的计算设备的示意性表示。
具体实施方式
8.为了简单性和说明性的目的，通过主要参考本公开的示例来描述本公开。在以下描述中，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，将容易显而易见的是，本公开可以在不限于这些具体细节的情况下实践。在其它实例中，没有详细描述一些方法和结构，以免不必要地模糊本公开。如本文中所使用的，术语“一”和“一个”意图标示特定元素中的至少一个，术语“包括”意味着包括但不限于，术语“包含”意味着包含但不限于，并且术语“基于”意味着至少部分地基于。
9.附加地，应当理解，随附的附图中描绘的元件可以包括附加组件，并且在不脱离本文中所公开的元件的范围的情况下，可以移除和/或修改那些附图中描述的一些组件。还应当理解，附图中描绘的元件可能不是按比例绘制的，并且因此，元件可以具有除了如附图中所示出的大小和/或配置之外的不同大小和/或配置。
10.现在参考图1，被配置有本公开所选择的方面的示例头戴式显示器（“hmd”）100被示意性地描绘为它可以由个体102佩戴，在本上下文中，所述个体102也可以被称为“用户”。在图1中，hmd 100包括第一外壳104和第二外壳106。然而，在其它示例中，可以提供其它外壳配置。除了其它事物之外，第一外壳104尤其包围个体102的眼睛108，所述眼睛108在这种情况下是个体的右眼。尽管由于视角而在图1中不可见，但是在许多示例中，第一外壳104也可以包围个体102的另一只眼睛，该另一只眼睛在这种情况下将是个体的左眼。
11.第二外壳106可以包括hmd 100的至少一些电子器件，所述电子器件可操作来向个体102提供沉浸式计算体验。例如，在图1中，第二外壳106包括至少一个显示器110，在许多情况下，其可以包括两个显示器，对于个体102的每只眼睛108有一个，它们共同以立体方式呈现内容。在显示器110上呈现虚拟内容时，hmd 100向个体102提供基于vr的沉浸式计算体验，其中个体102可以例如使用他或她的注视与虚拟对象交互。在一些这样的示例中，第一外壳104可以例如使用橡胶、合成橡胶、硅树脂或其它相似材料的“裙边”来完全包围个体102的眼睛，以便防止外部光干扰个体的vr体验。
12.在示例中，hmd 100可以向个体102提供增强现实体验。例如，显示器110可以是透明的，使得个体102可以看到显示器110之外的物理世界。同时，显示器110可以用于呈现虚拟内容，诸如由hmd 100的外部相机（未描绘）感测的真实世界对象的视觉注释。在一些这样的示例中，hmd 100可以采取具有相对紧凑和/或轻形状因数的一副“智能眼镜”的形式。在一些这样的示例中，图1的各种组件可以被省略、不同地定大小和/或不同地布置，以适应智能眼镜的相对小和/或轻的形状因数。
13.在一些示例（包括图1的示例）中，第二外壳106包括相对于第二外壳106成角度的镜112。镜112倾斜，使得视觉传感器114的视场（“fov”）能够捕获个体102的眼睛108。也例如在第一外壳104中提供光源116a和116b，并且可能可操作以发射光，所述光从眼睛108反射到镜112，所述镜112朝向视觉传感器114将光重定向。
14.视觉传感器114可以采取各种形式。在一些示例中，视觉传感器114可以是红外（“ir”）相机，其检测400 nm到1 mm之间（或者就频率而言，从近似430 thz到300 ghz）的电磁辐射。在一些这样的示例中，光源116可以采用ir发光二极管（“led”）的形式。附加地，镜112可以被特别设计成允许非ir光穿过，使得在显示器110上呈现的内容对于眼睛108是可见的，同时ir光朝向视觉传感器114被反射。例如，镜112可以采取电介质镜（例如，布拉格镜）的形式。附加地或替代地，镜112可以涂覆有诸如银或金之类的各种材料以促进ir反射。在其它示例中，视觉传感器114（和光源116a/b）可以在诸如可见光谱之类的其它光谱中操作，在所述情况下，视觉传感器114可以是rgb相机。
15.在又其它示例中，视觉传感器114可以检测例如由衍射光学元件跨眼睛108扫描的光束，诸如激光。在一些这样的示例中，镜112可以不一定存在，并且视觉传感器114可以位于例如第一外壳104中，以提供从眼睛108反射的光的直接视图。
16.在一些示例中，可以例如在第一外壳104和第二外壳106之间的接口处提供各种光学器件120。光学器件120可以用于各种目的，并且因此可以采取各种形式。在一些示例中，显示器110可以相对小，并且光学器件120可以用于放大显示器110，例如作为放大透镜。附加地或替代地，在一些示例中，120光学器件可以采取菲涅尔透镜的形式，其可以比传统的放大透镜更轻、更紧凑和/或最具成本效益。使用菲涅尔透镜可以使得第一外壳104和/或第二外壳106能够被制造成更小的形状因数。
17.hmd 100可以以各种方式促进眼睛跟踪。在一些示例中，光源116a
‑
b可以将光发射到第一外壳104中。该发射的光可以从眼睛108在各种方向上、包括朝向镜112反射。如先前解释的，镜112可以被设计成允许光源116a
‑
b光谱之外发射的光穿过，并且可以将光源116a
‑
b光谱内发射的光朝向视觉传感器114反射。视觉传感器114可以捕获视觉数据，该视觉数据然后被提供给与hmd 100集成或远离hmd 100的逻辑122。
18.逻辑122可以执行用于确定眼睛108的各种方面、诸如其姿态（或取向）、扩张等的各种技术。例如，可以使用诸如眼睛定位和/或眼睛注视方向估计、模式匹配等之类的技术来确定眼睛108的姿态。在一些示例中，眼睛跟踪可以基于例如由光源116a
‑
b创建的角膜反射点，所述光源116 a
‑
b可以生成浦肯野图像，然后可以对所述浦肯野图像进行处理以估计用户的注视方向。可以采用的其它眼睛跟踪技术包括但不限于基于形状的方法、暗瞳孔和亮瞳孔效果、眼睛模型等。在一些示例中，可以部署小的衍射光学元件，其跨眼睛108引导诸如激光之类的光束。反射光信号可以例如由逻辑122测量和/或分析，以确定眼睛姿态、位置等。
19.逻辑122可以采取各种形式。在一些示例中，逻辑122可以与hmd 100集成，并且可以采取执行存储在存储器（未描绘）中的指令的处理器（或多个处理器）的形式。例如，逻辑122可以包括中央处理单元（“cpu”）和/或图形处理单元（“gpu”）。附加地或替代地，当与hmd 100集成时，逻辑122可以包括专用集成电路（“asic”）、现场可编程门阵列（“fpga”）和/或可操作来施行逻辑操作的其它类型的电路。以这种方式，逻辑122可以是电路或者电路和可执行指令的组合。
20.在其它示例中，逻辑122可以不与hmd 100集成。在一些示例中，逻辑122可以与由个体102操作的另一设备（诸如智能电话、智能手表、膝上型计算机、台式计算机、机顶盒等）集成。例如，逻辑122可以包括由个体102携带的智能电话的处理器。个体102可以使用各种有线或无线技术将智能电话与hmd 100可操作地耦合，所述有线或无线技术诸如通用串行总线（“usb”）、采用诸如电气和电子工程师协会（“ieee”）802.11标准的技术的无线局域网（“lan”）、个人区域网、网状网络、高清多媒体接口（“hdmi”）等。一旦可操作地耦合，个体102就可以佩戴hmd 100，所述hmd 100可以在hmd 100的显示器110上呈现由智能电话生成的内容。例如，个体102可以在智能电话上安装有vr能力的游戏，将智能电话与hmd 100可操作地耦合，并通过hmd 100玩有vr能力的游戏。
21.基于从视觉传感器114生成的视觉信息确定的眼睛108的方面（诸如眼睛108的姿态），逻辑122可以确定显示器110上眼睛108的中央凹被引导的点或目标，即呈现内容个体102的哪个部分最聚焦。可以使用各种技术来标识该点；关于图3描述了一个非限制性示例。
22.显示器110上的该点或目标可以被用于例如在显示器110上呈现光标或其它选择工具，例如使得个体102可以转圈移动他的眼睛来与显示器110的各种部分上呈现的内容交互。例如，为了选择在显示器110上呈现的特定对象，个体102可以看着该对象，并且然后施行某个其它动作，诸如眨眼、按下按钮等，以便与呈现的对象进行交互。
23.如先前指出的，hmd 100可能不是每一次均相同地安装在个体102的头部上。此外，在使用期间，hmd 100可以在个体102的头部周围移位。并且在许多情况下，不同的个体可以佩戴hmd 100，并且每个个体的眼睛、面部和/或头部可以具有不同的形状和/或大小。即使为不同用户设置了特定的眼睛跟踪校准简档，也不保证相同的用户将与最初为他们校准hmd 100时他们佩戴hmd 100确切相同的方式佩戴hmd 100。因此，一只眼睛的检测到的目标（例如，中央凹视觉中心）可能与另一只眼睛的检测到的目标不匹配，并且可能不清楚用户出于检测与呈现对象的用户交互的目的而聚焦于什么。
24.本文中所描述的技术促进眼睛跟踪校准误差的检测。在一些示例中，用户可以被告知这些误差并采取补救动作，诸如施行手动重新校准。在一些示例中，本文中所描述的技
术可以用于生成眼睛跟踪校准误差的定量测量，例如，使得所述定量测量可以被传送给用户。然后，用户可以决定是否批准重新校准。在其它示例中，使用本文中所描述的技术检测到的校准误差可以用于自动重新校准hmd 100的各种方面。
25.图2a
‑
d展示了可以如何检测眼睛跟踪校准误差的一个示例。图2a描绘了左眼图像228
l
，因为它可能在hmd 100中的左眼显示器（110）上被呈现。图2b描绘了右眼图像228
r
，因为它可能同时在hmd 100中的右眼显示器（110）上呈现，例如，使得用户接收所呈现内容的立体视图。在图2a中，采用眼睛跟踪技术来确定左眼图像228
l
的一部分230
l
按照推测是用户左眼的焦点。特别地，以x形状的目标232
l
标记特定位置，例如，使用先前描述的眼睛跟踪技术来确定用户的左眼按照推测被引导到该特定位置。例如，通过从目标232
l
的中心向外扩张某个预确定距离/像素计数，可以从目标232
l
的位置提取左眼图像228
l
的部分230
l
。
26.一旦提取了左眼图像228
l
的部分230
l
，它就可以与右眼图像228
r
的匹配部分230
r
匹配。例如，可以检测到在右眼图像228
r
的部分230
l
和匹配部分230
r
之间的像素对应性。可以采用各种技术来施行该匹配。例如，左眼图像228
l
的部分230
l
可以用作模板，以便对右眼图像228
r
施行模板匹配。在一些示例中，右眼图像228
r
的搜索空间可以由于左眼图像228
l
和右眼图像228
r
在许多情况下沿着水平轴完美对齐的事实而减小。
27.附加地或替代地，在一些示例中，可以采用诸如光流处理之类的技术来将左眼图像228
l
的部分230
l
与右眼图像228
r
的匹配部分230
r
匹配。光流处理可以促进跨多个显示器的数据的帧间匹配。例如，左眼图像的部分230
l
可以与右眼图像228
r
的对应部分230
r
匹配，该对应部分230
r
在从中提取部分230
l
的左眼图像228
l
之后的某个时间呈现，例如作为后续帧。
28.无论采用哪种技术来确定匹配，这样的匹配的示例在图2b中描绘，其中发现右眼图像228
r
的匹配部分230
r
的内容/像素与左眼图像228
l
的部分230
l
的内容/像素匹配。然而，在图2b中，以x形状的另一个目标232
r
标记了特定位置，例如，使用先前描述的眼睛跟踪技术确定用户的右眼按照推测被引导到该特定位置处。值得注意的是，目标232
r
从部分230
r
的中心点偏移x个水平单位（例如，像素）和y个垂直单位。如果单独从目标232
r
的位置来确定用户的右中央凹的焦点，则那么可以提取右眼图像的不同部分230
r*
。如图2c中可以看到的，左眼图像228
l
的部分230
l
和右眼图像228
r
的不同部分230
r*
不匹配。
29.因此，目标232
r
和第二眼睛图像228
r
的匹配部分230
r
之间的偏移可以用于确定眼睛跟踪校准误差。例如，该偏移可以表达为单个值、诸如从x和y偏移计算的向量，或者表达为组合的多个值、诸如x和y偏移。校准误差可以以各种单位来表达，所述单位诸如像素、英寸、厘米、毫米或在vr和/或ar沉浸式计算上下文中有意义的某个其它单位。
30.在一些示例中，可以在hmd 100的显示器110上生成输出，该输出通知用户校准误差。用户是否采取补救动作可能是他们的特权，所述动作诸如重新校准、在其头部上对hmd 100进行重新取向等。在一些示例中，如果校准误差超过某个阈值，则可以显示校准误差（或者根据具体情况可听地呈现），并且因此有可能使用户的体验降级。如果校正了校准误差或者不存在校准误差，则那么左眼图像228
l
的部分230
l
可以与右眼图像228
r
的不同部分230
r*
匹配，如图2d中所描绘的。
31.虽然在图2a
‑
d的示例中，左眼图像228
l
的部分230
l
与右眼图像228
r
的部分230
r
匹配，但是这并不意味着是限制性的。在各种示例中，这可以反转过来。例如，右眼图像228
r
的
部分230
r
可以同样容易地与左眼图像228
l
的部分230
l
匹配。使用本文中所描述的技术将图像的部分与其它图像进行匹配可以使用比用于眼睛跟踪校准的其它技术更少的计算资源，这通常需要作为虚拟世界的一部分在显示器110上呈现的（一个或多个）虚拟对象的知识。
32.图3展示了可以如何至少在二维中标识显示器110上的位置的一个非限制性示例。在图3中，为了清楚起见，已经省略了hmd 100的许多组件。在该示例中，眼睛跟踪技术确定眼睛108具有沿着线a跟踪到光学器件120（在该示例中，透镜）的上半部中的点的注视。该线a与从眼睛108到光学器件120的水平线b成角度β，所述水平线b表示良视距（eye relief）。假设b的长度是已知的，并且假设光学器件120采取完美的正会聚透镜的形式，可能的是例如使用（一个或多个）三角方程来计算沿着眼睛108聚焦的轴c的位置α，诸如方程：可以采用相似的技术来确定眼睛108在显示器110上的水平位置。一般来说，对于任何透镜，通过透镜的折射角可以根据经验或使用已知的透镜方程来确定。
33.图4图示了用于实践本公开所选择的方面的示例方法400的流程图。图4的操作可以由处理器施行，所述处理器诸如本文中所描述的各种计算设备/系统的处理器，包括逻辑122。为了方便起见，方法400的操作将被描述为由配置有本公开所选择的方面的系统来施行。其它实施方式可以包括除图4中所图示的操作之外的附加操作，可以以不同的次序和/或并行施行图4的（一个或多个）操作，和/或可以省略图4的各种操作。
34.在框402处，该系统可以使用先前提到的各种眼睛跟踪技术，诸如模式匹配、角膜反射点、基于形状的方法、暗瞳孔和亮瞳孔效果、眼睛模型等，来确定hmd 100的佩戴者的第一眼睛和第二眼睛的相应姿态。在一些示例中，可以使用与hmd 100集成的视觉传感器114捕获的数据来确定相应的姿态。在其它示例中，独立的视觉传感器可以相对于用户的眼睛定位，以确定其姿态。
35.在框404处，该系统可以基于佩戴者的第一眼睛的姿态来选择在hmd的第一显示器上呈现的第一图像（诸如图2a
‑
d中的左眼图像228
l
）的一部分（例如，230
l
）。换句话说，该系统可以标识hmd 100的佩戴者的第一眼睛瞄准的第一图像部分。例如，第一图像的特定点或像素可以被标识为用户左中央凹的目标。该（一个或多个）点或（一个或多个）像素可以例如通过在所有方向上均等地向外扩张以生成第一图像的选择部分来扩展。虽然在本文中所描述的示例中，该所选择的部分已经是圆形的，但是这并不意味着是限制性的。在其它示例中，所选择的部分可以采取其它形状，诸如矩形、椭圆形等。
36.在框406处，该系统可以将在框404处选择的第一图像部分与在hmd的第二显示器上呈现的第二图像（诸如图2a
‑
d中的右眼图像228
r
）的一部分（例如，230
r
）匹配。如先前指出的，可以使用各种技术来施行该匹配，包括但不限于模板匹配和/或光流处理。并且也如先前指出的，虽然在这些示例中左眼图像228
l
的部分230
l
与右眼图像228
r
的部分230
r
匹配，但是这并不意味着是限制性的。在其它示例中，这可以反转过来。例如，右眼图像228
r
的部分230
r
可以同样容易地与左眼图像228
l
的部分230
l
匹配。
37.在框408处，该系统可以基于佩戴者的第二眼睛的姿态和该第二图像部分的位置来确定眼睛跟踪校准误差。例如，该系统可以确定第二眼睛的目标（例如，图2b中的目标232
r
）和第二图像的与该第一图像部分（例如，图2b中的230
r
）匹配的部分的位置之间的偏移或距离。该偏移可以直接或间接指示眼睛跟踪校准误差。换句话说，该系统可以基于第二图
像的与该第一图像部分匹配的部分的位置与为第二眼睛生成的第二眼睛姿态数据的方面的比较来确定眼睛跟踪校准误差。
38.一旦眼睛跟踪校准误差被确定，它就可以用于各种目的。例如，在图4的框410处，例如在hmd 100的显示器110处呈现输出，该输出指示检测到的眼睛跟踪校准误差，例如使得可以通知个体102并采取补救动作。作为示例，所呈现的输出可以包括视觉指示，诸如数字或诸如箭头之类的其它视觉注释，其指示第一眼睛的目标和显示给第一眼睛的图像内的位置之间的偏移，所述位置与显示给第二眼睛的图像的中央凹目标部分匹配。在其它示例中，输出可以诸如经由与hmd 100集成或可操作地耦合到hmd 100的扬声器在除显示器110之外的输出组件上呈现。个体102可以响应于这样的输出而采取各种补救动作，诸如重新调整他们头部上的hmd 100、发起眼睛跟踪校准例程等。
39.图5是示例计算机系统510的框图，在一些示例中，其代表在hmd 100上发现的组件。计算机系统510通常包括至少一个处理器514，其经由总线子系统512与多个外围设备通信。这些外围设备可以包括存储子系统526，包括例如存储器子系统525和文件存储子系统526、用户接口输出设备520、用户接口输入设备522和网络接口子系统516。输入和输出设备允许与计算机系统510的用户交互。网络接口子系统516提供到外部网络的接口，并且耦合到其它计算机系统中的对应接口设备。
40.用户接口输入设备522可以包括输入设备，诸如键盘、定点设备（诸如鼠标）、轨迹球、触摸交互表面、扫描仪、并入到显示器中的触摸屏、音频输入设备（诸如语音识别系统）、麦克风、视觉传感器114和/或其它类型的输入设备。一般而言，术语“输入设备”的使用意图包括将信息输入到计算机系统510中或输入到通信网络上的所有可能类型的设备和方式。
41.用户接口输出设备520可以包括显示子系统，该显示子系统包括左显示器110l和右显示器110r、打印机、传真机或者诸如音频输出设备之类的非视觉显示器。显示子系统可以包括阴极射线管（“crt”）、诸如液晶显示器（“lcd”）之类的平板设备、投影设备或用于创建可见图像的某种其它机制。显示子系统还可以诸如经由音频输出设备提供非视觉显示。一般而言，术语“输出设备”的使用意图包括从计算机系统510向用户或向另一机器或计算机系统输出信息的所有可能类型的设备和方式。
42.存储子系统526存储机器可读指令和数据构造，其提供本文中所描述的一些或所有模块的功能性。这些机器可读指令模块一般由处理器514单独执行或与其它处理器组合执行。存储子系统524中使用的存储器525可以包括多个存储器。
43.例如，除了其它事物之外，主随机存取存储器（“ram”）530可以在程序执行期间用于存储尤其指令531，用于施行如本文中所描述的眼睛跟踪校准误差检测。存储子系统524中使用的存储器525还可以包括只读存储器（“rom”）532，其中存储固定指令。
44.文件存储子系统526可以为程序和数据文件——包括用于施行如本文中所描述的眼睛跟踪校准误差检测的指令527——提供永久或非易失性存储，并且可以包括硬盘驱动器、软盘驱动器连同相关联的可移除介质、cd
‑
rom驱动器、光学驱动器或可移除介质盒。实现某些实施方式的功能性的模块可以由文件存储子系统526存储在存储子系统526中，或者存储在（一个或多个）处理器514可访问的其它机器中。
45.总线子系统512提供了一种用于让计算机系统510的各种组件和子系统按照意图与彼此通信的机制。尽管总线子系统512被示意性地示出为单个总线，但是总线子系统的替
代实施方式可以使用多个总线。
46.计算机系统510可以具有变化的类型，包括工作站、服务器、计算集群、刀片服务器、服务器场或任何其它数据处理系统或计算设备。由于计算机和网络的不断改变的性质，图5中描绘的计算机系统510的描述仅意图作为出于说明一些实施方式的目的的特定示例。计算机系统510的许多其它配置可能具有比图5中所描绘的计算机系统更多或更少的组件。
47.尽管贯穿本公开的整体具体描述了本公开的代表性示例，但是本公开的代表性示例在广泛范围的应用内具有实用性，并且上面的讨论不意图且不应当被解释为是限制性的，而是作为对本公开的各方面的说明性讨论来提供。
48.本文中已经描述和图示的是本公开连同其一些变型的示例。本文中所使用的术语、描述和附图仅通过说明的方式进行阐述，并不意味着限制。在本公开的精神和范围内许多变型是可能的，本公开的精神和范围由以下权利要求及其等同物——其中除非另有指示否则所有术语都意味着其最广泛的合理含义——来限定。