包括角度敏感检测器的头戴式显示系统的位置跟踪系统的制作方法

1.本公开大体上涉及针对对象(例如头戴式显示器以及与头戴式显示器相关联的控制器)的位置跟踪。


背景技术：

2.当前一代虚拟现实(“vr”)或增强现实(“ar”)体验是使用头戴式显示器(“hmd”)创建的，头戴式显示器可连接到固定计算机(例如个人计算机(“pc”)、膝上型计算机或游戏控制台)，与智能电话和/或关联的显示器组合和/或集成，或自包含。通常，hmd是佩戴在用户头部上的显示设备，其在一只眼睛(单目hmd)或每只眼睛(双目hmd)的前面具有小显示设备。显示单元通常是小型化的，可以包括例如crt、lcd、硅基液晶(lcos)或oled技术。双目hmd具有向每只眼睛显示不同图像的潜力。这种能力被用于显示立体图像。
3.随着智能电话、高清晰度电视以及其它电子设备的发展，对具有增强性能的显示器的需求增加。虚拟现实和增强现实系统，特别是使用hmd的那些系统的日益普及，已经进一步增加了这种需求。虚拟现实系统通常完全包围佩戴者的眼睛，并用“虚拟”现实代替佩戴者前方的实际或物理视图(或实际现实)，而增强现实系统通常在佩戴者眼睛前方提供一个或多个屏幕的半透明或透明覆盖，使得实际视图被用附加信息增强，并且介导现实系统可以类似地将真实世界元素与虚拟元素相结合地将信息呈现给观看者。在许多虚拟现实和增强现实系统中，可以通过各种方式来跟踪这种头戴式显示器的佩戴者的运动，例如通过头戴式显示器中的传感器、控制器或外部传感器，以便使得能够显示图像来反映用户的运动并允许环境交互。
4.位置跟踪允许hmd系统估计一个或多个部件相对于彼此和相对于周围环境的位置。位置跟踪可以利用硬件和软件的组合来实现对hmd系统的部件的绝对位置的检测。位置跟踪是ar或vr系统的重要技术，使得能够以六个自由度(6dof)来跟踪hmd(和/或控制器或其它外围设备)的运动。
5.位置跟踪技术可以被用于改变用户的视角以反映不同的动作，例如跳跃或下蹲，并且可以允许在虚拟环境中准确表示用户的手和其他对象。位置跟踪还可以例如通过使用手势通过触摸而移动虚拟对象来增加物理环境和虚拟环境之间的连接。位置跟踪改善了源于视差的、用户对虚拟环境的3d感知，这有助于对距离的感知。而且，位置跟踪可以帮助最小化由眼睛所看到的内容和用户耳朵前庭系统所感觉到的内容的输入之间的断开引起的晕动病。
6.存在不同的位置跟踪方法。这些方法可以包括声跟踪、惯性跟踪、磁跟踪、光学跟踪及其组合等。


技术实现要素：

7.头戴式显示系统可以概括为包括：用户可佩戴的第一头戴式显示系统部件；由第一头戴式显示系统部件承载的多个角度敏感检测器，在操作中，多个角度敏感检测器中的
每一个捕获指示从一个或多个光源发射的光的到达角的传感器数据；至少一个非暂时性处理器可读存储介质，其存储处理器可执行指令和数据中的至少一个；以及至少一个处理器，其可操作地连接到多个角度敏感检测器和至少一个非暂时性处理器可读存储介质，在操作中，至少一个处理器从多个角度敏感检测器接收传感器数据；对接收到的传感器数据进行处理；以及至少部分地基于对所接收的传感器数据的处理来跟踪第一头戴式显示系统部件的位置。第一头戴式显示系统部件可以包括可佩戴在用户头部上的头戴式显示设备或手持控制器。多个角度敏感检测器中的每一个可以包括光电二极管检测器或位置敏感检测器中的一个。多个角度敏感检测器中的每一个可以包括至少具有四个单元的光电二极管检测器。
8.头戴式显示系统还可以包括第二头戴式显示系统部件，该第二头戴式显示系统部件包括多个光源。第一头戴式显示系统部件可以包括头戴式显示设备、控制器和基站中的一者，并且第二头戴式显示系统部件可以包括头戴式显示设备、控制器和基站中的其它者。第二头戴式显示部件可以包括固定在头戴式显示系统操作环境附近位置处的部件。多个光源可以包括led光源。在操作中，第二头戴式显示系统部件可以在给定时间点亮多个光源的子集，该子集不包括第二头戴式显示系统部件的多个光源的全部。在操作中，第二头戴式显示系统部件可以顺序地点亮多个光源。在操作中，第二头戴式显示系统部件可以使用复用来点亮多个光源。复用可以包括时间复用、波长复用、频率复用和偏振复用中的至少一种。每个光源可以包括光学子系统，该光学子系统包括透镜、滤光器和偏振器中的至少一个。每个角度敏感检测器可以包括光学子系统，该光学子系统包括透镜、滤光器和偏振器中的至少一个。每个角度敏感检测器可以包括透镜，该透镜使离轴光(off-axis light)在角度敏感检测器的敏感元件处具有与轴上光(on-axis light)相似的尺寸。为了处理所接收的传感器数据，至少一个处理器可以将所接收的传感器数据作为输入提供给经训练的机器学习模型。处理器可配置为接收训练数据且使用训练数据来训练机器学习模型。第一头戴式显示系统部件可包括惯性测量单元(imu)传感器，其可操作地连接到至少一个处理器，其中，在操作中，至少一个处理器从imu传感器接收imu传感器数据；处理imu传感器数据和从多个光学角度敏感检测器接收的传感器数据；以及至少部分地基于对所接收的imu传感器数据和所接收的传感器数据的处理来跟踪第一头戴式显示系统部件的位置。角度敏感检测器的帧速率可以大于或等于1000帧/秒。
9.一种操作头戴式显示系统的方法，头戴式显示系统包括可由用户佩戴的第一头戴式显示系统部件和由第一头戴式显示系统部件承载的多个角度敏感检测器。该方法可概括为包括：经由多个角度敏感检测器中的每一者捕获指示从光源发射的光的到达角的传感器数据；由至少一个处理器从多个角度敏感检测器接收传感器数据；由至少一个处理器处理所接收的传感器数据；以及由至少一个处理器至少部分地基于对所接收的传感器数据的处理来跟踪第一头戴式显示系统部件的位置。
10.头戴式显示系统可以概括为包括：用户可佩戴的第一头戴式显示系统部件；由第一头戴式显示系统部件承载的多个角度敏感检测器，在操作中，多个角度敏感检测器中的每一个捕获指示从光源发射的光的到达角的传感器数据；第二头戴式显示系统部件，其包括多个光源；至少一个非暂时性处理器可读存储介质，其存储处理器可执行指令和数据中的至少一个；以及至少一个处理器，其可操作地连接到多个角度敏感检测器、多个光源和至
少一个非暂时性处理器可读存储介质，在操作中，至少一个处理器使多个光源发光；接收来自多个角度敏感检测器的传感器数据；对接收到的传感器数据进行处理；以及至少部分地基于对所接收的传感器数据的处理来跟踪第一头戴式显示系统部件和第二头戴式显示系统部件中的至少一个的位置。多个角度敏感检测器中的每一个可以包括光电二极管检测器和位置敏感检测器中的一个。第一头戴式显示系统部件可以包括头戴式显示设备、控制器和基站中的一个，并且第二头戴式显示系统部件可以包括头戴式显示设备、控制器和基站中的另一个。多个光源可以包括发射不可见光的led光源。在操作中，第二头戴式显示系统部件可以在给定时间点亮多个光源的子集，该子集不包括第二头戴式显示系统部件的多个光源的全部。在操作中，第二头戴式显示系统部件可以按顺序地点亮多个光源。在操作中，第二头戴式显示系统部件可以使用复用来点亮多个光源。复用可以包括时间复用、波长复用、频率复用和偏振复用中的至少一种。每个光源可以包括光学子系统，该光学子系统包括透镜、滤光器和偏振器中的至少一个。每个角度敏感检测器可以包括光学子系统，该光学子系统包括透镜、滤光器和偏振器中的至少一个。
附图说明
11.在附图中，相同的附图标记表示类似的元件或动作。附图中的元件的尺寸和相对位置不必按比例绘制。例如，各种元件的形状和角度不必按比例绘制，并且这些元件中的一些可被任意地放大和定位以提高图的可读性。此外，如图所示的元件的特定形状不一定旨在传达关于特定元件的实际形状的任何信息，并且可以仅为易于在附图中识别而选择。
12.图1是包括一个或多个系统的网络化环境的示意图，该一个或多个系统适于执行本公开中所描述的至少一些技术，包括跟踪子系统的实施方式。
13.图2是示出示例环境的图，在该示例环境中，至少一些所描述的技术与示例头戴式显示设备一起使用，该头戴式显示设备被连接到视频呈现计算系统并且向用户提供虚拟现实显示。
14.图3是具有双目显示子系统和多个角度敏感检测器的hmd设备的示意图。
15.图4是可以与hmd设备一起使用的控制器的示意图。
16.图5是根据本公开的示例性实施方式的hmd设备的示意性框图。
17.图6是根据一个非限制性的所示实施方式的环境的示意图，其中机器学习技术可用于实现hmd设备的跟踪子系统。
18.图7是根据本公开的示例性实施方式的操作hmd系统的位置跟踪系统以在使用期间跟踪hmd系统的部件的位置、方向和/或运动的方法的流程图。
19.图8a是可用于本公开的一个或多个实施方式中的示例性角度敏感检测器的俯视图。
20.图8b是图8a所示的角度敏感检测器的透视图。
21.图9是示出根据一个非限制性的所示实施方式的、使用光源和角度敏感检测器来确定hmd系统的部件的位置的简化图。
22.图10是描述根据一个非限制性的所示实施方式的、光源和角度敏感检测器的示例光学系统的图。
具体实施方式
23.在以下描述中，阐述了某些特定细节，以提供对公开的各实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以不使用这些具体细节中的一个或多个，或者使用其它方法、组件、材料等来实践实施方式。在其它实例下，没有详细示出或描述与计算机系统、服务器计算机和/或通信网络相关联的公知结构，以避免不必要地模糊实施方式的描述。
24.除非上下文另有要求，否则在整个说明书和所附的权利要求书中，词语“包括”与“包含”同义，并且是包含性的或开放性的(即，不排除其他未列举的元件或方法动作)。
25.在整个说明书中，对“一个实施方式”或“实施方式”的引用意指结合实施方式描述的特定特征、结构或特性包括在至少一个实施方式中。因此，出现在说明书全文各处的短语“在一个实施方式中”或“在实施方式中”不一定都指的是相同的实施方式。此外，特定特征、结构或特性可以以任何合适的方式结合在一个或多个实施方式中。
26.除非上下文另外明确规定，本说明书和所附权利要求书中使用的单数形式“一、”、“一个”和“所述”包括复数指示物。还应该注意的是，除非上下文另有明确规定，通常以包括“和/或”的意义使用术语“或”。
27.本文提供的本公开的标题和摘要仅为方便起见，而不解释实施的范围或含义。
28.本公开的一个或多个实施方式涉及用于精确跟踪头戴式显示器(hmd)系统的部件(例如，hmd、控制器、外围设备)的位置的系统和方法。在至少一些实施方式中，hmd包括支撑结构，该支撑结构承载面向前方的相机(“前置相机”或“前方相机”)和多个角度敏感检测器或光源。类似地，一个或多个控制器可以包括多个角度敏感检测器或光检测器。在其它实施方式中，hmd不包括前置相机。前置相机可以以第一帧速率(例如，30hz、90hz)捕获前置相机视野中的图像传感器数据。
29.在操作中，如下面进一步讨论的，可以使一个或多个固定的或可移动的光源(例如，ir led)发光。光源可以连接到hmd、控制器、位于环境中的固定对象(例如，基站)等。多个角度敏感检测器中的每一个以第二帧速率(例如，1000hz、2000hz)捕获相应的多个角度敏感检测器视野中的传感器数据，所述第二帧速率可以大于前置相机(当存在时)的第一帧速率。在至少一些实施方式中，尽管不是必需的，角度敏感检测器视野可以比前置相机视野窄。例如，前置相机可以具有90
°
、120
°
或150
°
的相对宽的前置相机视野，并且每个角度敏感检测器可以具有相对窄的传感器ic视野(例如，25
°
、45
°
、75
°
)。在至少一些实施方式中，角度敏感检测器视野可以总体上覆盖前置相机视野的至少大部分，或者甚至大于前置相机视野，其中每个角度敏感检测器视野与前置相机视野的不同部分重叠。
30.在操作中，可操作地连接到多个角度敏感检测器的至少一个处理器可以接收捕获来自多个光源(例如，led、激光器、其它光源)的光的传感器数据。至少一个处理器可以处理所接收的图像传感器数据并至少部分地基于对所接收的图像传感器数据的处理来跟踪头戴式显示器部件的位置。例如，至少一个处理器可以融合来自角度敏感检测器的传感器数据以跟踪环境中存在的一个或多个特征。至少一个处理器可利用机器学习技术、解算器或其它方法来处理传感器数据以确定hmd系统的一个或多个部件的位置(例如，位置、方向、移动)。在至少一些实施方式中，该传感器数据可以与来自其它传感器的传感器数据融合，例如来自hmd系统部件的前置相机或惯性测量单元(imu)的传感器数据。下面参考附图详细讨论本公开的实施方式的各种特征。
31.图1是包括本地媒体呈现(lmr)系统110(例如，游戏系统)的网络化环境100的示意图，本地媒体呈现(lmr)系统110包括本地计算系统120、显示设备180(例如，具有两个显示面板的hmd设备)、以及适于执行本文所述的至少一些技术的一个或多个控制器182。在图1所示的实施方式中，本地计算系统120经由传输链路115(其可以是有线的或系绳的，例如经由如图2所示的一个或多个电缆(电缆220)，或者也可以是无线的)通信地连接到显示设备180。控制器182可以分别经由合适的有线或无线链路186和184连接到本地计算系统120或显示设备180。在其它实施方式中，无论是与hmd设备180一起还是替代hmd设备180，本地计算系统120可提供经编码的图像数据以供经由有线或无线链路显示到面板显示设备(例如，tv、控制台或监视器)，且每个显示设备包括一个或多个可寻址像素阵列。在各种实施方式中，本地计算系统120可以包括通用计算系统、游戏控制台、视频流处理设备、移动计算设备(例如，蜂窝电话、pda或其它移动设备)、vr或ar处理设备、或其它计算系统。
32.在所示实施方式中，本地计算系统120包括如下部件：一个或多个硬件处理器(例如，集中式处理单元或“cpu”)125、内存130、各种i/o(“输入/输出”)硬件部件127(例如，键盘、鼠标、一个或多个游戏控制器、扬声器、麦克风、ir发射器和/或接收器等)、包括一个或多个专用硬件处理器(例如，图形处理单元或“gpu”)和视频存储器(vram)148的视频子系统140、计算机可读存储器150和网络连接160。另外在所示实施方式中，在内存130中执行跟踪子系统135的实施方式，以便执行至少一些所描述的技术，例如通过使用cpu 125和/或gpu 144来执行实现那些所描述的技术的自动操作，并且内存130可以可选地进一步执行一个或多个其它程序133(例如，生成要显示的视频或其它图像，例如游戏程序)。作为用于实现这里描述的至少一些技术的自动操作的一部分，在内存130中执行的跟踪子系统135和/或程序133可以存储或检索包括在存储器150的示例数据库数据结构中的各种类型的数据，在该示例中，所使用的数据可以包括数据库(“db”)154中的各种类型的图像数据信息、db 152中的各种类型的应用数据、db 157中的各种类型的配置数据和附加信息(例如系统数据或其它信息)。
33.在所描述的实施方式中，lmr系统110还经由一个或多个计算机网络101和网络链路102可通信地连接到示例性网络可访问媒体内容提供商190，不管是与图像生成程序133一起还是代替图像生成程序133，该网络可访问媒体内容提供商190可以进一步向lmr系统110提供内容以供显示。媒体内容提供商190可以包括一个或多个计算系统(未示出)，每个计算系统可以具有与本地计算系统120的部件类似的部件，包括一个或多个硬件处理器、i/o部件、本地存储设备和存储器，但是为了简洁起见，没有示出网络可访问媒体内容提供商的一些细节。
34.应当理解，尽管在图1所示的实施方式中显示设备180被描述为与本地计算系统120不同和分离，但是在某些实施方式中，本地媒体呈现系统110的一些或所有部件可以被集成或容纳在例如移动游戏设备、便携式vr娱乐系统、hmd设备等的单个设备内。在这样的实施方式中，传输链路115可以例如包括一个或多个系统总线和/或视频总线结构。
35.作为涉及由本地媒体呈现系统120本地执行的操作的一个示例，假定本地计算系统是游戏计算系统，使得应用数据152包括通过使用内存130的cpu 125执行的一个或多个游戏应用，并且由图像生成程序133生成和/或处理各种视频帧显示数据，例如结合视频子系统140的gpu 144。为了提供高质量的游戏体验，由本地计算系统120生成大量的视频帧数
据(对应于每个视频帧的高图像分辨率，以及大约每秒60-180个这样的视频帧的高“帧速率”)，并通过有线或无线传输链路115将其提供给显示设备180。
36.还将了解，计算系统120和显示装置180仅是说明性的且不旨在限制本公开的范围。计算系统120可以替代地包括多个交互计算系统或设备，并且可以通过诸如因特网的一个或多个网络、经由web、或经由专用网络(例如，移动通信网络等)连接到未示出的其它设备。更一般地，计算系统或其它计算节点可包括可交互并执行所述类型的功能的硬件或软件的任何组合，包括但不限于台式或其它计算机、游戏系统、数据库服务器、网络存储设备和其它网络设备、pda、蜂窝电话、无线电话、寻呼机、电子记事簿、因特网设备、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机)、以及包括适当的通信能力的各种其他消费产品。显示设备180可以类似地包括具有一个或多个各种类型和形式的显示面板的一个或多个设备，并且可选地包括各种其它硬件和/或软件部件。
37.此外，在一些实施方式中，由跟踪子系统135提供的功能可以分布在一个或多个部件(例如，本地和远程计算系统、hmd、控制器、基站)中，并且在一些实施方式中，可以不提供跟踪子系统135的一些功能和/或可以获得其它附加功能。还应当理解，尽管在使用时将各种条目示出为存储在内存中或存储在存储器上，但是出于内存管理或数据完整性的目的，这些条目或它们的部分可以在内存和其它存储设备之间传送。因此，在一些实施方式中，例如当通过一个或多个软件程序(例如，通过跟踪子系统135或其部件)和/或数据结构(例如，通过执行一个或多个软件程序的软件指令和/或通过存储这样的软件指令和/或数据结构)配置时，所描述的技术中的一些或全部可以由包括一个或多个处理器或其它配置的硬件电路或内存或存储器的硬件来执行。部件、系统和数据结构中的一些或全部也可以(例如，作为软件指令或结构化数据)存储在诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性内存(例如，ram)、网络存储设备或要通过适当驱动器读取的便携式媒体制品(dvd盘、cd盘、光盘等)或要通过适当的连接读取的便携式媒体制品之类的非暂时性计算机可读存储介质上。在一些实施方式中，系统、部件和数据结构还可以作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)采取各种形式(例如，作为单个或复用模拟信号的一部分，或者作为多个离散数字分组或帧)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质。在其它实施方式中，这种计算机程序产品也可以采用其它形式。因此，本公开可以用其它计算机系统配置来实现。
38.图2示出了示例性环境200，其中至少一些所述技术与示例性hmd设备202一起使用，所述hmd设备202经由系绳连接220(或其它实施方式中的无线连接)连接到视频呈现计算系统204以向人类用户206提供虚拟现实显示。用户佩戴hmd设备202并通过hmd设备从计算系统204接收与实际物理环境不同的模拟环境的显示信息，其中计算系统充当图像呈现系统，将模拟环境的图像(例如由在计算系统上执行的游戏程序和/或其它软件程序生成的图像)提供给hmd设备以显示给用户。在该示例中，用户还能够在实际物理环境200的跟踪容积201内移动，并且还可以具有一个或多个i/o(“输入/输出”)设备，以允许用户进一步与模拟环境交互，在该示例中，一个或多个i/o包括手持控制器208和210。
39.在所示示例中，环境200可以包括一个或多个基站214(示出了两个，标记为基站214a和214b)，其可以帮助跟踪hmd设备202或控制器208和210。当用户移动hmd设备202的位
置或改变hmd设备202的方向时，跟踪hmd设备的位置，以便允许在hmd设备上向用户显示模拟环境的相应部分，并且控制器208和210也可以使用类似的技术来跟踪控制器的位置(并且可选地使用该信息来帮助确定或验证hmd设备的位置)。在已知hmd设备202的跟踪位置之后，经由系绳220或无线地将相应的信息发送到计算系统204，计算系统204使用所跟踪的位置信息来生成所模拟的环境的一个或多个随后的图像以显示给用户。
40.可以在本公开的各种实施方式中使用多种不同的位置跟踪方法，包括但不限于声跟踪、惯性跟踪、磁跟踪、光学跟踪及其组合等。
41.在至少一些实施方式中，hmd设备202和控制器208和210中的至少一个可以包括可以用于实现本公开的跟踪功能或其它方面的一个或多个光接收器或传感器。在至少一些实施方式中，hmd设备202、控制器208和210中的至少一个，或其它部件可以包括一个或多个光源(例如，led)，其可以发射由一个或多个光学接收器检测的光。光源可以处于固定位置或者可以位于诸如hmd设备或控制器的可移动的部件上。
42.在至少一些实施方式中，除了生成定点光源以外，代替生成定点光源，基站214可以各自在跟踪容积201上扫射光信号。根据每个特定实施方式的要求，每个基站214可以生成多于一个的光信号。例如，虽然单个基站214通常足以进行六自由度跟踪，但是在一些实施方式中，可能需要或希望多个基站(例如，基站214a、214b)来为hmd设备和外围设备提供鲁棒的房间规模跟踪。在这个例子中，光接收器被结合到hmd设备202和/或其它被跟踪的对象中，例如控制器208和210。在至少一些实施方式中，在每个被跟踪设备上光接收器可以与加速度计和陀螺仪惯性测量单元(“imu”)配对，以支持低延迟传感器融合。
43.在至少一些实施方式中，每个基站214包括两个转子，其跨越跟踪容积201在正交轴上扫射线性波束。在每个扫射周期的开始，基站214可以发射全向光脉冲(被称为“同步信号”)，该全向光脉冲对于被跟踪对象上的所有传感器是可见的。因此，每个传感器通过对同步信号和波束信号之间的持续时间进行计时来计算扫射容积中的唯一角位置。可以使用固定到单个刚性主体上的多个传感器来解决传感器距离和方向。
44.位于被跟踪物体(例如，hmd设备202、控制器208和210)上的一个或多个传感器可以包括能够检测来自转子的调制光的光电子装置。对于可见光或近红外(nir)光，可以使用硅光电二极管和合适的放大器/检测器电路。因为环境200可以包含具有与基站214信号的信号相似波长的静态和时变信号(光噪声)，所以在至少一些实施方式中，可以以使得容易地与任何干扰信号区分和/或从除基站信号之外的任何波长的辐射中过滤传感器的方式来调制基站光。如下面进一步讨论的，在至少一些实施方式中，角度敏感检测器被用于跟踪hmd系统的一个或多个部件。
45.内-外跟踪也是一种可用于跟踪hmd设备202和/或其它对象(例如，控制器208和210、平板计算机、智能电话)的位置的位置跟踪。内-外跟踪与外-内跟踪的不同之处在于用于确定hmd部件的位置的相机或其它传感器的位置。对于内-外跟踪，相机或传感器位于hmd部件或被跟踪的物体上，而在外-外跟踪中，相机或传感器被放置在环境中的固定位置。
46.利用内-外跟踪的hmd利用一个或多个传感器来“向外看”以确定其位置如何相对于环境改变。当hmd移动时，传感器重新调整它们在房间中的位置，并且虚拟环境相应地实时响应。可以使用或不使用放置在环境中的标记来实现这种类型的位置跟踪。放置在hmd上的相机观察周围环境的特征。当使用标记时，标记被设计成易于被跟踪系统检测到并且被
放置在特定区域中。关于“无标记”的内-外跟踪，hmd系统使用原始存在于环境中的独特特征(例如，自然特征)来确定位置和方向。hmd系统的算法识别特定的图像或形状，并使用它们来计算设备在空间中的位置。来自加速度计和陀螺仪的数据也可以用于增加位置跟踪的精度。
47.图3示出了当佩戴在用户342的头部上时示例性hmd设备344的前视图的信息300。hmd设备344包括支撑面向前方或前置的相机346和多个一种或多种类型的角度敏感检测器348a-348f(统称为348)的面向前方的结构343。作为一个示例，一些或全部角度敏感检测器348可以帮助确定设备344在空间中的位置和方向，例如光传感器，其检测和使用从一个或多个外部设备(未示出，例如，图2的基站214、控制器)发射的光信息。角度敏感检测器348可以是用于检测从光源发射的光的到达角的任何类型的检测器。角度敏感检测器的非限制性示例包括光电二极管检测器(例如，双单元检测器、象限单元检测器)、使用电阻片的位置敏感检测器等。
48.如图所示，前置相机346和角度敏感检测器348被向前指向其中用户342操作hmd设备344的实际场景或环境(未示出)。更一般地，角度敏感检测器348可以被指向其它区域(例如，向上、向下、向左、向右、向后)以检测来自诸如安装在各种位置(例如，墙壁、天花板)的控制器或物体的各种源的光。实际的物理环境可以包括，例如，一个或多个对象(例如，墙壁、天花板、家具、楼梯、汽车、树木、跟踪标记、光源、或任何其它类型的对象)。传感器348的特定数目可以比所示的传感器数目更少(例如2、4)或更多(例如10、20、30、40)。hmd设备344可进一步(例如，在hmd设备内部)包括一个或一个以上未附接到面向前方的结构的附加部件，例如imu(惯性测量单元)347电子设备，其测量并报告hmd设备344的特定力、角速率和/或hmd设备周围的磁场(例如，使用加速计和陀螺仪的组合(可选地，磁力计))。hmd设备344还可以包括未示出的附加部件，包括一个或多个显示面板和光学透镜系统，该一个或多个显示面板和光学透镜系统朝向用户的眼睛(未示出)并且可选地具有一个或多个附接的内部马达以改变一个或多个光学透镜系统和/或显示面板在hmd设备内的对准或其它定位。
49.所示的hmd设备344的示例至少部分地基于一个或多个绑带345支撑在用户342的头部上，绑带345附接到hmd设备344的外壳上并且全部或部分地围绕用户的头部延伸。虽然这里未示出，但是hmd设备344还可以具有一个或多个外部马达，例如附接到一个或多个绑带345，并且自动校正动作可以包括使用这样的马达来调节这样的绑带，使得修改hmd设备在用户头部上的对准或其它定位。应当理解，无论是作为所示绑带的补充还是替代，hmd设备可以包括在此未示出的其它支撑结构(例如鼻件、下巴托等)，并且一些实施方式可以包括附接在一个或多个这样的其它支撑结构上的马达，以类似地调整它们的形状和/或位置，从而修改hmd设备在使用者头部上的对准或其它定位。未固定到用户头部的其它显示设备可以类似地附接到影响显示设备的定位的一个或多个结构或其一部分，并且在至少一些实施方式中可以包括马达或其它机械致动器，以类似地修改它们的形状和/或位置，从而修改显示设备相对于显示设备的一个或多个用户的一个或多个瞳孔的对准或其它定位。
50.图4更详细地示出了手持控制器400的示例。实际上，hmd系统可以包括与图4的手持控制器400类似或相同的两个手持控制器，其可以与上述的控制器182、208和210类似或相同。如图所示，控制器400具有各种表面，角度敏感检测器402位于这些表面上。角度敏感检测器402被设置成接收来自各种不同方向的光信号。控制器400可以具有按钮、传感器、
灯、控制器、旋钮、指示器、显示器等，允许用户以各种方式进行交互。此外，如上所述，在至少一些实施方式中，控制器400和hmd设备344中的一个可包括多个光源，而控制器和hmd设备中的另一个可包括多个角度敏感检测器或其它类型的检测器或传感器。本文所述的技术可用于各种类型的位置跟踪，且不限于hmd、控制器等。
51.图5示出了根据本公开的一个或多个实施方式的hmd设备500的示意性框图。hmd器件500可以与本文别处讨论的hmd设备相似或相同。因此，以上关于hmd设备的讨论也可应用于hmd设备500。此外，hmd设备500的至少一些部件可以存在于诸如控制器、基站等的hmd系统的其它部件中。因此，以下描述中的至少一些可适用于此类其它部件。
52.hmd设备500包括处理器502，面向前方的或前置的相机504，多个角度敏感检测器506(例如，四单元光电二极管、位置敏感检测器)，并且可选地包括imu 507或多个光源509。在一些实现中，hmd设备500可以包括角度敏感检测器或光源中的一个，并且其他部件(例如，控制器、基站)可以包括角敏感检测器或光源中的另一个。hmd设备500可以包括显示子系统508(例如，两个显示器和相应的光学系统)。hmd设备500还可以包括非暂时性数据存储器510，其可以存储用于位置跟踪512的指令或数据、用于显示功能514(例如，游戏)的指令或数据、和/或其他程序516。hmd系统500可以包括一些如图1所示和上面所讨论的本地计算系统120或媒体内容提供商190的功能或允许如图1所示和上面所讨论的本地计算系统120或媒体内容提供商190的功能。
53.hmd设备500还可以包括各种i/o部件518，其可以包括一个或多个用户接口(例如，按钮、触摸板、扬声器)、一个或多个有线或无线通信接口等。作为示例，i/o部件518可以包括允许hmd设备500通过有线或无线通信链路522与外部设备520通信的通信接口。作为非限制性示例，外部设备520可以包括主机、服务器、移动设备(例如，智能电话、可佩戴计算机)、控制器等。hmd设备500的各种部件可以容纳在单个外壳中，可以容纳在分开的外壳(例如，主机)中，或者其任意组合。
54.应当理解，所示的计算系统和设备仅仅是说明性的，而不旨在限制本公开的范围。例如，hmd500和/或外部设备520可以连接到未示出的其它设备，包括通过诸如因特网的一个或多个网络或通过web。更一般地，例如当编程时或用适当的软件配置时，这样的计算系统或设备可以包括能够交互和执行所述类型的功能的硬件的任何组合，包括但不限于台式计算机、膝上型计算机、平板触摸计算机、平板计算机或其它计算机、智能电话计算设备和其它蜂窝电话、因特网设备、pda和其它电子组织器、数据库服务器、网络存储设备和其它网络设备、无线电话、寻呼机、基于电视的系统(例如，使用机顶盒和/或个人/数字录像机和/或游戏控制台和/或媒体服务器)、以及包括适当的互相通信能力的各种其它消费产品。例如，在至少一些实施方式中，所示系统500和520可以包括可执行软件指令和/或数据结构，其在被加载到特定计算系统或设备上和/或由特定计算系统或设备执行时，可以被用于编程或配置那些系统或设备，例如配置那些系统或设备的处理器。或者，在其它实施方式中，软件系统中的一些或全部可在另一设备上的内存中执行且经由计算机间通信与所示出的计算系统/设备通信。此外，虽然在各种时间(例如，在使用时)各种条目被示为存储在内存中或存储在存储器上，但是出于内存管理和/或数据完整性的目的，这些条目或它们的部分可以在内存和存储器之间和/或在存储设备(例如，在不同的位置)之间被传送。
55.因此，在至少一些实施方式中，所示出的系统是基于软件的系统，其包括软件指
令，所述软件指令在由处理器和/或其它处理器装置执行时对所述处理器编程以自动执行所述系统的所述操作。此外，在一些实施方式中，可以以其它方式来实现或提供系统中的一些或全部，例如至少部分地以固件和/或硬件装置来实现或提供，固件和/或硬件装置包括但不限于，一个或多个专用集成电路(asic)、标准集成电路、控制器(例如，通过执行适当的指令，并且包括微控制器和/或嵌入式控制器)、现场可编程门阵列(fpga)、复杂可编程逻辑设备(cpld)等。系统或数据结构中的一些或全部也可以被存储(例如，作为软件指令内容或结构化数据内容)在诸如硬盘或闪存驱动器或其它非易失性存储设备、易失性或非易失性存储器(例如，ram)、网络存储设备或由适当的驱动器或经由适当的连接来读取的便携式媒体制品(例如，dvd盘、cd盘、光盘、闪存设备等)之类的非暂时性计算机可读存储介质上。在一些实施方式中，系统、模块和数据结构还可以作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)采取各种形式(例如，作为单个或复用模拟信号的一部分，或者作为多个离散数字分组或帧)在各种计算机可读传输介质上传输，所述计算机可读传输介质包括基于无线和基于有线/电缆的介质。在其它实施方式中，这种计算机程序产品也可以采用其它形式。因此，本公开可以用其它计算机系统配置来实现。
56.图6是根据一个非限制性的所示实施方式的环境600的示意图，其中机器学习技术可用于实现诸如这里所讨论的跟踪子系统的用于跟踪hmd设备、一个或多个控制器、或其它部件的跟踪子系统。环境600包括模型训练部分601和推断部分603。在训练部分601中，训练数据602被馈送到机器学习算法604中以生成经训练的机器学习模型606。训练数据可以包括例如来自角度敏感检测器的标记数据，该标记数据指定特定对象相对于一个或多个光源(例如led)的位置和/或方向。作为非限制性示例，在包括具有30个角度敏感检测器的部件(例如，hmd、控制器)的实施方式中，每个训练样本可以包括来自角度敏感检测器的每个或子集的输出、部件的已知或推断的位置或方向、以及关于一个或多个光源的位置或方向的信息。如下所述，每个角度敏感检测器可以输出单个数据点(例如，角度)，或者可以输出多个数据点，例如两个或四个信号，每个信号指示在角度敏感检测器的特定有源元件(例如，子检测器或单元、电阻片等)处接收的光的功率或强度。
57.可以从hmd系统的多个用户和/或单个用户获得训练数据602。训练数据602可以在受控环境中获得和/或在用户实际使用期间获得(“现场训练”)。此外，在至少一些实施方式中，模型606可以及时(例如，周期性地、连续地、在某些事件之后)更新或校准，以提供精确的位置跟踪预测。
58.在推断部分603中，运行时数据608作为输入被提供给经训练的机器学习模型606，该机器学习模型606生成位置跟踪预测610。继续上面的例子，角度敏感检测器的输出数据(例如，强度数据、角度数据)以及可选地关于一个或多个光源的信息，可以作为输入被提供给经训练的机器学习模型606，该模型可以处理数据以预测部件的位置。跟踪预测610然后可以被提供给与hmd设备相关联的一个或多个部件，例如，一个或多个vr或ar应用、一个或多个显示或呈现模块、一个或多个机械控制、一个或多个附加位置跟踪子系统等。
59.用于实现这里讨论的特征的机器学习技术可以包括任何类型的适当结构或技术。作为非限制性示例，机器学习模型606可以包括决策树、统计分层模型、支持向量机、诸如卷积神经网络(cnn)或递归神经网络(rnn)的人工神经网络(ann)(例如，长短期记忆(lstm)网络)、混合密度网络(mdn)、隐马尔可夫模型中的一个或多个，或者可以使用其它的。在至少
一些实施方式中，诸如利用rnn的实现，机器学习模型606可以利用过去的输入(内存、反馈)信息来预测一个或多个hmd部件的位置。这样的实现可以有利地利用顺序数据来确定运动信息或预先位置预测，这可以提供更精确的实时位置预测。
60.图7是操作hmd系统以在使用期间跟踪hmd部件的位置的示例方法700的流程图。方法700可以由例如图5所示的hmd系统500的位置跟踪系统或模块512执行。如上所述，方法700可用于跟踪例如hmd设备、一个或多个控制器等任何部件的位置。
61.所示的方法700的实现在动作702处开始，其中提供具有多个角度敏感检测器的第一hmd系统部件。所述多个角度敏感检测器可以用于检测从一个或多个光源发射的光，所述一个或多个光源可以被固定地定位(例如，安装到墙壁或天花板)或可移动地定位(例如，连接到hmd或控制器)。在操作中，多个角度敏感检测器中的每一个以帧速率捕获相应的多个角度敏感检测器视野中的传感器数据。传感器数据可以包括处理器用以检测光源相对于角度敏感检测器的存在和方向的任何类型的数据。在至少一些实施方式中，每个角度敏感检测器可以包括其上具有图像感测电路和图像处理电路的一个或多个传感器(例如，光电二极管)。角度敏感检测器可以输出相对原始的数据(例如，光强度或功率数据)或处理后的数据(例如，入射角数据)。
62.在704处，可提供包括多个光源(例如，近ir led)的第二hmd系统部件。第二hmd系统部件可以包括控制器、hmd设备、或位于固定位置(例如，天花板、墙壁)的光源。
63.在706，hmd系统的至少一个处理器可以使光源发光。可以以这样一种方式点亮光源，其中角度敏感检测器中的每一个可以每次检测来自单个光源的光，或者更一般地，以这样一种方式点亮，其中系统能够确定由角度敏感检测器检测到的光是从哪个光源接收到的。这可以通过使用任何合适类型的复用来复用光源的点亮来实现，例如时间复用、波长复用、频率复用、偏振复用、或允许系统知道在使用期间从每个角度敏感检测器接收的光源的其它技术。
64.作为时间复用的示例，至少一个处理器可以一次只点亮光源的子集(例如，一个、两个、四个)。例如，至少一个处理器可以一次一个地按顺序地点亮光源，并且响应于每个光源收集传感器数据。
65.作为波长复用的例子，光源的不同子集可以发射不同波长的光，并且角度敏感检测器的不同子集可以用于感测不同波长的光。因此，可以同时点亮具有不同波长的光源并由相应的波长敏感检测器检测。
66.作为频率复用的一个例子，可以以确定的模式或频率照亮光源的子集，这些模式或频率可以被角度敏感检测器检测到，以识别光的特定光源。
67.作为偏振复用的示例，光源的子集可以被不同地偏振(例如，线性、圆形)，并且角度敏感检测器的相应子集可以被配置为检测某些偏振光，这允许多个光源被同时点亮。
68.在708，与hmd系统相关联的至少一个处理器可以从多个角度敏感检测器接收传感器数据。如上所述，对于每个角度敏感检测器，传感器数据可以指示从已知光源发射的光的到达角。在710处，与hmd系统相关联的至少一个处理器可以可选地从惯性测量单元(imu)接收传感器数据，所述惯性测量单元(imu)用于提供惯性跟踪能力或来自一个或一个以上附加传感器的传感器数据。
69.在712处，与hmd系统相关联的至少一个处理器可处理所接收的传感器数据。例如，
至少一个处理器可以将传感器数据的一些或全部融合在一起，以跟踪在hmd系统工作的环境中存在的一个或多个特征。传感器数据可以包括来自多个角度敏感检测器的传感器数据，以及可选地包括来自imu或来自相机的传感器数据。至少一个处理器可以例如使用机器学习模型(例如，模型606)或另一解算器来处理传感器数据。
70.在714处，与hmd系统相关联的至少一个处理器可在环境中的用户使用hmd系统期间实时跟踪hmd系统的部件的位置(例如，位置、方向或移动)。如上所述，方法700可以在hmd的工作期间持续，以持续地跟踪hmd系统的部件的位置。
71.图8a和8b分别示出了可以在本公开的一个或多个实施方式中使用的示例性角度敏感检测器800的俯视图和透视图。在该示例中，角度敏感检测器800包括象限单元(“quad-cell”)光电二极管，该象限单元(“quad-cell”)光电二极管包括由公共基板804上的小间隙分开的四个分开的光电二极管有源区或元件802a-802d。应当理解，也可以使用其它类型的角度敏感检测器，例如具有更少或更多单元的光电二极管检测器、位置敏感检测器等。
72.在所示的非限制性示例中，每个元件802a-802d的有源区域(例如，阳极)是单独可用的，使得照明单个象限的光点可以被电表征为仅在该象限中。当光点在角度敏感检测器800上平移时，光点的能量分布在相邻元件802a-802d之间，并且对每个元件的电贡献的差异限定了光点相对于角度敏感检测器中心的相对位置。元件802a-802d上的相对强度分布可用于确定光点的位置。
73.在该简化示例中，角度敏感检测器800包括其中具有孔808的盖810，所述孔808允许来自光源812的光814通过。如图所示，可以电表征通过孔808形成光点806的光814以确定光814的角度，并因此确定光源812相对于角度敏感检测器800的角度。如下所述，本公开的系统和方法可以利用多个光源和角度敏感检测器来确定hmd系统的部件的位置。
74.应当理解，本公开的角度敏感检测器可以包括任何合适类型的检测器中的一个或多个，包括四单元光电二极管检测器、利用电阻片的位置敏感检测器(psd)、具有较少(例如，2个)或较多(例如，16个)独立敏感元件的光电二极管检测器、或者能够检测从光源发射的光的到达角的任何其它检测器。此外，如下面所讨论的，在至少一些实施方式中，本公开的角度敏感检测器或光源可以利用各种光学部件，例如滤光器、透镜、偏振器等，以改进这里所讨论的系统和方法的功能。
75.图9是根据一个非限制性的所示实施方式的hmd系统的环境900的简化图，该环境使用光源和角度敏感检测器来确定hmd系统的部件的位置。在该示例中，诸如hmd的第一部件902包括多个光源906(示出两个，906a-906b)，并且诸如hmd系统的控制器的第二部件904包括多个角度敏感检测器908(示出两个，908a-908b)。角度敏感检测器908a和908b在第二部件904上彼此分开已知的距离d1，并且光源906a和906b在第一部件902上彼此分开已知的距离d2。第一和第二部件可以是hmd系统的任何部件，例如hmd、控制器、基站、固定或移动的光源、固定或移动的角度敏感检测器等。
76.在该示例中，角度敏感检测器908a用于确定光以角度910从光源906a到达，并且光以角度912从光源906b到达。类似地，角度敏感检测器908b用于确定光以角度914从光源906b到达，并且光以角度916从光源906a到达。可以理解，给定到达角910、912、914和916以及光源906和检测器908之间的已知几何关系(例如，距离d1和d2)，可以使用方法(例如，三角测量)来确定第一部件902和第二部件904之间的相对位置、方向或运动。如上所述，可以
使用一个或多个解算器或机器学习方法，使用来自角度敏感检测器的传感器数据和/或指示关于hmd系统的光源的信息的光源数据来确定部件的位置。
77.图10是本公开的示例光源1002和角度敏感检测器1004的示意图1000。光源1002和角度敏感检测器1004可以与这里讨论的任何光源和角度敏感检测器类似或相同，并且可以用于本公开的任何实现中。在所示的例子中，光源1002可以包括光学子系统1006，并且角度敏感检测器1004可以包括光学子系统1008。光学子系统1006和1008可以彼此相同或不同，并且可以各自包括一个或多个光学部件。光学子系统1006和1008可以与光源1002和角度敏感检测器1004集成在一起，或者可以是单独的部件。光学部件的非限制性实例包括一个或多个透镜、一个或多个偏振器、一个或多个滤光器、一个或多个孔等。在至少一些实施方式中，光源的子集可以包括一种类型的光学子系统，并且光源的一个或多个其它子集可以包括另一种类型的光学子系统。类似地，角度敏感检测器的子集可以包括一种类型的光学子系统，并且角度敏感检测器的一个或多个其它子集可以包括另一种类型的光学子系统。作为示例，光学子系统可以包括滤除可见光或其它类型的光的滤光器。此外，如上所述，光学子系统可以包括便于上述一个或多个各种类型的复用的部件，所述复用允许多个光源被同时点亮，而不会与发射光源混淆。
78.通过使用框图、示意图和示例，前面的详细描述已经阐述了设备和/或过程的各种实施方式。在这样的框图、示意图和示例包含一个或多个功能和/或操作的情况下，本领域的技术人员将理解，在这样的框图、流程图或示例内的每个功能和/或操作可以通过广泛的硬件、软件、固件或其几乎任何组合来单独地和/或共同地实现。在一个实现中，本主题可以通过专用集成电路(asic)来实现。然而，本领域技术人员将认识到，本文所公开的实现可以作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个控制器(例如，微控制器)上运行的一个或多个程序，作为在一个或多个处理器(例如，微处理器)上运行的一个或多个程序，作为固件或作为几乎其任何组合，整体或部分地在标准集成电路中等效地实现，而且根据本公开，设计电路和/或写入用于软件和/或固件的代码，将在本领域的普通技术人员的技术范围内。
79.所属领域的技术人员将认识到，本文所述的许多方法或算法可采用附加的动作，可省略一些动作，和/或可按不同于指定的次序来执行动作。
80.此外，本领域的技术人员将会理解，这里所教导的机制能够作为程序产品以各种形式被分发，并且无论用于实际执行分发的信号承载介质的特定类型如何，说明性的实施方式都同样适用。信号承载介质的示例包括但不限于以下：可记录型介质，例如软盘、硬盘驱动器、cd rom、数字磁带和计算机内存。
81.可以组合上述各种实现方式以提供进一步的实现方式。在不与本文的具体教导和定义不一致的程度上，本说明书中涉及的所有美国专利、美国专利申请公开、美国专利申请、外国专利、外国专利申请和非专利公开(包括2020年1月24日提交的美国专利申请16/752,478号)以全文引用的方式并入本文中。如果需要，可以修改实现的各个方面，以采用各种专利、申请和公开的系统、电路和概念来提供进一步的实施方式。
82.根据以上详细描述，可以对实施方式进行这些和其它改变。通常，在随后的权利要求中，所使用的术语不应被解释为将权利要求限制为在说明书和权利要求中所公开的特定
实施方式，而应被解释为包括所有可能的实施方式以及这些权利要求所赋予的等同物的全部范围。因此，权利要求不受本公开的限制。