人工现实系统中身体姿态跟踪的磁传感器采样频率的同步的制作方法

人工现实系统中身体姿态跟踪的磁传感器采样频率的同步
1.本技术要求2019年5月22日提交的、题为“magnetic sensors for body pose tracking in artificial reality systems”的美国临时申请第62/851，593号的权益；2019年6月28日提交的、题为“synchronization of magnetic sensor sampling frequency for body pose tracking in artificial reality system”的美国临时申请第62/868，656号的权益；以及2020年5月19日提交的、题为“synchronization of magnetic sensor sampling frequency for body pose tracking in artificial reality systems”的美国非临时申请第16/878，504号的权益。出于所有目的，美国申请第62/851,593号、美国申请第62/868,656号和美国申请第16/878,504号的全部内容通过引用以其整体并入本文。
技术领域
2.本公开总体上涉及人工现实系统，例如虚拟现实、混合现实和/或增强现实系统，并且更具体地，涉及使用来自磁传感器的传感器数据来执行姿态跟踪或辅助用于人工现实应用的姿态跟踪。
3.背景
4.人工现实系统正变得越来越普遍，应用于诸如计算机游戏、健康、和安全、工业和教育的许多领域。作为几个示例，人工现实系统正在被合并到移动设备、游戏机、个人计算机、电影院和主题公园中。通常，人工现实是在呈现给用户之前已经以某种方式调整的现实的形式，其可包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混杂现实(hybrid reality)、或其某种组合和/或衍生物。
5.典型人工现实系统包括用于渲染和向用户显示内容的一个或更多个设备。作为一个示例，人工现实系统可以结合由用户穿戴的头戴式显示器(hmd)，并被配置为向用户输出人工现实内容。人工现实内容可包括计算机生成的内容或与采集内容(例如，真实世界视频和/或图像)组合的生成内容。在操作期间，用户通常与人工现实系统交互，以选择内容、启动应用或以其他方式配置系统。
6.概述
7.总的来说，本公开描述了用于使用磁传感器来执行或辅助执行身体姿态跟踪以及用于同步磁传感器以提高身体姿态跟踪的准确性的技术。这些技术可以应用于人工现实系统。
8.本公开描述了一种人工现实系统，其包括头戴式显示器(hmd)和磁传感器系统的体戴式磁传感器，以执行身体姿态跟踪。在一些示例中，体戴式磁传感器可以包括在位于用户手臂和躯干上的可穿戴物品(例如，背心、衬衫、夹克、臂带和/或胸带)中。可穿戴物品可以包括无线磁传感器连同发射器和电源。磁传感器被定位在用户身体上，以便最大化跟踪准确性并最小化磁传感器、发射器和电池之间的干扰。
9.本公开描述了用于被定位在身体上不同位置处的多个磁传感器的传感器同步技术，以在人工现实系统中实现准确的身体姿态跟踪。同步技术包括由一个或更多个主要磁
传感器管理无线同步信号并将其发送到其他磁传感器以触发感测采样。例如，主要磁传感器可以安装到hmd或外围设备。主要磁传感器可以生成传感器数据并将其发送到无线数据集线器，该无线数据集线器作为传感器数据收集器操作，并将数据传输到为系统执行姿态跟踪的计算设备。其他(非主要)磁传感器中的每一个响应于接收到无线同步信号，基于新的同步定时更新其采样开始时钟。如果一个非主要磁传感器没有接收到无线同步信号，则基于前一帧，该非主要磁传感器估计基于60hz(给出示例频率)的时间。每个磁传感器根据不同的时间表将生成的传感器数据发送到其对应的主要传感器或无线数据集线器，以避免各种磁传感器之间的冲突。如果主要传感器或无线数据集线器从一个或更多个磁传感器没有接收到传感器数据，或者在一些示例中，从所有磁传感器都没有接收到传感器数据，则基于确认策略，上述同步过程可以重复多次。
10.本公开还描述了用于同步磁传感器采样频率的技术，该技术可以利用现有的无线连接协议来将传感器采样与内部系统事件(例如，hmd的图像采集设备的相机曝光窗口的中心)对准。例如，主要磁传感器可以从hmd接收触发信号，并且作为响应，向磁传感器系统的一个或更多个其他磁传感器发送包括无线同步信号的无线连接请求命令。无线连接请求命令可以是初始命令，例如连接请求或握手，用于在主要磁传感器和另一磁传感器之间建立或重新建立无线通信信道，例如蓝牙、wifi等。无线连接请求命令可以由主要磁传感器以固定的时间表发送，并且可以基于另一个磁传感器接收到命令的时刻来指定开始采样时间。以这种方式，即使主要传感器不知道其他哪些传感器正在监听，接收并响应命令的任何其他传感器都会将其采样开始时钟与内部系统事件对准。在内部系统事件是相机曝光窗口的情况下，本文描述的同步技术可以使生成的传感器数据与由hmd的图像采集设备采集的特定图像帧相关联，以便实现更高准确性的身体姿态跟踪。
11.本公开还描述了用于使磁传感器系统中的多个主要磁传感器能够同时操作的技术，其中每个主要磁传感器被配置为管理磁传感器系统中其他磁传感器的离散组的采样频率的同步。以这种方式，可以增加用于身体姿态跟踪的磁传感器的数量，同时避免带宽和干扰问题。
12.在一些方面，一种方法包括由主要磁传感器从内部系统接收触发事件的指示；响应于接收到该指示，由主要磁传感器向多个磁传感器中的每一个传输同步信号，其中该同步信号包括采样开始时间；响应于接收到同步信号，由多个磁传感器中的每个磁传感器基于采样开始时间确定磁传感器的采样时间；由多个磁传感器中的每个磁传感器在磁传感器的采样时间对由与该多个磁传感器相关联的磁发射器生成的磁场进行采样，以生成磁传感器的传感器数据；由多个磁传感器中的每个磁传感器向主要磁传感器提供磁传感器的传感器数据，其中磁传感器的传感器数据根据传输时间被传输，传输时间至少部分地基于磁传感器的采样时间和偏移时间，其中多个磁传感器中的至少两个磁传感器的偏移时间是不同的；以及由主要磁传感器向姿态检测器提供多个磁传感器中的每个磁传感器的传感器数据。
13.在一些方面，一种人工现实系统包括：图像采集设备，其被配置为采集表示物理环境的图像数据；头戴式显示器(hmd)，其被配置为输出人工现实内容；磁发射器，其被配置为生成磁场；以及多个磁传感器，其包括主要磁传感器和非主要磁传感器，其中主要磁传感器被配置为：从hmd接收触发事件的指示，以及响应于接收到该指示，向非主要磁传感器中的
每个非主要磁传感器传输同步信号，其中该同步信号包括采样开始时间；其中非主要磁传感器中的每个非主要磁传感器被配置为：响应于接收到同步信号，基于采样开始时间确定非主要磁传感器的采样时间，在非主要磁传感器的采样时间对由磁发射器生成的磁场进行采样以生成磁传感器的传感器数据，以及向主要磁传感器提供非主要磁传感器的传感器数据，其中非主要磁传感器的传感器数据根据传输时间被传输，该传输时间至少部分地基于非主要磁传感器的采样时间和偏移时间，其中至少两个非主要磁传感器的偏移时间是不同的；其中主要磁传感器还被配置为向人工现实系统的姿态检测器提供主要磁传感器的传感器数据和多个磁传感器中的每个非主要磁传感器的传感器数据，其中姿态检测器被配置为至少部分地基于图像数据、多个磁传感器中的每个非主要磁传感器的传感器数据和主要磁传感器的传感器数据来确定对象的姿态。
14.在一些方面，磁传感器系统包括被配置为生成磁场的磁发射器；以及包括主要磁传感器和非主要磁传感器的多个磁传感器，其中主要磁传感器被配置为：从触发源接收触发事件的指示，以及响应于接收到该指示，向非主要磁传感器的每个非主要磁传感器传输同步信号，其中该同步信号包括采样开始时间；其中非主要磁传感器中的每个非主要磁传感器被配置为：响应于接收到同步信号，基于采样开始时间确定非主要磁传感器的采样时间，在非主要磁传感器的采样时间对由磁发射器生成的磁场进行采样以生成磁传感器的传感器数据，向主要磁传感器提供非主要磁传感器的传感器数据，其中非主要磁传感器的传感器数据根据传输时间被传输，该传输时间至少部分地基于非主要磁传感器的采样时间和偏移时间，其中至少两个非主要磁传感器的偏移时间是不同的；并且其中主要磁传感器还被配置为提供主要磁传感器的传感器数据和多个磁传感器中的每个非主要磁传感器的传感器数据作为磁传感器系统的输出。
15.本公开的技术的一个或更多个示例的细节在附图和下面的说明书中阐述。该技术的其他特征、目的和优点将从说明书和附图以及权利要求中显而易见。
16.附图简述
17.图1a是描绘根据本公开的技术的使用磁传感器数据来执行身体姿态跟踪的示例性人工现实系统的图示。
18.图1b是描绘根据本公开的技术的使用磁传感器数据来执行身体姿态跟踪的另一示例性人工现实系统的图示。
19.图2a是描绘被配置为根据本公开的技术操作的示例性hmd的图示。
20.图2b是描绘被配置为根据本公开的技术操作的另一示例性hmd的图示。
21.图3是示出控制台、磁传感器系统和用户设备的示例性实施方式的框图，例如图1a至图1b或图2a至图2b的hmd或用户设备中的任一个。
22.图4是描绘根据本公开的技术的人工现实系统的磁传感器系统和用户设备的示例的框图。
23.图5是描绘根据本公开的技术的磁传感器系统的示例性配置的图示。
24.图6描绘了穿戴磁传感器系统的用户，该磁传感器系统包括安装到可穿戴部件的多个磁传感器，可穿戴部件包括具有肩带和臀带的背包、臂带以及腕带。
25.图7a至图7d是根据本公开的技术从不同视角描绘磁传感器系统的示例性可穿戴物品的图示。
26.图8是示出根据本公开的技术的在磁传感器系统中的传感器部件与内部系统或hmd之间的有线和无线连接的示例性配置的概念图。
27.图9示出了根据本公开的技术的要同步的传感器的示例性数据流。
28.图10是示出根据本公开的技术的如上所述在图9中配置的磁传感器系统126的同步路径和数据流的框图。
29.图11是示出根据本公开的技术的用于通过磁传感器部件来同步磁场采样的同步设计的概念图。
30.图12是示出根据本公开的技术的用于通过磁传感器部件来同步磁场采样频率的同步设计的概念图。
31.图13是示出根据本公开的技术的用于同步磁传感器的采样频率的方法的操作的流程图。
32.在整个附图和说明书中，相似的参考字符表示相似的元件。
33.详细描述
34.基于图像的身体姿态计算存在局限性。用户的身体部位可能被长发或不规则形状的衣服遮挡，或者被其他身体部位或其他对象所遮挡。现实的照明可能很复杂，很难模拟，它也可能有照明或阴影伪像。这种干扰会导致在数据收集系统中出现错误的数据值。对于由内而外(inside
‑
out)的数据收集(即，通过与hmd集成的图像采集设备进行的图像数据收集)，由于视野有限，用户身体的某些部位甚至可能根本无法被采集。基于imu的系统可以解决遮挡问题，但imu位置跟踪可能会随着时间的推移而漂移，并在不同的环境中发生变化。因此，使用基于imu的系统，可能很难检测到(例如)拍手和其他双手手势，并且当用户在不同空间之间移动时，跟踪可能不准确。红外传感器跟踪可以提供更高的准确性，但是(例如)现实的衣服可能不会被采集，并且由于潜在的干扰，在一些环境(例如，室外)中操作可能会有挑战。
35.如本文所述，磁传感器系统可以提供基于图像的系统和imu系统的优点，并解决它们在身体运动基准真相(ground truth)方面的缺点。例如，磁传感器系统提供无遮挡传感器跟踪，并且可以提供取向和位置跟踪的更高的准确性。
36.磁传感器系统中使用的磁传感器的数量可能影响基于磁传感器确定的姿态的准确性。然而，随着系统中磁传感器数量的增加，更有可能使用耦合磁传感器的无线网络的所有可用带宽。进而，网络干扰的可能性可能更大。在一些方面，磁传感器可以被放置在不同的组中，这些组将磁传感器数据传送到主要传感器或数据集线器，主要传感器或数据集线器又将收集的数据传送到数据接收器，例如姿态跟踪器或机器学习系统。
37.图1a是描绘使用磁传感器数据来执行身体姿态跟踪的示例性人工现实系统1的图示。人工现实系统1可以同步磁传感器的采样和数据传输，以提高身体姿态跟踪的准确性。
38.在图1a的示例中，人工现实系统1包括头戴式显示器(hmd)112、控制台106、磁传感器系统127，以及在一些示例中，用于hmd 112的一个或更多个传感器90和/或控制器114a至114b(统称为“控制器114”)。如图所示，hmd 112通常由用户110穿戴，并且包括用于向用户呈现具有图像120和内容对象128a至128b的人工现实内容122的电子显示器和光学组件。此外，hmd 112包括用于跟踪hmd的运动的一个或更多个传感器(例如，加速度计)，并且可包括用于采集周围环境的图像数据的一个或更多个图像采集设备(例如，相机、线扫描器等)。每
个控制器114是输入设备，用户110可使用该输入设备向控制台106、hmd 112或人工现实系统1的另一部件提供输入。
39.通常，人工现实系统10使用从真实世界、3d物理环境采集的信息来渲染人工现实内容122以显示给用户110。在图1a的示例中，用户110观看由在控制台106和/或hmd 112上执行的人工现实应用构建和渲染的人工现实内容122。作为一个示例，人工现实内容122可以是消费者游戏应用，其中用户110被渲染为和一个或更多个虚拟对象128a、128b在一起的化身(avatar)120。在一些示例中，人工现实内容122可以包括真实世界图像和虚拟对象的混合，例如混合现实和/或增强现实。在其他示例中，人工现实内容122可以是例如视频会议应用、导航应用、教育应用、培训或模拟应用、或实现人工现实的其他类型的应用。如在本公开中所使用的，短语“a和/或b”可以指仅a、仅b、或a和b两者。
40.hmd 112可以是用户设备，因为hmd 112是用户用来与人工现实系统1的其他部件交互的计算设备。在其他示例中，人工现实系统1可以包括hmd 112的一个或更多个实例的集合，这些实例都在物理3d环境内同时操作。
41.在图1a的示例中，控制台106被示为单个计算设备，例如游戏控制台、工作站、台式计算机或膝上型计算机。在其他示例中，控制台106可分布在多个计算设备上，例如分布式计算网络、数据中心或云计算系统。如该示例所示，控制台106、hmd 112、控制器114和传感器90可经由网络104通信地耦合，网络104可以是有线或无线网络，诸如wifi、网状网络或短程无线通信介质。控制器114可使用近场通信或短程无线通信(诸如蓝牙)、使用有线通信链路或使用另一类型的通信链路来与hmd 112通信。尽管在该示例中，hmd 112被示出为与控制台106通信，例如系留(tethered to)到控制台或与控制台进行无线通信，但在一些实施方式中，hmd 112作为独立的移动人工现实系统进行操作。因此，在本公开中归因于控制台106的一些或全部功能可分布在一个或更多个用户设备(例如hmd 112的一个或更多个实例)之中。
42.根据本公开的技术，可穿戴磁传感器系统127包括可穿戴物品130，该可穿戴物品130被配置为在用户110的身体上空间地布置多个多重磁传感器125。磁传感器125被配置为生成和输出指示磁传感器125的相应位置的相应磁传感器数据。人工现实系统1可以使用这种磁传感器数据，以及其他数据，例如从hmd 112接收的感测数据，以及在一些示例中，来自任何外部传感器90(例如外部相机)的数据，以计算用户110的身体姿态。如本文所使用的“身体姿态”不仅指用户身体的位置和总体取向，还指用户身体的配置，例如，他们的各种身体部位相对于彼此的位置。使用例如人工现实系统，跟踪和渲染随时间变化的身体姿态以创建化身，允许人工现实系统通过在每个时间或每帧以计算的身体姿态的配置渲染化身来创建用户化身的动画。
43.在图1a中，磁传感器系统127包括用于执行身体姿态跟踪的体戴式磁传感器125。在一些示例中，每个磁传感器125包括这样的磁传感器，该磁传感器被配置为生成指示由磁传感器125感测到的磁场的磁传感器数据。在一些示例中，可穿戴物品130将至少一个磁发射器(图1a中未示出)固定在用户110躯干上的位置，该磁发射器被配置为生成由每个磁传感器125感测的磁场。在一些示例中，每个磁传感器125还包括imu，该imu被配置为生成在相应磁传感器125处感测到的imu数据。
44.在一些示例中，体戴式磁传感器125可以被包括在位于用户手臂和躯干上的一个
或更多个可穿戴物品130(例如，背心、衬衫、夹克、臂带和/或胸带)中。在图1a所示的示例中，用户110穿着背心和两条臂带，它们是磁传感器系统127的可穿戴物品，并且各自包括至少一个磁传感器125。磁传感器系统127可以包括无线磁传感器125连同发射器和电源，它们也可以被包括在一个可穿戴物品上。磁传感器125位于用户身体上，以便最大化跟踪准确性并最小化磁传感器127、发射器(未示出)和电池(未示出)之间的干扰。可穿戴物品可以包括相对刚性的结构，以便稳定磁传感器而不约束用户的移动。此外，可穿戴物品可被构造成以适当的重量分布将部件(例如，背心、衬衫、夹克、臂带和/或胸带)保持在用户身体上，以有助于用户舒适。
45.图1b是描绘使用磁传感器来执行身体姿态跟踪的另一示例性人工现实系统2的图示。在该示例中，人工现实系统2包括相机102a和102b(统称为“相机102”)、hmd 112a至112c(统称为“hmd 112”)、控制台106和传感器90。hmd 112b和112c以与图1a的hmd 112基本相似的方式操作。磁传感器系统127a和127b可以以与图1a的磁传感器系统127基本相似的方式操作。
46.如图1b所示，人工现实系统2提供多用户人工现实应用，该多用户人工现实应用在控制台106和/或hmd 112上执行，以基于该用户的对应参照系(frame of reference)的当前观看视角向每个用户呈现人工现实内容。也就是说，在该示例中，人工现实应用通过针对hmd 112中的每一个的参照系跟踪和计算姿态信息来构建人工内容。人工现实系统2使用从相机102、hmd 112、磁传感器系统127和控制器114接收的数据来采集真实世界的、物理3d环境内的3d信息，例如用户110的运动和/或关于用户110和对象108的跟踪信息，以用于计算hmd 112的对应参照系的更新姿态信息。作为一个示例，人工现实应用可基于为hmd 112c确定的当前观看视角来渲染人工现实内容122，该人工现实内容具有空间上覆盖在真实世界对象108a至108c(统称为“真实世界对象108”)上的虚拟对象128a至128c(统称为“虚拟对象128”)。此外，从hmd 112c的视角来看，人工现实系统2分别基于用户110a、110b的估计位置和姿态来渲染化身120a、120b。
47.在图1b中，根据本公开的技术，用户110a和用户110c都穿戴磁传感器系统的示例。用户110b可能没有穿戴磁传感器系统，在这种情况下，用户110b的姿态信息可能不是基于磁传感器的。换句话说，人工现实系统2可以利用或不利用磁传感器数据计算用户的姿态信息。
48.图2a是描绘被配置为根据本公开的技术操作的示例性hmd 112的图示。图2a的hmd 112可以是图1a和图1b的hmd 112中的任一个的示例。hmd 112可以是人工现实系统(例如图1a、图1b的人工现实系统1、2)的一部分，或者可作为被配置为实现本文所述技术的独立的、移动的人工现实系统操作。hmd 112可包括可从hmd 112的主体移除的移动设备(例如，智能电话)。
49.在该示例中，hmd 112包括前刚性主体和用于将hmd 112固定到用户的带。此外，hmd 112包括面向内部的电子显示器203，该电子显示器被配置为向用户呈现人工现实内容。电子显示器203可以是任何合适的显示技术，例如液晶显示器(lcd)、量子点显示器、点阵显示器、发光二极管(led)显示器、有机发光二极管(oled)显示器、阴极射线管(crt)显示器、电子墨水、或单色、彩色或能够生成视觉输出的任何其他类型的显示器。在一些示例中，电子显示器是用于向用户的每只眼睛提供单独图像的立体显示器。在一些示例中，当跟踪
hmd 112的位置和取向以用于根据hmd 112和用户的当前观看视角渲染人工现实内容时，显示器203相对于hmd 112的前刚性主体的已知取向和位置被用作参照系，也被称为局部原点。
50.如图2a中进一步所示，在该示例中，hmd 112还包括一个或更多个传感器206，例如输出指示hmd 112的当前加速度的数据的一个或更多个加速度计(也称为惯性测量单元或“imu”)、输出指示hmd 112的位置的数据的gps传感器、输出指示hmd 112与各种对象相距的距离的数据的雷达或声纳传感器、或提供hmd 112或物理3d环境内的其他对象的位置或取向的指示的其他传感器。此外，hmd 112可包括一个或更多个集成图像采集设备208，例如摄像机、激光扫描器、多普勒雷达扫描器、深度扫描器等，图像采集设备被配置为输出表示周围真实世界环境的图像数据。此外，hmd 112可以包括磁传感器125。磁传感器125可以与磁传感器系统127分离或者可以与磁传感器系统127集成在一起(图1a和图1b)。磁传感器125可以是hmd 112的组成部分，或者它可以是hmd 112的附件。hmd 112包括内部控制单元210，该内部控制单元可包括内部电源和一个或更多个印刷电路板，该印刷电路板具有一个或更多个处理器、存储器和硬件以提供用于执行可编程操作的操作环境，从而处理感测数据并在显示器203上呈现人工现实内容。内部控制单元210可以是可移动计算设备(例如智能电话)的一部分。
51.hmd 112可以部分地基于由运动传感器206、磁传感器系统127(图1a、图1b)生成的感测数据和/或由图像采集设备208生成的图像来计算hmd 112的参照系的当前姿态。内部控制单元210可包括姿态跟踪单元，姿态跟踪单元可执行用于处理感测数据和/或图像以计算当前姿态的软件。内部控制单元210可存储物理环境的主3d地图并且将经处理的图像与主3d地图进行比较以计算当前姿态。替代地或附加地，内部控制单元210可基于由传感器206和/或磁传感器系统127生成的传感器数据来计算当前姿态。基于所计算的当前姿态，内部控制单元210可渲染对应于人工现实应用的主3d地图的人工现实内容，并且内部控制单元210可经由电子显示器203显示人工现实内容。
52.在一些示例中，内部控制单元210可与hmd 112的一个或更多个控制器(图2a中未示出的控制器)对等。内部控制单元210可以从控制器接收传感器数据，该传感器数据提供用户输入的指示或物理3d环境内或相对于hmd 112的控制器取向或位置的指示。内部控制单元210可以将传感器数据的表示发送到控制台以供人工现实应用处理，其中指示可以是人工现实应用的事件数据。内部控制单元210可以执行人工现实应用以处理传感器数据。
53.图2b是描绘被配置为根据本公开的技术操作的另一示例性hmd的图示。图2b的hmd 112可以是图1a和图1b的hmd 112中的任一个的示例。hmd 112可以是人工现实系统(例如图1a、图1b的人工现实系统1、2)的一部分，或者可以作为被配置为实现本文所述技术的独立的、移动的人工现实系统操作。图2b的hmd 112可以以与图2a的hmd 112基本相似的方式操作。
54.在图2b的示例中，hmd 112包括眼镜形状因子，其包括刚性框架前部和两个镜腿(temple)或臂，刚性框架前部具有由鼻梁架(nose bridge)连接的两个目镜，两个镜腿或臂适配在用户的耳朵上以将hmd 112固定到用户。另外，代替一副传统眼镜中的镜片，hmd 112包括面向内部的(interior
‑
facing)电子显示器253，该电子显示器被配置为向用户呈现人工现实内容。电子显示器253可以是任何合适的显示技术，例如液晶显示器(lcd)、量子点显
示器、点阵显示器、发光二极管(led)显示器、有机发光二极管(oled)显示器、阴极射线管(crt)显示器、电子墨水、或单色、彩色或能够生成视觉输出的任何其他类型的显示器。在一些示例中，电子显示器253是用于向用户的每只眼睛提供单独图像的立体显示器。在一些示例中，当跟踪hmd 112的位置和取向以用于根据hmd 112和用户的当前观看视角渲染人工现实内容时，显示器253相对于hmd 112的刚性框架前部的已知取向和位置被用作参照系，也被称为局部原点。
55.如图2b中进一步所示，在该示例中，hmd 112还包括一个或更多个运动传感器206，例如输出指示hmd 112的当前加速度的数据的一个或更多个加速度计(也称为惯性测量单元或“imu”)、输出指示hmd 112的位置的数据的gps传感器、输出指示hmd 112与各种对象相距的距离的数据的雷达或声纳、或提供hmd 112或物理环境内的其他对象的位置或取向的指示的其他传感器。此外，hmd 112可以包括一个或更多个集成的图像采集设备208a和208b(统称为“图像采集设备208”)，例如摄像机、激光扫描仪、雷达扫描仪、深度扫描器等，图像采集设备208a和208b被配置为采集表示物理环境的图像数据。hmd 112还可以包括一个或更多个集成的音频采集设备212a和212b(统称为“音频采集设备212”)，例如耦合到数字音频记录设备的动态麦克风、电容麦克风、压电麦克风等，音频采集设备212a和212b被配置为采集用户和物理环境的音频数据。此外，hmd 112可以包括磁传感器125。磁传感器可以与磁传感器系统127(图1a和图1b)分离或集成在一起。
56.hmd 112包括内部控制单元210，该内部控制单元可以包括内部电源和一个或更多个印刷电路板，该印刷电路板具有一个或更多个处理器、存储器和硬件以提供用于执行可编程操作的操作环境，从而处理感测数据并在显示器253上呈现人工现实内容。
57.图3是示出图1a至图1b或图2a至图2b的控制台106、磁传感器系统127和hmd 112的示例性实施方式的框图。在图3的示例中，控制台106根据本文描述的技术，基于感测数据(例如从hmd 112接收的运动数据和图像数据和/或来自磁传感器系统127或其他外部传感器的数据)来为hmd 112执行姿态跟踪、手势检测以及用户界面生成和渲染。
58.在该示例中，hmd 112包括一个或更多个处理器302和存储器304，在一些示例中，处理器302和存储器304提供用于执行操作系统305的计算机平台，操作系统305可以是例如嵌入式实时多任务操作系统或其他类型的操作系统。反过来，操作系统305提供用于执行一个或更多个软件部件317(包括应用引擎340)的多任务操作环境。如关于图2的示例所讨论的，处理器302耦合到电子显示器203、运动传感器206和图像采集设备208，但是hmd 112的其他示例可以既不包括运动传感器206也不包括图像采集设备208，或者仅包括其中之一。在一些示例中，处理器302和存储器304可以是单独的、分立的部件。在其他示例中，存储器304可以是与单个集成电路内的处理器302并列放置的片上存储器。存储器304、处理器302、操作系统305和应用引擎340部件可共同表示图2a和图2b的内部控制单元210的示例。
59.操作系统305提供用于执行包括应用引擎340的一个或更多个软件部件的操作环境。应用引擎340可以是具有一个或更多个过程的人工现实应用。应用引擎340可经由网络或其他通信链路使用i/o接口(图3中未示出)将由磁系统127、运动传感器206生成的传感器数据的表示或由图像采集设备208生成的图像的表示作为标测信息发送到控制台106。例如，人工现实应用340例如可以是电话会议应用、游戏应用、导航应用、教育应用或培训或模拟应用。
60.一般来说，控制台106是与诸如人工现实系统的hmd 112和/或磁传感器系统127的用户设备进行接口的计算系统。在一些示例中，控制台106是单个计算设备，例如工作站、台式计算机、膝上型计算机。在一些示例中，控制台106的至少一部分(例如处理器312和/或存储器314)可分布在一个或更多个计算设备、云计算系统、数据中心或网络(例如互联网、另一种公共或专用通信网络(例如宽带、蜂窝、wi
‑
fi、和/或其他类型的通信网络))上以用于在计算系统、服务器和计算设备之间传输数据。
61.在图3的示例中，控制台106包括一个或更多个处理器312和存储器314，该处理器和存储器提供用于执行操作系统316的计算机平台。继而，操作系统316提供用于执行一个或更多个软件部件317的操作环境。处理器312耦合到i/o接口315，该i/o接口提供一个或更多个i/o接口以用于与外部设备(例如键盘、游戏控制器、显示设备、图像采集设备等)通信。此外，i/o接口315可包括用于与网络(例如网络104)通信的一个或更多个有线或无线网络接口卡(nic)。处理器302、312中的每一者可包括多核处理器、控制器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、或等效的离散或集成逻辑电路中的任何一个或更多个。存储器304、314可包括用于存储数据和可执行软件指令的任何形式的存储器，例如随机存取存储器(ram)、只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电子可擦除可编程只读存储器(eeprom)和/或闪存存储器。
62.控制台106的软件部件317操作以提供整体人工现实应用。在该示例中，软件部件317包括应用引擎320、渲染引擎322、姿态跟踪器326和磁传感器同步器324。
63.通常，应用引擎320包括提供和呈现人工现实应用的功能，该人工现实应用例如是电话会议应用、游戏应用、导航应用、教育应用、培训或模拟应用等。应用引擎320和应用引擎340可在一些示例中协作地提供和呈现人工现实应用。应用引擎320可包括，例如，用于在控制台106上实现人工现实应用的一个或更多个软件包、软件库、硬件驱动器和/或应用程序接口(api)。响应于应用引擎320的控制，渲染引擎322生成3d人工现实内容，以由hmd 112的应用引擎340显示给用户。
64.应用引擎320和渲染引擎322根据参照系的当前姿态信息(通常是由姿态跟踪器326确定的hmd 112的观看视角)构建用于显示给用户110的人工内容。基于当前观看视角，渲染引擎322构建3d、人工现实内容，该3d、人工现实内容可至少部分地覆盖在hmd 112所位于的物理3d环境上。在此过程期间，姿态跟踪器326可对从hmd 112接收的感测数据(例如移动信息和用户命令)进行操作，并且在一些示例中，对来自磁传感器系统127和任何外部传感器90或外部相机102(如图1a、图1b所示)的数据进行操作，以便采集物理3d环境内的3d信息，例如用户110的运动，和/或关于用户110的特征跟踪信息。基于感测数据，姿态跟踪器326确定hmd 112的参照系的当前姿态，并且根据当前姿态生成用于传送到hmd 112的人工现实内容以经由电子显示器203向用户显示。
65.根据本文描述的技术，磁传感器系统127包括多个磁传感器125，每个磁传感器125生成传感器数据并将传感器数据无线发送到数据集线器129。在一些示例中，每个磁传感器125包括传感器350和支持电路，该支持电路从由磁发射器131生成的感测磁场生成磁传感器数据。每个传感器350可以是3轴传感器。如本文所使用的，术语“磁传感器”可以指传感器350或包括传感器350的磁传感器125。在一些示例中，每个磁传感器125包括为磁传感器125生成imu数据的imu 360(例如，加速度计和/或陀螺仪)。每个磁传感器1125将磁传感器数据
和imu数据传输到数据集线器129。
66.在一些方面，磁传感器125可以被配置作为数据集线器129。在一些方面，数据集线器129可以是包括在磁传感器系统127中的独立设备。数据集线器129可以与hmd 112、外围设备、智能电话或其他个人计算设备或能够从磁传感器125无线接收数据并将收集的数据无线传输到另一设备的其他设备集成在一起。作为一个示例，数据集线器129可以是与hmd 112共存的外围设备(有时称为“舞台(stage)”设备)，并且在一些示例中，该外围设备在虚拟环境中作为hmd 112的辅助输入/输出设备来操作。在一些示例中，外围设备可以作为人工现实协同处理设备来操作，hmd 112的一些功能被卸载到该人工现实协同处理设备。磁发射器131产生由每个磁传感器125使用的磁场，以生成指示磁传感器125相对于磁发射器131的位置的传感器数据。
67.数据集线器129直接或经由hmd 112将收集的传感器数据(或其表示)无线发送到控制台106。磁传感器125可以各自耦合到电子电路，该电子电路管理传感器数据采样、以及传感器数据生成和到数据集线器129的传输的定时。电子电路可以包括定时电路或从人工现实系统1、2的其他部件接收同步信号的指令，其他部件例如是hmd 112、控制台106、磁传感器系统127、其他磁传感器125或数据集线器129。
68.姿态跟踪器326包括基于磁传感器的姿态跟踪器327，该基于磁传感器的姿态跟踪器至少基于由磁传感器125生成的传感器数据来为用户计算身体姿态。姿态跟踪器326可以将由基于磁传感器的姿态跟踪器327计算的身体姿态结合到姿态跟踪计算算法中，以改善由渲染引擎322渲染的人工现实内容中的用户化身的整体渲染。
69.基于磁传感器的姿态跟踪器327可以执行磁传感器系统127的磁传感器125的校准，以提高身体姿态跟踪的准确性。在一些示例中，基于磁传感器的姿态跟踪器327执行这种校准，在其他示例中，人工现实系统1、2的另一部件，例如控制台106或磁传感器系统127执行这种校准。例如，控制台106可以包括被配置为校准磁传感器系统127的磁传感器部件125的校准引擎。
70.校准技术包括使用根据用户身体上的传感器位置而变化的失真和噪声建模，对每个磁传感器125的磁数据和惯性测量单元(imu)数据进行内校准(intrinsic calibration)。校准技术还包括融合多传感器数据(即磁数据和惯性测量单元(imu)数据)以提供高准确性结果和噪声容限。此外，校准技术可以包括传感器到相机的系统校准，以将磁传感器集成到hmd相机视场(fov)和光学基准真相系统校准中。在一些示例中，可以执行传感器到骨骼的校准，以提高身体姿态跟踪准确性。更具体地说，不是假设磁传感器位于用户的关节(例如手腕、肘部、肩部和臀部)处，而是传感器到骨骼的校准技术确定每个磁传感器相对于个体用户身体的骨骼或关节的更确切的位置。一旦磁传感器被校准，磁传感器可以在几种不同的人工现实系统使用情况下用于身体姿态跟踪。在一种使用情况下，经校准的磁传感器可以与由hmd执行的图像跟踪结合使用或作为由hmd执行的图像跟踪的替代来使用，以便即使用户身体的一部分被hmd相机遮挡，也能继续跟踪用户的身体。在另一种使用情况下，在移动环境中，经校准的磁传感器可以单独用于基于磁传感器位置和与预定义的身体关节的偏移来推断身体姿态。在又一使用情况下，经校准的磁传感器可以用于收集身体姿态跟踪信息，以建立用于用户无关的机器学习(ml)模型的基准真相数据。
71.从磁传感器系统127提供给基于磁传感器的姿态跟踪器327的传感器数据可以以
多种方式被用于生成身体跟踪数据。例如，它们可以与其他身体采集系统(例如，图像采集设备208、传感器90等)结合使用，以有助于使身体跟踪结果精细至更加准确。它们也可以在移动环境中使用，其中基于磁传感器的姿态跟踪器327从磁传感器位置以及它们与预定义的身体关节的相对偏移来推断身体姿态。基于磁传感器的姿态跟踪器327可以使用从每一个磁传感器部件125获得的磁传感器数据来计算每个磁传感器部件125在用户身体上的位置。例如，基于磁传感器的姿态跟踪器327可以维护将每个磁传感器部件125的相应位置映射到用户身体的预定义骨架模型。基于磁传感器的姿态跟踪器327使用从每一个磁传感器部件125获得的磁传感器数据来确定磁传感器部件125相对于预定义骨架模型的一个或更多个身体部位或关节的位置。例如，基于磁传感器的姿态跟踪器327使用磁传感器数据来计算每个磁传感器部件125相对于预定义骨架模型的身体关节的平移或旋转中的至少一个。基于磁传感器的姿态跟踪器327使用磁传感器部件125在用户身体上的计算位置来计算用户的身体姿态。例如，通过假设每个磁传感器部件125位于用户的对应关节或身体部位处，基于磁传感器的姿态跟踪器327可以使用磁传感器数据来识别磁传感器单元125的位置变化，并等同于磁传感器单元125所在的身体部位的位置变化。
72.在一些示例中，姿态跟踪器326通过以下方式来计算用户的身体姿态：将从磁传感器部件125的每个磁传感器获得的磁传感器数据与从相应磁传感器部件125的imu获得的imu数据或从集成在hmd 112或用户设备118内的图像采集设备获得的图像数据中的至少一个融合。例如，imu数据可以包括取向数据、加速度数据和纬度数据，这些数据允许姿态跟踪器326增加磁传感器部件125的确定位置的准确性，从而提高姿态跟踪的准确性。进一步，姿态跟踪器326可以使用图像数据来提供“基准真相”，以验证或检验磁传感器部件125的确定位置。例如，姿态跟踪器326可以识别图像数据中描绘的用户身体部位的位置，并使用所识别的身体部位的位置来检验针对位于身体部位的对应磁传感器125所确定的位置。通过将磁传感器数据与imu数据和/或图像数据融合，姿态跟踪器326可以执行用户的姿态跟踪，该姿态跟踪对多种形式的噪声是鲁棒的并且表现出高度的准确性。在一些示例中，归因于姿态跟踪器326、渲染引擎322和应用引擎320的一些或全部功能可以由用户设备300执行。
73.磁传感器系统127的同步器324可以为位于身体上不同位置的多个磁传感器125执行传感器同步技术，用于在人工现实(ar)系统中实现准确的身体姿态跟踪。在一些示例中，同步器324可以是磁传感器125中的主要磁传感器的一部分。在一些示例中，同步器324可以是人工现实系统1、2的另一部件的一部分，该另一部件例如是hmd 112、控制台106、集线器129或独立设备(未示出)。
74.同步技术包括由同步器324管理无线同步信号并将其发送到其他磁传感器125以触发感测采样。主要磁传感器125可以被安装到hmd 112。主要磁传感器125可以生成传感器数据并将其发送到无线数据集线器129，无线数据集线器129作为传感器数据收集器操作，并将收集的传感器数据(直接或间接)发送到控制台106或hmd 112，控制台106或hmd 112可以为人工现实系统执行姿态跟踪。在一些示例中，无线数据集线器129可以与主要磁传感器125被包括在一起。其他(非主要)磁传感器125中的每一个响应于接收到无线同步信号，基于新的同步定时更新其采样开始时钟。如果一个非主要磁传感器125没有接收到无线同步信号，则基于前一帧，该非主要磁传感器125可以基于60hz(用于给出示例频率)来估计时间。每个磁传感器125可以根据不同的时间表向无线数据集线器129发送生成的传感器数
据，以避免各种磁传感器125之间的冲突。如果无线数据集线器129从一个或更多个磁传感器125或者从所有磁传感器125都没有接收到传感器数据，则基于确认策略，上述同步过程可以重复多次。次数可以是可配置的。
75.同步器324还可以执行用于同步磁传感器采样频率的技术，该技术利用现有的无线连接协议来将传感器采样与内部系统事件(例如，hmd 112的图像采集设备208的相机曝光窗口的中心)对准。例如，磁传感器125中的主要磁传感器可以从hmd 112接收触发信号，并且作为响应，向磁传感器系统127的一个或更多个其他磁传感器125发送包括无线同步信号的无线连接请求命令。无线连接请求命令可以是初始命令(例如，连接请求或握手)，其被用于在主要磁传感器和另一磁传感器之间建立或重新建立无线通信信道，例如蓝牙、wifi等。无线连接请求命令由主要磁传感器以固定的时间表发送，并基于另一个磁传感器接收到命令的时刻指定开始采样时间。以这种方式，即使主要传感器不知道哪些其他传感器125正在监听，接收和响应命令的任何其他传感器125都将使它们的采样开始时钟与内部系统事件对准。在内部系统事件是相机曝光窗口的情况下，本文描述的同步技术可以使得生成的传感器数据能够与由hmd 112的图像采集设备208采集的特定图像帧相关联，以便实现更高准确性的身体姿态跟踪。
76.在一些示例中，归因于姿态跟踪器326、渲染引擎322和应用引擎320的一些或全部功能可以由hmd 112执行。
77.图4是描绘根据本公开的技术的用于人工现实系统的磁传感器系统127和hmd 112的示例的框图。在图4所示的示例中，hmd 112作为独立设备操作，即，不系留到控制台。在该示例中，类似于图3，hmd 112包括一个或更多个处理器302和存储器304，在一些示例中，处理器302和存储器304提供用于执行操作系统305的计算机平台，该操作系统可以是嵌入式、实时多任务操作系统。继而，操作系统305提供用于执行一个或更多个软件部件417的操作环境。此外，一个或更多个处理器302耦合到电子显示器203、运动传感器206和图像采集设备208。
78.在图4的示例中，软件部件417操作以提供整体人工现实应用。在该示例中，软件部件417包括应用引擎440、渲染引擎422和姿态跟踪器426。在各种示例中，软件部件417的操作类似于图3的控制台106的对应部件317(例如，应用引擎320、渲染引擎322和姿态跟踪器326)。
79.hmd 112包括姿态跟踪器426，姿态跟踪器426可以包括基于磁传感器的姿态跟踪器427，基于磁传感器的姿态跟踪器427执行类似于关于图3的基于磁传感器的姿态跟踪器327描述的操作。姿态跟踪器426可以将由基于磁传感器的姿态跟踪器427计算的身体姿态以及其他传感器和图像采集数据结合到姿态跟踪计算算法中，以改善由渲染引擎422渲染的人工现实内容中的用户化身的整体渲染。
80.图5是描绘根据本公开的技术的磁传感器系统127的示例性配置的图示。磁传感器系统127包括多个磁传感器125a至125n(统称为“磁传感器部件125”)和磁发射器131。磁传感器系统127与无线数据集线器129、控制台106和/或hmd 112相结合地以与上面参考图3和图4描述的基本相似的方式操作。
81.如图5所描绘的，磁传感器系统127的每个磁传感器125在空间上被布置成将每个磁传感器125定位在用户身体的不同位置。如参照图6更详细地描述的，一个或更多个可穿
戴物品(图5中未描绘)可以通过将磁传感器125和磁发射器131固定在用户身体的一个或更多个位置(例如头部(例如，磁传感器125a)、左前臂和右前臂(例如，磁传感器125b和125f)、左上臂和右上臂(例如，磁传感器125d和125h)、臀部的左侧和右侧(例如，磁传感器125c和125g)、左肩和右肩(例如，磁传感器125e和125i)以及躯干的上部前中央(例如，磁传感器125j))来在空间上布置磁传感器125和磁发射器131。在其他示例中，磁传感器125可以被定位于左上腿和右上腿(例如，磁传感器125k和125l)以及左下腿和右下腿(例如，磁传感器125m和125n)。在另外的示例中，磁传感器125可以被定位于用户身体的其他位置，例如手腕、肘部、上臂、颈部、躯干、腰部、膝盖、脚踝或脚。如图5的示例中所描绘的，每个磁传感器125被定位于用户身体上的一个位置，该位置不同于磁发射器131在用户身体上所处的位置和每个其他磁传感器125的位置。如下文更详细描述的，在一些示例中，一个或更多个可穿戴物品(例如，背心、衬衫、夹克、臂带和/或胸带)为磁传感器125和磁发射器131提供结构支撑，以稳定磁传感器125。通过为磁传感器125和磁发射器131提供刚性结构支撑，一个或更多个可穿戴物品可以避免妨碍用户的移动。此外，由一个或更多个可穿戴物品提供的刚性结构支撑可以减少由磁传感器系统127生成的磁传感器数据中的噪声，否则在用户移动期间，可能由于磁传感器系统127的部件的振动或位置移动而生成噪声。
82.图6是描绘根据本公开的技术的磁传感器系统127的可穿戴物品130a至130e(以下称为“可穿戴物品130”)内的部件的示例空间布置的图示。磁传感器系统127包括多个磁传感器部件125和磁发射器131。磁传感器系统127以与上面参照图1描述的基本相似的方式操作。
83.在图6的示例中，用户穿着多个可穿戴物品130，这些物品将多个磁传感器125a至125j和磁发射器131固定在用户的躯干周围。例如，可穿戴物品130可以将每个磁传感器125固定在用户的多个不同身体关节中的不同身体关节处。如图6的示例所描绘的，可穿戴物品130包括腕带130a、肘带130b和背带式背包130c中的每一个，背带式背包130c包括肩带640a、腰带640b和后带640c。腕带130a、肘带130b和肩带640a中的每一个安装有磁传感器125中的一个。腰带640b安装有两个磁传感器部件125。此外，背带式背包130c可以经由后带640c将磁发射器131固定在用户的背部(如图6的虚线所描绘的)。此外，背带式背包130c将磁传感器125i固定到用户前躯干的上部中央。替代地，可穿戴物品130可以将磁发射器131和/或磁传感器125固定在用户躯干周围的其他位置。除了图6所描绘的可穿戴物品130之外，可以附加地或替代地使用其他类型的可穿戴物品。
84.在一些示例中，至少一个可穿戴物品被配置为穿戴在用户的一个或更多个身体部位上，例如用户的颈部、手臂、腿部、头部、躯干或腰部等周围。例如，如上所讨论的，可穿戴物品130可以包括具有肩带和臀带的背包、臂带和腕带。可以使用其他类型的可穿戴物品，例如，夹克、背心、外套、衬衫、帽子、裤子、鞋子、腰带、背带、附接到用户衣服的一个或更多个夹子、或者用户可穿戴的其他类型的设备。
85.虽然在图6的示例中，用户穿着多个可穿戴物品130，每个可穿戴物品130安装有一个或更多个传感器125，但是在其他示例中，用户穿着安装有所有磁传感器125和磁发射器131的单个可穿戴物品130(例如，全身套装或背带)。例如，可穿戴物品130可以包括单个单元，例如夹克、背心、背带或背包，其将磁发射器131安装在用户躯干周围，并将电源(未被描绘)安装在用户背部。此外，单个可穿戴物品130可以在空间上将多个磁传感器125布置在用
户的躯干周围不同于磁发射器131、电源和每个其他磁传感器125的位置。可穿戴物品在空间上围绕用户的躯干布置磁传感器125，使得从磁传感器125获得的磁传感器数据可以用于用户的身体姿态跟踪。
86.典型地，每个磁传感器部件125被固定在用户身体上在磁发射器的信号范围612内的位置。例如，在磁发射器131的信号范围612大约是1米的情况下，每个磁传感器部件125被固定在用户身体上距离磁发射器131 1米以内的位置。另外，每个磁传感器部件125被固定在用户身体上在噪声范围610之外的位置，在噪声范围的位置，磁发射器131可能对磁传感器部件125造成干扰。例如，当磁传感器125位于距离磁发射器131小于大约10厘米的位置时，磁传感器125可能接收到干扰、噪声或者可能以不希望的或不可预测的其他方式表现。因此，每个磁传感器部件125被固定在用户身体上远离磁发射器131至少10厘米的位置。如图6的示例中所描绘的，每个磁传感器部件125被固定在用户身体上在噪声范围610之外并在信号范围612之内的位置。例如，每个磁传感器125被固定在用户身体上的这样一个位置，即该位置距离磁发射器131被固定在的用户身体上的位置大于约10厘米且小于约1米。
87.每个可穿戴物品可以经由集成到可穿戴物品130中的各种类型的附接设备来固定磁传感器部件125、磁发射器131或电源(图6中未被描绘)。例如，背带130c包括发射器附接机构，该发射器附接机构被配置为将磁发射器131固定在用户躯干上的位置。例如，背带130可以包括将磁发射器131封装在用户背部的缝合织物(如图7中磁发射器131的虚线所描绘的)和将磁发射器131定位在用户躯干上的位置的一根或更多根后带640c。
88.可穿戴物品130a、130b和130c中的每一个都包括至少一个接收器附接机构，该接收器附接机构在空间上被布置在相应的可穿戴物品130内，将一个或更多个磁传感器125固定在用户躯干周围的相应不同位置。在可穿戴物品130包括电源或电池(图6中未描绘)的示例中，可穿戴物品130可以包括电源附接机构，该电源附接机构被配置为将电源固定在用户躯干上的一个位置，该位置不同于磁发射器131的位置和多个磁传感器125中的每一个的位置。各种类型的附接机构可用于将磁传感器系统127的各种部件固定在用户身体上的位置。例如，可穿戴物品130可以包括一个或更多个钩环紧固件、夹子、缝合口袋、纽扣紧固件、领带、扣环、带子或系带。例如，每个可穿戴物品130可以包括将磁传感器系统127的各种部件锚定到可穿戴物品130的弹性织物缝制环。
89.发射器附接机构、接收器附接机构和电源附接机构中的每一个可以是相似或不同类型的附接机构。此外，每个附接机构可以是永久性的或可移除的。例如，发射器附接机构或接收器附接机构可以将磁发射器131或多个磁传感器125中的一个封装在可穿戴设备130的永久缝合外壳中。作为另一个示例，发射器附接机构或接收器附接机构中的每一个可以是便于磁发射器131或多个磁传感器125中的一个的方便移除和替换的可移除紧固件。
90.图7a至图7d是根据本公开的技术的从不同视角描绘磁传感器系统127的示例性可穿戴物品130的图示。具体而言，图7a至图7d从不同角度描绘了不同姿态的图6的可穿戴物品130。如在该描绘中可以看到的，背包可穿戴部件130e具有固定在其上的位于用户下背部的磁发射器131和位于肩胛骨之间的电源704(例如，电池部件)。
91.每个可穿戴物品130包括相对刚性的结构，该结构稳定磁传感器部件125而不约束用户的移动。此外，每个可穿戴物品130可以被构造成将磁传感器系统127的部件(例如磁传感器部件125、磁发射器131和电池部件704)以适当的重量分布保持在用户的身体上，以便
于用户舒适。例如，可穿戴物品130e将磁发射器131固定在靠近用户质心的位置，例如用户背部的较小部分的位置，以便减少用户的不适和疲劳。在一些示例中，可穿戴物品130由与用户皮肤形状适配的坚固材料(例如硅树脂)构成。在一些示例中，可穿戴物品130包括抵靠在用户皮肤上的硅树脂支撑构件。可穿戴物品130还包括弹性合成织物，其附接到硅树脂支撑构件并提供保持磁传感器系统127的部件的机构。
92.如图7c和图7d所描绘的，磁传感器部件125可以很小，并且可以被隐藏在用户的衣服下面，而不会在数据收集期间给图像采集设备引入视觉偏差。与使用红外或可见光跟踪的常规技术相反，可以处理磁传感器数据以确定对应磁传感器部件125的取向和位置，而很少或不受视线注意事项的影响。如下面参照图8更详细讨论的，图7c的磁传感器系统127可以包括结合到hmd 112中的至少一个磁传感器部件125。
93.图8是描绘根据本公开的技术的包括磁传感器系统127和hmd 112的示例性可穿戴物品130的图示。在图8的示例中，hmd 112可以另外包括磁传感器部件125a，其以与磁传感器125基本相似的方式操作。在一个示例中，磁传感器部件125a经由有线连接被连接到hmd 112，而其他磁传感器125经由无线连接被连接到hmd 112。在一些示例中，磁传感器125a可以是“主”或“主要”磁传感器，其与磁传感器系统127的其他磁传感器部件125协调定时同步。例如，磁传感器125和125a可以彼此结合地操作，以生成磁传感器数据，并将磁传感器数据无线发送到图1的数据集线器129。在一些示例中，磁传感器125a执行与磁传感器系统127的每个其他磁传感器125的周期性定时同步。在一些示例中，每个磁传感器125与磁传感器125a之间的无线链路在不同的无线信道上，以最小化无线链路分组丢失(packet drop)。在一些示例中，磁传感器125a向每个磁传感器125广播同步信号。磁传感器125a可以使用无线通信协议(例如ieee 802.11等)向磁传感器125传输同步信号。
94.由hmd 112的图像采集设备提供的图像数据可用于提供“基准真相”以验证或检验磁传感器125的确定位置。例如，图像数据中描绘的用户身体部位的位置可用于检验固定在身体部位的相应磁传感器125的检测位置。通过将磁传感器数据与图像数据融合，姿态跟踪器326可以对用户执行姿态跟踪，该姿态跟踪对多种形式的噪声是鲁棒的并且表现出高度的准确性。
95.图9是示出根据本公开的技术的在磁传感器系统127的部件与内部系统902之间的有线和无线连接的示例性配置的概念图。磁传感器系统127可以被配置为执行用于使磁传感器系统127中的磁传感器125的多个主要磁传感器能够同时操作的技术，其中每个主要磁传感器被配置为管理磁传感器系统127中的其他磁传感器125的离散组的采样频率的同步。以这种方式，可以增加用于身体姿态跟踪的磁传感器的数量，同时避免带宽问题。在一个示例中，每个主要磁传感器可以与hmd 112有线连接，并且响应于从hmd 112接收的触发信号，向其非主要磁传感器125的组发送无线同步信号。在另一示例中，第一主要磁传感器可以与hmd 112有线连接以接收触发信号，并且与第二主要磁传感器无线连接，该第二主要磁传感器作为由该第一主要磁传感器管理的第一组磁传感器125中的一个传感器。响应于从第一主要磁传感器接收的无线连接请求命令，第二主要磁传感器管理磁传感器系统127中的第二组磁传感器125的采样频率的同步。
96.第一主要磁传感器125a(称为“传感器h”)可以具有与内部系统902(例如，hmd 112或控制台106)的有线链路连接，以接收触发信号从而启动来自传感器125的采样。在图9所
示的示例性配置中，传感器h可以是磁传感器125等的整个无线系统的主机，或者传感器h可以是磁传感器125的无线系统的一部分的主机，该磁传感器125的无线系统的一部分包括传感器2
‑
m的第一离散组。如图所示，另一磁传感器125b(例如，传感器1)可以类似于传感器h作为第二主要磁传感器来操作。传感器1可以是无线系统的一部分的主机，该无线系统的一部分包括传感器m 1
‑
n的第二离散组。传感器1可以具有或不具有与内部系统902的有线链路连接(即，可选的有线链路)，该有线链路连接用于直接从内部系统902接收触发信号。
97.传感器h和传感器1到n之间的网络可以是一对多网络，或可以是网状网络。在图9所示的示例中，传感器h可以无线连接到第一组传感器(例如，传感器1和传感器2
‑
m)，并且传感器1可以无线连接到第二组传感器(例如，传感器m 1
‑
n和传感器h)。传感器h与第一组中的磁传感器建立的无线通信信道可以不同于传感器1与第二组中的磁传感器建立的无线通信信道，因此第一组中的传感器之间的通信和第二组中的传感器之间的通信独立操作。如果传感器h和传感器1之间的无线通信信道被建立，则传感器h和传感器1之间的无线通信信道(即，可选的无线链路904)可以作为不同于第一组或第二组的通信信道的另一个通信信道来操作。
98.在图9所示的示例中，有两组磁传感器。然而，磁传感器网络可以扩展到多于两组。例如，可以有被分成n/y个组的n个磁传感器，使得每组可以具有y个磁传感器。在一些方面，组内的磁传感器可以与该组的主导(例如，主要)传感器通信。每组的主导传感器可以向内部系统902报告传感器数据。
99.图10是示出根据本公开的技术的如上所述在图9中配置的磁传感器系统126的同步路径和数据流的框图。在一些方面，同步器324(图3、图4)向hmd图像采集设备208、第1组传感器1025(例如，图9的传感器1
‑
m)的主要磁传感器125a(传感器h)和第2组传感器1035(例如，图9的传感器m 1
‑
n)的无线集线器129(或被配置作为无线集线器的第二主要磁传感器)提供触发指示。响应于接收到触发指示，hmd 112图像采集设备208采集对应于图像采集设备的视野中的物理环境的图像数据。在一些方面，响应于接收到触发指示，主要磁传感器125a向第1组传感器1025中的每一个传感器发送同步信号，并等待从第1组传感器1025接收传感器数据。在一些方面，无线集线器129(或用作无线集线器129的传感器1)向第2组传感器1035中的每一个传感器发送同步信号，并等待从第2组传感器1035接收传感器数据。
100.hmd 112的图像采集设备208可以向数据接收器1004发送图像采集数据。hmd 112上的n个图像采集设备中的每一个可以有一个图像。另外，主要磁传感器125a可以将由主要磁传感器125a和其他第1组传感器1025所采样的传感器数据发送到数据接收器1004。此外，无线集线器129(或用作无线集线器129的传感器1)可以将由第2组传感器1035所采样的传感器数据发送到数据接收器1004。
101.在一些方面，同步器324、图像采集设备108、第1组传感器1025、第2组传感器1035和无线集线器129可以是移动环境或身体上环境1002的一部分。在这样的方面，数据接收器1004可以是姿态跟踪器326、426和/或磁传感器姿态跟踪器327、427(图3、图4)。
102.在一些方面，同步器1024可以在同步器324发出触发信号的同时发送触发信号。同步器1024可以向外部传感器1026发送触发信号。外部传感器1026可以是任何外部传感器90(图1)。此外，外部传感器1026可以是运动采集设备、kinect相机或其他类型的传感器。响应于接收到触发信号，外部传感器1026可以向数据接收器1004提供数据。在一些方面，数据接
收器1004可以是姿态跟踪器326、426和/或磁传感器姿态跟踪器327、427(图3、图4)。在一些方面，数据接收器1004可以是被配置为分析接收到的数据的机器学习系统。例如，机器学习系统可用于用其他传感器数据，例如来自外部传感器90的数据或基于图像采集设备208确定的姿态数据，来校准磁传感器125。
103.图11是示出用于通过磁传感器部件来同步磁场采样和无线数据传输的同步策略的概念图。hmd 112可以向主要磁传感器(例如，hmd 112上的磁传感器125a)发送触发器1102的指示。触发器1102的定时可以基于例如是一个或更多个相机(例如，图像采集设备208(图2a和图2b))的相机曝光窗口的事件。响应于接收到触发器1102的指示，主要磁传感器125a(传感器h)可以发出syn分组，该syn分组可以包括开始时间。基于开始时间，每个磁传感器125在采样窗口1124内基本上相同的时间(例如，
±
1ms)对相应的磁场进行采样1106，并生成相应的传感器数据。在为每个磁传感器125指定的传输窗口内，磁传感器125向主要磁传感器125a(传感器h)发送无线分组1108，该无线分组1108包括针对该帧的其对应的传感器数据。每个磁传感器125可以被配置为每帧1126有不同的传输窗口。在一些方面，分组的传输窗口可以被指定为距开始时间或者距磁传感器125进行采样的时间的偏移时间。在分组丢失的情况下，磁传感器125可以尝试重新传输1110。例如，如果磁传感器未能接收到对先前分组的确认，则磁传感器125可以重新传输分组。采样时间可以部分地基于hmd 112的相机(图像采集设备)曝光窗口1122。例如，可以指示采样发生在曝光窗口1122的中心。默认情况下，采样频率可以在60hz运行，因此帧长度是16.666毫秒。然而，采样频率可以是另一频率，或者可以由hmd 112根据任何标准以另一频率被触发。在一些示例中，hmd 112可以通过有线或无线连接1120连接到主要磁传感器125a(传感器h)，用于触发hmd驱动的定时方案或与hmd驱动的定时方案进行其他同步。
104.以上描述是在单个主要磁传感器125a(传感器h)的背景下提供的。相同的同步方案可以应用于第二主要磁传感器(例如，传感器1 125b或充当无线集线器129的其他设备)关于与第二主要磁传感器相关联的传感器(例如，图9的传感器m 1
–
n)的背景中。
105.图12是示出根据本公开的技术的用于通过磁传感器部件来同步磁场采样频率的同步设计的概念图。传感器h和传感器1
‑
n之间的同步初始化可以发生在传感器h从内部系统(例如，hmd 112、控制台106等)接收到触发信号1204之后。同步事件的初始化可以发生在无线连接建立(即，传感器h以60hz向其他磁传感器125发送无线连接请求并与触发信号同步)期间或发生在无线连接建立已经完成之后。在一些方面，当两个设备(例如，诸如传感器h的主要磁传感器和非主要磁传感器125)建立配对或连接时，发生无线连接建立。例如，无线连接建立可以指由现有无线协议定义的事件(例如，由蓝牙、wifi等定义的连接请求或握手)。每个传感器1
‑
n可以配置有不同的无线信道或不同的时间来向无线数据集线器报告数据。可以基于连接到磁传感器系统127的磁传感器的数量和用于传送传感器数据的无线协议来配置信道和报告时间。在一些方面，连接请求或握手可以是被修改以偏离蓝牙、wifi或其他通信标准的连接请求或握手。
106.作为一个示例，connect_req命令1205(即，由蓝牙定义的无线连接请求)可以作为无线同步信号从主要磁传感器或主机(例如，传感器h)发送到其他传感器1
‑
n中的每一个。传感器h可以从一个或更多个其他传感器接收连接建立ack，以确认无线连接和同步。在给定的一个其他传感器(例如，传感器2)在时间t
s
接收到connect_req命令1205b之后，传感器
2将在该connect_req命令1205b中指定的开始采样时间开始采样1206b。例如，在事件1202以60hz的频率(例如，每16.666毫秒)发生的示例中，传感器2可以在t
s
m*8.3333ms delt
–
offset开始采样，其中n针对60hz采样是均匀的，m可以是任何整数，delt是可接受的时间容差( /
‑
0.1至 /
‑
0.5ms，并且在 /
‑
1ms的偏移内没有漂移)，offset是基于测量结果的设计选择，或者可以在初始校准后从传感器h被发送。包括由传感器2发送到无线数据集线器的传感器数据的数据分组1208b可以包括从时间t＝t
s
n*8.333ms delt
‑
offset开始的索引(例如，i＝0到255)。在一些方面，connect_req命令1205可以由传感器h以固定频率(例如60hz)发送，其由来自内部系统的触发信号触发。在一些方面，可以使用不同的频率。
107.传感器h可以根据固定频率(例如，每约x秒)周期性地向所有传感器1
‑
n发送同步数据s，该同步数据s或者作为无线协议的无线连接命令的一部分发送，或者作为独立传输的分组发送。同步数据s可以是指示数据分组的索引的单字节或多字节数据，该数据分组包括由每个传感器1
‑
n发送的传感器数据。一旦给定传感器(例如，传感器2)接收到同步数据s，传感器2可以将其传感器开始采样时间对准到t
s
n*8.3333ms delt
–
offset，且将样本标记为索引s。数据s可以与无线协议的任何接收确认命令对准或者包括在无线协议的任何接收确认命令中，并且offset可以从传感器h发送或者由传感器1
‑
n中的每一个来计算。传感器1
‑
n可以在接收到同步数据之后的任何时间用同步确认数据进行回复。确认数据可以与传感器数据被打包在一起，或者作为独立传输的分组被发送。
108.传感器1
‑
n可以各自根据操作频率(例如，60hz)报告单个分组，或者在带宽受限时报告y个分组(例如，报告速率可以是30hz)。传感器1
‑
n可以大致同步，因此分组的报告可以发生在不同传感器组(例如，图10的第1组传感器1025和第2组传感器1035)内的不同时隙。分组的报告可以在两组之间以类似的定时发生。
109.如果传感器1
‑
n中的任何一个没有接收到同步信号，则给定的传感器可以基于其本地时钟以固定的默认频率(例如，60hz或120hz)继续采样。当接收到同步信号数据s时，给定的传感器才调整或校正其时钟计数。
110.图12所示的无线同步信号可以是协议事件(例如，现有无线连接协议的连接请求或握手)或独立传输的分组。对于多个传感器，同步信号可以是相同的信号，或者对于多个传感器中的一个或更多个，同步信号在时间或格式上可以不同。
111.作为上述的一个示例，内部系统(例如，hmd 112或控制台106)以60hz操作，并且具有在时间t发生的事件a(如图12所示)。例如，事件a可以是内部系统的图像采集设备的相机曝光窗口。内部设备的触发信号也以60hz操作，但是具有例如t
‑
0.5*16.7ms(对于60hz)的偏移，因此事件a1202大约发生在触发信号的中心。传感器h(即主要磁传感器)可以在任何感测采样频率下操作，但在本示例中应为n*60hz(n是整数)，并均匀地采样传感器数据。根据该示例定时配置，磁传感器数据可以大约在事件a1202的中心( /
‑
0.1ms)被采样，并且在电池寿命的示例1至3小时期间，磁传感器1
‑
n和事件a1202之间的同步可能不会漂移超过 /
‑
1ms。
112.图13是示出根据本公开的技术的用于同步磁传感器的采样频率的方法的操作的流程图。内部系统(例如hmd、控制台、机器学习系统等)可以生成触发信号。响应于接收到触发信号(1302)，主要磁传感器可以向磁传感器的第一集合传输连接请求(1304)。在一些方面，连接请求可以符合例如蓝牙、wifi等的无线通信标准。在一些方面，可以通过包括采样
开始时间值来修改连接请求以偏离通信标准。
113.磁传感器的第一集合中的每个磁传感器可以接收连接请求，并基于接收到连接请求来确定一个或更多个采样时间(1306)。在一些方面，一个或更多个采样时间可以基于连接请求中的采样开始时间。采样时间可以基于例如是相机曝光窗口的事件的频率。例如，可以基于采样偏移来确定采样时间，该采样偏移基于事件频率的一半。例如，相机曝光窗口可以每16.666ms(例如，60hz)打开一次。采样时间可以被确定是相机曝光窗口的中心，其可以距离触发事件8.333ms。
114.磁传感器的第一集合中的每个磁传感器可以在采样时间对由磁发射器生成的磁场进行采样(1308)。每个磁传感器可以各自基于对磁场的采样生成该磁传感器的传感器数据。
115.在生成传感器数据之后，每个磁传感器可以将传感器数据传输到主要磁传感器(1310)。在一些方面，磁传感器在距采样时间的偏移时间传输其传感器数据。在一些方面，每个磁传感器的偏移时间可以被配置为使得每个磁传感器的传输时间可以不同，从而避免用于传送传感器数据的无线网络过载。
116.主要传感器可以接收由磁传感器的第一集合传输的传感器数据(1312)。主要传感器可以将收集的传感器数据提供给姿态检测器(例如姿态检测器326、426)或磁传感器姿态检测器327、427(图3、图4)(1314)。
117.数据集线器(例如，数据集线器139或第二主要传感器)可以关于磁传感器的第二集合执行操作1316至1326。操作1316至1324对应于操作1304至1314。
118.本公开中描述的技术可以至少部分地以硬件、软件、固件或其任何组合实现。例如，所述技术的各个方面可在一个或更多个处理器内实现，该处理器包括一个或更多个微处理器、dsp、专用集成电路(asic)、现场可编程门阵列(fpga)、或任何其他等效的集成或离散逻辑电路，以及此类部件的任何组合。术语“处理器”或“处理电路”一般可指前述逻辑电路中的任一种(单独或与其他逻辑电路组合)，或任何其他等效电路。包括硬件的控制单元也可执行本公开的一种或更多种技术。
119.此类硬件、软件和固件可在相同的设备内或在单独的设备内实现以支持本公开中描述的各种操作和功能。此外，所述单元、模块或部件中的任一个可一起或单独地实现为离散的但可互操作的逻辑设备。将不同特征描述为模块或单元旨在突出不同的功能方面，并不一定意味着此类模块或单元必须由单独的硬件或软件部件实现。相反，与一个或更多个模块或单元相关联的功能可以由单独的硬件或软件部件执行，或者集成在公共或单独的硬件或软件部件内。
120.在本公开中描述的技术还可在包含指令的计算机可读介质(例如计算机可读存储介质)中体现或编码。嵌入或编码在计算机可读存储介质中的指令可以例如在执行指令时致使可编程处理器或其他处理器执行方法。计算机可读存储介质可包括随机存取存储器(ram)、只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电子可擦除可编程只读存储器(eeprom)、闪存存储器、硬盘、cd
‑
rom、软盘、盒式磁带、磁介质、光学介质或其他计算机可读介质。
121.如本文通过各种示例所描述的，本公开的技术可包括人工现实系统或结合人工现实系统来实现。如所描述的，人工现实是在呈现给用户之前已经以某种方式调整的现实的
形式，其可包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、混杂现实、或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集内容(例如，真实世界的照片)组合的生成内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，且其中任何一个都可以在单个信道中或在多个信道中被呈现(例如向观看者生成三维效果的立体视频)。另外，在一些实施例中，人工现实可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合例如用于在人工现实中创建内容和/或在人工现实中被使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(hmd)、独立的hmd、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。