分布式传感器系统的制作方法

分布式传感器系统
1.相关申请
2.本专利申请要求于2019年10月30日提交的标题为“distributed sensor system”、序列号为62,928,233的美国临时专利申请的优先权，该美国临时专利申请已被转让给本受让人，并且以其整体通过引用并入本文以用于所有目的。
3.领域
4.本公开总体上涉及传感器网络，更具体地，涉及在诸如头戴式显示器(hmd)的可穿戴电子设备中的传感器网络。
5.背景
6.可穿戴电子设备可以包括许多传感器，以支持设备的不同应用。例如，可穿戴虚拟现实(vr)系统、增强现实(ar)系统和混合现实(mr)系统可以包括许多图像传感器、音频传感器、运动传感器等。传感器可用于收集用户所处的物理环境的传感器数据，以支持各种应用，诸如跟踪可穿戴电子设备的用户的定位的即时定位与地图映射(slam)算法、对象检测/测量应用等。基于传感器数据，vr/ar/mr系统可以生成和更新例如用于经由近眼显示器显示给用户的虚拟图像数据、用于经由扬声器输出给用户的音频数据等，来为用户提供交互式体验。
7.为了改善对周围环境的感测，可穿戴电子设备可以包括一个或更多个高分辨率图像传感器模块。每个图像传感器模块可以包括透镜堆叠(lens stack)和高分辨率图像传感器，以捕获高分辨率图像。但是，将高分辨率传感器模块的这样的网络集成到可穿戴电子设备中可能具有挑战性。具体而言，高分辨率传感器模块通常需要具有相对大的形状因子的大的硅区域，而视场(fov)透镜堆叠可能具有相当大的垂直高度，所有这些使得难以将模块集成在空间非常有限的可穿戴电子设备中。此外，高分辨率图像数据的生成以及高分辨率图像数据的发送和处理通常消耗许多功率，而移动设备通常以非常有限的功率预算操作。所有这些都使得实现一种对周围环境提供高质量感测的可穿戴设备变得具有挑战性。
8.概述
9.本公开涉及传感器网络。更具体地，但不限于，本公开涉及可在诸如hmd的可穿戴电子设备中使用的传感器网络。
10.在一个示例中，一种移动设备包括：物理链路；多个图像传感器，多个图像传感器中的每一个图像传感器被配置为经由物理链路发送图像数据；以及耦合到物理链路的控制器，由此物理链路、多个图像传感器和控制器形成多分支网络(multi-drop network)。控制器被配置为：发送控制信号以配置多个图像传感器处的图像感测操作；经由物理链路从多个图像传感器的至少一个子集接收图像数据；组合来自多个图像传感器的至少一个子集的图像数据，以获得比图像传感器的子集中的每个图像传感器提供的视场(fov)更大的扩展的fov；确定在扩展的fov内捕获的移动设备的周围环境的信息；以及将该信息提供给应用以基于该信息生成内容。
11.在一些方面，控制器被配置为基于发送控制信号，选择多个图像传感器的子集来发送图像数据，并且禁用多个图像传感器的其余部分。
12.在一些方面，图像数据是第一图像数据。控制器被配置为基于发送控制信号来：控制多个图像传感器的子集以第一分辨率发送第一图像数据；并且控制多个图像传感器的其余部分以第二分辨率发送第二图像数据。第一分辨率高于第二分辨率。
13.在一些方面，图像数据是第一图像数据。控制器被配置为基于发送控制信号来：控制多个图像传感器的子集以第一帧速率发送第一图像数据；以及控制多个图像传感器的其余部分以第二帧速率发送第二图像数据，第一帧速率高于第二帧速率。
14.在一些方面，周围环境的信息包括感兴趣对象的跟踪结果。控制器被配置为：基于确定由多个图像传感器的子集生成的图像数据可能包含对象的一个或更多个图像，来选择多个图像传感器的子集。
15.在一些方面，控制器被配置为：基于在来自多个图像传感器的子集的先前图像数据中检测到对象的特征，来确定由多个图像传感器的子集生成的图像数据可能包含对象的一个或更多个图像。
16.在一些方面，控制器被配置为：基于来自多个图像传感器的先前图像数据来确定对象和移动设备之间的相对移动的先前轨迹。控制器被配置为:基于先前轨迹预测对象的轨迹；并且基于预测的轨迹来确定由多个图像传感器的子集生成的图像数据可能包含对象的一个或更多个图像。
17.在一些方面，多个图像传感器中的每个图像传感器包括像素单元阵列。控制器被配置为基于发送控制信号，选择性地配置多个图像传感器中的一个或更多个图像传感器中的像素单元阵列中的特定像素单元子集的图像捕获操作。
18.在一些方面，控制器被配置为基于发送控制信号来：启用多个图像传感器中的第一图像传感器的像素单元阵列中的像素单元的第一子集以经由物理链路向控制器发送第一图像数据；以及启用多个图像传感器中的第二图像传感器的像素单元阵列中的像素单元的第二子集以经由物理链路向控制器发送第二图像数据。第一子集和第二子集是不同的。控制器被配置为基于发送控制信号来：启用多个图像传感器中的第一图像传感器的像素单元阵列中的第一像素单元子集来以第一分辨率生成第一图像数据；启用第一图像传感器的像素单元阵列中的第二像素单元子集来以第二分辨率生成第二图像数据。第一分辨率高于第二分辨率。
19.在一些方面，控制器被配置为基于发送控制信号来：设置多个图像传感器中的第一图像传感器的像素单元阵列中的第一像素单元子集的第一动态范围；以及设置第一图像传感器的像素单元阵列中的第二像素单元子集的第二动态范围。第一动态范围高于第二动态范围。
20.在一些方面，对于多个图像传感器的子集中的每个图像传感器，控制信号识别像素单元阵列中的特定像素单元子集中的像素单元。
21.在一些方面，控制信号包括指导信号。多个图像传感器中的第一图像传感器被配置为基于指导信号，在本地确定像素单元阵列中的特定像素单元子集。
22.在一些方面，指导信号指定感兴趣对象的特征。第一图像传感器被配置为：基于指导信号确定包括感兴趣对象的感兴趣区域；并且基于感兴趣区域确定像素单元阵列中的特定像素单元子集。
23.在一些方面，基于以下至少一项来确定像素单元阵列中的特定像素单元子集：感
兴趣对象的跟踪结果或移动设备的移动。
24.在一些方面，来自多个图像传感器中的至少第一图像传感器和第二图像传感器的图像数据被组合。第一图像传感器和第二图像传感器面向不同的方向。
25.在一些方面，来自多个图像传感器中的至少第一图像传感器和第二图像传感器的图像数据被组合。第一图像传感器被配置为捕获第一频率范围的光。第二图像传感器被配置为捕获不同于第一频率范围的第二频率范围的光。
26.在一些方面，物理链路包括以下至少一种：基于i3c规范的总线或光链路。
27.在一个示例中，一种方法包括：发送控制信号以配置移动设备的多个图像传感器处的图像感测操作；经由物理链路从多个图像传感器的子集中的每个图像传感器接收图像数据，其中多个图像传感器和物理链路形成多分支网络；组合来自多个图像传感器的至少一个子集的图像数据，以获得比图像传感器的子集中的每个图像传感器提供的视场(fov)更大的扩展的fov；确定在扩展的fov内捕获的移动设备的周围环境的信息；以及将该信息提供给应用，以基于该信息生成要由移动设备输出的内容。
28.在一些方面，该方法还包括：基于发送控制信号，选择多个图像传感器的子集来发送图像数据，并且禁用多个图像传感器的其余部分。
29.附图简述
30.参考以下附图描述说明性实施例。
31.图1a和图1b是近眼显示器的实施例的示意图。
32.图2是近眼显示器的横截面的实施例。
33.图3示出了具有单个源组件的波导显示器的实施例的等轴视图。
34.图4示出了波导显示器的实施例的横截面。
35.图5是包括近眼显示器的系统的实施例的框图。
36.图6a、图6b、图6c和图6d示出了图像传感器及其操作的示例。
37.图7a、图7b、图7c和图7d示出了具有传感器网络的移动设备及其操作的示例。
38.图8a、图8b、图8c、图8d和图8e示出了传感器网络以及图7a-图7d的传感器网络及其操作的示例。
39.图9a、图9b、图9c和图9d示出了图8a-图8e的传感器网络的示例内部部件。
40.图10示出了用于生成将由移动设备输出的内容的示例过程的流程图。
41.附图仅出于说明的目的描绘了本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到，示出的结构和方法的替代实施例可以被采用而不偏离本公开的原理或本公开中所推崇的益处。
42.在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，可以通过在附图标记之后用短划线和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果在说明书中仅使用第一附图标记，则该描述适用于具有相同第一附图标记的任何一个相似部件，而与第二附图标记无关。
43.详细描述
44.在以下描述中，为了解释的目的而阐述了具体细节，以提供对某些创造性实施例的透彻理解。然而，将明显的是，各种实施例可以在没有这些具体细节的情况下实施。附图和描述不意图是限制性的。
45.根据本公开的一个示例涉及移动设备，诸如hmd。该移动设备包括物理链路、多个图像传感器和控制器，每个图像传感器在特定方向取向并与物理链路耦合，控制器与物理链路耦合。图像传感器、控制器和物理链路可以形成多分支网络，其中多个图像传感器中的每一个被配置为捕获移动设备的周围环境的图像数据，并且经由物理链路将图像数据发送到控制器。控制器可以确定移动设备的操作条件(例如，定位、取向等)。并且，基于操作条件，控制器可以选择多个图像传感器的子集，并且基于该选择生成控制数据。控制器可以经由物理链路将控制数据发送到图像传感器的子集，以配置图像传感器的子集的图像捕获操作。控制器还可以经由物理链路接收由图像传感器的子集基于该控制数据捕获的第一图像数据，并基于第一图像数据来生成输出。
46.具体而言，控制器可以执行应用，该应用基于第一图像数据确定关于周围环境的信息并且基于该信息来生成内容(显示内容、音频信号等)。在一个示例中，该应用可以包括即时定位与地图映射(slam)算法，以跟踪例如移动设备的用户的定位、用户的取向和/或用户在环境中的移动路径。作为另一个示例，该应用可以包括移动对象跟踪算法，以跟踪移动对象(例如，移动的手)的定位。在又一示例中，该应用可以包括场景上下文(context)理解算法，以检测/跟踪对象(例如，不在用户视线内的其他人)。在所有这些示例中，应用可以在图像数据中检测感兴趣对象(例如，场景中的对象、手、人的脸等)的某些图像特征，并确定它们的图像位置(如果检测到的话)，并基于检测到的图像特征生成关于周围环境的信息。
47.控制器可以配置图像传感器的图像捕获操作，以减少通过多分支网络发送的图像数据量，同时提供应用所需的图像数据。例如，控制器可以基于例如从由图像传感器的子集捕获的先前图像中检测对象的特征，来确定这些图像传感器可能在给定时间捕获一个或更多个感兴趣对象的图像。控制器然后可以启用图像传感器的子集来生成和发送图像数据，同时禁用其余的图像传感器。在感兴趣对象相对于移动设备移动的情况下，控制器可以确定感兴趣对象的预测的移动轨迹，并且基于预测的轨迹，在不同时间启用图像传感器的不同子集。
48.除了启用图像传感器的子集之外，控制器还可以控制图像传感器的子集来执行稀疏感测操作，以进一步减少通过网络发送的图像数据量。具体而言，每个图像传感器包括像素单元阵列。对于被启用的图像传感器的子集中的每一个图像传感器，控制器可以确定有可能包括感兴趣对象的像素的感兴趣区域(roi)。在一些示例中，控制器可以控制图像传感器的子集中的每一个图像传感器，以仅启用对应于roi的像素单元的子集，或者发送来自像素单元的子集的图像数据，而不发送来自其余像素单元的图像数据。此外，控制器还可以配置像素单元的子集的图像捕获操作的其他方面(诸如增加量化分辨率、增加曝光周期和增加动态范围等)，以提高图像数据的质量。在一些示例中，控制器可以发送指导信号来指导传感器确定roi，而不是发送指定要在每个图像传感器处启用的像素单元子集的控制数据。指导信号包括识别感兴趣对象的特征的信息、roi的定位和大小的粗略估计等。然后，每个图像传感器可以基于指导信号在本地确定roi。这样的布置可以减少由控制器发送到图像传感器的控制数据的量，因为控制器不需要在图像帧之间将更新的roi信息发送到图像传感器以考虑移动设备和/或感兴趣对象的移动，这可以进一步降低网络的功率和带宽要求。
49.多分支网络可以使用各种技术来实现。在一些示例中，多分支网络可以使用共享总线来实现，诸如基于i3c规范实现的总线。具体地，与总线耦合的每个部件(包括图像传感
器和控制器)可以轮流驱动总线以经由总线发送数据。每个部件也可以监听总线来接收数据。由于减少了图像数据和控制数据的量，可以使用相对低带宽和低功率的共享总线来发送数据。在一些示例中，多分支网络也可以使用光链路来实现，其中每个图像传感器和控制器经由光调制器与光链路耦合以发送和接收数据。图像传感器可以轮流调制光链路中的光，或者同时调制光的不同分量，以发送图像数据。
50.利用所公开的示例，移动设备可以包括多个图像传感器，每个图像传感器在特定方向取向，以捕获周围环境的图像数据。由于每个图像传感器具有在特定方向对准的fov，因此通过组合由图像传感器捕获的图像数据，可以扩展移动设备的有效fov。这样的布置可以减少对增加每个图像传感器的分辨率和fov的需求，增加每个图像传感器的分辨率和fov可能占用大量空间并消耗大量功率，空间和功率两者在移动设备中都非常有限。此外，通过使用多分支网络而不是多个点对点互连来在控制器和图像传感器之间传输图像数据和控制数据，可以进一步减少实现网络所需的空间及其功耗。所有这些都允许可穿戴设备提供对周围环境的高质量感测，这继而可以提高依赖于感测操作的输出的应用的性能。
51.所公开的技术可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(vr)、增强现实(ar)、混合现实(mixed reality，mr)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或它们的某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主机(host)计算机系统的hmd、独立的hmd、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
52.图1a是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机(headphone))呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置为作为虚拟现实(vr)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(ar)显示器和/或混合现实(mr)显示器来进行操作。
53.近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置为让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。
54.近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列，该像素阵列被配置为生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置为提供表示沿着z轴朝向方向a的两个视场的图像数据，而传感器120c可以被配置为提供表示沿着x轴朝向方向b的视场的图像数据，并且传感器120d可以被配置为提供表示沿着x轴朝向方向c的视场的图像数据。
55.在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向穿戴近眼显示器100的用户提供交互式vr/ar/mr体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和取向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，定位跟踪系统可以运行slam算法来跟踪在物理环境中且在用户的视场内的一组对象。定位跟踪系统可以基于该组对象来构建和更新物理环境的地图(map)，并且跟踪用户在该地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高跟踪用户在物理环境内的定位的精确度和鲁棒性。
56.在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光，以帮助传感器120a-120d捕获黑暗环境内不同对象的图像，从而例如实现对用户的定位跟踪。照明器130可以将某些标记(marker)投射到环境内的对象上，以帮助定位跟踪系统识别对象用于地图构建/更新。
57.在一些实施例中，照明器130还可以实现立体成像。例如，传感器120a或120b中的一个或更多个可以包括用于可见光感测的第一像素阵列和用于红外(ir)光感测的第二像素阵列两者。第一像素阵列可以覆盖有彩色滤光器(例如，bayer滤光器)，第一像素阵列的每个像素被配置为测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于ir光感测)也可以覆盖有仅允许ir光通过的滤光器，第二像素阵列的每个像素被配置为测量ir光的强度。像素阵列可以生成对象的红-绿-蓝(rgb)图像和ir图像，其中ir图像的每个像素被映射到rgb图像的每个像素。照明器130可以将一组ir标记投射到对象上，该对象的图像可以被ir像素阵列捕获。基于图像中所示的对象的ir标记的分布，系统可以估计对象的不同部分离ir像素阵列的距离，并基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如对象相对于用户的相对位置，并且可以基于相对位置信息来更新提供给显示器100的图像数据，以提供交互式体验。
58.如上面所讨论的，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光的强度相关的输出)。
59.图1b是近眼显示器100的另一个实施例的示意图。图1b示出了近眼显示器100的面向穿戴近眼显示器100的用户的眼球135的一侧。如图1b所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向d(与图1a的方向a相反)发射某个频率范围(例如，近红外(“nir”))的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射的光并生成反射图案的图像。类似地，照
明器140d、140e和140f可以发射携带图案的nir光。nir光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。
60.如上面所讨论的，为了避免损害用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置为输出非常低强度的光。在图像传感器150a和150b包括与图1a的图像传感器120a-120d相同的传感器设备的情况下，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度相关的输出，这可能进一步增加图像传感器的动态范围要求。
61.此外，图像传感器120a-120d可能需要能够以高速度生成输出来跟踪眼球的移动。例如，用户的眼球可以进行非常快速的移动(例如，眼跳运动(saccade movement))，其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户的眼球的快速移动，图像传感器120a-120d需要以高速度生成眼球的图像。例如，图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的移动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间要短，并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外，如上面所讨论的，图像传感器也需要能够在具有低光强度的环境下操作。
62.图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exit pupil)230是当用户穿戴近眼显示器100时，用户的单个眼球220在视窗(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。
63.波导显示组件210被配置为将图像光导向位于出射光瞳230处的视窗，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。
64.在一些实施例中，波导显示组件210包括一个或更多个波导显示器的堆叠，该堆叠包括但不限于堆叠式波导显示器、变焦波导显示器等。堆叠式波导显示器是多色显示器(例如，rgb显示器)，其通过堆叠波导显示器来创建，这些波导显示器的相应单色源具有不同的颜色。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。
65.图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。
66.波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另一波导显示器向用户的另一只眼睛提供图像光。
67.源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导
320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是例如衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surface element)、和/或全息反射器阵列。
68.导向元件360将接收到的输入图像光355重定向到去耦元件(decoupling element)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分，或固定到输出波导320的第一侧面370-1。去耦元件365是输出波导320的第二侧面370-2的一部分，或固定到输出波导320的第二侧面370-2，使得导向元件360与去耦元件365相对。导向元件360和/或去耦元件365可以是例如衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。
69.第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。
70.控制器330控制源组件310的扫描操作。控制器330确定用于源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340以大的fov输出到用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角fov被提供给用户的眼球220。输出波导320被配置为提供视窗，该视窗长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。
71.此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧面370-1上，并且可以包括例如图1a的图像传感器120a-120d。图像传感器120a-120d可以被操作来执行对例如用户前方(例如，面向第一侧面370-1)的对象372的2d感测和3d感测。对于2d感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由光源376生成并被对象372反射的光374的强度的像素数据。对于3d感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由照明器325生成的光378的飞行时间测量结果的像素数据。例如，图像传感器120a-120d的每个像素单元可以确定当照明器325被启用以投射光378的第一时间和当像素单元检测到从对象372反射的光378的第二时间。第一时间和第二时间之间的差可以指示图像传感器120a-120d和对象372之间的光378的飞行时间，并且飞行时间信息可以用于确定图像传感器120a-120d和对象372之间的距离。图像传感器120a-120d可以被操作来在不同时间执行2d和3d感测，并且将2d和3d图像数据提供给远程控制台390，远程控制台390可以(或者可以不)位于波导显示器300内。远程控制台可以组合2d和3d图像，以例如生成用户所处环境的3d模型、跟踪用户的定位和/或取向等。远程控制台可以基于从2d和3d图像导出的信息来确定要向用户显示的图像的内容。远程控制台可以向控制器330发送与所确定的内容相关的指令。基于这些指令，控制器330可以控制源组件310生成并输出图像光355，以向用户提供交互式体验。
72.图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出
波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方的物理环境的图像。在一些实施例中，可以在该组像素单元402和物理环境之间插入机械快门404和光学滤波器阵列406。机械快门404可以控制该组像素单元402的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门(electronic shutter gate)代替。如下所述，光学滤波器阵列406可以控制该组像素单元402暴露于的光的光学波长范围。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出，但应当理解，每个像素单元402也可以覆盖有滤光器，以控制要由像素单元感测的光的光学波长范围。
73.在从远程控制台接收到指令之后，机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。
74.源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。
75.光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整取向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。
76.输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的栅距(pitch)被选择成使得在输出波导320中发生全内反射，并且图像光355在输出波导320中(例如，通过全内反射)朝向去耦元件365进行内部传播。
77.导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的栅距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。
78.在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色、蓝色)的特定波长带的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。
79.图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、移动设备、可穿戴设备等。
80.近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声
器、头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当ar眼部佩戴物眼镜(ar eyewear glass)。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、真实世界环境的视图。
81.近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(imu)530。波导显示组件210包括源组件310、输出波导320和控制器330。
82.imu 530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。
83.成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1a的图像传感器120a-120d，用于生成用户所处的物理环境的图像数据，用于执行对用户的定位跟踪。成像设备535可以进一步包括例如图1b的图像传感器150a-150b，用于生成用于确定用户凝视点的图像数据，以识别用户感兴趣的对象。
84.输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始应用或结束应用，或者是在应用内执行特定动作。
85.控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。
86.应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
87.跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。
88.跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。
89.引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。
90.图6a、图6b、图6c和图6d示出了图像传感器600及其操作的示例。如图6a所示，图像传感器600可以包括像素单元阵列，包括像素单元601，并且可以生成对应于图像的像素的数字强度数据。像素单元601可以是图4的像素单元402的一部分。如图6a所示，像素单元601
可以包括光电二极管602、电子快门开关603、转移开关604、电荷存储设备605、缓冲器606和量化器607。光电二极管602可以包括例如p-n结二极管、p-i-n结二极管、钉扎二极管等，而电荷存储设备605可以是转移开关604的浮置漏极节点。当在曝光周期内接收光时，光电二极管602可以产生并积累剩余电荷。当在曝光周期内剩余电荷饱和时，光电二极管602可以通过转移开关604向电荷存储设备605输出溢出电荷。电荷存储设备605可以将溢出电荷转换成电压，该电压可以由缓冲器606缓冲。量化器607可以对缓冲的电压进行量化，以生成测量数据608，例如表示曝光周期内光电二极管602接收的光的强度。
91.量化器607可以包括比较器，用于针对与不同强度范围相关联的不同量化操作，将缓冲的电压与不同阈值进行比较。例如，对于由光电二极管602产生的溢出电荷的量超过电荷存储设备605的饱和极限的高强度范围，量化器607可以通过检测缓冲的电压是否超过表示饱和极限的静态阈值来执行饱和时间(tts)测量操作，并且如果超过，则测量缓冲的电压超过静态阈值所花费的时间。测量到的时间可以与光强度成反比。此外，对于其中光电二极管被剩余电荷饱和但溢出电荷保持低于电荷存储设备605的饱和极限的中等强度范围，量化器607可以执行fd adc操作来测量存储在电荷存储设备605中的溢出电荷的量。此外，对于光电二极管没有被剩余电荷饱和并且没有溢出电荷累积在电荷存储设备605中的低强度范围，量化器607可以执行pd adc操作来测量累积在光电二极管602中的剩余电荷的量。tts、fd adc或pd adc操作之一的输出可以作为测量数据608输出，以表示光的强度。
92.图6b示出了像素单元601的示例操作序列。如图6b所示，可以基于控制电子快门开关603的ab信号的时序(timing)并基于控制转移开关604的tg信号的时序来定义曝光周期，该电子快门开关603可以在被使能时将光电二极管602产生的电荷引导走，该转移开关604被控制以将溢出电荷转移到电荷存储设备605且然后将剩余电荷转移到电荷存储设备605以供读出。例如，参考图6b，ab信号可以在时间t0被宣称无效，以允许光电二极管602产生电荷。t0可以标志曝光周期的开始。在曝光周期内，tg信号可以将转移开关604设置为部分导通状态，以允许光电二极管602累积电荷中的至少一些作为剩余电荷，直到光电二极管602饱和，在光电二极管602饱和之后，溢出电荷可以被转移到电荷存储设备605。在时间t0和t1之间，量化器607可以执行tts操作以确定电荷存储设备605处的溢出电荷是否超过饱和极限，然后在时间t1和t2之间，量化器607可以执行fd adc操作以测量电荷存储设备605处的溢出电荷的量。在时间t2和t3之间，tg信号可以被宣称有效以将转移开关604偏置在完全导通状态，从而将剩余电荷转移到电荷存储设备605。在时间t3，tg信号可以被宣称无效以将电荷存储设备605与光电二极管602隔离，而ab信号可以被宣称有效以将光电二极管602产生的电荷引导走。时间t3可以标记曝光周期的结束。在时间t3和t4之间，量化器607可以执行pd操作来测量剩余电荷的量。
93.ab和tg信号可以由控制器(图6a中未示出)产生，该控制器可以是像素单元601的一部分，以控制曝光周期的持续时间和量化操作的序列。控制器还可以检测电荷存储设备605是否饱和以及光电二极管602是否饱和，以从tts、fd adc或pd adc操作之一中选择输出作为测量数据608。例如，如果电荷存储设备605饱和，控制器可以提供tts输出作为测量数据608。如果电荷存储设备605未饱和，但是光电二极管602饱和，则控制器可以提供fd adc输出作为测量数据608。如果光电二极管602不饱和，控制器可以提供pd adc输出作为测量数据608。在曝光周期内生成的来自图像传感器600的每个像素单元的测量数据608可以形
成图像帧。控制器可以在后续曝光周期中重复图6b中的操作序列，以生成后续图像帧。
94.来自图像传感器600的图像帧数据可以被发送到主机处理器(在图6a-图6d中未示出)以支持不同的应用，例如识别和跟踪对象612、相对于图像传感器600执行对象612的深度感测等。对于所有这些应用，只有像素单元的子集提供相关信息(例如，对象612的像素数据)，而其余像素单元不提供相关信息。例如，参考图6c，在时间t0，图像传感器600的一组像素单元620接收由对象612反射的光，而在时间t6，对象612可能已经移位(例如，由于对象612的移动、图像传感器600的移动或两者)，并且图像传感器600的一组像素单元630接收由对象612反射的光。
95.在一些示例中，图像传感器600可以确定包括来自像素单元组620(在时间t0)的像素数据和来自像素单元组630(在时间t6)的像素数据的感兴趣区域(roi)，并且仅将来自roi的像素数据发送到主机处理器，以减少被传输的像素数据量。在一些示例中，图像传感器600还可以使所有像素发送像素数据，但是对应于roi的像素单元与roi外部的像素单元可以具有不同的配置。例如，像素单元组620和630可以以较高的量化分辨率生成和输出像素数据，以表示对象612的图像，而其余像素单元可以以较低的分辨率生成和输出像素数据。作为另一个示例，像素单元组620和630可以具有比其他像素单元更长的曝光周期。作为又一示例，像素单元组620和630可以具有更宽的动态范围(例如，基于执行tts、fd adc和pd adc操作)，而其余像素单元可以具有更窄的动态范围(例如，基于禁用tts、fd adc和pd adc操作中的一个或更多个)。所有这些布置可以允许生成和发送较高分辨率的图像，而不相应地增加功率和带宽。例如，包括更多像素单元的更大的像素单元阵列可以用于对对象612成像以提高图像分辨率，而当只有包括提供对象612的像素数据的像素单元在内的像素单元的子集生成高质量像素数据并将高分辨率像素数据发送到主机处理器，同时其余像素单元或者不生成/发送像素数据，或者以相对低的质量生成/发送像素数据时，提供提高的图像分辨率所需的带宽和功率可以减少。此外，虽然图像传感器600可以被操作来以较高的帧速率生成图像，但是当每个图像仅包括高分辨率并且由大量的位表示的一小组像素值，而其余的像素值具有非常低的分辨率并且由较少的位表示时，可以减少带宽和功率的增加。
96.在3d感测的情况下，也可以减少像素数据发送的量。例如，参考图6d，照明器640可以将结构光的图案642投射到对象650上。结构光可以在对象650的表面上反射，并且反射光的图案652可以被图像传感器600捕获以生成图像。主机处理器可以将图案652与图案642匹配，并基于图像中图案652的图像位置来确定对象650相对于图像传感器600的深度。对于3d感测，只有像素单元组660、662、664和666包含相关信息(例如，图案652的像素数据)。为了减少被传输的像素数据量，图像传感器600可以被配置为仅将来自包括像素单元组660、662、664和666的roi的像素数据发送到主机处理器，或者将来自像素单元组660、662、664和666的像素数据以高分辨率发送到主机处理器，而将其余像素数据以低分辨率发送到主机处理器。
97.图7a示出了包括多个传感器的移动设备700的示例。移动设备700可以包括图1a的近眼显示器100。图7a的左图示出了移动设备700的示例的三维视图。如图7a的左侧所示，移动设备700可以是头戴式显示器(hmd)的形式。多个传感器可以分布在移动设备700上，其中每个传感器(或传感器组)以特定方向取向。例如，传感器702a和702b可以位于移动设备700的面向方向a的前表面上，传感器704可以位于移动设备700的面向方向b的侧表面上，传感
器706可以位于移动设备700的面向方向c的另一侧表面上，而传感器708可以位于移动设备700的面向方向d的后侧上(例如，位于头带710上)。
98.每组传感器702a、702b、704、706和708可以包括图6a的图像传感器600(包括像素单元阵列)以及其他类型的传感器(例如，音频传感器和运动传感器)和照明器(例如，红外照明器)。每组传感器可以具有面向该组传感器分别面对的方向的视场(fov)，并且由每组传感器捕获的图像可以表示相应fov内的周围环境的一部分。例如，传感器702a和传感器702b可以分别具有fov 712a和fov 712b，fov 712a和fov 712b两者都面向方向a。此外，传感器704可以具有面向方向b的fov 714，传感器706可以具有面向方向c的fov 716，而传感器708可以具有面向方向d的fov 718。移动设备700的控制器可以处理由传感器捕获的图像以获得关于周围环境的信息，这允许移动设备具有周围环境的组合的fov，该组合的fov组合了fov 712a、712b、714、716和718。在控制器处理来自传感器702a、702b、704、706和708的图像的情况下，控制器可以获得从移动设备700的正面、背面和两个侧面捕获的图像，这可以导致接近360度的组合的fov。
99.在一些示例中，每组传感器702a、702b、704、706和708可以具有相对小的像素单元阵列，该像素单元阵列具有相对低(例如，少于1兆像素)的分辨率。由于像素单元阵列的尺寸减小，每组传感器702a、702b、704、706和708可以具有减小的硅面积和减小的形状因子，这允许传感器分布在可用空间非常有限的移动设备700的不同位置处。另一方面，当来自传感器的图像被组合以组合由每组传感器提供的fov时，移动设备仍然可以提供宽fov。
100.由移动设备700提供的宽fov可以增强依赖于由图像传感器提供的图像数据的各种应用的性能，诸如slam操作、上下文确定应用、手部跟踪应用等，所有这些应用都可以确定要输出给用户的内容，以提供交互式的ar/vr/mr体验。
101.具体而言，在slam操作中，当用户在环境中移动时，可以相对于时间跟踪用户的周围环境中的物理对象的某些显著特征。跟踪可以基于识别跨越由图像传感器在不同时间捕获的多个图像帧的一组特征，并确定特征在那些图像帧中的像素位置。基于跟踪的结果，可以确定具有图像特征的物理对象相对于用户的位置。还可以确定环境的地图以及在那些时间用户在环境内的位置。为了使slam操作更有鲁棒性，可以跟踪更显著的特征，以减少特定特征的跟踪误差对slam操作的整体准确性的影响。由图像传感器702a、702b、704、706和708提供的扩展的fov允许更显著的特征被跟踪，以提高slam操作的鲁棒性。
102.图7b示出了示例性slam操作720。如图7b所示，为了支持slam操作720，图像传感器702a可以捕获包括fov 712a内的物理对象724及其特征725的图像，图像传感器704可以捕获包括fov 714内的物理对象726及其特征727的图像，而图像传感器706可以捕获包括fov 716内的物理对象728及其特征729的图像。与移动设备700仅捕获在其前面的物理对象的图像的情况相比，由多个图像传感器提供的扩展的fov允许移动设备700捕获移动设备周围的物理对象的图像，这继而允许跟踪更显著的特征，以使slam操作720更有鲁棒性。在一些示例中，面向相同方向的图像传感器(例如，图像传感器702a和702b)的fov可以被组合，使得图像传感器形成立体对。立体对的图像传感器可以检测相同频率范围内的光(例如可见光)或不同频率范围内的光(例如可见光和红外线)，以支持深度感测。
103.此外，扩展的fov还允许移动设备700捕获原本被另一物理对象遮挡的特征。例如，在图7b中，对象724位于图像传感器702a和对象730之间，并且对象724可以遮挡特征731使
其不被图像传感器702a捕获。但是特征731也在图像传感器702b的fov内，这允许特征731被成像和跟踪，以提高slam操作720的鲁棒性。
104.图7c示出了可由移动设备700支持的场景上下文确定操作740的示例。场景上下文确定允许移动设备700获得不在移动设备的用户的视线内的场景的信息，并基于该信息确定场景的上下文。具体而言，在图7c中，移动设备700的用户与站在用户前方(例如，在方向a上)的人742交互，其中人742在用户的视线内。但是场景中有不在用户的视线内的其他人，包括人744、746和748。人744、746和748的图像可以分别由图像传感器704、706和708捕获。在一些示例中，移动设备700可以向用户显示人744、746和748的图像，以使用户能够确定场景的上下文。例如，作为上下文人工智能(ai)操作的一部分，可以确定这些人的姿势、面部表情或其他活动。此外，如果一个人正在说话，则可以确定说话者的位置以进行定向音频处理。作为另一个示例，移动设备700可以执行场景上下文确定应用，该应用基于人744、746和748的图像来确定上下文。基于该上下文，可以生成输出内容。
105.图7d示出了可由移动设备700支持的对象跟踪操作760的示例。在图7d中，可以执行对象跟踪操作760来跟踪用户762的手(图7d中未示出)的位置。由于图像传感器704、706和708的不同取向，移动设备700可以在多种位置捕获用户的手的图像，而不仅仅是在用户762和移动设备700的前面捕获用户的手的图像。例如，如图7d所示，当用户762将手移动到他/她的头部或身体后面时，或者当用户762将手移动到移动设备700的侧面时，移动设备700可以捕获手的图像。
106.在一些示例中，由图像传感器704、706和708捕获的手的图像可以被组合以提高对象跟踪操作760的鲁棒性。例如，控制器可以控制图像传感器704、706和708以捕获处于特定位置的手的图像。然后可以在控制器中组合图像以形成用户的手的立体图像，从而改善手相对于用户762的深度估计。作为另一个示例，控制器还可以选择从图像传感器704、706或708之一捕获的图像来执行对象跟踪。选择可以基于各种标准。例如，控制器可以检测到由图像传感器704捕获的图像包括某些目标特征(例如，目标手势)，而这些特征在来自其他图像传感器的图像中不太可能检测到，并且控制器可以确定来自图像传感器704的图像将被用于跟踪对象。
107.移动设备700的传感器(包括图像传感器702a、702b、704、706和708)和控制器可以由多分支网络连接在一起，传感器和控制器通过该多分支网络进行通信。图8a示出了可以是移动设备700的一部分的传感器网络800的示例。如图8a所示，传感器网络800可以包括物理链路802。传感器网络800还包括多个传感器(包括804、806、808和810等)以及主机控制器812，多个传感器和主机控制器812中的每一个都与物理链路802耦合。传感器804、806、808和810可以包括例如图7a的图像传感器702、704、706和708、音频传感器和运动传感器。主机控制器812可以控制传感器804、806、808和810处的感测操作，并处理由传感器获得的传感器数据以支持应用(诸如slam操作720、场景上下文确定操作740和对象跟踪操作760)。例如，主机控制器812可以组合由传感器804、806、808和810生成的图像数据，以提供移动设备700的周围环境的扩展的fov。
108.传感器网络800可以是多分支网络的形式，其中传感器804-810和主机控制器812使用相同的物理链路802来彼此通信。例如，传感器804、806、808和810中的每一个可以分别生成传感器数据814、816、818和820，并且经由物理链路802将传感器数据发送到主机控制
器812。传感器数据814、816、818和820可以包括例如图像数据、音频数据和运动数据。此外，主机控制器812可以生成控制数据822以控制传感器804-810处的感测操作，并且经由物理链路802将控制数据822发送到传感器。
109.物理链路802可以使用各种技术来实现。图8b示出了物理链路802的示例。在图8b中，物理链路802可以包括总线，该总线可以基于i2c或i3c规范来配置，并且包括串行数据线(sdl)824和串行时钟线(scl)826。sdl 824和scl 826中的每一个被配置作为分别与上拉电阻器828和830耦合的开漏极线(open-drain line)。当sdl线和scl线未被驱动时，可以通过上拉电阻器将它们上拉至电源电压。在i2c/i3c规范中，主节点生成时钟并发起与从节点的通信，而从节点接收时钟并在被主节点寻址时做出响应。在传感器网络800中，主机控制器812被配置为主节点，而传感器804-810被配置为从节点。为了发送控制数据822，主机控制器812可以基于时钟信号模式来下拉scl 826，并且基于包括控制数据822和目标传感器(一个或更多个目标传感器)的地址的串行数据模式来下拉sdl824。目标传感器(一个或更多个目标传感器)然后可以驱动另一个串行数据模式，该另一个串行数据模式包括sdl 824上的传感器数据。由于传感器共享相同的sdl 824，因此一次只有传感器中的一个传感器可以经由sdl 824向主机控制器812发送传感器数据。当多个传感器试图同时驱动sdl 824时，每个传感器发送传感器数据的时序可以由主机控制器812经由基于预定发送调度而定义的控制数据822来控制，和/或基于退避延迟(back-off delays)来控制。
110.图8c示出了物理链路802的另一个示例。如图8c所示，物理链路802可以包括光链路840，其可以将光841从光源842传输到与主机控制器812耦合的接收器系统843。光链路840可以包括光纤、波导或传播光的任何介质。传感器804、806、808和810中的每一个可以分别经由光调制器844、846、848和850与光链路840耦合。为了将传感器数据发送到主机控制器812，每个传感器可以控制其各自的光调制器来调制光841。接收器系统843可以包括光检测器(例如，光电二极管)以将调制的光841转换成电信号，该电信号可以被主机控制器812接收和处理以获得传感器数据。在一些示例中，传感器可以基于时分多路复用方案来调制光841，其中每个传感器轮流调制光841以将传感器数据发送到主机控制器812。在一些示例中，传感器还可以在频分多路复用方案中同时调制光841的不同频率分量。此外，主机控制器812和每个传感器可以与总线852耦合，主机控制器812可以通过总线852发送控制数据822。总线852可以包括i2c总线、i3c总线或其他总线技术。这样，光链路840和总线852可以被组合以提供物理链路802。
111.在一些示例中，为了减少通过物理链路802传输的图像数据量(这可以减少物理链路802的功率和带宽)，主机控制器812可以配置传感器804-810的图像捕获操作，以减少通过物理链路802传输的图像数据量，同时提供应用所需的图像数据。图8d示出了传感器804-810的示例配置。如图8d所示，主机控制器812可以选择传感器的子集(包括传感器804和806)来经由物理链路802发送传感器数据814和816，而未被选择的传感器(例如，传感器808和810)被禁用或以其他方式不被允许经由物理链路802发送传感器数据。在一些示例中，主机控制器812可以选择传感器的子集来以较高分辨率和/或较高帧速率发送图像数据，而未被选择的传感器可以以较低分辨率和/或较低帧速率发送图像数据。
112.主机控制器812通过各种方式来选择传感器的子集。例如，主机控制器812可以基于例如从由传感器的子集捕获的先前图像中检测到感兴趣对象的特征，来确定传感器的子
集可能在给定时间捕获感兴趣对象(例如，用户的手、用于定位跟踪的其他物理对象)的图像。在感兴趣对象相对于移动设备700移动的情况下，主机控制器812可以确定对象相对于移动设备700的预测的移动轨迹。基于预测的移动轨迹，主机控制器812可以确定哪些传感器可能在给定时间捕获对象的图像，并在不同时间启用图像传感器的不同子集。预测的轨迹可以基于例如在由传感器相对于时间捕获的先前图像和最近图像中对象的像素位置，以及移动设备700的先前和最近定位和/或取向。例如，基于检测到用户的头部(以及移动设备700)正在旋转以观看飞行对象，主机控制器812可以预测飞行对象相对于移动设备700的传感器的轨迹，并且确定当用户继续旋转他/她的头部时在不同时间点最有可能捕获飞行对象的图像的传感器的子集。主机控制器812然后可以在那些时间点启用传感器的子集，同时禁用其余传感器，以减少通过物理链路802传输的图像数据量。主机控制器812还可以应用类似的技术来选择性地启用/禁用其他类型的传感器数据(诸如音频数据)的发送。
113.图8e示出了传感器804-810的另一示例配置。如图8e所示，主机控制器812可以控制传感器804-810或者如上所述被选择的传感器804-810的子集(例如，传感器804)来执行稀疏感测操作，以进一步减少通过网络传输的图像数据量。具体而言，主机控制器812可以为被启用发送图像数据的每个传感器确定可能生成感兴趣对象的像素数据的roi(如图6c和图6d中所述)。roi的确定可以基于例如，从由那些传感器捕获的先前图像中检测到感兴趣对象的特征，预测对象相对于移动设备700的移动轨迹，如上文在图8d中所述。在图8e中，主机控制器812可以确定包括人的头部和手的像素的roi 860、862和864。主机控制器812然后可以控制传感器804，以仅启用对应于roi 860、862和864的像素单元的子集来检测光和/或发送像素数据，而传感器804的其余像素不发送像素数据。结果，传感器数据814仅包括roi 860、862和864内的像素。
114.除了稀疏感测之外，主机控制器812还可以改变属于roi的像素单元和不属于roi的像素单元之间的图像捕获操作的其他方面。例如，主机控制器812可以相对于其他像素单元增加属于roi的像素单元的量化分辨率、曝光周期、动态范围等(如上文在图6c和图6d中所述)，以提高图像数据的质量。
115.主机控制器812可以通过各种方式向传感器提供roi信息。例如，控制数据822可以包括编程图(programming map)，该编程图指定作为每个图像帧的roi的一部分的像素单元(或像素单元块)。在感兴趣对象相对于移动设备700移动的情况下，主机控制器812可以发送更新的控制数据822，更新的控制数据822包括不同图像帧的更新的roi。在另一个示例中，传感器可以包括某些计算能力，以在本地确定roi，并且主机控制器812可以将指导信号作为控制数据822的一部分发送到传感器，以在传感器处指导roi的确定。指导信号可以包括标识以下内容的信息：感兴趣对象的特征、roi的位置和大小的粗略估计等。基于指导数据，传感器可以基于检测指定的特征、细化roi的估计等来确定roi。利用这样的布置，可以减少由主机控制器812发送到传感器的控制数据的量，因为控制器不需要在图像帧之间将更新的roi信息发送到传感器以考虑移动设备和/或感兴趣对象的移动，这可以进一步降低网络的功率和带宽要求。
116.图9a、图9b、图9c和图9d示出了主机控制器812和传感器804-810的内部部件的示例。如图9a所示，传感器804包括传感器计算电路906和像素单元阵列908。传感器计算电路906包括图像处理器910和编程图生成器912。在一些示例中，传感器计算电路906可以被实
现为专用集成电路(asic)、现场可编程门阵列(fpga)或者执行指令以实现图像处理器910和编程图生成器912的功能的硬件处理器。此外，主机控制器812可以包括可以执行应用914的通用中央处理单元(cpu)。
117.像素单元阵列908的每个像素单元或像素单元块可以单独可编程，以例如启用/禁用像素值的输出、设置由像素单元输出的像素值的分辨率等。像素单元阵列908可以从传感器计算电路906的编程图生成器912接收第一编程信号920，第一编程信号920可以是包含用于每个像素单元的编程数据的编程图的形式。像素单元阵列908可以感测来自场景的光，并基于第一编程信号920生成场景的第一图像帧922。具体来说，像素单元阵列908可由第一编程信号920控制以在不同稀疏性模式下操作，诸如在第一图像帧922包括完整图像帧的像素的全帧模式下操作，和/或在第一图像帧922仅包括由编程图指定的像素子集的稀疏模式下操作。在一些示例中，编程图生成器912可以是主机控制器812的一部分，其中像素单元阵列908从主机控制器812接收第一编程信号920。
118.除了生成第一编程信号920之外，传感器计算电路906还可以生成全局信号，该全局信号被发送到像素单元阵列908的每个像素单元。全局信号可以包括例如用于tts、fd adc和pd adc操作中的量化操作的阈值电压(例如，用于fd adc和pd adc操作的全局电压斜坡(ramp)、用于tts操作的平坦电压等)，以及全局控制信号(诸如图6b的ab和tg信号)。
119.像素单元阵列908可以将第一图像帧922输出到主机控制器812和传感器计算电路906两者。在一些示例中，像素单元阵列908还可以将具有不同的像素稀疏性的第一图像帧922输出到主机控制器812和传感器计算电路906。例如，像素单元阵列908可以将具有完整图像帧的像素的第一图像帧922输出回传感器计算电路906，并将具有由第一编程信号920限定的稀疏像素的第一图像帧922输出到主机控制器812。
120.传感器计算电路906和主机控制器812以及图像传感器804可以基于第一图像帧922形成两层反馈系统，以控制图像传感器生成后续图像帧924。在两层反馈操作中，传感器计算电路906的图像处理器910可以对第一图像帧922执行图像处理操作以获得处理结果，并且然后编程图生成器912可以基于处理结果更新第一编程信号920。可以基于被包括在来自主机控制器812的控制数据822中的第二编程信号932来指导/配置图像处理器910处的图像处理操作，主机控制器812可以基于第一图像帧922生成第二编程信号920。像素单元阵列908然后可以基于更新的第一编程信号920生成后续图像帧924。主机控制器812和传感器计算电路906然后可以基于后续图像帧924分别更新第一编程信号920和第二编程信号932。
121.在前述两层反馈系统中，来自主机控制器812的控制数据822的第二编程信号932可以是以下形式：教导/指导信号、神经网络训练操作的结果(例如，反向传播结果)等，以影响传感器计算电路906处的图像处理操作和/或编程图生成。主机控制器812可以不仅基于第一图像帧，还基于其他传感器数据(例如，由其他图像传感器捕获的其他图像帧、音频信息、运动传感器输出、来自用户的输入等)来确定由图像传感器804进行的光感测操作的上下文，并且然后确定教导/指导信号，从而生成教导/指导信号。该上下文可以包括例如图像传感器804操作的环境条件、图像传感器804的定位、感兴趣对象的特征或应用914的任何其他要求。考虑到上下文通常以比帧速率低得多的速率变化，教导/指导信号可以基于上下文以相对低(例如，低于帧速率)的速率更新，而在传感器计算电路906处的图像处理操作和编程图更新可以以相对高的速率(例如，以帧速率)发生，以适应由像素单元阵列908捕获的图
像。
122.尽管图9a示出了像素单元阵列908将第一图像帧922和第二图像帧924发送到主机控制器812和传感器计算电路906两者，但是在一些情况下，像素单元阵列908可以将不同稀疏性的图像帧发送到主机控制器812和传感器计算电路906。例如，像素单元阵列908可以将具有全像素的第一图像帧922和第二图像帧924发送到图像处理器910，而将两个图像帧的稀疏版本发送到主机控制器812，每个图像帧的稀疏版本包括基于第一编程信号920而选择的像素的子集。
123.图9b示出了像素单元阵列908的内部部件的示例。如图9b所示，像素单元阵列908可以包括列控制器934、行控制器936和编程信号解析器940。列控制器934与列总线935(例如，935a、935b、...、935n)相连接，而行控制器936与行总线937(例如，937a、937b、...、937n)相连接。列控制器934或行控制器936中的一个也与编程总线942连接，以发送以特定的像素单元或一个像素单元组为目标的像素级编程信号943。标有p
00
、p
01
、p
0j
等的每个方框可以表示一个像素单元或一个像素单元组(例如，2
×
2像素单元的组)。每个像素单元或像素单元组可以连接到列总线937之一、行总线935之一、编程总线942和用于输出像素数据的输出数据总线(图9b中未示出)。每个像素单元(或每个像素单元组)可通过由列控制器934提供的在列总线937上的列地址信号944和由行控制器936提供的在行总线935上的行地址信号946单独寻址，以一次经由像素级编程总线942接收像素级编程信号943。列地址信号944、行地址信号946以及像素级编程信号943可以基于来自编程图生成器912的第一编程信号920来生成。
124.此外，像素单元阵列908还包括编程信号解析器940，其可以从第一编程信号920中提取像素级编程信号943。在一些示例中，第一编程信号920可以包括编程图，该编程图可以包括用于像素单元阵列908的每个像素单元或每个像素单元组的编程数据。图9c示出了像素阵列编程图948的示例。如图9c所示，像素阵列编程图948可以包括像素级编程数据的二维阵列，其中二维阵列的每个像素级编程数据以像素单元阵列908的一个像素单元或一个像素单元组为目标。例如，在每个像素级编程数据以像素单元为目标的情况下，并且假设像素单元阵列808具有m个像素的宽度(例如，m列像素)和n个像素的高度(例如，n行像素)，像素阵列编程图948还可以具有m个条目的宽度(例如，m列条目)和n个条目的高度(例如，n行条目)，其中每个条目存储用于对应的像素单元的像素级编程数据。例如，像素阵列编程图948的条目(0，0)处的像素级编程数据a
00
以像素单元阵列908的像素位置(0，0)处的像素单元p
00
为目标，而像素阵列编程图948的条目(0，1)处的像素级编程数据a
01
以像素单元阵列908的像素位置(0，1)处的像素单元p
01
为目标。在像素级编程数据以一个像素单元组为目标的情况下，像素阵列编程图948沿高度和宽度的条目数量可以基于每个组中的像素单元数量来按比例缩放。
125.像素阵列编程图948可以被配置为支持图9b中描述的反馈操作。例如，存储在每个条目处的像素级编程数据可以单独地对每个像素单元(或每个像素单元组)进行编程以例如通电或断电、启用或禁用像素数据的输出、设置量化分辨率、设置输出像素数据的精度、选择量化操作(例如，tts、fd adc、pd adc之一)、设置帧速率等。如上所述，编程图生成器912可以基于例如一个或更多个roi的预测来生成像素阵列编程图948，其中用于roi内的像素单元的像素级编程数据不同于用于roi外部的像素单元的像素级编程数据。例如，像素阵
列编程图948可以启用像素单元(或像素单元组)的子集来输出像素数据，而其余像素单元不输出像素数据。作为另一个示例，像素阵列编程图948可以控制像素单元的子集以较高的分辨率输出像素数据(例如，使用较大数量的比特来表示每个像素)，而其余像素单元以较低的分辨率输出像素数据。
126.返回参考图9b，编程图解析器940可以解析可以在串行数据流中的像素阵列编程图948，以识别用于每个像素单元(或每个像素单元组)的像素级编程数据。像素级编程数据的识别可以基于例如预定的扫描模式(通过该扫描模式，二维像素阵列编程图被转换成串行格式)、以及编程信号解析器940从串行数据流接收像素级编程数据的顺序。对于编程数据的每个条目，编程信号解析器940可以生成行地址信号944和列地址信号946，并将行地址信号944和列地址信号946分别发送到行控制器936和列控制器934以选择像素单元，并将像素级编程信号943发送到所选择的像素单元(或像素单元组)。
127.图9d示出了像素单元阵列908的像素单元950的示例内部部件，像素单元950可以包括图6a的像素单元601的至少一些部件。像素单元950可以包括一个或更多个光电二极管(包括光电二极管952a、952b等)，每个光电二极管可以被配置为检测不同频率范围的光。例如，光电二极管952a可以检测可见光(例如，单色，或红色、绿色或蓝色之一)，而光电二极管952b可以检测红外光。像素单元950还包括开关954(例如，晶体管、控制器阻挡层)来控制哪个光电二极管输出用于像素数据生成的电荷。
128.此外，像素单元950还包括如图6a所示的电子快门开关603、转移开关604、电荷存储设备605、缓冲器606、量化器607，以及复位开关951和存储器955。电荷存储设备605可以具有可配置的电容，以设置电荷-电压转换增益。在一些示例中，对于中等光强度，可以增大电荷存储设备605的电容，以存储溢出电荷用于fd adc操作，从而降低电荷存储设备605被溢出电荷饱和的可能性。对于低光强度，也可以减小电荷存储设备605的电容，以增加电荷-电压转换增益用于pd adc操作。电荷-电压转换增益的增加可以减少量化误差并增加量化分辨率。在一些示例中，也可以在fd adc操作期间减小电荷存储设备605的电容，以增加量化分辨率。复位开关951可以在捕获图像帧之前和/或在fd adc操作和pd adc操作之间复位电荷存储设备605。缓冲器606包括电流源956和电源门958，电流源956的电流可以由偏置信号bias1设置，电源门958可以由pwr_gate信号控制以打开/关闭缓冲器606。作为禁用像素单元950的一部分，可以关闭缓冲器606。
129.此外，量化器607包括比较器960和输出逻辑962。比较器960可以将缓冲器的输出与参考电压(vref)进行比较，以生成输出。根据量化操作(例如，tts、fd adc、pd adc操作)，比较器960可以将缓冲的电压与不同的vref电压进行比较以生成输出，并且输出被输出逻辑962进一步处理以使存储器955存储来自自由运行计数器的值作为像素输出。比较器960的偏置电流可以由偏置信号bias2控制，该偏置信号bias2可以设置比较器960的带宽，比较器960的带宽可以基于要由像素单元950支持的帧速率来设置。此外，比较器960的增益可以由增益控制信号gain控制。比较器960的增益可以基于要由像素单元950支持的量化分辨率来设置。比较器960还包括电源开关961，电源开关961也可以由pwr_gate信号控制以打开/关闭比较器960。作为禁用像素单元950的一部分，可以关闭比较器960。
130.此外，输出逻辑962可以选择tts、fd adc或pd adc操作之一的输出，并且基于该选择，确定是否将比较器960的输出转发到存储器955以存储来自计数器的值。输出逻辑962可
以包括内部存储器，以基于比较器960的输出来存储光电二极管952(例如，光电二极管952a)是否被剩余电荷饱和以及电荷存储设备605是否被溢出电荷饱和的指示。如果电荷存储设备605被溢出电荷饱和，输出逻辑962可以选择tts输出来存储在存储器955中，并且防止存储器955用fd adc/pd adc输出盖写(overwrite)该tts输出。如果电荷存储设备605未饱和，但是光电二极管952饱和，则输出逻辑962可以选择fd adc输出来存储在存储器955中；否则，输出逻辑962可以选择pd adc输出来存储在存储器955中。在一些示例中，代替计数器值，光电二极管952是否被剩余电荷饱和以及电荷存储设备605是否被溢出电荷饱和的指示可以被存储在存储器955中，以提供最低精度的像素数据。
131.此外，像素单元950可以包括像素单元控制器970，像素单元控制器970可以包括逻辑电路以产生控制信号，例如ab、tg、bias1、bias2、gain、vref、pwr_gate等。像素单元控制器970也可以由像素级编程信号926来编程。例如，为了禁用像素单元950，像素单元控制器970可以由像素级编程信号926编程为宣称pwr_gate无效，以关闭缓冲器606和比较器960。此外，为了增加量化分辨率，像素单元控制器970可以由像素级编程信号926编程为减小电荷存储设备605的电容、经由gain信号增加比较器960的增益等等。为了提高帧速率，像素单元控制器970可以由像素级编程信号926编程为增加bias1信号和bias2信号，以分别增加缓冲器606和比较器960的带宽。此外，为了控制像素单元950输出的像素数据的精度，像素单元控制器970可以由像素级编程信号926编程为例如，仅将计数器的位的子集(例如，最高有效位)连接到存储器955使得存储器955仅存储位的子集，或者将存储在输出逻辑962中的指示作为像素数据存储到存储器955。另外，像素单元控制器970可以由像素级编程信号926编程为控制ab和tg信号的序列和时序，以例如调整曝光周期和/或选择特定量化操作(例如，tts、fd adc或pd adc之一)，同时基于操作条件来跳过其他量化操作，如上所述。
132.图10示出了生成要由诸如移动设备700的移动设备输出的内容的方法1000。方法1000可以由移动设备的控制器(诸如图8a-图8e的主机控制器812)执行。移动设备可以包括面向不同方向的多个图像传感器(诸如图7a的图像传感器702、704、706和708)以及音频传感器和运动传感器，以收集移动设备的周围环境的传感器数据。控制器和传感器耦合到物理链路并形成多分支网络，多分支网络的示例在图8b和图8c中示出。每个图像传感器或图像传感器组可以被单独编程。例如，可以单独启用或禁用每个图像传感器/图像传感器组。每个图像传感器生成图像数据的分辨率和帧速率也可以是不同的。此外，每个图像传感器包括多个像素单元，并且每个像素单元或像素单元块的图像感测操作可以被单独编程。例如，可以单独启用或禁用每个像素(或像素单元块)。图像传感器的示例在图9a-图9d中示出。
133.在步骤1002中，控制器可以发送控制信号(例如，控制数据822)来选择移动设备的多个图像传感器的子集。在一些示例中，可以经由物理链路来发送控制信号，物理链路诸如包括串行数据线(sdl)和串行时钟线(scl)的i3c总线。为了发送控制信号，控制器可以基于时钟信号模式来下拉scl，并且基于包括控制数据822和目标传感器(一个或更多个目标传感器)的地址的串行数据模式来下拉sdl。在一些示例中，移动设备还可以包括用于传输控制数据的第一物理链路(例如，总线)和用于传输图像数据的第二物理链路(例如，另一条总线、光链路等)。在这种情况下，控制器可以经由第一物理链路发送控制信号。
134.在一些示例中，控制信号还可以包括像素阵列编程图(例如，像素阵列编程图
948)，该像素阵列编程图定义用于目标传感器(一个或更多个目标传感器)中的每个像素(或像素块)的编程信息。编程信息可以限定例如要被启用来执行图像感测操作和/或发送像素数据的像素子集、生成和发送像素数据的帧速率以及图像感测操作的分辨率。
135.在步骤1004中，控制器经由物理链路(可以是与传输控制信号的物理链路相同或不同的物理链路)从多个图像传感器的子集中的每个图像传感器接收图像数据。在一些示例中，控制信号可以启用多个图像传感器中的每个图像传感器。在一些示例中，控制信号可以仅启用图像传感器的子集。每个图像传感器也可以由控制信号控制，以仅选择像素的子集来生成像素数据，使得图像数据包括稀疏图像，其中只有像素的子集包含图像数据，而其余像素不包含图像数据，如图8e所示。像素的子集可以对应于例如感兴趣对象。不同的传感器也可以以不同的分辨率和/或不同的帧速率生成/发送图像数据。
136.在物理链路是i3c总线的情况下，图像传感器的子集可以驱动包括sdl上的传感器数据的另一个串行数据模式，并且一次只有传感器中的一个传感器可以经由sdl向控制器发送传感器数据。当多个传感器试图同时驱动sdl时，每个传感器发送传感器数据的时序可以基于根据预定发送调度而定义的控制信号、和/或基于退避延迟来控制。在物理链路是光链路的情况下，图像传感器的子集可以同时或顺序地调制光链路中的光，以发送传感器数据。
137.在步骤1008中，控制器可以组合来自多个图像传感器的至少一个子集的图像数据，以获得比图像传感器的该子集中的每个图像传感器提供的视场(fov)更大的扩展的fov。如图7a-图7c所述，多个图像传感器可以包括面向相同方向的图像传感器和面向不同方向的图像传感器。通过组合来自图像传感器的图像数据，可以实现比每个图像传感器的fov大的扩展的fov。在一些示例中，立体对的图像传感器可以被配置为捕获不同频率范围的光以支持深度感测。
138.在步骤1008中，控制器可以确定在扩展的fov内捕获的移动设备的周围环境的信息。如图7b-图7c所述，该信息可以包括例如场景中的一个或更多个物理对象的定位、用户周围的人(及其姿势)的存在的检测结果、用户的身体部位(例如手)的跟踪结果等。该信息是基于扩展图像传感器的fov而提供的。
139.在步骤1010中，控制器可以向应用提供信息，以基于该信息生成内容。例如，为了提供vr/ar/mr体验，应用可以用虚拟对象替换检测到的对象，生成指示有人站在用户后面的音频/显示信号等。
140.本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。
141.可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
142.本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以为所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中、或者适于存储电子指令的任何类型的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。
143.本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括从计算过程获得的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上并且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
144.在说明书中使用的语言主要出于可读性和指导性的目的而被选择，并且它可以不被选择来描绘或限制发明的主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。