用于改善的触摸体验的机盖控制器中枢架构的制作方法

用于改善的触摸体验的机盖控制器中枢架构
相关申请的交叉引用
1.本技术是2020年12月24日提交的并且题为“lid controller hub(机 盖控制器中枢)”的美国申请序列第17/247,836号的继续申请(并且要求35 u.s.c.
§
120下优先权的权益)，该申请要求2020年8月18日提交的并且题为
ꢀ“
lid controller hub architecture for improved touch experiences(用于改善的触 摸体验的机盖控制器中枢架构)”的美国临时专利申请序列第63/067,071号的 优先权的权益。这些在先申请的公开内容被认为是本技术的公开内容的部分， 并通过引用以其整体并入本技术的公开内容中。


背景技术：

2.现有的膝上型计算机在机盖中包括各种输入传感器，诸如话筒、相 机和触摸屏。由这些机盖传感器生成的传感器数据由穿过铰链到达膝上型计算 机的基座的导线递送，在膝上型计算机的基座处，传感器数据由该膝上型计算 机的计算资源处理，并在该处使得传感器数据对于操作系统和应用而言是可访 问的。
附图说明
3.图1a图示出包括机盖控制器中枢的第一示例计算设备的框图。
4.图1b图示出包括机盖控制器中枢的第二示例移动计算设备的透视 图。
5.图2图示出包括机盖控制器中枢的第三示例移动计算设备的框图。
6.图3图示出包括机盖控制器中枢的第四示例移动计算设备的框图。
7.图4图示出图3的机盖控制器中枢的安全模块的框图。
8.图5图示出图3的机盖控制器中枢的主机模块的框图。
9.图6图示出图3的机盖控制器中枢的视觉/成像模块的框图。
10.图7图示出图3的机盖控制器中枢的音频模块的框图。
11.图8图示出与图3的机盖控制器中枢结合使用的定时控制器、嵌入 式显示面板和附加的电子设备的框图。
12.图9图示出图示包括机盖控制器中枢的移动计算设备中组件的示例 物理布置的框图。
13.图10a-图10e图示出机盖内的示例定时控制器和机盖控制器中枢 物理布置的框图。
14.图11a-图11c示出对用于各机盖控制器中枢实施例的铰链导线计 数进行分解的表。
15.图12a-图12c图示出机盖中的显示器内话筒和相机的示例布置。
16.图13a-图13b图示出示例发射显示器中的像素的简化截面图。
17.图14a图示出具有集成话筒的一组示例像素。
18.图14b图示出沿线a-a
′
取得的图14a的示例像素的截面图。
19.图14c-14d图示出跨越多个像素的示例话筒。
20.图15a图示出具有显示器内相机的一组示例像素。
21.图15b图示出沿线a-a
′
取得的图15a的示例像素的截面图。
22.图15c-15d图示出跨越多个像素的示例相机。
23.图16图示出可以被并入到嵌入式显示器中的示例相机。
24.图17图示出包括机盖控制器中枢的移动计算设备的示例软件/固件 环境的框图。
25.图18a和图18b图示出分别处于打开配置和闭合配置的移动计算 设备的俯视图，其中第一示例可折叠显示器包括可以作为常开显示器来操作的 部分。
26.图19a图示出处于打开配置的移动计算设备的俯视图，其中第二示 例可折叠显示器包括可以作为常开显示器来操作的部分。
27.图19b和图19c分别图示出处于闭合配置的图19a的移动计算设 备的横截面侧视图和俯视图。
28.图20a-20l图示出包括可折叠显示器的移动计算设备的各种视图， 该可折叠显示器具有可以作为常开显示器来操作的显示部分。
29.图21是与具有常开显示部分的可折叠显示器相关联的示例定时控 制器和附加显示流水线组件的框图。
30.图22图示出用于操作移动计算设备中能够作为常开显示器来进行 操作的可折叠显示器的示例方法。
31.图23a-图23b是对典型的双显示器计算系统的不同显示设备的用 户注意力的示图表示。
32.图24a-图24c是对典型的多显示器计算系统的不同显示设备的用 户注意力的示图表示。
33.图25是根据至少一个实施例的被配置成用于基于用户存在和注意 力来管理显示设备的多显示器计算系统的简化框图。
34.图26是图示出多显示器计算系统中的相机的可能视场的俯视平面 图。
35.图27a-图27c是图示出用户相对于显示设备的可能的头部/面部取 向的俯视平面图。
36.图28a-图28b是根据至少一个实施例的对双显示器计算系统中的 不同显示设备的用户注意力的示图表示，该双显示器计算系统被配置成用于执 行对多个显示器的、基于用户存在的显示器管理。
37.图29a-图29c是根据至少一个实施例的对多显示器计算系统中的 不同显示设备的用户注意力的示图表示，该多显示器计算系统被配置成用于执 行针对多个显示器的、基于用户存在的显示器管理。
38.图30是根据至少一个实施例的图46的计算系统的附加细节的示意 性图示。
39.图31是图示出根据至少一个实施例的图30的组件的附加细节的简 化框图。
40.图32是根据至少一个实施例的、可与机盖控制器中枢相关联的示 例过程的高级流程图。
41.图33是根据至少一个实施例的、可与检测用户存在相关联的示例 过程的简化流程图。
42.图34是根据至少一个实施例的、可与触发认证机制相关联的示例 过程的简化流
程图。
43.图35示出根据至少一个实施例的、可与适应性地调暗显示面板相 关联的示例过程的简化流程图。
44.图36是根据至少一个实施例的、可与适应性地调暗显示面板相关 联的示例过程的简化流程图。
45.图37是根据至少一个实施例的、可与显示设备的不活动超时相关 联的示例过程的简化流程图。
46.图38是包括能够提供改善的触摸用户体验的机盖控制器中枢的示 例计算设备的简化框图。
47.图39图示出在图38中所图示的计算设备中的组件之间的示例性信 息流。
48.图40图示出用于使传感器数据的发送与以显示器刷新率进行操作 同步的示例方法。
49.图41是能够支持组合手势和多平面手势的示例计算设备的简化框 图。
50.图42图示出在计算设备处作出的示例组合手势。
51.图43a-43c图示出有关的多平面手势和参考触摸手势的第一示例。
52.图44a-44c图示出有关的多平面多用户手势的第二示例。
53.图45a-图45b图示出多平面手势的第三示例。
54.图46a-图46b图示出有关的多平面手势的第四示例。
55.图47a-图47b图示出有关的多平面手势的第五示例。
56.图48a-图48b图示出有关的多平面手势的第六示例。
57.图49是确定应用于移动计算设备的组合手势并基于该组合手势执 行动作的示例方法。
58.图50是确定存在一系列多平面手势并且基于这些多平面手势来执 行动作的示例方法。
59.图51图示出基于用户存在调整触摸操作的示例方法。
60.图52是能够基于用户存在、接合和交互来控制触摸操作的示例计 算设备的简化框图。
61.图53是基于用户存在、接合和交互来控制触摸操作的示例方法。
62.图54是包括机盖控制器中枢的示例移动计算设备的基座中的计算 设备组件的框图。
63.图55是可以执行作为实现本文中所描述的技术的部分的指令的示 例性处理单元的框图。
具体实施方式
64.本文中公开了在膝上型计算机或具有类似形状因子的计算设备的 机盖中执行各种计算任务的机盖控制器中枢。机盖控制器中枢可以处理由位于 机盖中的话筒、触摸屏、相机和其他传感器生成的传感器数据。机盖控制器中 枢允许具有相对于现有设备的改善且扩展的用户体验、提高的隐私性和安全性、 更低的功耗以及改善的工业设计的膝上型计算机。例如，机盖控制器中枢允许 对触摸传感器数据进行的采样和处理与显示器的刷新率
同步，这可以得到平滑 且响应迅速的触摸体验。对由机盖中的相机和话筒捕捉的图像和音频传感器数 据进行连续的监视和处理允许膝上型计算机在被授权的用户的声音或面部被 检测到时唤醒。机盖控制器中枢通过在受信任执行环境中操作来提供增强的安 全性。仅允许经正确认证的固件在机盖控制器中枢中操作，这意味着不希望的 应用无法访问基于机盖的话筒和相机，并且由机盖控制器中枢处理以支持机盖 控制器中枢特征的图像和音频数据保持对于该机盖控制器中枢而言是本地的。
65.由机盖控制器中枢的计算资源来启用增强且改善的体验。例如，机 盖控制器中枢内的神经网络加速器可以使视频通话的背景中的显示或面部模 糊，或者滤除音频通话的背景中的狗叫声。进一步地，通过使用各种技术来实 现功率节省，各种技术诸如仅在传感器可能在使用时启用这些传感器，诸如在 检测到触摸交互时以典型的采样率对触摸显示器输入进行采样。而且，在本地 处理传感器数据而不是跨铰链发送传感器数据以使得由操作系统来处理该传 感器数据提供了等待时间改善。机盖控制器中枢还允许在其中更少导线跨铰链 被承载的膝上型计算机设计。这不仅可以降低铰链成本，而且可以得到更简单 并且由此更美观的工业设计。这些和其他机盖控制器中枢特征和优势在下文更 详细地讨论。
66.在以下描述中，阐述了众多具体细节，但是可以在没有这些具体细 节的情况下实施本文中所描述的技术的实施例。公知的电路、结构和技术未被 详细示出，以避免混淆对本描述的理解。“实施例”、“各实施例”、“一些实施例
”ꢀ
等等可包括特征、结构或特性，但是并非每一个实施例都必定包括这些特定的 特征、结构或特性。
67.一些实施例可以具有针对其他实施例所描述的特征中的一些或全 部，或完全不具有这些特征。“第一”、“第二”、“第三”等等描述常见的对象， 并且指示相同对象的不同实例正在被引用。此类形容词并不暗示如此描述的对 象必须在时间上或空间上、在排序方面或以任何其他方式按给定顺序。“连接 的”可指示元件彼此处于直接的物理或电接触，并且“耦合的”可指示元件彼此 协作或交互但这些元件可以或可以不处于直接的物理或电接触。由词语“基本 上”来修饰的术语包括与未经修饰的术语的含义略微不同的布置、取向、间隔或 位置。例如，对可以相对于移动计算设备的基座旋转基本上360度的、该移动 计算设备的机盖的描述包括相对于设备基座旋转360度的几度范围内的机盖。
68.说明书可使用短语“在一实施例中”、“在实施例中”、“在一些实施例 中”和/或“在各实施例中”，这些短语中的每一个都可指代相同或不同实施例中 的一个或多个。此外，如相对于本公开的实施例所使用的术语“包含”、“包括”、
ꢀ“
具有”等是同义的。
69.现在对附图进行参考，这些附图不必按比例绘制，其中使用类似或 相同数字在不同的图中指示相同或类似的部分。在不同的图中使用类似或相同 的数字并不意味着包括类似或相同数字的所有的图构成单个或同一个实施例。 具有不同的字母后缀的相同的数字可表示类似组件的不同实例。附图总的来说 通过示例的方式而不是限制的方式来图示在本文档中所讨论的各实施例。
70.在以下描述中，为了进行解释，阐述了众多具体细节以便提供对该 描述的透彻理解。然而，可能显而易见的是，可以在不具有这些具体细节的情 况下实施新颖的实施例。在其他实例中，以框图形式示出了多个公知的结构和 设备以促进对这些结构和设备的描述。意图在于涵盖在权利要求范围之内的所 有修改、等效方案和替代方案。
71.图1a图示出包括机盖控制器中枢的第一示例移动计算设备的框图。 计算设备100包括通过铰链130连接至机盖120的基座110。移动计算设备 (在本文中也被称为“用户设备”)100可以是膝上型计算机或具有类似形状因 子的移动计算设备。基座110包括主机芯片上系统(soc)140，该主机soc 140 包括与一个或多个附加组件集成的一个或多个处理单元，该一个或多个附加组 件诸如存储器控制器、图形处理单元(gpu)、高速缓存、图像处理模块、以 及本文中所描述的其他组件。基座110可以进一步包括实体键盘、触摸板、电 池、存储器、存储以及外部端口。机盖120包括嵌入式显示面板145、定时控 制器(tcon)150、机盖控制器中枢(lch)155、话筒158、一个或多个相机 160、以及触摸显示器控制器(触摸控制器)165。tcon 150将从soc 140接 收的视频数据190转换为驱动显示面板145的信号。
72.显示面板145可以是任何类型的嵌入式显示器，其中负责生成光或 允许发射光的显示元件位于每个像素中。此类显示器可以包括tft lcd(薄膜 晶体管液晶显示器)、微led(微型发光二极管(led))、oled(有机led) 和qled(量子点led)显示器。触摸控制器165驱动显示面板145中所利用 的触摸屏技术并且收集由所采用的触摸屏技术提供的触摸传感器数据。显示面 板145可以是触摸显示器，并且包括触摸屏，该触摸屏包括用于实现触摸能力 的一个或多个专用层或者包括不要求专用触摸屏层的
‘
内嵌式(in-cell)’或
‘
覆 盖表面式(on-cell)’触摸屏技术。
73.话筒158可以包括位于机盖的边框中的话筒或者位于显示区域(面 板中显示内容的区域)中的显示器内话筒。一个或多个相机160可以类似地包 括位于边框中的相机或者位于显示区域中的显示器内相机。
74.lch 155包括音频模块170、视觉/成像模块172、安全模块174、 以及主机模块176。音频模块170、视觉/成像模块172以及主机模块176与机 盖传感器进行交互，处理由这些传感器生成的传感器数据。音频模块170与话 筒158交互并处理由该话筒158生成的音频传感器数据，视觉/成像模块172与 一个或多个相机160交互并处理由该一个或多个相机160生成的图像传感器数 据，并且主机模块176与触摸控制器165交互并处理由该触摸控制器165生成 的触摸传感器数据。同步信号180在定时控制器150与机盖控制器中枢155之 间共享。同步信号180可用于使对触摸传感器数据的采样以及对触摸传感器数 据到soc 140的递送与显示面板145的刷新率同步，以允许系统级的平滑且响 应迅速的触摸体验。
75.如本文中所使用，短语“传感器数据”可指由传感器生成或提供的传 感器数据以及已经经受后续处理的传感器数据。例如，图像传感器数据可指在 视觉/成像模块中的帧路由器处接收的传感器数据以及由视觉/成像模块中的帧 路由器处理堆叠输出的经处理的传感器数据。术语“传感器数据”还可以指离散 的传感器数据(例如，由相机捕捉的一个或多个图像)或者传感器数据流(例 如，由相机生成的视频流、由话筒生成的音频流)。术语“传感器数据”可以进 一步指代从传感器数据生成的元数据，诸如从触摸传感器数据确定的手势、或 者从图像传感器数据生成的头部取向或面部特征点信息。
76.音频模块170处理由话筒158生成的音频传感器数据，并且在一些 实施例中启用诸如以下各项的特征：语音唤醒(当在音频传感器数据中检测到 语音时，使得设备100从低功率状态退出)、说话者id(当在音频传感器数据 中检测到经认证的用户的声音时，使得设备100从低功率状态退出)、声学上 下文感知(例如，过滤不期望的背景噪声)、话音和语音预处理以调节音频传 感器数据以供神经网络加速器进一步处理、动态降噪、以及基于音频
的自适应 热解决方案。
77.视觉/成像模块172处理由一个或多个相机160生成的图像传感器 数据，并且在各实施例中可以启用诸如以下各项的特征：面部唤醒(当在图像 传感器数据中检测到面部时，使得设备100从低功率状态退出)和面部id(当 在图像传感器数据中检测到经认证的用户的面部时，使得设备100从低功率状 态退出)。在一些实施例中，视觉/成像模块172可以启用以下特征中的一种或 多种特征：头部取向检测、确定图像中面部特征点(例如，眼睛、嘴巴、鼻子、 眉毛、脸颊)的位置、以及多面部检测。
78.主机模块176处理由触摸控制器165提供的触摸传感器数据。主机 模块176能够使触摸相关动作与嵌入式面板145的刷新率同步。这允许触摸活 动与显示活动在系统级的同步，这为在移动计算设备上操作的任何应用提供了 改善的触摸体验。
79.由此，lch 155可以被认为是soc 140的同伴管芯，这是由于lch 155处置在现有移动计算设备中由soc执行的一些传感器数据相关的处理任 务。lch 155与机盖传感器的接近度允许在传感器数据不得不跨铰链130被发 送以供soc 140处理的情况下可能是不可能的体验和能力。lch 155与机盖传 感器的接近度减少了等待时间，这为传感器数据处理创造了更多时间。例如， 如将在下文更详细地所讨论，lch 155包括神经网络加速器、数字信号处理器 以及图像和音频传感器数据处理模块，以启用诸如语音唤醒、面部唤醒、上下 文理解之类的特征。由于机盖传感器数据需要行进较短长度去往lch而不是 跨铰链去往基座，因此将lch计算资源定位成接近于机盖传感器也允许功率 节省。
80.机盖控制器中枢允许附加的功率节省。例如，lch允许基座中的 soc和其他组件在该lch监视传入的传感器数据以确定设备是否要转变至活 跃状态时进入到低功率状态。通过仅在检测到经认证的用户的存在(例如，经 由说话者id或面部id)时能够唤醒设备，设备可以相比于设备响应于检测到 任何人的存在而唤醒的情况下更久地保持处于低功率状态。机盖控制器中枢还 允许在某些情境下在嵌入式显示面板处对触摸输入的采样降低到较低的采样 率(或被禁用)。由机盖控制器中枢实现的附加的功率节省在下文更详细地讨 论。
81.如本文中所使用，在引用移动计算设备的系统级状态时，术语“活跃 状态”是指其中设备完全可用的状态。也就是说，主机处理单元和机盖控制器中 枢的完整能力均是可用的，一个或多个应用可以正在执行，并且设备能够提供 交互式且响应迅速的用户体验——用户可以正在看电影、参与视频通话、网上 冲浪、操作计算机辅助设计工具、或以大量其他方式中的一种方式使用该设备。 当设备处于活跃状态时，设备的一个或多个模块或其他组件(包括机盖控制器 中枢或机盖控制器中枢的组成模块或其他组件)可以被置于低功率状态以节约 功率。当设备处于活跃状态时，主机处理单元可以暂时被置于高性能模式以适 应高要求的工作负荷。由此，移动计算设备可以在处于活跃状态时在一功率水 平范围内操作。
82.如本文中所使用，在参考移动计算设备的系统级状态时，术语“低功 率状态”是指其中设备以相比于该设备在活跃状态下操作时更低的功耗水平操 作的状态。典型地，主机处理单元正以相比于当设备处于活跃状态时更低的功 耗水平操作，并且相比于设备处于活跃状态时，更多的设备模块或其他组件共 同在低功率状态下操作。设备可以在一个或多个低功率状态下操作，其中这些 低功率状态之间的一个差别由设备级的功耗水平来表征。
在一些实施例中，低 功率状态之间的另一差别由设备响应于用户输入(例如，键盘、鼠标、触摸、 语音、在图像传感器数据中检测到的用户存在、用户打开或移动该设备)、网 络事件或来自附接的设备(例如，usb设备)的输入而唤醒花费了多久来表征。 此类低功率状态可以被表征为“待机”、“空闲”、“睡眠”或“休眠”状态。
83.在第一类型的设备级低功率状态(诸如被表征为“空闲”或“待机”低 功率的状态的设备级低功率状态)下，设备可以响应于用户输入、硬件或软件 事件而快速地从低功率状态转变至活跃状态。在第二类型的设备级低功率状态 (诸如被表征为“睡眠”状态的设备级低功率状态)下，设备相比于在第一类型 的低功率状态下消耗更少的功率，并且易失性存储器保持被刷新以维持设备状 态。在第三类型的设备级低功率状态(诸如被表征为“休眠”低功率状态的设备 级低功率状态)下，设备相比于在第二类型的低功率状态下消耗更少的功率。 非易失性存储器不被保持刷新，并且设备状态被存储在非易失性存储器中。由 于不得不从非易失性存储器恢复系统状态，相比于从第一或第二类型的低功率 状态唤醒，设备花费更长的时间从第三类型的低功率状态唤醒。在第四类型的 低功率状态下，设备关机并且不消耗功率。将设备从关机状态唤醒要求设备经 受完整的重新引导。如本文中所使用，唤醒设备是指设备从低功率状态转变至 活跃状态。
84.参考机盖控制器中枢，术语“活跃状态”是指其中机盖控制器中枢的 完整资源均可用的机盖控制器中枢状态。也就是说，lch可以在传感器数据被 生成时正在处理这些传感器数据，将传感器数据以及由lch基于该传感器数 据生成的任何数据传递至主机soc，并且基于从主机soc接收的视频数据来显 示图像。当lch处于活跃状态时，lch的一个或多个组件可以单独地被置于 低功率状态。例如，如果lch检测到在图像传感器数据中未检测到被授权的 用户，则lch可以使得机盖显示器被禁用。在另一示例中，如果隐私模式被 启用，则将传感器数据传送至主机soc的lch组件可以被禁用。当引用机盖 控制器中枢时，术语“低功率”状态可以指其中相比于处于活跃状态时lch以 更低的功耗水平操作的功率状态，并且典型地通过一个或多个lch模块或其 他组件被置于相比于该lch处于活跃状态时更低的功率状态来表征。例如， 当计算设备的机盖闭合时，机盖显示器可以被禁用，lch视觉/成像模块可以 被置于低功率状态，并且lch音频模块可以保持操作，以支持语音唤醒特征， 从而允许设备继续对音频查询进行响应。
85.移动计算设备的模块或任何其他组件能以各种方式被置于低功率 状态，诸如通过使其操作电压降低，被供应具有降低的功率的时钟信号，或者 通过接收使得该组件消耗更少功率的控制信号而被置于低功率状态(诸如，将 图像显示流水线中的模块置于其中该模块仅对图像的部分执行图像处理的低 功率状态)。
86.在一些实施例中，由lch实现的功率节省允许移动计算设备在典 型的使用条件下在无需重新充电的情况下被操作达一天。能够以较低的功率量 对单天的使用进行供电还可以允许在移动计算设备中使用更小的电池。通过实 现较小的电池以及实现跨将设备连接至机壳的铰链的减少数量的导线，包括 lch的膝上型计算机可以更轻薄并且由此具有相对于现有设备的改善的工业 设计。
87.在一些实施例中，本文中所公开的机盖控制器中枢技术允许膝上型 计算机具有智能协作和个人辅助能力。例如，lch可以提供近场和远场音频能 力，近场和远场音频能力通过检测远程音频源的位置并改善对从远程音频源位 置到达的音频的检测而允许增强的
音频接收。当与语音唤醒和说话者id能力 组合时，近场和远场音频能力允许移动计算设备表现得与当今市场上普遍存在 的“智能扬声器”类似。例如，考虑其中用户从工作中休息一会儿，从他们的膝 上型计算机处走开，并且从房间另一边问该膝上型计算机“明天的天气如何？
”ꢀ
的场景。由于未在由面向用户的相机提供的图像传感器数据中检测到被授权的 用户的面部而已经转变至低功率状态的膝上型计算机持续地监视传入的音频 传感器数据并且检测来自被授权的用户的话音。膝上型计算机退出其低功率状 态，检取所请求的信息，并且回答用户的询问。
88.铰链130可以是允许基座110和机盖120可旋转地连接的任何实体 铰链。穿过铰链130的导线包括用于将视频数据190从soc 140传递到tcon 150的导线、用于在soc 140与音频模块170之间传递音频数据192的导线、 用于将图像数据194从视觉/成像模块170提供至soc 140的导线、用于将触 摸数据196从lch 155提供至soc 140的导线、以及用于将从图像传感器数 据确定的数据或由lch 155生成的其他信息从主机模块提供至soc 140的导 线。在一些实施例中，被示出为通过soc与lch之间不同的导线集合传递的 数据通过同一导线集合进行传输。例如，在一些实施例中，触摸数据、感测数 据和由lch生成的其他信息可以通过单个usb总线发送。
89.在一些实施例中，机盖120可移除地可附接至基座110。在一些实 施例中，铰链可以允许基座110和机盖120相对于彼此基本上旋转360度。在 一些实施例中，相对于不具有lch的现有计算设备，铰链130承载更少的导 线来将机盖120通信地耦合至基座110。此种跨铰链130的导线的减少可以引 起更低的设备成本，这不仅仅是由于导线的减少，也是由于这是更简单的电磁 和射频接口(emi/rfi)解决方案。
90.图1a中图示为位于移动计算设备的基座中的组件可以位于基座壳 体中，并且图1a中图示为位于移动计算设备的机盖中的组件可以位于机盖壳 体中。
91.图1b图示出包括机盖控制器中枢的第二示例移动计算的透视图。 移动计算设备122可以是膝上型计算机或者具有类似形状因子的其他移动计算 设备，诸如可折叠平板或智能电话。机盖123包括在移动计算设备122处于闭 合配置时作为机盖123的面向外界的表面的“a盖”124、以及在机盖123打开 时包括面向用户的显示器的“b盖”125。基座129包括在设备122处于打开配 置时面向上的、包括键盘的“c盖”126、以及作为基座129的底部的“d盖”127。 在一些实施例中，基座129包括设备122的主要计算资源(例如，(多个)主 机处理单元、gpu)以及电池、存储器和存储，并且基座129经由穿过铰链128 的导线与机盖123进行通信。由此，在其中移动计算设备是双显示器设备(诸 如双显示器膝上型计算机、平板或智能电话)的实施例中，基座可以被看作包 括主机处理单元的设备部分，并且机盖可以被看作包括lch的设备部分。wi
‑ꢀ
fi天线可以位于本文中所描述的任何计算设备的基座或机盖中。
92.在其他实施例中，计算设备122可以是双显示器设备，其中第二显 示器包括c盖126的部分。例如，在一些实施例中，“常开”显示器(aod)可 以占据c盖的、在键盘下方且在机盖123闭合时可见的区域。在其他实施例 中，第二显示器覆盖c盖的表面的大部分，并且可移除的键盘可以被放置在第 二显示器之上，或者第二显示器可以呈现虚拟键盘来允许键盘输入。
93.机盖控制器中枢不限于被实现在膝上型计算机和具有与图1b中所 图示的形状因
子类似的形状因子的其他移动计算设备中。本文中所公开的机盖 控制器中枢技术可以在包括基座和单个机盖之外的一个或多个部分的移动计 算设备中被采用，该附加的一个或多个部分包括显示器和/或一个或多个传感器。 例如，包括lch的移动计算设备可以包括：基座；主显示部分，包括第一触摸 显示器、相机和话筒；以及辅助显示部分，包括第二触摸显示器。第一铰链将 基座可旋转地耦合至辅助显示部分，并且第二铰链将主显示部分可旋转地耦合 至辅助显示部分。位于任一显示部分中的lch可以处理由位于与该lch位于 同一显示部分的机盖显示器生成的、或者由处于这两个显示部分中的机盖传感 器生成的传感器数据。在该示例中，机盖控制器中枢可以位于主显示部分和辅 助显示部分中的任一者或这两者中。例如，第一lch可以位于经由穿过第一 铰链的导线与基座进行通信的辅助显示器中，并且第二lch可以位于经由穿 过第一铰链和第二铰链的导线与基座进行通信的主显示器中。
94.图2图示出包括机盖控制器中枢的第三示例移动计算设备的框图。 设备200包括通过铰链230连接至机盖220的基座210。基座210包括soc 240。机盖220包括定时控制器(tcon)250、机盖控制器中枢(lch)260、 面向用户的相机270、嵌入式显示面板280、以及一个或多个话筒290。
95.soc 240包括显示模块241、集成传感器中枢242、音频捕捉模块 243、通用串行总线(usb)模块244、图像处理模块245、以及多个处理器核 235。显示模块241经由八线嵌入式显示端口(edp)连接233与tcon 400中 的edp模块进行通信。在一些实施例中，嵌入式显示面板280是具有高达120 hz的刷新率的“3k2k”显示器(具有3k
×
2k分辨率的显示器)，并且连接233 包括两个edp高比特率2(hbr2(17.28gb/s))连接。集成传感器中枢242 经由两线移动产业处理器接口(mipi)i3c(sensewire(传感线))连接221 与lch 260的视觉/成像模块263进行通信，音频捕捉模块243经由四线mipi 连接222与lch 260的音频模块264进行通信，usb模块244经 由usb连接223与lch 260的安全/主机模块261进行通信，并且图像处理模 块245经由包括10根导线的四通道mipi d-phy连接224从lch 260的帧路 由器267的mipi d-phy发射端口265接收图像数据。集成传感器中枢242可 以是集成传感器中枢或者能够处理来自一个或多个传感器的传感器数 据的任何其他传感器中枢。
96.如本文中所使用，术语“端口”可以指代将信息或信号从一个模块、 电路、组件等发射和/或接收到另一个的任何接口、模块、连接器等。端口能以 硬件、软件、固件或其组件来实现。
97.tcon 400包括edp端口402和外围组件接口快速(pcie)端口 404，该pcie端口404通过48线连接240使用pcie的端对端(p2p)通信特 征来驱动嵌入式显示面板280。
98.lch 260包括安全/主机模块261、视觉/成像模块263、音频模块 264、以及帧路由器267。安全/主机模块261包括数字信号处理(dsp)处理器 271、安全处理器272、保险箱和一次性密码生成器(otp)273、以及存储器 274。在一些实施例中，dsp 271是271是 em7d或em11d dsp处理器，并且安全处理器可以是可以是sem安全处理器。除了与soc 240中的usb模块244通信之外，安全 /主机模块261还可经由集成电路间(i2c)连接226与tcon 400进行通信， 以提
供lch活动与tcon活动之间的同步性。存储器274存储由lch 260的 组件执行的指令。
99.视觉/成像模块263包括dsp 275、神经网络加速器(nna)276、 图像预处理器278以及存储器277。在一些实施例中，dsp 275是275是em11d处理器。视觉/成像模块263经由智能外围接口(ipi)连接227 与帧路由器267进行通信。视觉/成像模块263可以执行面部检测，检测头部取 向，并且基于在图像传感器数据中检测到人的面部(面部唤醒)或被授权的用 户的面部(面部id)来启用设备访问。在一些实施例中，视觉/成像模块263可 以经由神经网络加速器276实现一个或多个人工智能(ai)模型以启用这些功 能。例如，神经网络加速器276可以实现被训练成用于在图像传感器数据中识 别被授权的用户的面部的模型，以启用面部唤醒特征。视觉/成像模块263经由 包括一对i2c或i3c导线和五线通用i/o(gpio)连接的连接228来与相机 270进行通信。帧路由器267包括d-phy发射端口265和d-phy接收器266， d-phy接收器266经由包括四线mipi相机串行接口2(csi2)连接的连接231 接收由面向用户的相机270提供的图像传感器数据。lch 260经由可以包括八 线串行外围接口(spi)或四线i2c连接的连接232与触摸显示器控制器(触 摸控制器)285进行通信。
100.音频模块264包括一个或多个dsp 281、神经网络加速器282、 音频预处理器284以及存储器283。在一些实施例中，机盖220包括四个话筒 290，并且音频模块264包括四个dsp 281，针对每个话筒有一个dsp。在一些实施例中，每个dsp 281均为hifi dsp。音 频模块264经由连接229与一个或多个话筒290进行通信，该连接229包括 mipi连接或经由脉冲密度调制(pdm)发送的信号。在其他实施 例中，连接229包括四线数字话筒(dmic)接口、两线集成ic间声音总线 (i2s)连接、以及一根或多根gpio导线。音频模块264使得能够在检测到人 类语音(语音唤醒)或经认证的用户的语音(说话者id)、近场或远场音频(输 入和输出)时将设备从低功率状态唤醒，并且可以执行附加的话音识别任务。 在一些实施例中，nna 282是实现一种或多种人工智能(ai)模型来启用各种 lch功能的人工神经网络加速器。例如，nna 282可以实现被训练成用于在 由一个或多个话筒290生成的音频传感器数据中的唤醒词或短语的ai模型， 以启用语音唤醒特征。
101.在一些实施例中，安全/主机模块存储器274、视觉/成像模块存 储器277和音频模块存储器283是对于安全/主机模块261、视觉/成像模块263 和音频模块264而言可访问的共享存储器的部分。在设备200启动期间，共享 存储器的区段被分派给安全/主机模块261、视觉/成像模块263和音频模块264 中的每一者。在启动之后，共享存储器中被分派给模块的每个区段与其他被分 派的区段隔离。在一些实施例中，共享存储器可以是按如下方式被分区的12 mb存储器：安全/主机存储器(1mb)、视觉/成像存储器(3mb)和音频存 储器(8mb)。
102.本文中所描述的连接两个或更多个组件的任何连接可以利用不 同的接口、协议或连接技术，和/或利用与针对特定连接所描述的不同数量的导 线。虽然显示模块241、集成传感器中枢242、音频捕捉模块243、usb模块 244、以及图像处理模块245被图示为被集成到soc 240中，但是在其他实施 例中，这些组件中的一个或多个组件可以位于soc外部。例如，这些组件中的 一个或多个组件可以位于管芯上，位于封装中，或者位于与管芯、封装分离的 板或包括主机处理单元(例如，核235)的板上。
103.图3图示出包括机盖控制器中枢的第四示例移动计算设备的框 图。移动计算设备
300包括经由铰链330连接至基座315的机盖301。机盖301 包括机盖控制器中枢(lch)305、定时控制器355、面向用户的相机346、话 筒390、嵌入式显示面板380、触摸显示器控制器(显示控制器)385、以及存 储器353。lch 305包括安全模块361、主机模块362、视觉/成像模块363、以 及音频模块364。安全模块361为lch 305提供安全处理环境，并且包括保险 箱320、安全处理器321、结构310、i/o 332、常开(aon)块316、以及存储 器323。安全模块361负责加载和认证被存储在存储器353中并由lch 305的 各个组件(例如，dsp、神经网络加速器)执行的固件。安全模块361通过以 下操作来对固件进行认证：对固件执行密码散列函数，并且使用安全模块361 中所存储的密钥信息来确保得到的散列是正确的且固件具有适当的签名。密码 散列函数由保险箱320执行。在一些实施例中，保险箱320包括密码加速器。 在一些实施例中，安全模块361可以呈现产品信任根(prot)接口，设备200的 另一个组件可以通过该接口向lch 305查询固件认证的结果。在一些实施例 中，prot接口可以通过i2c/i3c接口(例如，i2c/i3c接口470)来提供。
104.如本文中所使用，术语“操作”、“执行”或“运行”在其涉及与机盖 控制器中枢、机盖控制器中枢组件、主机处理单元、soc或其他计算设备组件 有关的软件或固件时可互换地使用，并且可以指代存储在可由计算设备组件访 问的一种或多种计算机可读存储介质中的软件或固件，即使该软件或固件中所 包含的指令并非正在由被组件活跃地执行。
105.安全模块361还存储隐私信息并处置隐私任务。在一些实施例 中，lch 305用来执行面部id或说话者id以在经认证的用户的语音被话筒拾 得的情况下或者在经认证的用户的面部被相机捕捉的情况下唤醒计算设备的 信息被存储在安全模块361中。安全模块361还为lch或计算设备启用隐私 模式。例如，如果用户输入指示用户期望启用隐私模式，则安全模块361可以 禁用由lch资源对由机盖输入设备(例如，触摸屏、话筒、相机)中的一个或多 个生成的传感器数据的访问。在一些实施例中，用户可以设置隐私设置，从而 使得设备进入隐私模式。隐私设置包括例如，禁用视频会议应用中的视频和/或 音频输入，或启用阻止任何应用或操作系统接收和/或处理传感器数据的操作系 统级隐私设置。设置应用或操作系统隐私设置可以使得信息被发送至机盖控制 器中枢，从而使得lch进入隐私模式。在隐私模式下，机盖控制器中枢可以 使得输入传感器进入低功率状态，阻止lch资源处理传感器数据或阻止原始 或经处理的传感器数据被发送至主机处理单元。
106.在一些实施例中，lch 305可以启用面部唤醒或面部id特征， 同时对系统的其余部分(例如，操作系统和在操作系统上运行的任何应用)保持 图像传感器数据的隐私性。在一些实施例中，视觉/成像模块363继续处理图像 传感器数据以允许面部唤醒或面部id特征在设备处于隐私模式时保持活跃。 在一些实施例中，为了获得增强的隐私性和降低的功耗，无论隐私模式是否被 启用，仅当检测到面部(或被授权的用户的面部)时，图像传感器数据才被传 递通过视觉/成像模块363到达soc 340中的图像处理模块345。在一些实施例 中，除了面向用户的相机346之外，移动计算设备300还可以包括一个或多个 面向外界的相机，并且移动计算设备300可包括一个或多个面向外界的话筒 (例如，并入到膝上型计算机的“a盖”中的话筒)。
107.在一些实施例中，机盖控制器中枢305响应于用户按下隐私按 钮、翻转隐私开关或滑动机盖中的输入传感器上方的滑块而进入隐私模式。在 一些实施例中，可向用户提供隐私指示器来指示lch处于隐私模式。隐私指 示器可以是例如位于基座或显示器边框中的
led，或者是在显示器上显示的隐 私图标。在一些实施例中，用户激活外部隐私按钮、开关、滑块、热键等启用 在硬件级或系统级设置的隐私模式。也就是说，隐私模式应用于在移动计算设 备上操作的任何应用和操作系统。例如，如果用户按下位于机盖的边框中的隐 私开关，则作为响应，lch可以禁止所有音频传感器数据和所有图像传感器数 据变得对soc可用的。音频和图像传感器数据仍可用于lch以执行诸如语音 唤醒或说话者id之类的任务，但是对于机盖控制器中枢而言可访问的音频和 图像传感器数据对于其他处理组件而言不是可访问的。
108.主机模块362包括安全处理器324、dsp 340、存储器326、结 构311、常开块317以及i/o 333。在一些实施例中，主机模块362可以引导 lch，将lch遥测和中断数据发送到soc，管理与触摸控制器385的交互， 并将触摸传感器数据发送到soc 340。主机模块362通过usb连接将机盖传感 器数据从多个机盖传感器发送至soc 340中的usb模块344。相对于现有的膝 上型计算机设计，通过单个连接发送多个机盖传感器的传感器数据有助于穿过 铰链330的导线数量的减少。dsp 340处理从触摸控制器385接收的触摸传感 器数据。主机模块362可以通过利用在tcon 355与主机模块362之间共享的 同步信号370使得将触摸传感器数据发送至soc 340与显示面板刷新率同步。
109.主机模块362可以基于诸如用户存在和用户与面板380的触摸 交互量之类的因素来动态调整显示面板380的刷新率。例如，如果在相机346 前方没有检测到用户或未检测到被授权的用户，则主机模块362可以降低面板 380的刷新率。在另一示例中，可以响应于基于触摸传感器数据对面板380处 的触摸交互的检测而提高刷新率。在一些实施例中并且取决于显示面板380的 刷新率能力，主机模块362可以使得面板380的刷新率提高到高达120hz或 者降低至20hz或更低。
110.主机模块362也可以基于用户正与之交互的应用来调整刷新率。 例如，如果用户正在与插图应用交互，则主机模块362可以提高刷新率(如果 显示面板刷新率与对触摸传感器数据的处理同步，则还可以提高触摸数据被发 送至soc 340的速率)至120hz，从而向用户提供更平滑的触摸体验。类似 地，如果主机模块362检测到用户当前正在与之交互的应用是其中内容相对静 态的应用或者涉及低程度的用户触摸交互或简单的触摸交互(例如，诸如选择 图标或键入消息)的应用，则主机模块362可以将刷新率降低到更低的频率。 在一些实施例中，主机模块362可以通过监视触摸交互的频率来调整刷新率和 触摸采样频率。例如，如果存在高度的用户交互或者如果主机模块362检测到 用户正在使用特定的触摸输入设备(例如，手写笔)或触摸输入手写笔的特定 特征(例如，手写笔的倾斜特征)，则刷新率可以被向上调整。如果被显示面 板支持，则一旦刷新率超出阈值，主机模块362就可以使显示面板的选通特征 被启用以减少重影。
111.视觉/成像模块363包括神经网络加速器327、dsp 328、存储器 329、结构312、aon块318、i/o 334、以及帧路由器339。视觉/成像模块363 与面向用户的相机346进行交互。视觉/成像模块363可以与多个相机交互并 将来自多个相机的图像数据合并到单个流中，以供向soc 340中的集成传感器 中枢342传输。在一些实施例中，除了面向用户的相机346之外，机盖301还 可包括一个或多个附加的面向用户的相机和/或面向外界的相机。在一些实施例 中，面向用户的相机中的任一者都可以是显示器内相机。由相机346生成的图 像传感器数据由帧路由器339接收，在该帧路由器339处，图像传感器数据在 被发送至神经网络加
速器327和/或dsp 328之前经受处理。图像传感器数据 也可以被传递通过帧路由器339并到达soc 340中的图像处理模块345。神经 网络加速器327和/或dsp 328启用面部检测、头部取向检测、面部特征点(例 如，眼睛、脸颊、眉毛、鼻子、嘴巴)的识别、拟合检测到的面部的3d网格 的生成、以及其他图像处理功能。在一些实施例中，可以以30帧/秒(30fps) 的速率将面部参数(例如，面部特征点的位置、3d网格、面部物理尺寸、头部 取向)发送至soc。
112.音频模块364包括神经网络加速器350、一个或多个dsp 351、 存储器352、结构313、aon块319、以及i/o 335。音频模块364接收来自话 筒390的音频传感器数据。在一些实施例中，针对每个话筒390存在一个dsp 351。神经网络加速器350和dsp 351实现改善音频质量的音频处理算法和ai 模型。例如，dsp 351可以对接收到的音频传感器数据执行音频预处理来调节 音频传感器数据，以用于由神经网络加速器350实现的音频ai模型来处理。 可以由神经网络加速器350实现的音频ai的一个示例是降噪算法，其滤除诸 如狗的吠叫或警笛的长鸣之类的背景噪声。第二示例是启用语音唤醒或说话者 id特征的模型。第三示例是上下文感知模型。例如，可以实现对与其中执法或 紧急医疗提供者被召唤的情况相关的音频事件(例如玻璃破碎、车祸或枪击) 的发生进行分类的音频上下文模型。lch可以向soc提供指示此类事件的发 生的信息，并且soc可以向用户询问是否应该召唤当局或医疗专业人员。
113.lch模块361-364中的aon块316-319包括用于支持lch“常 开”特征的各种i/o、定时器、中断和控制单元，这些lch“常开”特征诸如语音 唤醒、说话者id、面部唤醒和面部id、以及在机盖301闭合时可见并呈现内 容的常开显示器。
114.图4图示出图3的机盖控制器中枢的安全模块的框图。保险箱 320包括可以实现对存储器353中所存储的固件执行的密码散列函数的密码加 速器400。在一些实施例中，密码加速器400实现兼容128位块尺寸高级加密 标准(aes)(aes-128)或兼容384位安全散列算法(sha)(sha-384)的 加密算法。安全处理器321驻留在安全处理器模块402中，该安全处理器模块 402还包括平台独有特征模块(puf)405、otp生成器410、rom 415和直接 存储器访问(dma)模块420。puf 405可以实现特定lch实现方式独有的 一种或多种与安全有关的特征。在一些实施例中，安全处理器321可以是sem安全处理器。结构310允许安全模块361的各个组 件之间的通信，并且包括高级可扩展接口(axi)425、高级外围总线(apb) 440、以及高级高性能总线(ahb)445。axi 440经由axi至apb(axi x2p) 桥430与高级外围总线440进行通信，并且经由axi至ahb(axi x2a)桥 435与高级高性能总线445进行通信。常开块316包括多个gpio 450、通用异 步接收器-发射器(uart)455、定时器460、以及功率管理和时钟管理单元 (pmu/cmu)465。pmu/cmu 465控制向lch组件的功率和时钟信号的供 应，并且可以选择性地向各个lch组件供应功率和时钟信号，以使得仅那些 要用于支持特定的lch操作模式或特征的组件接收到功率并被计时。i/o组 332包括i2c/i3c接口470和队列串行外围接口(qspi)475，以与存储器353 进行通信。在一些实施例中，存储器353是存储lch固件的16mb串行外围 接口(spi)-nor闪存。在一些实施例中，lch安全模块可以不包括图4中示 出的组件中的一个或多个组件。在一些实施例中，lch安全模块可以包括图4 中示出的那些组件之外的一个或多个附加组件。
115.图5图示出图3的机盖控制器中枢的主机模块的框图。dsp 340 是dsp模块500的部分，该dsp模块500进一步包括第一级(l1)高速缓存 504、rom 506和dma模块508。在一些实
施例中，dsp 340可以是 em11d dsp处理器。安全处理器324是安全处理器模块 502的部分，该安全处理器模块502进一步包括允许实现平台独有功能的puf 模块510、otp生成器512、rom 514、以及dma模块516。在一些实施例 中，安全处理器324是sem安全处理器。结构 311允许主机模块362的各个组件之间的通信，并且包括与安全组件结构310 类似的组件。常开块317包括多个uart 550、支持lch调试的联合测试行动 小组(jtag)/i3c端口552、多个gpio 554、定时器556、中断请求(irq)/唤醒 块558、以及向相机346提供19.2mhz参考时钟的pmu/ccu端口560。同 步信号370连接至gpio端口中的一个。i/o 333包括支持与相机346的i2c和 /或i3c通信的接口570、与soc 340中的usb模块344进行通信的usb模块 580、以及与触摸控制器385进行通信的qspi块584。在一些示例中，i/o组 333经由qspi接口582向soc提供触摸传感器数据。在其他实施例中，触摸 传感器数据通过usb连接583与soc通信。在一些实施例中，连接583是 usb 2.0连接。通过利用usb连接583将触摸传感器数据发送至soc，铰链 330免于必须承载支持qspi连接(由qspi接口582支持)的导线。不必支持 此种附加的qspi连接可以将跨铰链的导线数量减少四至八根导线。
116.在一些实施例中，主机模块362可以支持双显示器。在此类实 施例中，主机模块362与第二触摸控制器和第二定时控制器通信。第二定时控 制器与主机模块之间的第二同步信号允许由第二触摸控制器提供的触摸传感 器数据的处理、以及由第二触摸传感器提供的被递送至soc的触摸传感器数据 的发送与第二显示器的刷新率同步。在一些实施例中，主机模块362可以支持 三个或更多个显示器。在一些实施例中，lch主机模块可以不包括图5中示出 的组件中的一个或多个组件。在一些实施例中，lch主机模块可以包括图5中 示出的那些组件之外的一个或多个附加组件。
117.图6图示出图3的机盖控制器中枢的视觉/成像模块的框图。 dsp 328是dsp模块600的部分，该dsp模块600进一步包括l1高速缓存 602、rom 604和dma模块606。在一些实施例中，dsp 328可以是 em11d dsp处理器。结构312允许视觉/成像模块363的 各个组件之间的通信，并且包括高级可扩展接口(axi)625，该axi 625通过 axi至apb(x2p)桥630连接至高级外围总线(apb)640。常开块318包 括多个gpio 650、多个定时器652、irq/唤醒块654、以及pmu/ccu 656。在 一些实施例中，irq/唤醒块654接收来自相机346的运动唤醒(wom)中断。 wom中断可以基于由位于相机中或通信地耦合至相机的加速器生成的加速器 传感器数据而被生成，或者响应于相机在由该相机捕捉到的图像中执行运动检 测处理而被生成。i/o 334包括将元数据发送至soc 340中的集成存储器中枢 342中的i2c/i3c接口674、以及连接至相机346和其他机盖传感器671(例 如，激光雷达传感器、雷达传感器、超声传感器、飞行时间相机、红外传感器) 的i2c/i3c接口670。视觉/成像模块363可以经由i2c/i3c接口670接收来自 附加的机盖传感器671的传感器数据。在一些实施例中，元数据包括诸如以下 各项的信息：指示正在由机盖控制器中枢提供的信息是否有效的信息、指示机 盖控制器中枢的操作模式(例如，关机、其中lch组件中的一些被禁用但lch 持续地监视图像传感器数据以检测用户的面部的“面部唤醒”低功率模式)的信 息、自动曝光信息(例如，由视觉/成像模块363为相机346自动地设置的曝光 级别)、以及与在由相机346捕捉到的图像或视频中检测到的面部有关的信息 (例如，指示面部存在的置信度级别
个话筒以超声频率传送信息。由此，音频信道可以用作计算设备之间的双向低 频率低功率通信信道。
126.在一些实施例中，音频模块364可以启用自适应冷却。例如， 音频模块364可以确定环境噪声水平，并将指示该环境噪声水平的信息发送至 soc。soc可以将该信号用作确定针对计算设备的冷却风扇的操作水平的因素。 例如，冷却风扇的速度可以随环境噪声水平的升高和降低而被升级或降级，这 可以允许更嘈杂的环境中的提高的冷却性能。
127.结构313允许音频模块364的各个组件之间的通信。结构313 包括开放核协议(ocp)接口726，以经由ocp至apb桥728将nna 550、 dsp模块700、存储器352和dma748连接至apb 740。常开块319包括多个 gpio 750、接收由话筒390生成的音频传感器数据的脉冲密度调制(pdm)模 块752、一个或多个定时器754、pmu/ccu 756、以及用于向音频捕捉模块343 传送和接收音频数据的mipi模块758。在一些实施例中，由话筒 390提供的音频传感器数据在模块760处被接收。 在一些实施例中，lch音频模块可以不包括图7中示出的组件中的一个或多 个组件。在一些实施例中，lch音频模块可以包括图7中示出的那些组件之外 的一个或多个附加组件。
128.图8图示出与图3的机盖控制器中枢结合使用的定时控制器、 嵌入式显示面板和附加的电子设备的框图。定时控制器355通过edp连接从 soc 340的显示模块341接收视频数据，该edp连接包括多个主链接通道800 并且包括辅助(aux)通道805。由edp主链路接收器812和辅助信道接收器 810在tcon 355处接收由显示模块341提供的视频数据和辅助信道信息。定 时控制器处理堆叠820包括负责像素处理和将从显示模块341发送的视频数据 转换为驱动显示面板380的控制电路系统(例如，行驱动器882、列驱动器884) 的信号的一个或多个模块。视频数据可以由定时控制器处理堆叠820处理而不 被存储在帧缓冲器830中，或者视频数据可以在由定时控制器处理堆叠820处 理之前被存储在帧缓冲器830中。帧缓冲器830存储针对一个或多个视频帧 (或者帧，如本文中所使用，术语“图像”和“帧”可互换地使用)的像素信息。 例如，在一些实施例中，帧缓冲器可以存储要被显示在面板上的视频帧中的像 素的色彩信息。
129.定时控制器处理堆叠820包括自主低刷新率模块(alrr)822、 解码器-面板自刷新(解码器-psr)模块824、以及功率优化模块826。alrr 模块822可以动态地调整显示器380的刷新率。在一些实施例中，alrr模块 822可以在20hz与120hz之间调整显示器刷新率。alrr模块822可以实现 各种动态刷新率方法，诸如基于接收到的视频数据的帧率来调整显示器刷新率， 这可以在游戏应用中取决于正在被渲染的图像的复杂度而变化。可以将由 alrr模块822确定的刷新率作为同步信号370提供至主机模块。在一些实施 例中，同步信号包括将要发生显示器刷新的指示。在一些实施例中，alrr模 块822可以通过调整消隐时段的长度来动态地调整面板刷新率。在一些实施例 中，alrr模块822可以基于从主机模块362接收的信息来调整面板刷新率。 例如，在一些实施例中，如果视觉/成像模块363确定在相机的前方不存在用 户，则主机模块362可以向alrr模块822发送指示刷新率要被降低的信息。 在一些实施例中，如果主机模块362基于从触摸控制器385接收的触摸传感器 数据确定在面板380处存在触摸交互，则该主机模块362可以向alrr模块 822发送指示刷新率要被提高的信息。
130.在一些实施例中，解码器-psr模块824可以包括视频电子标准 协会(vesa)显示流
压缩(vdsc)解码器，其对使用vdsc压缩标准编码的视频 数据进行解码。在其他实施例中，解码器-面板自刷新模块824可以包括当被启 用时基于被存储在帧缓冲器中并在先前的刷新周期中被利用的视频数据来刷 新显示面板380的全部或部分的面板自刷新(psr)实现方式。这可以允许通 向帧缓冲器的显示流水线的部分进入低功率状态。在一些实施例中，解码器-自 刷新模块824可以是采用edp v1.3实现的psr特征或者采用edp v1.4实现的 psr2特征。在一些实施例中，tcon可以通过在移动计算设备操作系统正在 升级时进入零刷新状态或低刷新状态来实现附加的功率节省。在零刷新状态下， 定时控制器不刷新显示器。在低刷新状态下，定时控制器以低速率(例如，20 hz或更低)来刷新显示器。
131.在一些实施例中，定时控制器处理堆叠820可以包括超分辨率 模块840，该超分辨率模块840可以下变换或上变换由显示模块341提供的视 频帧的分辨率，以与显示面板380的分辨率匹配。例如，如果嵌入式面板380 是3k
×
2k面板并且显示模块341提供以4k渲染的4k视频帧，则超分辨率 模块840可以将4k视频帧下变换为3k
×
2k视频帧。在一些实施例中，超分 辨率模块840可以对视频的分辨率进行上变换。例如，如果游戏应用渲染具有 1360
×
768分辨率的图像，则超分辨率模块840可以将视频帧上变换至3k
×ꢀ
2k，以完全利用显示面板380的分辨率能力。在一些实施例中，对视频帧进行 上变换的超分辨率模块840可以利用一种或多种神经网络模型来执行上变换。
132.功率优化模块826包括用于减少由tcon 355消耗的功率的附 加算法。在一些实施例中，功率优化模块826包括增强局部对比度并对各个帧 应用全局调暗以降低显示面板380的功耗的局部对比度增强和全局调暗模块。
133.在一些实施例中，定时控制器处理堆叠820可以包括相比于图 8中示出的那些模块更多或更少的模块。例如，在一些实施例中，定时控制器 处理堆叠820包括alrr模块和edp psr2模块，但是不包含功率优化模块。 在其他实施例中，除图8中所图示的那些模块之外的模块也可被包括在定时控 制器堆叠820中。定时控制器处理堆叠820中包括的模块可以取决于机盖301 中包括的嵌入式面板380的类型。例如，如果显示面板380是背光液晶显示器 (lcd)，则定时控制器处理堆叠820将不包括含上文所讨论的全局调暗和局 部对比度功率降低方法的模块，因为该方法更适合于与发射显示器(其中发光 元件位于各个像素中的显示器，诸如qled、oled和微led显示器)而不是 与背光lcd显示器一起使用。在一些实施例中，定时控制器处理堆叠820包 括色彩和伽马校正模块。
134.在视频数据已经由定时控制器处理堆叠820处理之后，p2p发 射器880将视频数据转换为驱动用于显示面板380的控制电路系统的信号。用 于显示面板380的控制电路系统包括驱动嵌入式显示器380中的像素行和像素 列的行驱动器882和列驱动器884，以控制各个像素的色彩和亮度。
135.在其中嵌入式面板380是背光lcd显示器的实施例中，tcon 355可以包括背光控制器835，该背光控制器835生成用于驱动背光驱动器840 控制显示面板380的背景照明的信号。背光控制器835基于表示要在面板380 上显示的图像的视频帧数据来向背光驱动器840发送信号。背光控制器835可 以实现低功率特征，诸如，如果要显示的图像的区域(或整个图像)大部分是 暗的，则关闭面板中的那些区域(或整个面板)或降低面板中那些区域(或整 个面板)的背景照明的亮度。在一些实施例中，背光控制器835通过在降低背 光亮度的同时调整像素的色度值来降低功耗，以使得几乎没有或没有由观看者 感知的视觉降级。在
一些实施例中，基于经由edp辅助信道发送至机盖的信号 来控制背光，这可以减少跨铰链330的导线的数量。
136.触摸控制器385负责驱动嵌入式面板380的触摸屏技术并收集 来自显示面板380的触摸传感器数据。触摸控制器385可以周期性地或不定期 地对触摸传感器数据进行采样，并且可以从定时控制器355和/或机盖控制器 中枢305接收控制信息。触摸控制器385可以以类似于或接近于显示面板刷新 率的采样率来对触摸传感器数据进行采样。可以响应于显示面板刷新率的调整 而调整触摸采样。由此，如果正以低刷新率对显示面板进行刷新或根本没有正 在对显示面板进行刷新，则可以将触摸控制器置于其中以低采样率对触摸传感 器数据进行采样或根本不对触摸传感器数据进行采样的低功率状态。当计算设 备响应于例如视觉/成像模块363在由该视觉/成像模块363持续分析的图像数 据中检测到用户而退出低功率状态时，触摸控制器385可以提高触摸传感器采 样率或再次开始对触摸传感器数据进行采样。在一些实施例中，如将在下文更 详细地所讨论，可使对触摸传感器数据的采样与显示面板刷新率同步，这可以 允许平滑且响应迅速的触摸体验。在一些实施例中，触摸控制器可以以与显示 器刷新率无关的采样率来对触摸传感器数据进行采样。
137.虽然图2的定时控制器250和图3的定时控制器355被图示为 分别与机盖控制器260和350分开，但是本文中所描述的定时控制器中的任一 者可以被集成到与机盖控制器中枢相同的管芯、封装或印刷电路上。由此，对 机盖控制器中枢的引用可以指代包括定时控制器的组件，并且对定时控制器的 引用可以指代机盖控制器中枢内的组件。图10a-10d图示出定时控制器与机 盖控制器中枢之间各种可能的物理关系。
138.在一些实施例中，相比于本文中所描述的lch实施例，机盖控 制器中枢可以具有更多或更少的组件和/或实现更少的特征或能力。例如，在一 些实施例中，移动计算设备可以包括不具有音频模块的lch，并且在基座中执 行对音频传感器数据的处理。在另一示例中，移动计算设备可以包括不具有视 觉/成像模块的lch，并且在基座中执行对图像传感器数据的处理。
139.图9图示出图示包括机盖控制器中枢的移动计算设备的组件的 示例物理布置的框图。移动计算设备900包括经由铰链930连接至机盖920的 基座910。基座910包括主板912，soc 914和其他计算设备组件位于该主板 912上。机盖920包括围绕显示区域924的周边延伸的边框，显示区域924是 位于机盖内的嵌入式显示面板926的活跃区域，例如嵌入式显示面板的、显示 内容的部分。机盖920进一步包括处于机盖的左上角和右上角中的一对话筒 926、以及沿边框922的中央顶部部分定位的传感器模块928。传感器模块928 包括前向相机932。在一些实施例中，传感器模块928是在其上安装相机932 的印刷电路板。机盖920进一步包括位于机盖920的底部部分中的面板电子件 940和机盖电子件950。机盖电子件950包括机盖控制器中枢954，并且面板电 子件940包括定时控制器944。在一些实施例中，机盖电子件950包括在其上 安装lch 954的印刷电路板。在一些实施例中，面板电子件940包括在其上安 装tcon 944和附加面板电路系统的印刷电路板，该附加面板电路系统诸如行 和列驱动器、背光驱动器(如果嵌入式显示器是lcd背光显示器)、以及触摸 控制器。定时控制器944和机盖控制器中枢954经由连接器958进行通信，该 连接器958可以是连接两个电路板的线缆连接器。连接器958可以携载允许触 摸采样活动与显示器刷新率同步的同步信号。在一些实施例中，lch 954可以 经由连接器958向tcon 944和作为面板电子件
940的部分的其他电子组件递 送功率。传感器数据线缆970将由相机932生成的图像传感器数据、由话筒 926生成的音频传感器数据、由触摸屏技术生成的触摸传感器数据携载至机盖 控制器中枢954。携载由话筒926生成的音频信号数据的导线可以从机盖的左 上角的话筒926延伸到传感器模块928，其中这些导线与携载由相机932生成 并经由传感器数据线缆970被递送至机盖控制器中枢954的图像传感器数据的 导线聚合在一起。
140.铰链930包括左铰链部分980和右铰链部分982。铰链930将 机盖920物理地耦合至基座910，并且允许机盖920相对于基座旋转。将机盖 控制器中枢954连接至基座910的导线穿过铰链部分980和982中的一者或两 者。虽然被示出为包括两个铰链部分，但在其他实施例中，铰链930可以假定 各种不同的配置。例如，铰链930可以包括单个铰链部分或者多于两个的铰链 部分，并且将机盖控制器中枢954连接至soc 914的导线可以在任何铰链部分 处与铰链交叉。由于与铰链930交叉的导线的数量现有膝上型计算机设备中的 少，因此相对于现有膝上型计算机中的铰链，铰链930可能是更便宜且更简单 的组件。
141.在其他实施例中，机盖920可以具有与图9中示出的传感器布 置不同的传感器布置。例如，机盖920可以包括附加传感器，诸如附加前向相 机、前向深度感测相机、红外传感器、以及一个或多个面向外界的相机。在一 些实施例中，机盖920可以包括位于边框中的附加话筒或者位于传感器模块上 的仅一个话筒。传感器模块928可以聚合携载由位于机盖中的附加传感器生成 的传感器数据的导线，并将这些传感器数据递送至传感器数据线缆970，传感 器线缆970将该附加传感器数据递送至机盖控制器中枢954。
142.在一些实施例中，机盖包括显示器内传感器，诸如显示器内话 筒或显示器内相机。这些传感器位于显示区域924中，处于未被为每个像素生 成光的发射元件利用的像素区域中，并且在下文更详细地进行讨论。由显示器 内相机和显示器内话筒生成的传感器数据可以由传感器模块928以及位于机盖 中的其他传感器模块聚合，并且将由显示器内传感器生成的传感器数据递送至 机盖控制器中枢954以供进行处理。
143.在一些实施例中，一个或多个话筒和相机可以位于机盖内的、 便于在“常开”使用场景中(诸如当机盖闭合时)使用的位置。例如，一个或多 个话筒和相机可以位于膝上型计算机的“a盖”上或移动计算设备的在该设备闭 合时的其他面向外界的表面(诸如，机盖的顶边或侧边)上，以启用对音频或 图像数据的捕捉和监视，从而检测唤醒词或短语的表达或相机的视场中人的存 在。
144.图10a-图10e图示出机盖内的示例定时控制器和机盖控制器中 枢物理布置的框图。图10a图示出位于第一模块1020上的机盖控制器中枢 1000和定时控制器1010，该第一模块1020在物理上与第二模块1030分开。 在一些实施例中，第一模块1020和第二模块1030是印刷电路板。机盖控制器 中枢1000和定时控制器1010经由连接1034进行通信。图10b图示出位于第 三模块1040上的机盖控制器中枢1042和定时控制器1046。lch 1042和tcon1046经由连接1044进行通信。在一些实施例中，第三模块1040是印刷电路 板，并且连接1044包括一个或多个印刷电路板迹线。对于机盖控制器中枢和 定时控制器设计采取模块化方式的一个优点在于，其允许定时控制器供应商提 供与具有不同的特征集的多个lch设计协作的单个定时控制器。
145.图10c图示出被划分为前端组件和后端组件的定时控制器。定 时控制器前端(tcon fe)1052和机盖控制器中枢1054被集成在第一共同组 件1056中，或者共同位于第一
共同组件1056上。在一些实施例中，第一共同 组件1056是集成电路封装，并且tcon fe 1052和lch 1054是集成在多芯片 封装中的分开的集成电路管芯或者是集成在单个集成电路管芯上的分开的电 路。第一共同组件1056位于第四模块1058上，并且定时控制器后端(tconbe)1060位于第五模块1062上。定时控制器前端组件和后端组件经由连接 1064进行通信。将定时控制器分成前端组件和后端组件可以在对具有各种定时 控制器处理堆叠的定时控制器的开发中提供灵活性。例如，定时控制器后端可 以包括驱动嵌入式显示器的模块(诸如图8中的定时控制器处理堆叠820的 p2p发射器880)以及对于各种定时控制器帧处理器堆叠而言可能共同的其他 模块(诸如解码器或面板自刷新模块)。定时控制器前端可以包括专用于特定 的移动设备设计的模块。例如，在一些实施例中，tcon fe包括功率优化模块 826或alrr模块，功率优化模块826执行期望在特定的膝上型计算机模型中 被实现的全局调暗和局部对比度增强，其中使同步地工作的(例如，经由同步 信号370)定时控制器和机盖控制器中枢组件被定位成更靠近在一起以实现减 少的等待时间是方便的。
146.图10d图示出其中第二共同组件1072和定时控制器后端1078 位于同一模块(第六模块1070)上并且第二共同组件1072和tcon be 1078 经由连接1066进行通信的实施例。图10e图示出其中机盖控制器中枢1080和 定时控制器1082被集成在位于第七模块1086上的第三共同组件1084上的实 施例。在一些实施例中，第三共同组件1084是集成电路封装，并且lch 1080 和tcon 1082是被封装在多芯片封装中的单独的集成电路管芯或者是位于单 个集成电路管芯上的电路。在其中机盖控制器中枢和定时控制器位于物理地分 开的模块上的实施例中(例如，图10a、图10c)，模块之间的连接可以包括 多根导线、柔性印刷电路、印刷电路，或者通过提供模块之间的通信的一个或 多个其他组件进行连接。
147.图10c-图10e中包括机盖控制器中枢和定时控制器的模块和组 件(例如，第四模块1058、第二共同组件1072、以及第三共同组件1084)可 以被称为机盖控制器中枢。
148.图11a-图11c示出对用于各机盖控制器中枢实施例的铰链导线 计数进行分解的表。显示导线可将视频数据从soc的显示模块递送至lch定 时控制器，图像导线将由一个或多个机盖相机生成的图像传感器数据递送至 soc图像处理模块，触摸导线将触摸传感器数据提供至soc的集成传感器中 枢，音频和感测导线将音频传感器数据提供至soc的音频捕捉模块并将其他类 型的传感器数据提供至集成传感器中枢，并且附加的“lch”导线集合提供lch 与soc之间的附加通信。由音频和感测导线提供的传感器数据的类型可以包括 由基于视觉的输入传感器(诸如指纹传感器、血管传感器等)生成的视觉感测 数据。在一些实施例中，视觉感测数据可以基于由一个或多个通用相机而不是 专用生物计量传感器(诸如指纹传感器)生成的信息来生成。
149.表1100示出针对72导线实施例的导线分解。显示导线包括19 根数据导线和16根功率导线，总计35根导线，以支持四个edp hbr2通道和 六个供原始装备制造商(oem)使用的信号。图像导线包括六根数据导线和八 根功率导线，总计14根导线，以携载由单个1兆像素相机生成的图像传感器 数据。触摸导线包括四根数据导线和两根功率导线，总计六根导线，以支持i2c 连接从而携载由触摸控制器生成的触摸传感器数据。音频和感测导线包括八根 数据导线和两根功率导线，总计十根导线，以支持dmic和i2c连接从而支持 由四个话筒生成的音频传感器数据，并且音频和感测导线还包括单根中断(int) 导线。七根附加数据导线携载附加信息，以供通过usb和qspi连接在lch 和soc之间进行通信。
150.表1110示出针对39导线实施例的导线分解，在该实施例中提 供用于对机盖组件供电的专用导线并消除各种数据信号，从而对导线计数减少 作出贡献。显示导线包括14根数据导线和4根功率导线，总计18根导线，这 些导线支持两根edp hbr2线、六个oem信号以及向机盖的功率递送。通过 四根功率导线提供的功率对机盖控制器中枢和其他机盖组件供电。机盖中的功 率资源接收通过专用功率导线从基座提供的功率并控制功率向机盖组件的递 送。图像导线、触摸导线、以及音频和感测导线包括与表1100中所图示的实 施例中相同数量的数据导线，但是由于功率被单独地提供至机盖而不包括功率 导线。三根附加数据导线携载lch与soc之间的附加信息，从表1100中所图 示的实施例中的七根减少。
151.表1120示出针对29导线实施例的导线分解，在该实施例中通 过利用现有的usb总线来同样携载触摸传感器数据并且通过消除携载oem信 号的六根显示数据导线来实现进一步的导线计数减少。显示导线包括八根数据 导线和四根功率导线，总计12根导线。图像导线包括四根数据导线，每根数 据导线用于两个相机——2兆像素rgb(红绿蓝)相机和红外(ir)相机。音 频和感测包括四根导线(少于表1110中所图示的实施例的一半)来支持 连接，以携载用于四个话筒的音频数据。不存在专用于传送触摸传 感器数据的导线，并且使用五根导线来传输触摸传感器数据。附加信息要经由 usb连接而在lch与soc之间传输。由此，表1100和1120图示出通过以下 各项实现的导线计数减少：经由一组专用功率导线对机盖供电，减少edp信道 的数量，利用现有连接(usb)来传输触摸传感器信号，并且消除oem专用 信号。可以经由通过单个接口将视频数据从基座流送至机盖并将音频传感器数 据、触摸传感器数据、图像传感器数据和感测数据从机盖流送至基座来实现铰 链导线计数的进一步减少。在一些实施例中，此种单个连接可以包括pcie连 接。
152.在除表1100、1110、1120中所总结的那些实施例之外的实施例 中，铰链可以携载总数更多或更少的导线，用于携载每种列出的类型(显示、 图像、触摸、音频和感测等)的信号的更多或更少的导线，并且可以利用除表 1100、1110、1120中所示出的那些技术之外的连接和接口技术。
153.如早先所提及，除了位于机盖边框中的相机和话筒之外，机盖 还可以包括显示器内相机和显示器内话筒。图12a-图12c图示出机盖中的显 示器内话筒和相机的示例布置。图12a图示出包括边框1204、显示器内话筒 1210和显示区域1208的机盖1200。边框1204邻接显示区域1208，显示区域 1208由驻留在显示衬底(未示出)上的多个像素来限定。像素延伸至边框1204 的内边缘1206，并且显示区域1028由此在水平和竖直这两个方向上从一个内 边框边缘1206延伸至相对的边框边缘1206。如将在下文更详细地所讨论，显 示器内话筒1210与像素显示元件共享占用面积。话筒1210包括位于显示区域 1208的外周区的一组话筒、以及基本上处于显示区域1208的中央的话筒。图 12b图示出机盖1240，在该机盖1240中，显示器内话筒1400包括位于显示区 域1270的外周区的一组话筒、位于显示区域1270的中央处的话筒、以及跨显 示区域1270分布的四个附加话筒。图12c图示出机盖1280，在机盖1280中， 显示器内话筒阵列1290位于机盖1280的显示区域1295内。在其他实施例中， 显示器可以具有与图12a-图12c中示出的示例配置在数量和布置上不同的多 个显示器内话筒。
154.图12a-12c还图示出前向相机在嵌入式显示面板中的示例布置， 其中1210、1400和1290表示显示器内相机而不是话筒。在一些实施例中，嵌 入式显示面板可以包括显示器内话筒和显示器内相机的组合。嵌入式显示器可 以包括与图12a-图12c中示出的示例配置
在数量和布置上不同的显示器内相 机或者显示器内相机和显示器内话筒的组合的布置。
155.图13a-图13b图示出示例发射显示器中的像素的简化截面图。 图13a图示出示例微led显示器中像素的截面的简化图示。微led像素1300 包括显示衬底1310、红色led 1320、绿色led 1321、蓝色led 1322、电极 1330-1332、以及透明显示介质1340。led 1320-1322是用于像素1300的各个 产光元件，其中由每个led 1320-1322产生的光的量由相关联的电极1330-1332 来控制。
156.可以使用微电子制造技术将led堆叠(红色led堆叠(层1320 和1330)、绿色led堆叠(层1321和1331)以及蓝色led堆叠(层1322和 1332))制造在衬底上。在一些实施例中，显示衬底1310是与led堆叠被制 造在其上的衬底不同的衬底，并且led堆叠从制造衬底被转移到显示衬底 1310。在其他实施例中，led堆叠直接在显示衬底1310上生长。在这两种实 施例中，多个像素可位于单个显示衬底上，并且可以组装多个显示衬底来实现 期望尺寸的显示器。
157.像素1300具有像素宽度1344，像素宽度1344可以取决于例如 显示器分辨率和显示器尺寸。例如，对于给定的显示器分辨率，像素宽度1344 可以随显示器尺寸而增加。对于给定的显示器尺寸，像素宽度1344可以随增 加的分辨率而减小。像素1300具有未使用的像素区域1348，该未使用的像素 区域1348是显示器的黑色矩阵区域的部分。在一些显示器中，led尺寸、显 示器尺寸以及显示器分辨率的组合使得未使用的像素区域1348可以大到足以 容纳组件(诸如，话筒)在像素内的集成。
158.图13b图示出示例oled显示器中像素的截面的简化图示。 oled像素1350包括显示衬底1355、有机发光层1360-1362，这些有机发光层 1360-1362能够分别产生红色光(层1360)、绿色光(层1361)和蓝色光(层1362)。oled像素1350进一步包括阴极层1365-1367、电子注入层1370-1372、 电子传输层1375-1377、阳极层1380-1382、空穴注入层1385-1387、空穴传输 层1390-1392和透明显示介质1394。oled像素1350通过跨阴极层1365-1367 和阳极层1380-1382施加电压而生成光，这引起电子和空穴分别注入电子注入 层1370-1372和空穴注入层1385-1387。注入的电子和空穴分别穿过电子传输 层1375-1377和空穴传输层1390-1392，并且电子-空穴对分别在有机发光层 1360-1362中复合以生成光。
159.类似于微led显示器中的led堆叠，oled堆叠(红色oled 堆叠(层1365、1370、1375、1360、1390、1385、1380)、绿色oled堆叠(层 1366、1371、1376、1361、1391、1386、1381)和蓝色oled堆叠(层1367、 1372、1377、1362、1392、1387、1382))可以被制造在与显示衬底1355分离 的衬底上。在一些实施例中，显示衬底1355是与oled堆叠处于其上的衬底 不同的衬底，oled堆叠从制造衬底被转移到显示衬底1355。在其他实施例中， oled堆叠直接在显示衬底1355上生长。在这两种类型的实施例中，可以组 装多个显示衬底组件以便实现期望的显示器尺寸。透明显示介质1340和1394 可以是诸如玻璃、塑料或膜之类的任何透明衬底。在一些实施例中，透明显示 介质可以包括触摸屏。
160.同样，类似于微led像素1300，oled像素1350具有取决于 诸如显示器分辨率和显示器尺寸之类的因素的像素宽度1396。oled像素1350 具有未使用的像素区域1398，并且在一些显示器中，oled堆叠宽度、显示器 尺寸和显示器分辨率的组合可以使得未使用的像素区域1398大到足以容纳组 件(诸如话筒)在像素内的集成。
161.如本文中所使用，术语“显示衬底”可以指代在显示器中使用且 像素显示元件被
制造或置于其上的任何衬底。例如，显示衬底可以是与像素显 示元件(例如，像素1300和1350中的微led/oled)分开地制造且像素显示 元件被附接在其上的背板，或者是像素显示元件被制造在其上的衬底。
162.图14a图示出具有集成话筒一组示例像素。像素1401-1406各 自都具有红色显示元件1411、绿色显示元件1412和蓝色显示元件1413，这些 显示元件可以是例如微led或者oled。像素1401-1406中的每一者占据像素 区域。例如，像素1404占据像素区域1415。被每个像素中的显示元件1411
‑ꢀ
1413占据的像素区域的量为包括微型话筒留出了足够的剩余黑色矩阵空间。像 素1401和1403分别包含沿显示元件1411-1413定位的前向话筒1420和1421。 由于后向话筒位于显示衬底的后侧上，因此它们不受未使用的像素区域或显示 元件尺寸约束，并且可以被置于显示衬底的后侧上的任何地方。例如，后向话 筒1422跨越像素1402和1403。
163.图14b图示出沿线a-a
′
取得的图14a的示例像素的截面图。 截面图1450图示出像素1401-1403的截面。用于像素1401-1403的绿色显示元 件1412和对应的电极1430位于显示衬底1460上。像素1401-1403被透明显 示介质1470覆盖，透明显示介质1470在话筒1420和1421上方具有孔1474， 以允许声振动到达显示表面1475从而到达话筒1420和1421。后向话筒1422 位于显示衬底1460的后侧上。在一些实施例中，像素1401-1403位于其中的 显示器壳体(未示出)具有通风孔或其他开口，以允许到达壳体后侧的声振动 到后向话筒1422。
164.在一些实施例中，本文中所描述的技术中使用的话筒可以是独 立于像素显示元件而被制造或制作并且从制造衬底转移或以其他方式附接到 显示衬底的分立的话筒。在其他实施例中，话筒可以直接被制造在显示衬底上。 虽然在图14b中将前向话筒示出为位于显示衬底1460的表面上，但在其中话 筒被制造在显示衬底上的实施例中，话筒可以至少部分地驻留在显示衬底内。
165.如本文中所使用，术语“位于
……
上”在相对于显示衬底来对任 何传感器(话筒、压电元件、热传感器)进行引用时是指以任何方式物理地耦 合至显示衬底的传感器(例如，直接附接至衬底的分立的传感器、经由一个或 多个中间层而附接至衬底的分立的传感器、已经被制造在显示衬底上的传感 器)。如本文中所使用，类似地，术语“位于
……
上”在相对于显示衬底来对led 进行引用时是指以任何方式物理地耦合至显示衬底的led(例如，直接附接至 衬底的分立的led、经由一个或多个中间层而附接至衬底的分立的led、已 经被制造在显示衬底上的led)。在一些实施例中，前向话筒位于显示器的外 周区域，以减少显示器中处于这些前向话筒上方的孔(诸如孔1474)可能向用 户呈现的任何视觉干扰。在其他实施例中，话筒上方的孔可能足够小或者在数 量上足够少，以使得它们对观看体验呈现出很小的干扰或没有干扰。
166.虽然前向话筒1420和1421各自被示出为驻留在一个像素内， 但在其他实施例中，前向话筒可以跨越多个像素。这可以例如允许将较大的话 筒集成到显示区域中，或者允许将话筒集成到具有较小像素的显示器中。图 14c-14d图示出跨多个像素的示例话筒。图14c图示出相邻像素1407和1408 和前向话筒1440，相邻像素1407和1408具有与像素1401-1406相同的尺寸， 前向话筒1425比前向话筒1420-1421更大且占据两个像素中未被显示元件使 用的像素区域。图14d图示出相邻像素1409和1410和前向话筒1426，相邻 像素1409和1410在宽度上比像素1401-1406更窄，前向话筒1426跨越这两 个像素。使用较大的话筒可以允
许显示器的改善的声学性能，诸如允许改善的 声学检测。具有跨显示区域分布的许多集成微型话筒的显示器可以具有超出具 有位于显示器边框中的仅一个或一些分立的话筒的显示器的声学检测能力。
167.在一些实施例中，本文中所描述的话筒是mems(微机电系统) 话筒。在一些实施例中，话筒生成被提供至音频处理组件的模拟音频信号，并 且在其他实施例中，话筒向音频处理组件提供数字音频信号。生成数字音频信 号的话筒可以包含本地模数转换器，并且提供采用脉冲密度调制(pdm)格式、 i2s(ic间音讯)或其他数字音频信号格式的数字音频输出。在其中话筒生成 数字音频信号的实施例中，音频处理组件可以不包括模数转换器。在一些实施 例中，集成话筒是具有大约3.5mm(宽度)
×
2.65mm(长度)
×
0.98mm(高 度)的尺寸的mems pdm话筒。
168.由于可以使用本文中所描述的技术将话筒集成到各个像素中或 跨若干个像素集成话筒，因此可将各种各样的话筒配置并入到显示器中。图 12a-图12c以及图14a-图14d图示出若干种话筒配置，并且多得多的话筒配 置是可能的。本文中所描述的显示器集成的话筒生成要被发送至机盖控制器中 枢的音频模块(例如，图3和图7中的音频模块364)的音频信号。
169.本文中所描述的具有集成到显示区域中的话筒的显示器可以执 行各种音频处理任务。例如，其中多个前向话筒在显示区域之上分布的显示器 可以对由这些话筒生成的音频信号执行波束成形或空间滤波，以允许远场能力 (例如，对由远程声源生成的声音的增强检测)。音频处理组件可以确定远程 音频源的位置，基于该音频源位置选择话筒的子集，并且利用来自所选择的话 筒的子集的音频信号来增强对在显示器处从音频源接收的声音的检测。在一些 实施例中，音频处理组件可以通过以下操作来确定音频源的位置：确定要被添 加到由话筒的各种组合生成的音频信号以使得这些音频信号在时间上重叠的 延迟，并且随后基于添加到每个音频信号的延迟来推断从组合中的每个话筒到 音频源的距离。通过向由话筒提供的音频信号添加所确定的延迟，可以增强远 程音频源方向上的音频检测。显示器中总数量的话筒的子集可以在波束成形或 空间滤波中使用，并且并未包括在该子集中的话筒可以被断电以减少功率。可 以类似地使用跨显示衬底的后侧分布的后向话筒来执行波束成形。与具有被并 入到显示器边框中的一些话筒的显示器相比较，具有被集成到显示区域中的话 筒的显示器由于可以被集成到显示器中的更多数量的话筒并且在更大的区域 上分布而能够实现改善的波束成形。
170.在一些实施例中，显示器被配置有跨显示区域分布的一组后向 话筒，这些后向话筒允许包含该显示器的可闭合设备在显示器闭合时具有音频 检测能力。例如，闭合的设备可以处于低功率模式，在低功率模式下，启用后 能够执行唤醒短语或词语检测或者标识特定用户(说话者id)的后向话筒和音 频处理组件。
171.在一些实施例中，包括前向话筒和后向话筒两者的显示器可以 利用这两种类型的话筒以实现降噪、增强的音频检测(远场音频)和增强的音 频记录。例如，如果用户正在嘈杂的环境(诸如，咖啡厅或自助餐厅)中操作 膝上型计算机，则来自拾取环境噪声的一个或多个后向话筒的音频信号可以用 于降低由前向话筒提供的、包含膝上型计算机用户的语音的音频信号中噪声。 在另一示例中，由包含此类显示器的设备作出的音频记录可以包括由前向话筒 和后向话筒两者接收到的音频。通过包括由前向话筒和后向话筒两者捕捉
接至衬底的分立的led、以及已经被制造在显示衬底上的led。
177.虽然在图15a和图15b中将相机1520和1521示出为驻留在一 个像素内，但在其他实施例中，显示器内相机可以跨多个像素。这可以例如允 许将较大的相机集成到显示区域中，或者允许将话筒集成到具有黑色矩阵区域 较小的像素的显示器中。图15c-15d图示出跨多个像素的示例相机。图15c图 示出相邻像素1507和1508和相极1526，相邻像素1507和1508具有与像素 1501-1506相同的尺寸，相极1525比相机1520-1521更大并且占据像素1507
‑ꢀ
1508中的像素区域的部分。图15d图示出相邻像素1509和1510和相机1526， 相邻像素1509和1510在宽度上比像素1501-1506更窄，相机1526跨越这两 个像素。使用更大的相机可以允许改善的图像或视频捕捉，诸如允许在各个相 机处捕捉更高分辨率的图像和视频。
178.由于可以将相机集成到各个像素中或跨若干个像素集成相机， 因此可将各种各样的相机配置并入到显示器中。图12a-图12c以及图15a-图 15d仅图示出几种相机配置，并且多得多的相机配置是可能的。在一些实施例 中，数千个相机可位于显示区域中。具有跨显示区域分布的多个显示器内相机 的显示器可以具有超过具有位于边框中的仅一个或一些相机的显示器的那些 图像和视频捕捉能力的图像和视频捕捉能力。
179.本文中所描述的显示器内相机生成被发送至机盖控制器中枢中 的视觉/成像模块(诸如，图3和图6的视觉/成像模块363)的图像传感器数 据。图像传感器数据是从相机输出到其他组件的数据。图像传感器数据可以是 图像数据，该图像数据是表示图像或视频数据的数据，视频数据是表示视频的 数据。图像数据或视频数据可以采用压缩形式或未经压缩的形式。图像传感器 数据还可以是由另一组件(例如，视觉/成像模块363或其中的任一组件)从其 生成图像数据或视频数据的数据。
180.将图像传感器数据从相机提供至机盖控制器中枢的互连可以位 于显示衬底上。这些互连可以被制造在显示衬底上，被附接至显示衬底上，或 者以任何其他方式物理地耦合至显示衬底。在一些实施例中，显示器制造包括 制造像素被附接到的各个显示衬底部分并将这些显示衬底部分组装在一起以 实现期望的显示器尺寸。
181.图16图示出可以被并入到嵌入式显示器中的示例相机。相机 1600位于显示衬底1610上并且包括图像传感器1620、光圈1630和微透镜组 装件1640。图像传感器1620可以是cmos光电检测器或任一其他类型的光电 检测器。图像传感器1620包括数个相机像素，各个元件用于在相机中捕捉光， 并且相机中的这数个像素可以用作相机分辨率的度量(例如，1兆像素、12兆 像素、20兆像素)。光圈1630具有开口宽度1635。微透镜组装件1640包括 一个或多个微透镜1650，这些微透镜1650将光聚焦到焦点并且可以由玻璃、 塑料或其他透明材料制成。微透镜组装件1640典型地包括多个微透镜，以计 及各种类型的像差(例如色差)和失真。
182.相机1655也位于显示衬底1610上并且包括图像传感器1660、 光圈1670和超透镜1680。相机1655与相机1600类似，例外在于使用超透镜 而不是微透镜组装件作为聚焦元件。一般而言，超透镜是平面透镜，在其表面 上包含用于操纵不同波长的光以使它们到达相同的焦点的物理结构。超透镜不 产生利用单个现有微透镜可能发生的色差。超透镜可以比玻璃、塑料或其他类 型的微透镜薄得多，并且可以使用mems(微机电系统)或nems(纳米机电 系统)方法来制造。如此，包括单个薄超透镜的相机(诸如相机1655)可以比 包括微透
镜组装件(包括多个微透镜)的相机(诸如相机1600)更薄。光圈1670 具有开口宽度1675。
183.从微透镜组装件1640到图像传感器1620的距离和从超透镜 1680到图像传感器1660的距离分别限定相机1600和1655的焦距，并且焦距 与光圈开口宽度(1635、1675)的比率限定相机的f制光圈(到达图像传感器 表面的光量的度量)。f制光圈也是相机的景深的度量，其中小f制光圈的相 机具有较浅的景深，并且大f制光圈的相机具有较深的景深。景深可对捕捉到 的图像具有极大的影响。在具有浅景深的图像中，通常只有照片的主体处于对 焦状态，而在具有深景深的图像中，大多数物体通常处于对焦状态。
184.在一些实施例中，相机1600和1655是定焦式相机。也就是说， 它们的焦距是不可调节的。在其他实施例中，相机1600和1655的焦距可以通 过将微透镜组装件1640或超透镜1680移动成更靠近或更远离相关联的图像传 感器来调节。在一些实施例中，微透镜组装件1640或超透镜1680到它们相应 的图像传感器的距离可以通过基于mems的致动器或其他方式来调节。
185.显示器内相机可以采用各种密度跨显示区域分布。例如，相机 可以以100像素间距、10像素间距、采用相邻像素或采用其他密度来定位。对 于特定的用例，某个相机密度水平(针对显示器的区域，每单位面积存在多少 相机)可以是符合期望的。例如，相比于相机要用于触摸检测或触摸位置确定 的情况，如果相机要用于图像和视频捕捉，则较低的相机密度可能就足够了。
186.在一些实施例中，可以利用与由多个各个的相机捕捉到的图像 对应的图像数据来生成复合图像。复合图像可以具有比能够由单个相机捕捉到 的任何图像更高的分辨率。例如，系统可以利用与由若干个3兆像素相机捕捉 到的图像对应的图像数据来产生6兆像素图像。在一些实施例中，从由各个显 示器内相机捕捉到的图像或视频生成的复合图像或视频可以具有诸如在千兆 像素范围内的超高分辨率。复合图像和视频可以用于超高分辨率自拍和视频、 超高分辨率安全监视器或其他应用。
187.从与由多个单独的相机捕捉到的图像对应的图像数据生成较高 分辨率图像可以允许具有较低兆像素计数的各个相机位于各个像素中。这可以 允许相机针对给定屏幕尺寸可被集成到较高分辨率显示器中，或者针对给定分 辨率可被集成在较小的显示器中(其中，显示器尺寸的每单位面积存在更多像 素，并且由此存在可用于在像素级容纳相机的集成的更少的自由像素区域)。 可以在图像被捕捉时实时地生成复合图像，其中仅存储针对复合图像的图像数 据，或者可以存储针对由各个相机捕捉到的图像的图像数据并且可在后处理期 间生成复合图像。可以类似地使用与由多个单独的相机生成的视频对应的视频 数据来生成复合视频，其中复合视频实时地生成或在后处理期间生成。
188.在一些实施例中，可以代替于触摸屏而使用显示器内相机来检 测触摸显示表面的对象(例如，手指、触控笔)并确定触摸发生在显示器上的 何处。一些现有的触摸屏技术(例如，基于电阻的、基于电容的)可能通过在 透明显示介质的顶上添加多个层而添加显示器的厚度，而其他触摸屏技术使用 内嵌式或覆盖表面式触摸技术来减小显示器厚度。如本文中所使用，术语“透明 显示介质”包括触摸屏层而不论这些触摸屏层是否位于透明显示介质的顶上， 或者透明显示介质可以被用作触摸屏层。一些现有的触摸屏技术采用采用层压 在一起并用隔离层将它们分开的透明导电表面。这些附加层增加了显示器的厚 度并且可能降低光通过显示器的透射比。消除对分开的触摸屏层的使用可以降 低显示器成本，因
为触摸屏中使用的透明导体通常由可能昂贵的氧化铟锡制成。
189.可以使用显示器内相机通过例如检测由对象触摸或紧邻显示器 引起的可见光或红外光的遮挡来执行触摸检测和触摸位置确定。触摸检测模块 可以接收由显示器内相机捕捉到的图像并处理图像数据，以检测对显示表面的 一个或多个触摸并确定这些触摸的位置，该触摸检测器模块可以位于显示器中 或者以其他方式通信地耦合至显示器。可以通过例如检测图像传感器数据是否 指示在图像传感器处的接收到的光已经降至阈值以下来进行触摸检测。在另一 示例中，可以通过确定图像传感器数据是否指示在相机处的接收到的光已经下 降了所确定的百分比或量来执行触摸检测。在又一示例中，可以通过确定图像 传感器数据是否指示在相机处的接收到的光在预定的时间量内已经下降了预 定的百分比或量来执行触摸检测。
190.例如可以通过使用其相关联的图像传感器数据指示已经在显示 器处检测到触摸(例如，相关联的图像传感器数据指示在相机的图像传感器处 的接收到的光已经降至低于阈值、降低了预定的百分比或量、或在预定的时间 量内降低了预定的百分比或量)的相机的位置作为触摸位置来进行触摸位置确 定。在一些实施例中，触摸位置基于图像传感器内接收到最低水平的光所在的 位置。如果与多个相邻相机相关联的图像传感器数据指示触摸，则触摸位置可 以通过确定该多个相邻相机的位置的质心来确定。
191.在一些实施例中，利用显示器内相机来进行触摸检测和触摸位 置确定的启用触摸的显示器可以具有比包括显示器内相机的、不启用触摸的显 示器更大的相机密度。然而，通过使用显示器内相机而启用触摸的显示器使得 相机位于每一个像素中不是必要的。触摸检测模块可以利用来自一个或多个相 机的图像传感器数据来确定触摸位置。显示器内相机的密度也可以部分地取决 于所使用的触摸检测算法。
192.可以将指示存在触摸的信息、以及触摸位置信息提供至包括显 示器或通信地耦合至显示器的系统的操作系统、应用或任何其他软件或硬件组 件。还可以检测多个触摸。在一些实施例中，显示器内相机以足以提供用户已 经开始期望的现代启用触摸的设备的那种触摸显示体验的频率将经更新的图 像传感器数据提供至触摸检测模块。当显示器内相机被用于本文中所描述的其 他目的时，可以暂时禁用显示器的触摸检测能力。
193.在一些实施例中，如果在系统已经提示用户将其手指、拇指或 手掌触摸在显示器上来认证用户的情境中检测到触摸，则系统可以使得位于已 经检测到触摸之处或该处附近的一个或多个像素显示元件发光，以允许用户的 手指、拇指或手掌正在触摸之处被照明。此种照明可允许其中印记特性更容易 由系统或设备辨别或者更容易由系统或设备提取的对指纹、拇指纹、掌纹的捕 捉。
194.使用显示器内相机允许检测相比于可由现有电容触摸屏技术检 测到的对象范围更宽的对象对显示表面的触摸。电容触摸屏通过检测由电容触 摸屏生成的静电场的局部改变来检测对显示器的触摸。如此，电容触摸屏可以 检测触摸或紧邻显示表面的导电对象，诸如手指或金属触控笔。由于显示器内 相机依赖于光的遮挡来检测触摸而不是依赖于感测显示表面处电容的改变，因 此用于触摸感测的基于显示器内相机的方法可以检测各种各样的对象的触摸， 包括无源触控笔。不存在触摸对象是导电的或者以其他方式能够生成显示器的 静电场的改变的限制。
195.在一些实施例中，显示器内相机可以用于检测可以由用户用来 与系统或设备对
接的手势。包含显示器内相机的显示器可以允许识别由一根或 多根手指或其他对象在显示表面作出的二维(2d)手势(例如，(例如，滑动、 轻击、捏合、松开)或由触控笔、手指、手或另一对象在显示器前方的空间体 积中作出的三维(3d)手势。如本文中所使用，短语“3d手势”或“空中手势”描 述这样的手势，其至少部分在显示器前方的空间体积中作出并且不触摸显示表 面。
196.扭转手势可以被映射到要由在系统上执行的操作系统或应用执 行的操作。例如，扭转手势可以引起对cad(计算机辅助设计)应用中的对象 的操纵。例如，扭转手势可以通过以下方式使得cad应用中所选择的对象变 形：应用使得该对象的一端固定，并将对象的相对端旋转与由用户对实体对象 的所确定的扭转量对应量。例如，可以选择cad程序中的3d圆柱体，并且响 应于系统检测到用户在显示器前方扭转触控笔而将该3d圆柱体绕其纵向轴扭 转。得到的变形的圆柱体可能看起来像一片扭曲的甘草糖。所选择的对象响应 于检测到显示器前方的实体对象正在旋转而经受的旋转、扭曲或其他操纵的量 不需要具有与实体对象的检测到的旋转量的一对一的对应关系。例如，响应于 检测到触控笔被旋转360度，所选择的对象可以被旋转180度(检测到的旋转 量的一半)、720度(检测到的旋转量的两倍)、或与实体对象的检测到的旋 转量成比例的任何其他量。
197.相比于可以由位于显示器边框中的仅少量的相机捕捉的内容， 包含具有显示器内相机的显示器或通信地耦合至具有显示器内相机的显示器 的系统能够在显示器前方更大的空间上捕捉3d手势。这是由于能够跨显示器 定位的显示器内相机集体具有相对于一些边框相机的集体观看区域更宽的观 看区域。如果显示器仅包含位于显示器边框中的一个或多个相机，则那些相机 将较不可能捕捉到远离边框(例如，在显示器的中央区域)作出的3d手势或 靠近于显示表面作出的3d手势。也可以使用位于显示区域中的多个相机来捕 捉3d姿势的深度信息。
198.识别显示区域前方的3d姿势的能力允许利用包括电阻或电容 触摸屏或边框相机不可能进行的对姿势的检测和识别。例如，包含显示器内相 机的系统可以检测利用对显示器的触摸来开始或结束的3d姿势。例如，“拾取-移动-放置”手势可以包括用户在显示表面上执行捏合手势以选择在捏合的手 指来到一起所在的位置(捏合位置)处或附近显示的对象，通过将他们的捏合 手指沿从捏合位置到目的地位置的路径移动他们的捏合的手指来移动对象，通 过将他们的捏合的手指朝向显示表面往回移动直到捏合的手指触摸到显示表 面并在目标位置松开他们的手指来放置对象。
199.在“拾取-移动-放置”手势期间，所选择的对象可以响应于检测到 手势的捏合部分而从未被选择外观改变为选择外观，所选择的对象可以响应于 检测到手势的移动部分而从捏合位置跨显示器被移动至目的地位置，并且所选 择的对象可以响应于检测到手势的放置部分而变回未选择外观。此类手势可以 用于在显示器上渲染的三维环境中操纵对象。此类三维环境可以是cad应用 或游戏的部分。此种手势的三维性质可以通过例如以下方式而表现出来：所选 择的对象在其在捏合位置与目的地位置之间移动时不与处于该环境中的、沿所 选择的对象行进的路径定位的其他对象交互。也就是说，正在经由3d“拾取-移 动-放置”手势拾取所选择的对象并将其抬升到应用中的其他对象之上。
200.还可以识别此种手势的变型。例如，“拾取和掉落”手势可以包括： 用户通过在利用捏合手势抓取对象之后将他们的捏合的手指从显示表面移开 来拾取对象，并且随后通
算设备被开启而将lch 1705的附加组件带至操作状态。固件更新模块1723更 新由主机模块1720使用的固件，这允许对模块1721-1722以及1724-1727进行 更新。调试模块1721提供用于主机模块1720的调试能力。在一些实施例中， 调试模块1721利用jtag端口向基座1702提供调试信息。在一些实施例中。 遥测模块1722生成可以用来监视lch性能的遥测信息。在一些实施例中，遥 测模块1722可以提供由位于lch中的功率管理单元(pmu)和/或时钟控制 器单元(ccu)生成的信息。虚拟i2c模块1740和虚拟gpio 1726允许主机 处理器1760远程地控制lch上的gpio和i2c端口，就好像这些端口是soc 的部分。借由通过低引脚usb连接将对lch gpio和i2c端口的控制提供至 主机处理器允许设备铰链中导线数量的减少。触摸模块1727处理由触摸传感 器控制器提供至主机模块1720的触摸传感器数据并驱动显示器的触摸控制器。 触摸模块1727可以确定例如对显示器的一个或多个触摸在显示器上的位置以 及手势信息(例如，手势的类型、指示手势在显示器上的位置的信息)。由触 摸模块1727确定的信息以及由主机模块1720生成的其他信息可以通过usb 连接1728传送至机盖1702。
205.音频模块1730包括语音唤醒模块1731、超声模块1732、降噪 模块1733、远场预处理模块1734、声学上下文感知模块1735、话题检测模块 1736以及音频核1737。在一些实施例中，模块1731-1737中的任一者可以在 图2-图3和图6中图示出的或者本文中以其他方式公开的音频模块组件中的 一个或多个组件上操作或者由该一个或多个组件实现。语音唤醒模块1731实 现先前描述的语音唤醒特征，并且在一些实施例中可以进一步实现先前描述的 说话者id特征。超声模块1732可以通过以近超声/超声频率检测音频传感器 数据中的信息来支持低功率低频率超声信道。在一些实施例中，超声模块1732 可以驱动位于计算设备中的一个或多个扬声器经由超声通信将信息传送至另 一计算设备。降噪模块1733对音频传感器数据实现一种或多种降噪算法。远 场处理模块1734对音频传感器数据执行预处理，以增强从远程音频源接收到 的音频信号。声学上下文感知模块1735可以实现基于音频信号的所确定的音 频上下文来处理音频传感器数据(例如，检测不期望的背景噪声并随后从音频 信号滤除不想要的背景噪声)的算法或模型。
206.话题检测模块1736确定在音频传感器数据中检测到的话音中 的一个或多个话题。在一些实施例中，话题检测模块1736包括自然语言处理 算法。在一些实施例中，话题检测模块1736可以确定在音频查询之前正在由 用户讨论的话题，并基于所跟踪的话题向用户提供响应。例如，话题检测模块 1736可以确定在查询前的某个时间段中(例如，在过去的30秒、过去的1秒、 过去的5分钟中)讨论的人、地点、或其他话题，并基于该话题对查询进行回 答。例如，如果用户正在与另一个人谈论夏威夷，则话题检测模块1736可以 确定“夏威夷”是对话的话题。如果用户随后向计算设备提问“那里的天气如 何？”，则计算设备可提供提供了夏威夷的天气的响应。音频核1737是在其上 建立音频模块1730中所实现的音频处理算法的实时操作系统和基础设施。音 频模块1730经由连接1738与基座1702中的音频捕捉模块1780 进行通信。
207.视觉/成像模块1740包括视觉模块1741、成像模块1742、视觉 核1743、以及相机驱动器1744。在一些实施例中，模块1741-1744中的任一者 可以在图2-图3和图7中图示出的或者本文中以其他方式公开的视觉/成像模 块组件中的一个或多个组件上操作或者由该一个或多个组件实现。视觉/成像模 块1740经由i3c连接1745与基座1702中的集成传感器中枢1790进行通信。 视觉模块1741和成像模块1742可以将本文中所公开的算法中的一种
或多种算 法实现为作用于由计算设备的一个或多个相机提供的图像传感器数据。例如， 视觉和图像模块可以单独地或一致地工作来实现本文中所描述的面部唤醒、面 部id、头部取向检测、面部特征点跟踪、3d网格生成特征中的一项或多项。 视觉核1743是在其上建立视觉/成像模块1740中所实现的视频和图像处理算 法的实时操作系统和基础设施。视觉/成像模块1740经由相机驱动器1744与 一个或多个机盖相机进行交互。在一些实例中，相机驱动器1744可以是微驱 动器。
208.基座中的组件包括主机处理器1760、音频捕捉模块1780、以及 集成传感器中枢1790。在一些实施例中，将这三个组件集成在soc上。音频 捕捉模块1780包括lch音频编解码器驱动器1784。集成传感器中枢1790可 以是集成传感器中枢或者能够处理来自一个或多个传感器的传感器数 据的任何其他传感器中枢。集成传感器中枢1790经由lch驱动器1798与lch 1705进行通信，在一些实施例中，该lch驱动器1798可以是微驱动器。集成 传感器中枢1790进一步包括生物计量存在传感器1794。生物计量存在传感器 1794可以包括位于基座1702中的、能够生成由计算设备用来确定用户的存在 的传感器数据的传感器。生物计量存在传感器1794可以包括例如压力传感器、 指纹传感器、红外传感器或皮肤电反应传感器。在一些实施例中，集成传感器 中枢1790可以基于从lch接收的图像传感器数据和/或由位于机盖中的生物 计量存在传感器(例如，基于机盖的指纹传感器、基于机盖的红外传感器)生 成的传感器数据来确定用户的存在。
209.主机处理器1760包括将触摸驱动器1762和lch驱动器1763 连接至主机模块1720的usb根复合体1761。主机模块1720经由到usb根复 合体1761的usb连接1728将从图像传感器数据确定的数据(诸如，图像或 视频中一个或多个用户的存在、面部特征点数据、3d网格数据等)传输至主机 处理器1760上的一个或多个应用1766。数据从usb根复合体1761传递通过 lch驱动器1763、相机传感器驱动器1764、以及智能协作模块1765，以到达 一个或多个应用1766。
210.主机处理器1760进一步包括允许平台级功率管理的平台框架 模块1768。例如，平台框架模块1768提供对各个平台级资源的功率管理，这 些平台级资源诸如主机处理器1760、soc组件(gpu、i/o控制器等)、lch、 显示器等。平台框架模块1768还提供其他系统级设置的管理，诸如提供时钟 速率管理以用于控制各种组件的操作频率，提供风扇设置管理以提高冷却性能。 平台框架模块1768与lch音频堆叠1767进行通信以允许对音频设置的控制， 并且与图形驱动器1770进行通信以允许对图形设置的控制。图形驱动器1770 经由edp连接1729将视频数据提供至定时控制器1706，并且图形控制器1772 提供对计算设备的图形设置的用户控制。例如，用户可以配置图形设置，以优 化性能、图像质量或电池寿命。在一些实施例中，图形控制器是图形 控制面板应用实例。
211.低功率常开显示器
212.在一些实施例中，移动计算设备包括可折叠显示器，该可折叠 显示器包括在设备闭合并处于低功率模式时对于用户可见并且显示内容的“常 开”部分。为了降低当设备处于该低功率模式时的功耗，显示器的、在设备闭合 时对于用户不可见的部分被禁用。这可以通过将显示流水线的一个或多个组件 (诸如，帧缓冲器、图像处理模块、行驱动器、以及列驱动器)置于低功率状 态来进行。当设备闭合时在显示器的常开部分上显示的内容可以
利用由soc显 示模块提供的新图像来周期性地更新，但是在一些实施例中，作为低功率子系 统的部分的第二显示模块可以将图像提供至机盖，由此允许soc显示模块保持 处于低功率状态。通过选择性地禁用显示器的部分来扩展现有显示器以提供常 开显示能力相比于添加第二显示器和第二定时控制器更便宜，并且可以引起较 低的设备成本。
213.实施例提供具有基座、可折叠显示器以及可旋转地附接至基座 的机盖的移动计算设备。机盖可包括定时控制器，该定时控制器包括帧缓冲器。 计算设备的定时控制器可以在计算设备处于全显示模式时启用可折叠显示器 的第一显示部分，并且在计算设备处于部分显示模式时禁用该第一显示部分并 启用可折叠显示器的第二显示部分。第一显示部分可以例如在计算设备处于打 开配置时是可见的并且可以在计算设备处于闭合配置时是不可见的。相比之下， 第二显示部分可以在计算设备处于闭合配置时是可见的，其中，计算设备可以 在处于部分显示模式时处于闭合配置。计算设备的定时控制器可以进一步能够 在计算设备处于部分显示模式时将帧缓冲器的至少部分置于帧缓冲器低功率 状态。帧缓冲器可存储与在可折叠显示器处显示的图像对应的图像数据。任选 地，定时控制器可以在移动计算设备处于全显示模式时启用第二显示部分。在 示例中，计算设备可处于部分显示模式。在该模式下，定时控制器可将分别驱 动第一显示部分的行和列的一个或多个行驱动器和/或一个或多个列驱动器置 于低功率状态。
214.图18a和图18b图示出分别处于打开配置和闭合配置的移动计 算设备的俯视图，其中第一示例可折叠显示器包括可以作为常开显示器被操作 的部分。移动计算设备1800包括经由铰链1812可旋转地附接至机盖1820的 基座1810。基座1810包括实体键盘1814和触控板1818。机盖1820包括在机 盖顶边1835周围环绕的可折叠显示器1830。可折叠显示器1830包括位于机 盖1820的表面1850上的第一显示部分1840、以及机盖的表面1870上的第二 显示部分1860，第一显示部分1840在设备1800处于打开配置时是面向用户 的。如图18b中所示，第二显示部分1860可以作为显示器1830的常开部分而 被操作，因为该第二显示部分1860在设备1800处于闭合配置时是可见的。当 设备1800闭合时，在第二显示部分1860上示出通知1880。参考图1b，移动 计算设备1800的机盖表面1850和1870分别与b盖和a盖对应。
215.图19a图示出处于打开配置的移动计算设备的俯视图，其中第 二示例可折叠显示器包括可以作为常开显示器来操作的部分。移动计算设备 1900包括可旋转地附接至机盖1920的基座1910。设备1900包括覆盖机盖表 面1950的部分和基座表面1960的部分的可折叠显示器1930，当设备1900处 于打开配置时，机盖表面1950是面向用户的表面并且基座表面是面向上的表 面。虚拟键盘1934显示在可折叠显示器1930的基座显示部分1964上。图19b 和图19c分别图示出处于闭合配置的图19a的移动计算设备的横截面侧视图 和俯视图。从机盖顶边1976到铰链端部1978的机盖1920的长度1974小于从 基座前边缘1984延伸至铰链端部1978的基座1910的长度1970，从而在设备 1900闭合时保持可折叠显示器1930的显示部分1980可见。显示部分1980可 以作为常开显示器来操作。从上文可见，机盖1920的顶表面1990看起来邻近 于常开显示部分1980。当设备1900闭合时，可以在常开显示部分1980上示出 通知内容1994。参考图1b，移动计算设备1900的机盖表面1950、基座表面 1960以及机盖顶表面1990分别与b盖、c盖和a盖对应。
216.图20a-20l图示出包括可折叠显示器的移动计算设备的各种视 图，该可折叠显示
器具有可以作为常开显示器来操作的显示部分。图20a-图 20c分别图示出移动计算设备2000的a盖、b盖和c盖的视图，该移动计算 设备2000包括基座2012、机盖2014、以及在机盖2014的顶边2018上方环绕 的可折叠显示器。机盖顶边2018位于铰链端部2019的远侧，移动计算设备 2000在铰链端部2019处可旋转地附接到基座2012。可折叠显示器包括第一显 示部分2020和第二显示部分2022。当设备2000处于打开配置时，第一显示部 分2020是面向用户的，并且当设备2000处于打开配置或闭合配置时，第二显 示部分2022都是面向外界的。第二显示部分2022可以作为常开显示部分来操 作，因为该第二显示部分2022在设备2000处于闭合配置时是可见的。相机 2024位于设备2000的a盖上，在第二显示部分2022下方。
217.图20d-图20f分别图示出移动计算设备2030的a盖、b盖和 c盖视图，该移动计算设备2030包括基座2032、机盖2034、以及在机盖2034 的顶边2038上方环绕的可折叠显示器。机盖顶边2038位于铰链端部2039的 远侧，移动计算设备2030在铰链端部2039处可旋转地附接到基座2032。可折 叠显示器包括第一显示部分2040和第二显示部分2042。当设备2030处于打 开配置时，第一显示部分2040是面向用户的，并且当设备2030处于打开配置 或闭合配置时，第二显示部分2042都是面向外界的。第二显示部分2042可以 作为常开显示部分来操作，因为该第二显示部分2042在设备2030处于闭合配 置时是可见的。相机2044位于设备2030的a盖上，在第二显示部分2042的 一侧。
218.图20g-图20i分别图示出移动计算设备2050的a盖、b盖和 c盖视图，该移动计算设备2050包括基座2052、机盖2054、以及在机盖2054 的侧边2058周围环绕的可折叠显示器。可折叠显示器包括第一显示部分2060 和第二显示部分2062。当设备2050处于打开配置时，第一显示部分2060是面 向用户的，并且当设备2050处于打开配置或闭合配置时，第二显示部分2062 都是面向外界的。第二显示部分2062可以作为常开显示部分来操作，因为该 第二显示部分2062在设备2050处于闭合配置时是可见的。相机2064位于设 备2050的a盖上，在第二显示部分2062的一侧。在其他实施例中，可折叠显 示器可以在机盖的两条侧边周围环绕并且可包括两个面向外界的第二显示部 分，这两个面向外界的第二显示部分中的任一者或这两者可以作为常开显示器 来操作。
219.图20j-图20l分别图示出移动计算设备2070的a盖、b盖和c 盖视图，该移动计算设备2070包括基座2072、机盖2074、以及跨基座2072和 机盖2074延伸的可折叠显示器。可折叠显示器包括位于机盖中的第一显示部 分2076和位于基座中的第二显示部分2078。当设备2070处于打开配置时，第 一显示部分2076是面向用户的，并且第二显示部分2078是面向上的。第二显 示部分2078的部分2082可以作为常开显示部分来操作，因为该部分在设备 2070处于闭合配置时是可见的。相机2084位于设备2070的a盖上。图20j图 示出当处于闭合配置时移动计算设备2070的俯视图，并且示出第二显示部分 2078的、在移动计算设备2070闭合时由于机盖长度2086比基座长度2088短 而可见的常开显示部分2082。当从上方观看时，常开显示部分2082看起来邻 近于计算设备2070的a盖2090。
220.图21是与具有可以作为常开显示器来操作的部分的可折叠显 示器相关联的示例定时控制器和附加显示流水线组件的框图。定时控制器2100 包括视频数据接收器2110、帧缓冲器2120、处理堆叠2122、以及显示器驱动 器2130。定时控制器2100连同嵌入式可折叠显示面板和显示面板控制电路系 统(例如，行驱动器2150和列驱动器2160)一起位于移动计算设备的机盖中。 视频数据接收器2110通过连接2182从显示模块2164接收视频数据，该
显示 模块2164是soc 2186的部分并且位于移动计算设备的基座中。帧处理堆叠 2122包括解码器2124、rgb模块2140以及vdsc编码器2126。解码器2124 在帧被rgb模块2140处理之前对其进行解码，并且编码器2126在帧被色彩 和伽马校正模块2128处理之前对其进行重新编码。色彩和伽马校正模块2128 对帧进行色彩和伽马校正。在一些实施例中，解码器2124和编码器2126根据 显示压缩标准(vdsc)执行帧解码和帧编码。
221.在一个或多个实施例中，定时控制器2100表示tcon 150、400、 355的示例实现方式，并且嵌入式面板2190表示嵌入式显示面板145、280、 380的示例实现方式，其中任一者可以在机盖120、220、301、1820的示例实 现方式中使用，进而可以作为移动计算设备(用户设备)100、200、300的示 例实现方式的部分。在一个或多个实施例中，显示模块2164表示显示模块241、 341的示例实现方式，其可以在soc 140、240(其可以位于基座210、315、 1810中)的示例实现方式中使用，进而可以作为移动计算设备(用户设备)100、 200、300的部分。
222.在一些实施例中，除了图21中示出的那些模块之外，帧处理堆 叠2122还包括一个或多个模块。附加的图像处理模块可以包括图8中图示出 的模块中的任一者或者本文中描述或引用的任何其他图像处理模块。在一些实 施例中，帧处理堆叠2122可以包括于图21中示出的那些模块更少的模块。在 一些实施例中，显示模块2164通过edp连接与tcon 2100进行通信，并且视 频数据接收器2110包括edp主链路接收器。在一些实施例中，显示器驱动器 2130是p2p发射模块。
223.可折叠显示面板2140包括第一显示部分2190和第二显示部分 2194。第一显示部分2190(诸如图18a中的第一显示部分1840以及分别在图 20b、图20e、图20h和图20k中的显示部分2020、2040、2060和2076)在 移动计算设备处于打开配置时是可见的并且在移动计算设备处于闭合配置时 是不可见的，并且第二显示部分2194(诸如图18b中的第二显示部分1860以 及分别在图20a、图20d、图20g和图20j中的显示部分2022、2042、2062 和2082)在移动计算设备处于闭合配置时是可见的。当移动设备处于闭合配置 时，第二显示部分2194可以作为常开显示部分来操作。基于移动计算设备的 显示模式来启用第一显示部分2190和第二显示部分2194。当移动计算设备处 于打开配置时，该设备可以处于全显示模式，在该全显示模式下，第一显示部 分2190和第二显示部分2194两者均被启用。在一些实施例中，多个全显示模 式是可能的。例如，在第一全显示模式下，第一显示部分2190被启用且第二 显示部分2194被禁用，并且在第二全显示模式下，第一显示部分2190和第二 显示部分2194均被启用并显示内容。当移动计算设备处于闭合配置时，该设 备可以处于部分显示模式，在部分显示模式下，第一显示部分2190被禁用且 不显示内容，并且第二显示部分被启用且作为常开显示器来操作。
224.在一些实施例中，除了基于移动计算设备的物理配置之外，显 示模式还基于用户可配置的设置。例如，可向用于提供允许用户选择在设备处 于打开配置时第二显示部分是被启用还是被禁用、以及在设备处于闭合配置时 第二显示设备是否要被启用的用户可配置的显示设置。定时控制器2100从机 盖控制器中枢或者移动计算设备的基座中的组件(诸如显示模块2164)接收显 示模式信息2196。
225.为了减少功耗，当设备处于部分显示模式下时，可将该设备的 显示流水线的一个或多个组件置于低功率状态。显示流水线包括对在显示面板 2140处显示的图像的生成、处理和显示中所涉及的组件。在图21中图示的实 施例中，显示流水线组件包括显示模块
2164、视频数据接收器2110、帧缓冲 器2120、帧处理堆叠2122、显示器驱动器2130、行驱动器2150以及列驱动器 2160。将移动计算设备置于低功率状态可以包括将其构成组件中的任一者置于 低功率状态。例如，可以将行驱动器置于行驱动器低功率状态，可以将列驱动 器置于列驱动器低功率状态，可以将帧缓冲器置于帧缓冲器低功率状态，可以 将显示模块置于显示模块低功率状态，等等。将组件或组件的部分置于低功率 状态可以包括例如，降低其操作电压、以较低的频率来操作该组件、禁用该组 件、或禁用组件功能(诸如，禁用存储器阵列的部分或禁用输出驱动器)。可 以通过定时控制器控制逻辑或者通过直接被提供至各个显示流水线组件并使 得该模块被置于低功率状态的显示模式信息(例如，显示模式信息2196)将显 示流水线组件置于低功率状态。
226.在一些实施例中，当设备处于部分显示模式时，驱动第一显示 部分2190的行驱动器2154可以被置于低功率状态，而驱动第二显示部分2194 的行驱动器2158保持被启用。在其他实施例中，列驱动器2160可以包括驱动 第一显示部分的第一组列驱动器以及驱动常开显示部分的第二组列驱动器，并 且当设备处于部分显示模式时，第一组列驱动器被禁用且第二组列驱动器被启 用。在一些实施例中，当设备处于部分显示模式时，定时控制器显示器驱动器 (例如，显示器驱动器2130)的、对驱动第一显示部分的行或列驱动器进行驱 动的部分可以被置于低功率状态。
227.在一些实施例中，当设备处于部分显示模式时，帧缓冲器2120 的部分被置于低功率状态。将帧缓冲器2120的部分置于低功率状态可以包括： 禁用存储在第一显示部分2190处显示的图像的帧缓冲器2120中的存储器阵列 的部分，禁用控制存储在第一显示部分2190中显示的图像的存储器阵列的部 分的控制电路系统，或者仅存储与在显示器的第二显示部分2194上显示的图 像相对应的图像数据。
228.在一些实施例中，tcon 2100包括第一帧缓冲器和第二帧缓冲 器，第一帧缓冲器存储与用于在第一显示部分2190处显示的图像相对应的图 像数据，第二帧缓冲器存储与用于在第二显示部分2194处显示的图像相对应 的图像数据。第一帧缓冲器和第二帧缓冲器分别基于第一显示部分和第二显示 部分的尺寸来确定尺寸，并且由此各自小于存储针对用于跨显示部分2190和 2194显示的图像的图像数据将需要的单个帧缓冲器(例如，帧缓冲器2120) 的尺寸。当设备处于部分显示模式时，第一帧缓冲器可以被置于低功率状态。
229.在一些实施例中，tcon 2100包括第一帧缓冲器和第二帧缓冲 器，第一帧缓冲器用于存储跨第一显示部分2190和第二显示部分2194显示的 图像，第二帧缓冲器用于存储用于在第二显示部分2194处显示的图像，第二 帧缓冲器小于第一帧缓冲器。当移动计算设备处于全显示模式时，tcon 2100 利用第一帧缓冲器并且第二帧缓冲器被置于低功率状态，并且当移动计算设备 处于部分显示模式时，tcon 2100将第一帧缓冲器置于低功率状态并利用第二 帧缓冲器。
230.在一些实施例中，当移动计算设备处于部分显示模式时，可以 绕过帧处理堆叠2122的一个或多个图像处理组件，以减少显示流水线功耗。 例如，如果当设备处于部分显示模式时在第二显示部分2194处显示的内容以 黑白显示或以其他方式将不会受益于由帧处理堆叠中的模块进行处理，则那些 模块可以在设备处于部分显示模式时被绕过。绕过组件可以包括将被绕过的组 件的至少部分置于低功率状态。作为示例，被绕过的模块的部分可以保持被启 用以允许图像数据传递通过该模块，而被绕过的组件的剩余部分可以被禁
用。
231.在一些实施例中，显示流水线功耗可以通过该流水线中的组件 仅对与在第二显示部分2194处显示的内容相对应的图像数据的部分进行操作 来降低。在并行地对像素的像素数据进行操作的组件中，该组件的对与第一显 示部分相对应的像素数据执行操作的部分可以被禁用。在串行地对多个像素的 像素数据进行操作的模块中，该模块可以被配置成(例如，被定时控制器逻辑 配制成)用于仅对与第二显示部分2194相对应的像素的像素数据进行操作。
232.在一些实施例中，当设备处于部分显示模式时在第二显示器 2194处显示的内容可以包括以小于嵌入式面板在以全显示模式操作时的典型 刷新率(例如，30-120hz)的速率被更新的通知内容。例如，如果通知内容包 括示出小时和分钟的时钟，则显示模块2164可以一分钟一次地从低功率状态 退出，以生成用于在第二显示部分显示的、示出当前时间的新的图像。在生成 经更新的图像之后，显示模块2164可以返回至低功率状态。在设备处于部分 显示模式时可以被包括在通知内容中并在第二显示部分2194处显示的其他类 型的信息的示例包括与即将到来的会议、剩余电池寿命、未读消息(例如，电 子邮件、短信、社交媒体)的数量、以及基于情境的问候(例如，“早上好！”) 有关的信息。在通知内容中可以包括许多其他类型的信息。取决于被显示的信 息，通知内容可以以任何间隔来更新(例如，如果显示时钟则一分钟更新一次， 每5分钟或每10分钟更新一次以更新未读消息信息，每60分钟更新一次以更 新会议信息)。在一些实施例中，定时控制器可以以信号通知显示模块何时唤 醒并生成经更新的通知内容。在其他实施例中，唤醒显示模块以生成经更新的 信息可以受基座中的组件控制。
233.在一些实施例中，可以由显示模块2198通过带外连接2184将 通知内容提供至tcon 2100，该显示模块2198是位于设备基座(例如，210、 315、1810)中的低功率子系统2199的部分。低功率子系统2199可以以相比 于soc 2186更低的功率水平来生成通知内容。可以将通知内容作为通过连接 2184提供至tcon 2100的视频数据来提供，该连接2184与由显示模块2164 用来向视频数据接收器2110提供视频数据的连接2182分离。通过使用低功率 子系统2199生成通知内容，soc 2186和显示模块2164可以保持处于低功率 状态，并且移动计算设备的功耗降低。在一些实施例中，带外连接2184是usb 连接或mipi显示串行接口(mipi dsi)连接。
234.图22图示出用于操作移动计算设备中能够作为常开显示器进 行操作的可折叠显示器的示例方法。方法2200可以由例如膝上型计算机执行， 该膝上型计算机包括在该膝上型计算机的机盖顶周围环绕的可折叠显示器。可 折叠显示器具有在机盖打开时面向用户的部分、以及在膝上型计算机机盖闭合 时作为常开显示器来操作的面向外界的部分。在2210处，当移动计算设备处 于全显示模式时，启用该移动计算设备的可折叠显示器的第一显示部分。在示 例中，当膝上型计算机响应于机盖被打开而进入全显示模式时，膝上型计算机 的面向用户的部分被启用并显示内容。在2220处，当移动计算设备处于部分 显示模式时，禁用第一显示部分，并且启用可折叠显示器的第二显示部分。第 一显示部分在移动计算设备处于打开配置时是可见的，并且在移动计算设备处 于闭合配置时是不可见的。第二显示部分在移动计算设备处于闭合配置时是可 见的，并且在移动计算设备在处于部分显示模式时处于闭合配置。在示例中， 当机盖闭合时，显示器的面向用户的部分被禁用并
且该显示器的面向外界的部 分被启用，并且第二显示部分作为常开显示器来操作。在2230处，当移动计 算设备处于部分显示模式时，将帧缓冲器的至少部分置于帧缓冲器低功率状态， 该帧缓冲器存储与在可折叠显示器处显示的图像相对应的图像数据。在示例中， 用于存储用于在可折叠显示器处显示的图像的帧缓冲器中的存储器阵列的部 分被置于低功率状态。也就是说，仅存储用于在常开显示器处显示的图像的帧 缓冲器中的存储器阵列的部分被启用。
235.当前所描述的低功率常开实施例的附加示例包括下列非限制性 实现方式。下列非限制性示例中的每一个示例可以独立存在，或可以与以下所 提供的或遍及本公开的其他示例中的任何一个或更多示例按照任何排列或组 合进行结合。
236.示例aa1是一种方法，该方法包括：当移动计算设备处于全显 示模式时，启用移动计算设备的可折叠显示器的第一显示部分；当移动计算机 处于部分显示模式时，禁用该第一显示部分并启用可折叠显示器的第二显示部 分，第一显示部分在移动计算设备处于打开配置时可见，并且在移动计算设备 处于闭合配置时不可见，第二显示部分在移动计算设备处于闭合配置时可见， 移动计算设备在处于部分显示模式时处于闭合配置；以及当移动计算设备处于 部分显示模式时，将帧缓冲器的至少部分置于帧缓冲器低功率状态，帧缓冲器 存储与用于在可折叠显示器处显示的图像相对应的图像数据。
237.示例aa2包括如示例aa1所述的方法，进一步包括：当移动 计算设备处于全显示模式时，启用第二显示部分。
238.示例aa3包括如示例aa1或aa2所述的方法，进一步包括： 当移动计算设备处于部分显示模式时，将驱动第一显示部分的行的一个或多个 行驱动器置于行驱动器低功率状态。
239.示例aa4包括如示例aa1-aa3中任一项所述的方法，进一步 包括：当移动计算设备处于部分显示模式时，将驱动第一显示部分的列的一个 或多个列驱动器置于列驱动器低功率状态。
240.示例aa5包括如示例aa1-aa4中任一项所述的方法，其中， 帧缓冲器是第一帧缓冲器并且移动计算设备包括小于该第一帧缓冲器的第二 帧缓冲器，方法进一步包括：当移动计算设备处于部分显示模式时，利用第二 帧缓冲器来存储与在第二显示部分处显示的图像相对应的图像数据。
241.示例aa6包括如示例aa1-aa5中任一项所述的方法，进一步 包括：当移动计算设备处于部分显示模式时，绕过显示流水线中的一个或多个 图像处理组件。
242.示例aa7包括如示例aa1-aa6中任一项所述的方法，进一步 包括：将显示流水线中的一个或多个图像处理组件配置成用于：在移动计算设 备处于部分显示模式时，不处理与要在第一显示部分上显示的图像的部分相对 应的图像数据。
243.示例aa8包括如示例aa1-aa7中任一项所述的方法，进一步 包括：当移动计算设备处于全显示模式时，在第一显示部分处显示第一图像， 第一图像与由第一显示模块提供的视频数据相对应；以及当移动计算设备处于 部分显示模式时，在第二显示部分处显示第二图像，第二图像与由第二显示模 块提供的视频数据相对应。
244.示例aa9包括如示例aa8所述的方法，进一步包括，当移动 计算设备处于部分显示模式时：将第一显示模块置于第一显示模块低功率状态； 以及周期性地将第二显示模块从
第二显示模块低功率状态唤醒，以生成要在第 二显示部分处显示的新的图像。
245.示例aa10包括如示例aa1-aa9中任一项所述的方法，其中， 移动计算设备包括可旋转地附接至基座的机盖，并且可折叠显示器覆盖该机盖 的第一表面的至少部分和该机盖的第二表面的至少部分，机盖的第一表面是在 移动计算设备处于打开配置时面向用户的表面，并且机盖的第二表面是面向外 界的表面。
246.示例aa11包括如示例aa10所述的方法，其中，机盖包括位 于铰链端部的远侧的顶边，机盖在该铰链端部处可旋转地附接至基座，并且可 折叠显示器在机盖的顶边周围环绕。
247.示例aa12包括如示例aa10所述的方法，其中，机盖包括侧 边，并且可折叠显示器在这些侧边中的至少一个侧边周围环绕。
248.示例aa13包括如示例aa1-aa9中任一项所述的方法，其中， 移动计算设备包括可旋转地附接至基座的机盖，可折叠显示器覆盖机盖的第一 表面的至少部分和基座的第一表面的至少部分，机盖的第一表面和基座的第一 表面在移动计算设备处于闭合配置时彼此面对，机盖具有从该机盖可旋转地附 接至基座所在的铰链端部延伸至位于该铰链端部远侧的机盖顶边的机盖长度， 基座具有从基座可旋转地附接至机盖所在的铰链端部延伸至位于该铰链端部 远侧的基座前边缘的基座长度，机盖长度小于基座长度，并且第二显示部分位 于基座的第一表面上。
249.示例aa14包括如示例aa1-aa13中任一项所述的方法，其中， 将帧缓冲器的至少部分置于帧缓冲器低功率状态包括禁用帧缓冲器。
250.示例aa15包括如示例aa1-aa13中任一项所述的方法，其中， 将帧缓冲器的至少部分置于帧缓冲器低功率状态包括禁用帧缓冲器的存储器 阵列的至少部分。
251.示例aa16包括如示例aa1-aa13中任一项所述的方法，其中， 将帧缓冲器的至少部分置于帧缓冲器低功率状态包括降低帧缓冲器的操作电 压。
252.示例ab1包括一种移动计算设备，该移动计算设备包括：基座； 可折叠显示器；以及机盖，该机盖可旋转地附接至基座，机盖包括定时控制器， 定时控制器包括帧缓冲器，该定时控制器用于：当移动计算设备处于全显示模 式时，启用可折叠显示器的第一显示部分；当移动计算设备处于部分显示模式 时，禁用该第一显示部分并启用可折叠显示器的第二显示部分，第一显示部分 在移动计算设备处于打开配置时可见，并且在移动计算设备处于闭合配置时不 可见，第二显示部分在移动计算设备处于闭合配置时可见，移动计算设备在处 于部分显示模式时处于闭合配置；当移动计算设备处于部分显示模式时，将帧 缓冲器的至少部分置于帧缓冲器低功率状态，帧缓冲器存储与要在可折叠显示 器处显示的图像对应的图像数据。
253.示例ab2包括如示例ab1所述的移动计算设备，定时控制器 进一步用于：当移动计算设备处于全显示模式时，启用第二显示部分。
254.示例ab3包括如示例ab1或ab2所述的移动计算设备，定时 控制器进一步用于：当移动计算设备处于部分显示模式时，将驱动第一显示部 分的行的一个或多个行驱动器置于行驱动器低功率状态。
255.示例ab4包括如示例ab1-ab3中任一项所述的移动计算设备， 定时控制器进一步用于：当移动计算设备处于部分显示模式时，将驱动第一显 示部分的列的一个或多个列驱
动器置于列驱动器低功率状态。
256.示例ab5包括如示例ab1-ab4中任一项所述的移动计算设备， 其中，帧缓冲器是第一帧缓冲器，定时控制器进一步包括小于该第一帧缓冲器 的第二帧缓冲器，定时控制器进一步用于：当移动计算设备处于部分显示模式 时，利用第二帧缓冲器来存储与要在第二显示部分处显示的图像相对应的图像 数据。
257.示例ab6包括如示例ab1-ab5中任一项所述的移动计算设备， 其中，定时控制器进一步包括一个或多个图像处理组件，定时控制器进一步用 于：当移动计算设备处于部分显示模式时，绕过显示流水线中的一个或多个图 像处理组件。
258.示例ab7包括如示例ab1-ab6中任一项所述的移动计算设备， 其中，定时控制器进一步包括一个或多个图像处理组件，定时控制器进一步用 于：将显示流水线中的一个或多个图像处理组件配置成在移动计算设备处于部 分显示模式时不处理与要在第一显示部分上显示的图像的部分对应的图像数 据。
259.示例ab8包括示例ab1-ab7中任一项所述的移动计算设备， 定时控制器进一步用于：当移动计算设备处于全显示模式时，在第一显示部分 处显示第一图像；以及当移动计算设备处于部分显示模式时，在第二显示部分 处显示第二图像；并且移动计算设备进一步包括：第一显示模块，该第一显示 模块用于将第一图像提供至定时控制器；以及第二显示模块，该第二显示模块 用于将第二图像提供至定时控制器。
260.示例ab9包括如示例ab1-ab8中任一项所述的移动计算设备， 其中，机盖包括位于铰链端部的远侧的顶边，机盖在该铰链端部处可旋转地附 接至基座，并且可折叠显示器在机盖的顶边周围环绕。
261.示例ab10包括如示例ab1-ab8中任一项所述的移动计算设 备，其中，机盖包括一个或多个侧边，并且可折叠显示器在这些侧边中的至少 一个侧边周围环绕。
262.示例ab11包括如示例ab1-ab8中任一项所述的移动计算设 备，其中，可折叠显示器覆盖机盖的第一表面的至少部分和基座的第一表面的 至少部分，机盖的第一表面和基座的第一表面在移动计算设备处于闭合配置时 彼此面对，机盖具有从该机盖可旋转地附接至基座所在的铰链端部延伸至位于 该铰链端部远侧的机盖顶边的机盖长度，基座具有从基座可旋转地附接至机盖 所在的铰链端部延伸至位于该铰链端部远侧的基座前边缘的基座长度，机盖长 度小于基座长度，并且第二显示部分位于基座的第一表面上。
263.示例ab12包括如示例ab1-ab11中任一项所述的移动计算设 备，其中，将帧缓冲器的至少部分置于帧缓冲器低功率状态包括禁用帧缓冲器。
264.示例ab13包括如示例ab1-ab11中任一项所述的方法，其中， 将帧缓冲器的至少部分置于帧缓冲器低功率状态包括禁用帧缓冲器的存储器 阵列的至少部分。
265.示例ab14包括如示例ab1-ab11中任一项所述的移动计算设 备，其中，将帧缓冲器的至少部分置于帧缓冲器低功率状态包括降低帧缓冲器 的操作电压。
266.示例ac1包括一种或多种非瞬态计算机可读存储介质，存储计 算机可执行指令，这些指令用于使得移动计算设备执行本文中上文所描述的示 例aa所述的方法中的任何方法。
267.示例ad1包括一种系统，该系统包括用于实现本文中上文的示 例aa所述的方法中的任何一项或多项的一个或多个装置。
268.用于多显示器计算系统的显示管理
269.如今，显示器功率(可以包括背光和面板电子设备)消耗大量的 系统上功率。计算设备中的显示器可以引发总系统功耗中的百分之四十至六十 (40-60％)。当存在多个外部显示器时，soc和系统功率显著增加。例如，连 接至两个4k监视器由于对附加的高分辨率显示器进行渲染而可能引发显著更 高的功率成本。
270.许多当前的计算设备在功率模式之间切换，以节省能量，延长 电池的寿命，和/或防止某些显示屏幕上的老化。然而，计算系统中实现的能效 技术在这些技术损害系统的响应性或性能的情况下可能负面地影响用户体验。
271.用以节省用于显示器的功率和能量的显示管理解决方案已涉及 从单个显示系统的用户存在检测，其中如果没有用户被检测到，则显示面板被 调暗或关闭。例如，可将背光调暗以使得亮度降低，或者可完全关闭背光。例 如，基于软件的解决方案可确定用户的面部是否定向在单个显示器处并且相应 地调暗或关闭该显示器。然而，基于软件的解决方案引发大量的功耗，例如， 数量上为数瓦的范围。另外，基于软件的解决方案仅能够处置嵌入式显示器， 并且当确定何时要关闭该显示器时将需要更加保守。而且，这些单显示器解决 方案仅具有与单个显示器的视场一样多的准确度。
272.单显示器用户存在解决方案无法恰当地共同或有效管理电池寿 命、响应性增益、以及隐私性和安全特征。在单显示器系统中，仅获得来自一 个显示器的一个输入，这限制了可以用于有效地管理多个显示场景的数据量。 取决于启用用户存在的显示器被置于何处，该系统可能无法有效地接收关于用 户何时正在逐渐接近他们的计算系统(例如，在工作站、办公桌处)以及当在 他们的计算系统处就座时他们正在看向何处的准确信息。而且，如果用户使他 们的具有单显示器用户存在解决方案的膝上型计算机闭合，则无法管理外部监 视器显示并且无法在用户将目光从该外部监视器移开时节省功率。当膝上型计 算机闭合时，外部监视器将无法对任何用户存在行为进行响应。
273.外部的高分辨率显示器(例如，4k显示器)正越来越多地用于 扩展的显示场景。然而，此类显示器显著增加了显示器和系统功率和能量。这 些解决方案不具有用于处置用户存在以节省功率和能量的方法，这可能潜在地 影响满足某些州和/或联邦认证，例如加州能源委员会和能源之星。高分辨率还 可能影响百分之五十(50％)或更多的性能，这可能进一步降低用户体验。
274.在另一示例中，认证软件(例如，windows认证 软件)允许用户在每个监视器上放置夹式相机，并在用户的注意力指向的监视 器上运行面部认证。此类解决方案仅可用于用户被定位在处于显示面板前方的 恰当距离和取向时的认证(例如，通过面部识别)和用户登录。这些认证解决 方案无法基于用户存在来解决对显示器功率和亮度的管理。
275.更新近的发展已包括提供人类存在和注意力感测的低功率组件， 以基于用户存在和注意力通过不同操作模式提供隐私和安全。虽然对于膝上型 计算机或其他单一设备实现方式来说意义重大，但这些进步并没有解决围绕当 今最常见的计算环境中的多个显示模块的问题。
276.在当今的计算环境中，用户将他们的膝上型计算机对接在办公 室或家中的工作站上很常见。研究已显示，企业用户大约有百分之八十(80％) 的时间在对接场景中工作。
一个常见的场景是用户将他们的膝上型计算机对接 在具有外部监视器的对接站上并主要在该对接站上工作，其中外部监视器可以 是用户在大部分对接时间都使用的更大的主显示器。
277.实施例提供一种计算系统，该计算系统包括第一显示设备和第 二显示设备，第一显示设备包括第一显示面板、第一相机、以及用于基于由第 一相机捕捉到的第一图像传感器数据生成第一图像元数据的第一电路系统，第 二显示设备包括第二显示面板、第二相机、以及用于基于由第二相机捕捉到的 第二图像传感器数据生成第二图像元数据的第二电路系统。计算系统可进一步 包括处理器，该处理器操作地耦合至第一显示设备和第二显示设备。处理器被 配置成用于基于图像元数据来选择用于显示设备的操作模式。例如，处理器可 基于第一图像元数据来选择用于第一显示设备的第一操作模式，并且基于第二 图像元数据来选择用于第二显示设备的第二操作模式。
278.第一图像元数据和第二图像元数据可例如分别指示用户是否与 第一显示设备接合或用户是否与第二显示设备接合，并且各个显示设备的操作 模式可基于该指示来选择。对用户与显示设备的接合或脱离的检测可例如基于 面部识别。例如，第一电路系统可在第一图像传感器数据中检测用户的面部； 基于在第一图像传感器数据中检测到用户的面部而确定在第一相机的第一视 场中存在用户；基于第一图像传感器数据，确定用户的面部的第一取向；以及 至少部分地基于用户的面部的第一取向来确定用户与第一显示设备接合还是 脱离。可由第二电路系统执行类似的操作，以便确定用户与第二显示设备接合 还是脱离。如果用户与显示设备中特定的一个显示设备脱离，则可为这个显示 设备选择操作模式，在该操作模式中，用于这个显示设备的显示面板的背光的 亮度在一时间段内逐渐降低，直到用户事件发生，或直到背光降低至预定的最 小亮度水平(或直到背光甚至被关闭)。
279.可使用用户存在来对计算系统进行解锁和/或对用户进行认证。 例如，计算系统的处理器可进一步确定对计算系统的访问被锁定，确定认证机 制当前不是正在第二显示设备上运行；触发认证机制，以经由用户与其接合的 显示设备对用户进行认证；以及保持其他显示设备关闭，直到用户被认证。
280.图23a-23b展示在膝上型计算机连接至一个附加的外部监视器 的情况下计算系统中用户的可能的注意力的场景。图23a包括用户2302、膝 上型计算机2312、以及通信地耦合至膝上型计算机2312的外部监视器2324。 膝上型计算机2312包括膝上型计算机的机盖2314中的主显示面板2316，并 且包括耦合至机盖的面向用户的相机2310。外部监视器2324包括辅助显示面 板2326。仅膝上型计算机2312启用了用户存在和注意力检测，其中用户存在 策略基于用户是否从单个嵌入式主显示面板2316脱离或不存在于单个嵌入式 主显示面板2316而将显示器调暗和/或将其完全关闭。由于膝上型计算机2312 是仅有的启用了用户存在和注意力检测的系统，因此该系统是可以基于用户注 意力(即，基于该显示器的视点)来调暗或关闭其嵌入式显示面板的唯一系统。 由此，显示管理可仅应用于膝上型计算机中的主显示面板，或者其可统一地应 用于所有屏幕。
281.在图23a中，当用户的注意力指向主显示面板2316时(如2304a 处所指示)，膝上型计算机2312可以检测用户的面部和存在并且发起(或维 持)适当的操作模式以启用对膝上型计算机及其主显示面板2316的使用，而 外部监视器2324也保持开机并引发功耗和能耗。
当用户的注意力指向外部监 视器2324的辅助显示面板2326时(如图23b中在2304b处所指示)，膝上 型计算机2312可以将显示管理应用于其主显示面板2316。在其中显示管理统 一地应用于这两个监视器的情况下，即使用户正在与辅助显示面板2326接合， 随后施加到主显示面板2316的任何改变(例如，调暗、睡眠模式)也被应用于 辅助显示面板2326，。
282.存在许多多屏幕和对接配置。在另一示例中，图24a-24c展示 在膝上型计算机连接至两个附加的外部监视器的情况下计算系统中用户的可 能的注意力的场景。图24a包括用户2402、膝上型计算机2412、以及通信地 耦合至膝上型计算机2412的第一外部监视器2424和第二外部监视器2434。 膝上型计算机2412包括膝上型计算机的机盖2414中的主显示面板2416，并 且包括耦合至主显示面板的相机2410，该相机2410包括图像传感器。外部监 视器2424包括辅助显示面板2426，并且外部监视器2434也包括辅助显示面 板2436。仅膝上型计算机2412启用了用户存在和注意力检测。用户可以接合 或聚焦在三个监视器中的任一者上。由于膝上型计算机2412是仅有的启用了 用户存在和注意力检测的系统，因此该系统是可以基于用户注意力(即，基于 该显示器的视点)来调暗或关闭其嵌入式显示器的唯一系统。如果用户保持仅 与该膝上型计算机显示器接合，则另外两个将器由于它们不向策略提供任何基 于用户存在的输入而将保持通电。由此，显示管理可仅应用于膝上型计算机中 的显示面板，或者其可统一地应用于全部三个屏幕。
283.在图24a中，当用户的注意力指向膝上型计算机2412的主显 示面板2416时(如2404a处所指示)，膝上型计算机2412可以检测用户的面 部和存在并且发起(或维持)适当的操作模式以启用对系统的使用，而外部监 视器2324和2434两者也均保持通电并引发功耗和能耗。当用户的注意力指向 中间的屏幕时(如在图24b中的2404b处所指示)，膝上型计算机2412可以 将显示管理应用于其主显示面板2416，而辅助显示面板2436将保持通电并引 发功耗和能耗。这也可能导致较不理想的用户体验，因为仅一个显示器可以处 置调暗策略，而其他外部监视器保持开机。类似地，当用户的注意力指向最后 的屏幕时(如在图24c中的2404c处所指示)，膝上型计算机2412可以将显 示管理应用于其主显示面板2416，而中间的显示面板2426将保持通电并引发 功耗和能耗。
284.如本文中所讨论，基于用户存在和注意力的用于多显示器和对 接场景的显示器功率管理可以解决这些问题。本文中所描述的实施例将单显示 器策略扩展为处置多个显示器，以根据全局集体性策略来无缝地管理每个单独 的显示面板。本文中所公开的实施例使多显示器计算系统中的主显示设备(例 如，移动计算设备中包含嵌入式显示面板的机盖、连接至台式机的监视器)以 及多显示器计算系统中的一个或多个辅助显示器(例如，外部监视器)能够执 行用户存在和注意力检测以及基于该检测的个性化显示管理。由此，可以根据 用户的行为将显示设备的任何显示面板调暗和/或关闭。可以实现策略，以便以 结合性方式管理多个显示面板(例如，计算设备的主显示面板、以及操作地耦 合至计算设备的外部监视器中的一个或多个其他显示面板)。示例可以包括用 于适应以下各项的策略：在来自多个显示设备中的任何显示设备的面部检测之 后唤醒系统，基于用户对特定显示设备的注意而适应性地调暗显示面板(例如， 通过降低背光)，如果检测到用户则阻止对显示面板的锁定(即使用户不是正 在与计算系统进行交互)，以及在用户不在被这些显示设备中的任何显示设备 检测到时锁定计算系统。
285.在一个或多个实施例中，机盖控制器中枢(诸如lch 155、260、 305、954、1705、
1860、2830a、2830b或其至少某些特征)可以用于实现针 对多显示器和对接场景的基于用户存在和注意力的显示管理。本文中所公开的 实施例可以智能地处置从每一个显示器(例如，经由相应的lch)接收的输入， 以基于用户存在和注意力数据无缝地调暗或关闭每个显示器。在一个或多个实 施例中，甚至可以在用户坐下之前就触发系统以将其唤醒。另外，针对每个显 示器，可通过使用相机来放大可以在其中检测用户的区域。当用户已经登录时， 甚至还可以在对系统的任何使用之前就触发该系统以将其唤醒。本文中的实施 例还提供基于多个显示器中的任何一个显示器处的用户存在(即使用户不是正 在活跃地与系统进行交互)而阻止系统对显示面板进行调暗或者将系统设置成 低功率状态。相应地，当多于一个的(或全部的)显示器可以提供用户存在和 注意力检测时，可以节省功率和能量并改善用户体验。
286.转向图25，图25是图示出多显示器系统2500的可能细节的简 化框图，其中针对基于用户存在的显示管理的实施例可以被实现为应用全局策 略来处置多显示器设备。在一个或多个实施例中，每个显示设备适于提供其自 己的用户存在和注意力输入。多显示器系统2500可以包括连接至一个或多个 附加显示设备的计算设备2505，诸如膝上型计算机或任何其他移动计算设备。 在至少一个示例中，计算设备2505(及其组件)表示本文中所公开的其他计算 设备(例如，100、122、200、300、900、1700-2300、2800a、2800b)(及其 组件)的示例实现方式。示例系统2500中的附加显示设备以第一外部监视器 2520和第二外部监视器2530来具体化。在一种可能的实现方式中，外部监视 器2520和2530可经由对接站2550而对接至计算设备2505。然而，应当显而 易见的是，其他实现方式是可能的。例如，外部监视器2520和2530可直接连 接至计算设备2505(例如，经由该计算设备上的hdmi端口)，或者可使用任 何其他合适的手段连接至计算设备2505。
287.计算设备2505可以被配置有基座2506和机盖2510。可将处理 元件2508(诸如芯片上系统(soc)或中央处理单元(cpu))设置在基座2506 中。可将显示面板2512和面向用户的相机2514设置在机盖2510中。外部监 视器2520和2530也被配置有相应的显示面板2522和2532以及相应的相机 2524和2534。
288.每个显示设备(包括计算设备的主显示设备(例如，2512)和连 接至该计算设备的一个或多个附加的外部(或辅助)显示设备(例如，2520、 2530)可以被配置有其自己的基于视觉的分析器集成电路(ic)，该基于视觉 的分析器ic可以被包括在本文中所描述的一个或多个机盖控制器中枢(例如， lch 155、260、305、954、1705、1860、2830a、2830b)的特征中一些或全部 特征中。例如，将基于视觉的分析器ic 2540a设置在计算设备2505的机盖 2510中，将基于视觉的分析器ic 2540b设置在第一外部监视器2520中，并将 基于视觉的分析器ic 2540c设置在第二外部监视器2530的外部。
289.基于视觉的分析器ic 2540a、2540b和2540c各自包括用于执 行机器学习算法的电路系统，这些机器学习算法可以基于由相关联的相机生成 的图像传感器数据在从其相应相机2514、2524和2534的成像视场中执行用户 存在检测、面部检测、以及面部取向检测。基于视觉的分析器ic 2540a、2540b 和2540c可以基于由相应的相机2514、2524和2534生成的相应图像传感器数 据来生成相应的图像元数据。由与给定的相机相关联的给定的基于视觉的分析 器ic生成的图像元数据可指示：在给定相机的视场中是否存在用户，用户是 否与同给定相机相关联的显示面板接合，用户是否从与给定相机相关联的显示 面板脱离，
和/或在给定相机的视场中是否不存在用户。
291.在一个或多个实施例中，可以为多显示器系统(例如，2500)中 的每个显示设备提供专用的基于视觉的分析器ic。实施例允许基于视觉的分析 器ic被集成到显示设备中或者被配置成显示设备的插件式设备。例如，在一 些情况下，专用的基于视觉的分析器ic可被集成到计算设备的机盖中，并且 可以被集成到外部监视器中。然而，在其他场景中，基于视觉的分析器ic可 被配置为能够连接至计算系统中的任何显示设备或与计算系统中的任何显示 设备一起使用的电子狗或其他小型设备。例如，在系统2500中，计算设备2505 的机盖2510以及第一外部监视器2520可具有相应的集成的基于视觉的分析器 ic 2540a和2540b。然而，第二外部监视器可具有插件式基于视觉的分析ic 2540c。在一个示例中，插件式基于视觉的分析器ic 2540c可与其自己的相机 集成在一起，并附接至第二外部监视器2530的壳体，以使得外部相机被定位 成用于捕捉第二外部监视器2530的适当成像视场的图像。在另一示例中，第 二外部监视器2530可被配置有允许插件式基于视觉的分析器ic 2540c与嵌入 在该第二外部监视器中的相机(诸如相机2534)连接的端口。
292.图26是图示出多显示器系统中的相机的可能视场的俯视平面 图。在该示例场景中，示出第一显示设备2610、第二显示设备2620、以及第三 显示设备2630的俯视平面图。这些显示设备中的至少一个显示设备可被配置 成计算设备的部分(例如，计算设备2505的机盖2510)。另外两个显示设备 可被具体化为外部监视器(例如，2520、2530)，或者被具体化为包括操作地 耦合至计算设备的显示面板的其他设备。第一显示设备2610包括第一显示面 板2612和第一面向用户的相机2614，第二显示设备2620包括第二显示面板 2622和第二相机2624，并且第三显示设备2630包括第三显示面板2632和第 三相机2634。每个相机可被配置成用于常开使用，并且可以面向其相关联的显 示面板的方向。每个相机2614、2639和2634可设置在围绕其相应的显示面板 2612、2622或2632的边框区域中，耦合至其相应的显示面板2612、2622或 2632，外部地附接至其相应的显示设备2610、2620或2630，和/或位于其相应 的显示设备或相关联的计算设备的另一部分上。
293.在至少一个实施例中，每个相机与成像视场(fov)相关联，并 且可包括(或者操作地耦合至)合适的图像传感器，以用于检测可指示相机的 成像fov中用户的存在的移动和/或光。例如，第一相机2614与在虚线2617 与2619之间横跨的第一成像fov 2618相关联。第二相机2624与在虚线2627 与2629之间横跨的第二成像fov 2628相关联。第三相机2634与在虚线2637 与2639之间横跨的第三成像fov 2638相关联。在图26的示例中，第一相机 2614生成表示在成像fov 2618内可见的、第一显示设备2610周围的区域的 图像的图像传感器数据。第二相机2624生成表示在第二成像fov 2628内可见 的、第二显示设备2620周围的区域的图像的图像传感器数据。第三相机2634 生成表示在第三成像fov 2638内可见的、第三显示设备2630周围的区域的图 像的图像传感器数据。
294.如图26中所示，取决于多显示器系统的布置，成像fov可能重 叠。在该示例中，与显示设备2610、2620和2630相关联的成像fov 2618、 2628和2638重叠，以产生扩展区域，该扩展区域比单个相机的fov更大，并 且在该扩展区域中，用户的存在可由相机2614、2624和2634中的一者或多者 来感测。应当注意，虽然图26中示出的多个设备沿总体上平直的线来布置， 但众多其他的配置是可能的。例如，基于用户的特定需要和偏好，显示设备中 的任一者可以是成角度的或经转向的。不同的布置(例如，角度、倾斜、位置) 可引起不同的视场
以及多个相机的视场的不同的重叠部分。
295.图27a-图27c是图示出用户相对于显示设备的可能的头部/面 部取向的俯视平面图。在这些示例场景中，示出包括显示面板2712和面向用 户的相机2714的显示设备2710。还示出被定位成与显示面板2712相对以使 得用户可以观看该显示面板的用户2702。在该示例中，用户2702位于相机2714 的视场(fov)内，并且由此由相机2714生成的图像传感器数据可以包括表示 用户2702的数据。出于说明目的，面部取向2704a-2704d指示用户2702的目 光相对于显示面板2712的示例方向。在一个或多个示例中，面部取向或目光 方向从用户的面部(例如，用户面部的中央(诸如鼻子)、眼睛之间的中央点、 嘴唇的中间点)垂直地延伸。显示设备2710表示计算设备的示例机盖(例如， 计算设备2505的机盖2510)、或外部监视器(例如，2520、2530)、或具有 操作地耦合至计算设备的显示面板的其他设备。
296.在一个或多个实施例中，由相机2714生成的图像传感器数据可 以由基于视觉的分析器ic(例如，2540a、2540b、2540c)来进行分析，以如 参考图26所描述的那样确定在相机的成像视场(fov)中是否存在用户。另外， 当确定在相机2714的成像fov中存在用户时，基于视觉的分析器ic可确定 用户2702相对于显示面板2712的面部取向。可使用(多种)机器学习算法来 训练基于视觉的分析器ic，以识别人类面部特征，并且基于对此类面部特征的 识别来确定用户的面部取向、用户的头部/面部在相关联的相机的成像视场 (fov)内的位置。在至少一个实施例中，可以从所标识的面部取向以及限定 用户的面部和/或目光方向的最大旋转角度的参数来推断用户的意图(例如，接 合的、脱离的)。
297.在一个或多个实施例中，确定用户与显示面板2712接合还是从 显示面板2712脱离可以通过确定用户的面部相对于显示面板2712的旋转角度 是否在用户2702与显示面板2712之间的第一级区域内来完成。在一个示例 中，用户的面部相对于显示面板2712的旋转角度可以被计算为直接显示路径 (例如，2703)与用户的面部取向或目光方向(例如，2704a-2704d)之间所 限定的角度。直接显示路径(例如，2703)可被限定为从相机2714到用户2702 的总体上的直接路径，因为相极典型地接近于显示面板。用户的头部取向(例 如，2704a-2704d)可与从用户的面部(例如，从鼻子、嘴唇中央、眼睛之间 额头的中央)延伸的垂直方向相对应。第一级区域可被限定为用户的面部相对 于直接显示路径的左侧的第一级最大旋转角度与用户的面部相对于直接显示 路径的右侧的第一级最大旋转角度之间的区域。在一个或多个实现方式中，相 对于左侧的第一级最大旋转角度与相对于右侧的第一级最大旋转角度相同，并 且可以是例如四十五度(45
°
)。在至少一个实施例中，第一级最大旋转角度可 以是用户和/或系统可配置的。
298.如图27a-图27c中所示，直接显示路径2703和面部取向2704a
‑ꢀ
2704d指示相对于显示面板2712的用户的面部取向的可能场景，从这些可能 场景可以推断出用户2702相对于显示面板2712的接合或脱离。一般而言，如 果用户2702正面朝显示面板2712(无论用户位于显示面板2712的正前方还 是在相机2714的成像fov内的某个其他位置)，则基于视觉的分析器ic可推 断用户对显示面板上渲染的内容感兴趣(例如，与显示面板接合)并且由此不 想要计算设备的操作或显示面板2712的亮度被负面地影响。在另一场景中， 如果用户2702转向相对于从用户到显示面板2712的直接显示路径的任一侧但 是不完全转离显示面板2712，则基于视觉的分析器ic可推断用户当前对显示 面板2712上渲染的内容不感兴趣(例如，存在但脱离)但仍存在并参与计算 设备的操作。例如，用户2702可能正坐在与相
机2714相关联的成像fov内的 他的或她的课桌旁，但转向一侧来查看对接的外部监视器的第二显示面板。由 此，尽管用户可能从显示面板2712脱离，但用户可能对外部监视器的第二显 示面板上渲染的内容感兴趣并且由此可能想要计算设备的操作继续。在此种情 况下，假定用户并未将他的或她的注意力重新定向回到显示面板2712，显示面 板2712可随时间渐进式地被调暗(例如，背光的亮度被降低)。然而，与外部 监视器相关联的基于视觉的分析器ic可确定存在用户2702并且该用户2702 与外部监视器中的第二显示面板接合。由此，在此种场景中，计算设备的操作 和外部监视器的第二显示面板的操作将不会负面地被影响(例如，显示面板被 调暗、soc转变至低功率状态)。一般而言，可以基于推断出的用户2702的 接合来调整计算设备、显示面板2712、以及外部监视器的第二显示面板的性能， 以提高性能从而得到改善的用户体验(例如，当用户是接合的时)或者降低性 能从而节约功率(例如，当存在用户且用户是脱离的、或者不存在用户时)。
299.在至少一个实施例中，指示相对于显示面板2712的用户存在、 不存在、接合、脱离的图像元数据可基于标识用户存在/不存在以及检测到的人 类面部的面部取向来生成。可以将此种图像元数据提供至计算设备的处理元件 (例如，计算设备2505的soc 2508)，该处理元件通信地耦合至显示设备2710 的基于视觉的分析器ic。基于对用户是否接合、脱离、存在和/或不存在的指 示并且基于一种或多种预定义的规则，计算设备可以控制影响显示设备2710 的功率水平和/或性能水平的特定性能参数的设置。
300.在图27a中示出的第一示例中，基于视觉的分析器ic可基于 确定用户的面部取向2704a在第一级区域2718内而确定存在用户2702并且 用户2702相对于显示面板2712接合。在一个实现方式中，第一级区域2718 可延伸四十五度(45
°
)到直接显示路径2703的左侧，并延伸四十五度(45
°
) 到直接显示路径2703的右侧。在该示例中，第一级区域2718可大约在虚线 2717与虚线2719之间跨九十度(90
°
)，虚线2717表示向右侧的第一级最大 旋转角度，虚线2719表示向左侧的第一级最大旋转角度。用户的面部取向 2704a与直接显示路径2703形成小于由虚线2717指示的向右侧的第一级最大 旋转角度的旋转角度。因此，用户的面部取向2704a在第一级区域2718内。 相应地，即使用户2702当前不是正在与用户接口(例如，键盘、触摸板、鼠 标、触摸屏)进行交互，基于视觉的分析器ic也可以推断出用户2702与显示 面板2712接合(例如，用户对在显示面板2712上渲染的内容感兴趣)。
301.在图27b中示出的第二示例中，基于视觉的分析器ic可基于确 定用户的面部取向2704b或2704c在第二级区域2728b或2728c内而确定存 在用户2702，并且确定用户2702相对于显示面板2712并未接合。在一个实现 方式中，每个第二级区域2728b和2728c位于第一级区域2718外部，但是并 未从直接显示路径向左侧或向右侧延伸过第二级最大旋转角度。在一个示例中， 从直接显示路径2703的第二级最大旋转角度是虚线2729处指示的向左侧的九 十度(90
°
)和虚线2727处指示的向右侧的九十度(90
°
)。左侧第二级区域和 右侧第二级区域可各自跨大约四十五度(45
°
)，并且可被限定在虚线2719与 2729之间、以及虚线2717与2727之间。在图27b的一个场景中，用户的面 部取向2704c与直接显示路径2703形成由虚线2717指示的向右侧的第一级 最大旋转角度与由虚线2727指示的向右侧的第二级最大旋转角度之间的旋转 角度。因此，用户的面部取向2704c在第二级区域2728a内。相应地，在此种 场景中，基于视觉的分析器ic可以推断用户2702并未与显示面板2712接合， 但仍存在并可能与另一显示设备接合。在图27b的另一个场景中，用户的面部 取向2704b与直接
显示路径2703形成由虚线2719指示的向左侧的第一级最 大旋转角度与由虚线2729指示的向左侧的第二级最大旋转角度之间的旋转角 度。因此，用户的面部取向2704b在第二级区域2728b内。相应地，在此种场 景中，基于视觉的分析器ic可以推断用户2702并未与显示面板2712接合， 但仍存在并可能与另一显示设备接合。
302.在图27c中示出的第三示例中，基于视觉的分析器ic可基于确 定用户的面部取向2704d在第三级区域2738内而确定不存在用户2702，或者 用户但用户的面部相对于显示面板2712是不可检测的。在一个实现方式中， 第三级区域2738可从直接显示路径向左侧或向右侧延伸过第二级最大旋转角 度。在该示例中，第三级区域2738可大约在虚线2727与虚线2729之间跨一 百八十度(180
°
)，虚线2717表示向右侧的第二级最大旋转角度，虚线2719 表示向左侧的第二级最大旋转角度。由于用户2702的面部因从自相机2714和 显示面板2712转离而未被相机2714捕捉，因此用户的面部取向2704d未被 标识。相应地，基于视觉的分析器ic可以推断不存在用户2702。然而，在一 些场景中，基于视觉的分析器ic可以推断存在用户2702(例如，基于像身体、 后脑勺之类的其他可检测的特征)但用户的面部不可检测。例如，这对于实现 更激进的调暗策略而不是在用户的面部取向处于第二级区域内时所应用的调 暗策略而言可能是有用的。
303.在一个或多个实施例中，可定义附加级别的区域。在该实施例 中，当用户的面部取向被确定为处于附加级别的区域内时，用户的注意力是未 知的。在一个可能的实现方式中，第一级区域2718以及第二级区域2728a和 2728b在尺寸上可以减小，以在图27a-图27c中示出的第一级区域与第二级 区域之间在作出和右侧创建附加级别的区域。例如，第一级区域(例如，2718) 可以跨向右侧的第一级最大旋转角度(例如37
°
)与向左侧的第一级最大旋转 角度(例如，37
°
)之间的七十四度(74
°
)。右侧的第二级(附加级别的)区域 可以跨向右侧的第一级最大旋转角度(例如，37
°
)与向右侧的第二级最大旋转 角度(例如，31
°
)之间的十五度(15
°
)。左侧的第二级(附加级别的)区域可 以跨向左侧的第一级最大旋转角度(例如，37
°
)与向左侧的第二级最大旋转角 度(例如，31
°
)之间的十五度(15
°
)。右侧的第三级区域(例如，2728a)可 以跨向右侧的第二级最大旋转角度(例如，31
°
)与向右侧的第三级最大旋转角 度(例如，90
°
)之间的三十八度(38
°
)。左侧的第三级区域可以跨向左侧第 二级最大旋转角度(例如，31
°
)与向左侧的第三级最大旋转角度(例如，90
°
) 之间的三十八度(38
°
)。第四级区域(例如，2738)可以跨向右侧的第三级最 大旋转角度(90
°
)与向左侧的第三级最大旋转角度(90
°
)之间的一百八十度 (180
°
)。
304.在该示例中，当用户的面部取向处于附加的第二级区域中的一 个附加的第二级区域中时，可作出用户与显示设备的接合状态未知的判定。在 其中用户具有未知状态的此种场景中，可根据特定的实现方式和需要以任何合 适的方式来处置显示管理。在一个示例中，未知状态可防止显示面板渐进式地 被调暗，以确保不过早和/或不符合期望地调暗。在一些实现方式中，可启动定 时器，以监视用户保持处于未知状态取向的时间。如果阈值量的时间期满，则 对于仍然存在但并未接合的用户可以立即将显示器亮度降低至预定的最小显 示器亮度水平，或者可向显示设备应用渐进式调暗。可以采用与参考图27a-图 27c所描述的方式相同的方式来评估其他级别的区域。具体而言，如果用户的 面部取向处于第一级区域内，则推断用户与显示面板接合并且可向显示面板提 供正常/默认亮度水平。如果用户的面部取向处于第三级区域内，则推断存在用 户但用户与同捕捉到的图像传感器数
据相关联的显示面板脱离，但用户可能与 另一显示设备接合。在此种场景中，调暗背光可渐进式地应用于显示面板。如 果用户的面部取向处于第四级区域内，则得出用户不存在或者用户的面部不可 检测的推断。在此种场景中，可立即关闭显示面板(例如，如果所有其他显示 设备提供指示不存在用户的图像传感器数据)，或者可渐进式地将激进调暗应 用于显示面板，直到显示面板被关闭并且没有背光被提供。
305.应当注意，本文中针对用户视场所提供的特定的值(例如，度、 距离)仅出于说明性目的。尽管此类给定的值实质上可在一个或多个场景中实 现，但可基于特定的需要和实现方式将此类值调整为任何其他合适的值。此外， 可逐显示设备地调整此类值。例如，在一些场景中，特定的显示设备(诸如位 于单个工作站中的若干个显示设备的末端处的一个显示设备)使第一级区域的 旋转范围扩展以确保显示面板不过于频繁地被调暗可能是期望的。
306.图28a-图28b图示出其中实现基于用户存在的显示管理的实施 例的示例两显示器系统2800。两显示器系统2800包括计算设备2805以及操 作地耦合至计算设备2805的外部监视器2820。计算设备2805可包括基座2806 和机盖2810。在该示例中，机盖2810包括嵌入式主显示面板2812和面向用户 的相机2814，面向用户的相机2814包括图像传感器。外部监视器2820包括辅 助显示面板2822和面向用户的相机2824，面向用户的相机2824包括图像传 感器。在该示例中，相机2814和2824被嵌入在其相应的机盖和监视器的边框 区域中。然而，应当显而易见的是，这些相机可以以任何其他合适的方式与其 相应的机盖和监视器集成在一起或者外部地耦合至其相应的机盖和监视器。图28a-图28b还示出用户2802以及指向两个显示面板2812和2822的可能的注 意力。
307.面向用户的相机2814和2824中的每一者可以耦合至相应的基 于视觉的分析器ic(例如，如本文中所描述的lch(诸如，lch 155、260、 305、954、1705、1860、2830a、2830b等)或者包含其特征中的一些特征的 电路系统)，基于视觉的分析器ic可设置在机盖/监视器壳体内或者可通过外 部连接器(例如，电子狗)操作地耦合至机盖/监视器。每个基于视觉的分析器 ic可以被配置成用于向计算设备2805提供指示在其相关联的面向用户的相机 的视场中是否存在用户、用户是否接合、用户是否脱离或者是否不存在用户的 输入。来自给定的基于视觉的分析器ic的输入可以基于针对由其相关联的相 机2814或2824捕捉到的图像所生成的图像传感器数据来生成。
308.图28a示出用户2802的注意力，如2804a处所指示，用户2802 的注意力指向主显示面板2812。相机2814可以在相机2814特定的第一视场 中捕捉图像。耦合至相机2814的第一基于视觉的分析器ic可以使用来自捕捉 到的图像的图像传感器数据来检测用户的存在和用户的面部取向。第一基于视 觉的分析器ic随后可基于相机2814的第一视场向计算设备2805提供指示是 否存在用户、用户是否接合、用户是否脱离、或是否不存在用户的输入。相机 2824可以在相机2824特定的第二视场中捕捉图像。耦合至相机2824的第二 基于视觉的分析器ic可以使用来自捕捉到的图像的图像传感器数据从第二视 场检测用户的存在和面部取向。第二基于视觉的分析器ic随后可基于相机 2824的第二视场向计算设备2805提供指示是否存在用户、用户是否接合、用 户是否脱离、或是否不存在用户的输入。
309.在图28a-图28b的双显示器和对接场景中实现的实施例具有根 据用户面向何处来调暗和关闭适当的显示器的能力。例如，在图28a中，与计 算设备2805的机盖2810中的显
示面板2812相关联的基于视觉的分析器ic可 以检测用户存在以及如2804a处所指示的面部取向，而与外部显示器2820的 显示面板2822相关联的基于视觉的分析器ic可检测用户存在但无法检测用户 注意力，因为用户的面部替代地转向为朝向计算设备2805。相应地，计算设备 可以发起(或维持)适当的操作模式来启用对计算设备及其主显示面板2812的 使用。计算设备还可以适应性地调暗外部监视器2820的显示面板2822，直到 阈值量的时间过去而没有检测到朝向外部监视器的用户注意力。一旦阈值量的 时间已经过去，显示面板2822就可被关闭，而用户继续使用计算设备及其嵌 入式显示面板2812。
310.在图28b中，与外部监视器2820的显示面板2822相关联的基 于视觉的分析器ic可以检测用户存在以及如2804b处所指示的面部取向，而 与计算设备2805的机盖2810中的显示面板2812相关联的基于视觉的分析器 ic可检测用户存在但无法检测用户注意力，因为用户的面部替代地转向为朝向 外部监视器2820。相应地，计算设备可以发起(或维持)适当的操作模式来启 用对计算设备和外部显示面板2822的使用。计算设备还可以适应性地调暗计 算设备2805的显示面板2812，直到阈值量的时间过去而没有检测到朝向该计 算设备的用户注意力。一旦阈值量的时间已经过去，显示面板2812就可被关 闭，而用户继续使用计算设备和外部监视器2820。
311.在计算设备连接至多于一个附加外部监视器的情况下，可将基 于用户存在的策略应用于任何数量的显示器。图29a-29c图示出在其中实现基 于用户存在和注意力的显示管理的示例多显示器系统2900。多显示器系统2900 包括计算设备2905、操作地耦合至计算设备2905的第一外部监视器2920、以 及操作地耦合至计算设备2905的第二外部监视器2930。计算设备2905可包 括基座2906和机盖2910。在该示例中，机盖2910包括嵌入式主显示面板2912 和面向用户的相机2914，面向用户的相机2914包括图像传感器。第一外部监 视器2920包括辅助显示面板2922和面向用户的相机2924，面向用户的相机 2924包括图像传感器。第二外部监视器2930也包括辅助显示面板2932和面 向用户的相机2934，面向用户的相机2934包括图像传感器。在该示例中，相 机2914、2924和2934被嵌入在其相应的机盖/监视器的边框区域中。然而，应 当显而易见的是，这些相机可以以任何其他合适的方式与其相应的机盖/监视器 集成在一起或者外部地耦合至其相应的机盖/监视器。图29a-图29c还示出用 户2902以及指向多个显示面板2912、2922和2932的可能的注意力。
312.面向用户的相机2914、2924和2934中的每一者可以耦合至相 应的基于视觉的分析器ic(例如，如本文中所描述的lch(诸如，lch 155、260、305、954、1705、1860、2830a、2830b等)或者包含其特征中的一些特 征的电路系统)，基于视觉的分析器ic可设置在机盖/监视器壳体内或者可以 通过外部连接器(例如，电子狗)操作地耦合至机盖/监视器。每个基于视觉的 分析器ic可以被配置成用于向计算设备2905提供指示在其相关联的面向用户 的相机的视场中是否存在用户、用户是否接合、用户是否脱离或者是否不存在 用户的输入。来自给定的基于视觉的分析器ic的输入可以基于针对由其相关 联的相机2914、2924或2934捕捉到的图像所生成的图像传感器数据来生成。
313.图29a示出用户2902的注意力，如2904a处所指示，用户2902 的注意力指向主显示面板2912。相机2914可以在相机2914特定的第一视场 中捕捉图像。耦合至相机2914的第一基于视觉的分析器ic可以使用来自捕捉 到的图像的图像传感器数据来检测用户的存在和用户的面部取向。第一基于视 觉的分析器ic随后可基于相机2914的第一视场向计算设备
2905提供指示是 否存在用户、用户是否接合、用户是否脱离、或是否不存在用户的输入。相机 2924可以在相机2924特定的第二视场中捕捉图像。耦合至相机2924的第二 基于视觉的分析器ic可以使用捕捉到的图像从第二视场检测用户的存在和面 部取向。第二基于视觉的分析器ic随后可基于相机2924的第二视场向计算设 备2905提供指示是否存在用户、用户是否接合、用户是否脱离、或是否不存 在用户的输入。相机2934可以在相机2934特定的第三视场中捕捉图像。耦合 至相机2934的第三基于视觉的分析器ic可以使用捕捉到的图像从第三视场检 测用户的存在和面部取向。第三基于视觉的分析器ic随后可基于相机2934的 第三视场向计算设备2905提供指示是否存在用户、用户是否接合、用户是否 脱离、或是否不存在用户的输入。
314.在图29a-图29c的多个显示器中实现的实施例具有根据用户面 向何处来调暗和关闭适当的显示器的能力。例如，在图29a中，与计算设备 2905的机盖2910中的显示面板2912相关联的第一基于视觉的分析器ic可以 检测用户存在以及如2904a处所指示的面部方向。与外部监视器2920的显示 面板2922相关联的第二基于视觉的分析器ic可以检测用户存在但无法检测用 户注意力，因为用户的面部替代地转向成朝向计算设备2905。类似地，与外 部监视器2930的显示面板2932相关联的第三基于视觉的分析器ic可以检测 用户存在但无法检测用户注意力，因为用户的面部替代地转向成朝向计算设备 2905。相应地，计算设备可以发起(或维持)适当的操作模式来启用对计算设 备及其主显示面板2912的使用。计算设备也可以适应性地调暗外部监视器 2920的显示面板2922，直到阈值量的时间过去而没有检测到朝向外部监视器 2920的用户注意力。一旦阈值量的时间已经过去，显示面板2922就可被关闭， 而用户继续使用计算设备及其嵌入式显示面板2912。类似地，计算设备也可以 适应性地调暗外部监视器2930的显示面板2932，直到阈值量的时间过去而没 有检测到朝向外部监视器2930的用户注意力。一旦阈值量的时间已经过滤， 显示面板2932就可被关闭，而用户继续使用计算设备及其嵌入式显示面板 2912。
315.在图29b中，与外部监视器2920的显示面板2922相关联的基 于视觉的分析器ic可以检测用户存在以及2904b处所指示的面部取向。与计 算设备2905的机盖2910中的显示面板2912相关联的第一基于视觉的分析器 ic可以检测用户存在但无法检测用户注意力，因为用户的面部替代地转向成朝 向外部监视器2920。类似地，与外部监视器2930的显示面板2932相关联的第 三基于视觉的分析器ic可以检测用户存在但无法检测用户注意力，因为用户 的面部替代地转向成朝向外部监视器2920。相应地，计算设备可以发起(或维 持)适当的操作模式来启用对计算设备和外部监视器2920的显示面板2922的 使用。计算设备可以适应性地调暗计算设备2905的显示面板2912，直到阈值 量的时间过去而没有检测到朝向该计算设备的用户注意力。一旦阈值量的时间 已经过去，显示面板2912就可被关闭，而用户继续使用外部监视器2920。计 算设备还可以适应性地调暗外部监视器2930的显示面板2932，直到阈值量的 时间过去而没有检测到朝向外部监视器2930的用户注意力。一旦阈值量的时 间已经过去，显示面板2932就可被关闭，而用户继续使用外部监视器2920。
316.在图29c中，与外部监视器2930的显示面板2932相关联的基 于视觉的分析器ic可以检测用户存在以及2904c处所指示的面部取向。与计 算设备2905的机盖2910中的显示面板2912相关联的第一基于视觉的分析器 ic可以检测用户存在但无法检测用户注意力，因为用户的面部替代地转向成朝 向外部监视器2930。类似地，与外部监视器2920的显示面板
2922相关联的第 二基于视觉的分析器ic可以检测用户存在但无法检测用户注意力，因为用户 的面部替代地转向成朝向外部监视器2930。相应地，计算设备可以发起(或维 持)适当的操作模式来启用对计算设备和外部监视器2930的显示面板2932的 使用。计算设备可以适应性地调暗计算设备2905的显示面板2912，直到阈值 量的时间过去而没有检测到朝向该计算设备的用户注意力。一旦阈值量的时间 已经过去，显示面板2912就可被关闭，而用户继续使用外部监视器2930。计 算设备还可以适应性地调暗外部监视器2920的显示面板2922，直到阈值量的 时间过去而没有检测到朝向外部监视器2920的用户注意力。一旦阈值量的时 间已经过去，显示面板2922就可被关闭，而用户继续使用外部监视器2930。
317.图30是图示出在多显示器计算系统中操作地耦合至soc 3002 的基于视觉的分析器ic 3020的附加可能细节，该多显示器计算系统诸如多显 示器计算系统2500。在一个或多个示例中，soc 3002示出图25的多显示器计 算系统2500的计算设备2505中的soc 2508的可能细节。在一个或多个示例 中，基于视觉的分析器ic 3020示出基于视觉的分析器ic 2540a、2540b和 2540c的可能细节，这些基于视觉的分析器ic 2540a、2540b和2540c可分别 被实现在计算设备2505的机盖2510中、在第一外部监视器2520中、以及在 多显示器计算系统2500的第二外部监视器2530的外部。相应地，在图30中 图示出显示设备3010来表示可在其中实现基于视觉的分析器ic 3020的可能 的显示设备中的任一显示设备。相机3014可与显示设备3010集成在一起，或 者作为插件耦合至显示设备并通信地耦合至基于视觉的分析器ic 3020。相机 3014被布置成是面向用户的，并且可以具有从显示设备3010的显示面板向外 延伸的唯一的成像视场。强化的指示器和控件3012可被设置在显示设备3010 中，并且可以包括发光二极管(led)以指示相机3014正如何被使用(例如， 通过在3002中运行的软件、通过基于视觉的分析器ic 3020)。
318.一般而言，在一个或多个实施例中，soc 3002和基于视觉的分 析器ic 3020可以执行与用于本文中所描述的多显示器计算系统的显示管理相 关联的不同功能。在一个示例中，soc 3002包括输入/输出(i/o)接口(if) 3004、集成传感器中枢(ish)3006、以及图像处理模块3008。在一些示例中， 基于视觉的分析器ic 3020包括视觉/成像模块3026、安全模块3022、以及选 择器3024。视觉/成像模块3026是支持处理图像传感器数据以用于检测(多个) 人类面部和头部/面部取向的基于人工智能的视觉处理单元。可以针对由面向用 户的相机3014捕捉到的图像序列的每一帧生成图像传感器数据，并将该图像 传感器数据流送至视觉/成像模块3026中，其中，对于图像传感器数据的每一 帧，检测(多个)人类面部和头部/面部取向，生成图像元数据(例如，指示用 户存在、不存在、接合和/或脱离)，并且将图像元数据发送至soc 3002的ish 3006。在一些实施例中，图像元数据可指示何时存在用户但用户的面部不可检 测，诸如用户何时从显示屏转身(例如，用户的面部取向处于第三级区域2738 内)。在一个或多个示例中，相机3014可以将图像数据传感器文件(或帧)的 流发送至视觉/成像模块3026，视觉/成像模块3026可包括神经网络加速器 (nna)和诸如数据库3040之类的存储单元。在一个或多个示例中，soc 3002 和基于视觉的分析器ic 3020及其组件可被配置有与在本文中所公开的一个或 多个其他soc(例如，140、240、340、914、1840、2840a、2840b、2508)和 /或机盖控制器中枢(例如，155、260、305、954、1705、2830a、2830b)中所 提供的相同的特征中的至少一些特征。
319.nna 3030可被配置成用于执行对由嵌入在显示设备3010中或 耦合至显示设备
3010的相机3014生成的图像传感器数据的初始分析，以确定 在视场中存在用户还是不存在用户以及用户与显示设备接合还是脱离。nna3030可利用机器学习算法(例如，神经网络)在从相机3014接收的图像传感 器数据中检测人类面部、面部取向和/或多个面部。nna 3030可包括硬件、固 件、软件或其任何合适的组合来执行(多个)用户面部和面部取向检测。可在 每次由相机3014生成并由nna 3030分析图像传感器时产生用于显示设备 3010的图像元数据。图像元数据可以指示在相机3014的视场中存在用户还是 不存在用户，以及用户与显示设备3010接合还是从显示设备3010脱离。
320.示例基于视觉的分析器ic 3020可被实现为与soc 3002分离的 管芯，并且具体被设计成用于针对“常开”实现方式以相对较低的功率(例如， 大约10mw)执行此种基于视觉的分析。基于视觉的分析器ic 3020是基于视 觉的分析器2540a、2540b、2540c的示例实现方式，并且可被实现在显示设 备3010中。基于视觉的分析器ic 3020可被配置为如本文中所公开的机盖控 制器中枢(lch)(例如，lch 155、260、305、954、1705、1860、2830a、 2830b)或其部分。在对图像传感器数据进行分析并响应于该分析而生成图像 元数据之后，视觉/成像模块3026可(例如，经由i2c串行总线)将图像元数 据传送至soc 3002的集成传感器中枢(ish)3006以供进一步处理。在一种优 化方式中，图像元数据可被存储在数据库3040中，以用于与针对由相机3014 捕捉到的新的图像传感器数据生成的后续图像元数据进行比较。在此种优化方 式中，响应于基于新生成的图像元数据与数据库3040中所存储的先前生成的 图像元数据的比较确定了事件已经发生，图像元数据仅被传送至soc。
321.当ish 3006接收到来自显示设备3010的基于视觉的分析器ic3020的图像元数据时，ish可使用该图像元数据来标识用于soc 3002的适当 的操作模式、与接收到的图像元数据相关联的显示设备、以及操作地耦合至 soc 3002的其他显示设备，并且相应地调整对应的性能参数。操作模式的示例 可包括但不必限于以下各项中的一项或多项：1)存在且接合，2)存在且被动 地接合，3)存在且脱离，4)不存在。
322.如所图示的示例中所示，基于视觉的分析器ic 3020通信地耦 合在相机3014与soc 3002之间，以使得视觉/成像模块3026能够执行对图像 数据的初始低功率分析。然而，当用户103发起涉及使用相机3014的操作(例 如，用于视频会议呼叫)时，示例选择器3024可直接将图像数据转发至soc3002的图像处理单元3008并绕过视觉/成像模块3026。
323.在一些示例中，基于视觉的分析器ic 3020包括安全模块3022， 以维护基于视觉的分析器ic 3020的安全和/或完整性。安全模块3022可以给 予终端用户对面向用户的相机3014的完全可见性和控制。在一些实现方式中， 安全模块3022经由i/o接口3004与soc 3002进行通信。然而，安全模块3022 确保表示在相机3014的成像视场中捕捉到的内容的图像传感器数据在没有授 权的情况下不暴露于soc 3002。例如，用户可以具有对视频呼叫的视频帧进行 授权的选项。另外，安全模块3022确保图像传感器数据在用户不了解(例如， 经由强化的指示器和控件3012)或不受用户控制(例如，经由隐私开关)的情 况下无法由潜在的恶意软件访问。具体而言，强化的指示器和控件3012可以 确保选择器3024的当前状态(例如，正常、ulp视觉或隐私模式)恰当地由 指示器反映。除了接收图像传感器数据之外，基于视觉的分析器ic 3020还可 接收针对强化的指示器和控件3012的输入并经由通用输入/输出(gpio)向 led提供适当的信号。
324.图31是图示出基于视觉的分析器ic 3020的视觉/成像模块3026 和soc 3002的集
成传感器中枢(ish)3006的附加可能细节的框图。视觉/成 像模块3026可以包括nna 3030、数据库3040以及图像处理算法3039。ish 3006可以包括显示管理策略3001、性能控制器3003、操作模式选择器3005、 以及操作模式定义/规则3007。
325.nna 3030可实现被调谐成用于人类面部、头部/面部取向和多 面部检测的一种或多种深度神经网络(dnn)，诸如卷积神经网络(cnn)。 在至少一个实施例中，神经网络可以使用被训练成用于识别人类面部和面部的 取向的机器学习模型来实现。在至少一个示例中，机器学习模型被训练成用于 以旋转度数来标识用户面部的取向。在至少一个实施例中，旋转度数可从用户 面部与其中嵌入或耦合有相机的显示设备之间的路径来测量。机器学习引擎 3050可以使用训练图像数据3052来训练机器学习模型。示例训练图像数据 3052可以包括针对特定的一个或多个用户和/或多个其他人类主体的历史图像 数据。机器学习引擎3050可以在与使用这些模型的基于视觉的分析器ic相关 联的计算设备(例如，2505)中运行，在本地或远程服务器中运行，在云中运 行，或者在可以从其向适当的基于视觉的分析器ic(诸如，基于视觉的分析器 ic 3020)提供经训练的模型或者可以由适当的基于视觉的分析器ic从其访问 经训练的模型的任何其他合适的系统或设备中运行。
326.训练图像数据3052可被存储在任何合适的存储单元或存储器 中。在一些示例中，训练图像数据3052可被存储在与机器学习引擎3050被存 储在其中和/或在其中运行的同一系统或设备中。在其他示例中，训练图像数据 3052可被存储在机器学习引擎3050被存储在其中和/或在其中运行的系统或设 备的外部，但是可以在对于机器学习引擎3050而言可访问的位置。
327.经训练的模型可被存储在数据库3040中，以由nna 3030用来 检测一个用户面部(或多个面部)并且用来确定人类面部的取向。例如，(多 个)面部检测模型3044和(多个)面部取向模型3046可被存储在数据库3040 中。
328.在一个或多个示例中，nna 3030可以包括人类面部检测器3034、 面部取向检测器3036、以及多面部检测器3038。人类面部检测器3034可使用 (多个)面部检测模型3044从由面向用户的相机3014从其唯一的成像fov生 成的图像传感器数据标识人类面部，面向用户的相机3014的唯一的成像fov 在基于视觉的分析器ic 3020被设置在其中的显示器的前部周围。在图像传感 器数据中检测到人类面部是在成像fov中存在用户的指示。在图像传感器数 据中未检测到人类面部是在成像fov中不存在用户(或者用户缺席)的指示。 人类面部检测器3034还可生成可以用来确定检测到的用户的面部距生成图像 传感器数据的相机的距离的信息。在一个示例中，人类面部检测器3034的神 经网络可被训练成用于预测人类头部的边界框，作为检测人类面部的部分。一 旦已经确定边界框并且已识别出人类面部，就可以基于边界框的尺寸来确定用 户(例如，用户的面部)到相机的距离。在一些实现方式中，此种确定可由nna 3030来进行。在其他实现方式中，可将边界框信息提供至图像处理算法3039， 以确定检测到的人类面部距与显示设备相关联的相机的距离。
329.如果人类面部被检测到，则面部取向检测器3036可使用(多个) 面部取向模型3046来确定面部的取向。在一个示例中，面部的取向可采用相 对于面向用户的相机3014与检测到的人类面部之间的路径的度数来提供。可 基于对图像传感器数据中面部特征(例如，可见的耳朵的数量、可见的眼睛的 数量)的标识来确定面部取向。面部取向可以用于推断用户与同生成图像传感 器数据的相机相关联的特定显示设备接合还是脱离。在本文中
先前描述的一个 示例中，如果用户的面部取向在第一级区域内，则可推断用户与同相机3014相 关联的显示设备接合。如果用户的面部取向在第二级区域内，则可推断用户不 与同相机3014相关联的显示设备接合但与对接至或以其他方式连接至同一计 算设备的另一显示设备接合。如果用户的面部取向在第三级区域内，则可推断 用户既不与同相机3014相关联的显示设备接合也不与对接至或以其他方式连 接至同一计算设备的任何其他显示设备接合。在一些实现方式中，这些推断可 由nna 3030来确定。在其他实现方式中，这些推断可由图像处理算法3039来 确定。
330.在一个或多个实施例中，nna 3030还可包括多面部检测器3038， 以在由面向用户的相机3014从其唯一的成像fov生成的图像传感器数据内检 测多个面部。在至少一个实施例中，(多个)面部检测模型3044可被训练成用 于在单个图像的图像传感器数据中检测多个人类面部。在其他实施例中，(多 个)面部检测模型3044可被训练成用于检测单个用户面部，并且另一模型可 被训练用于多面部检测。在至少一个实施例中，当检测到多个人类面部时，可 分析每个检测到的面部，以确定面部取向并推断与检测到的面部相关联的用户 是否接合在显示设备中。调暗和/或关闭与相机3014相关联的显示设备的显示 面板可仅在检测到的人类面部被确定为与显示设备脱离的情况下进行。
331.可将图像处理算法3039设置在视觉成像模块3026中作为nna 3030的部分，或者可以单独地实现图像处理算法3039。图像处理算法3039可 采用电路系统来实现，并且可包括硬件、固件、软件或其任何合适的组合。图 像处理算法3039可使用由人类面部检测器3034、面部取向检测器3036、以及 多面部检测器3038基于图像传感器数据的当前帧生成的信息来生成针对由相 机3014捕捉到的图像的新的图像元数据。新的图像元数据可以指示在表示捕 捉到的图像的当前图像传感器数据中是否存在用户、不存在用户、用户接合或 用户不接合。一旦已经生成新的图像元数据，图像处理算法3039就可将新的 图像元数据与数据库3040中所存储的先前的图像元数据3042进行比较，以确 定在两个图像元数据二进制(或文件)之间的任何改变是否指示与用户的存在、 不存在、与同相机3014相关联的显示设备接合或脱离有关的事件已经发生。 先前的图像元数据3042可以表示基于由视觉/成像模块3026在紧接在接收到 从其生成新的图像元数据的图像传感器数据的帧之前接收到的图像传感器数 据的帧生成的图像元数据。
332.如果基于比较确定事件已经发生，则视觉/成像模块3026可以 将新的图像元数据的副本存储在数据库3040中作为先前图像元数据3042，并 将该新的图像元数据发送至ish 3006。在至少一个实施例中，如果基于比较确 定事件尚未发生，则可以不将新的图像元数据发送至ish 3006以便节省处理 资源。然而，新的图像元数据仍可作为先前的图像元数据3042被存储在数据 库3040中。
333.在一个或多个实施例中，soc 3002的ish 3006被配置成用于接 收来自视觉/成像模块3026的图像元数据，基于图像元数据来应用适当的策略， 为与接收到的图像元数据相关联的显示设备以及(可能地)该显示设备对接至 或以其他方式连接至的计算设备选择适当的操作模式，并且(如果需要)基于 所选择的操作模式来调整性能参数。
334.操作模式定义/规则3007可包括可基于针对每个显示设备(例 如，2510、2520、2530)生成的图像元数据而被单独地应用于每个显示设备的 各种操作模式。基于针对接收到的元数据的图像元数据和可适用的策略，可以 选择适当的操作模式并将其应用于与接
收到的图像元数据相关联的显示设备。 在一个示例中，可应用于特定显示设备的操作模式可以包括但不必限于：
335.接合操作模式——图像元数据指示存在用户并且用户是接合的 ——检测到用户，并且目光方向相对于显示设备处于第一级区域中(例如，用 户可能正在阅读或观看显示设备上的视频)；
336.自适应调暗操作模式(规律的或激进的)——图像元数据指示 存在用户并且用户是脱离的——检测到用户但用户不与显示设备接合(但是可 能与计算系统中的另一显示设备接合)；以及
337.缺席操作模式——图像元数据指示不存在用户或用户面部不可 检测——未检测到用户面部。
338.应当注意，也可以使用其他操作模式，诸如用于soc或计算设 备的其他处理元件的操作模式。这些其他操作模式可与本文中所描述的用于显 示设备的操作模式结合使用。
339.在一个或多个实施例中，性能控制器3003可控制支配计算设备 2505以及对接或以其他方式连接至该计算设备的多个显示设备2510、2520和 2530的功耗、性能和/或系统响应性的性能参数。可响应于确定了用户的存在 和/或用户与计算系统2500中的一个或多个显示设备2510、2520、2530的接合 而调整性能参数。例如，性能控制器3003可在系统中的显示设备中的一个显 示设备检测到逐渐接近的用户时控制性能参数唤醒该系统，并且可触发基于面 部的认证。在另一实例中，如果用户被确定为不与特定的显示设备接合，则性 能控制器3003可控制性能参数以调暗用于该特定显示设备的背光。可基于用 户在其间不与显示设备接合的预定时间段来渐进式地调暗背光(例如，降低背 光的亮度)。在另一实例中，在确定了用户已经从计算设备中的多个显示器处 走开时，性能控制器3003可控制性能参数以迅速锁定该计算系统。在又一示 例中，如果计算系统的显示设备中的至少一个显示设备检测到用户存在并且是 接合的，则即使用户不是正在与用户接口(诸如键盘、鼠标、触摸板等)进行 交互，性能控制器3003也可控制性能参数以覆写soc对锁定系统的任何尝试。
340.可由soc 3002基于从视觉/成像模块3026接收到的图像元数据 来实现各种显示管理策略3001。示例显示管理策略3001可包括但不必限于面 部唤醒策略、自适应调暗策略、存在即不锁定策略、以及缺席即锁定策略。在 多显示器计算系统中，当用户逐渐接近计算系统并进入与每个显示设备相关联 的相机中的一个或多个相机的视场时，面部唤醒策略可被调用。当面部唤醒策 略被调用时，计算系统唤醒，并且基于面部的认证(例如，windows 认 证软件)被触发。由此，计算设备在用户就座于显示设备中的任何显示设备前 方或者(例如，经由用户接口机制、语音)与计算系统进行交互之前准备就绪。 对于多显示器计算系统，用户首先与其接合(例如，通过将她的注意力指向该 显示设备)的显示设备触发计算系统唤醒。多显示器计算系统中的其他显示设 备保持关闭，直到用户已成功登入计算系统。面部唤醒多显示器策略覆盖在其 中用户在逐渐接近并看着计算系统的更大的占地面积。由于每个显示设备具有 相关联的相机，这些相机具有不同的成像视场，因此多显示器计算系统周围的、 可以在其中感测移动和光并且可以从其捕捉图像的区域相对于单显示器计算 系统被扩大。尤其对于可能从不同方向进入工作空间的用户而言，这创建了更 加稳健的解决方案。
341.在一个或多个实施例中，可在多显示器计算系统中调用自适应 调暗策略，以在用
户不专注时的所定义的时间段内渐进式地调暗显示面板的背 光，并且在不再存在用户时进一步关闭显示设备。当调用自适应调暗策略时， 可为特定的显示设备选择规律的或激进的调暗操作模式。通过实现此种策略可 以实现显著的电池寿命增益。对于在其中实现基于视觉的分析器ic的每个显 示设备，可以逐显示设备地优化功率节省和响应性。例如，当用户是接合的并 且正在看着处于该用户正前方的第一显示设备时，策略可以被调谐为调暗用户 不是正在看着的任何其他显示器上的显示。在一个实现方式中，自适应调暗策 略可以包括在一时间段内渐进式地调暗用户已经从其脱离的显示面板，并且关 闭用户的面部从其转离(例如，在任一方向上面部取向》90
°
)的显示面板。可 将此种策略应用于具有集成的或插件式基于视觉的分析器ic 3020(或lch 155、260、305、954、1705、1860、2830a、2830b等)的任何数量的附加外部 显示设备。连同调暗和关闭显示设备的显示面板一起，还可以管理刷新率。例 如，对于用户从其脱离的任何显示面板，可以降低其刷新率。由此，soc 3002 可以应用自适应调暗策略来降低刷新率并减少渲染从而优化性能。
342.在一个或多个实施例中，即使用户并不是在活跃地键入或移动 鼠标或者用户是脱离的，也可在多显示器计算系统中调用存在即不锁定策略， 以在用户存在时防止计算系统锁定并且防止显示设备关闭。当调用存在即不锁 定策略时，如果用户仍然是接合的，则可为特定的显示设备选择接合操作模式 (或不改变该接合操作模式)。此种场景可例如在用户正在阅读长文档或观看 嵌入式视频时发生。如果用户是脱离的，则可为特定的显示器选择脱离操作模 式(或者不改变该脱离操作模式)，但是可调用存在即不锁定策略以防止计算 系统锁定并防止背光完全关闭。由此，在多显示器计算系统的至少一个实施例 中，如果来自至少一个显示设备的图像元数据指示存在用户并且用户是接合的 (例如，在任一方向上面部取向在≤45
°
之间)或脱离的(例如，在任一方向上 面部取向》45
°
但≤90
°
)，则计算系统将不锁定。
343.在一个或多个实施例中，可在多显示器计算系统中调用缺席即 锁定策略以在用户走开时而不是等待不活动超时期满而迅速关闭显示设备并 锁定计算系统。当调用缺席即锁定策略时，可为每个特定的显示设备选择缺席 操作模式。不活动超时通常约为五分钟，并且可基于缺少用户与计算设备的交 互(例如，经由诸如鼠标、触摸板之类的用户接口)来执行。当某些应用正在 运行(例如，嵌入式视频)时，不活动超时可以根本不发生。在一个或多个实 施例中，多显示器计算系统可被配置成用于在所有的显示设备均指示不存在用 户(例如，没有用户存在或在任一方向上面部取向》90
°
)时锁定计算系统并关 闭所有的显示设备。
344.用于多显示器计算系统的显示管理的实施例提供增强的用户体 验。凭借来自附加的用户存在输入的更好的准确性，实施例允许在用户逐渐接 近其系统时很快且更无缝地进行检测，因为可以检测逐渐接近第一显示器可以 唤醒系统。另外，在多个输入中存在更高的准确性。自适应调暗提供显著的能 量和功率节省，以关闭用户不与其接合的膝上型计算机显示器或附加的外部显 示器。此种节省可以约为29-100w。此种显著的能量节省还可以应用于无线显 示场景。
345.由于多显示器计算系统的显示管理的实施例允许通过在用户从 附加的外部监视器脱离时不必驱动那些外部监视器来降低刷新率和渲染，因此 可以优化性能。典型地，高分辨率显示转化为高成本，包括关于进行处理和渲 染的gpu开销的渲染负担、关于图形和
显示引擎组合和传送数据的显示负担、 以及cpu预算对受热约束的形状因子的影响。利用电池寿命测量工具进行的 分析已指示当附接至外部的4k显示器时≥50％的性能损失。
346.不必不必要地驱动附加显示设备可以显著降低渲染和刷新率。 通过在用户脱离或不存在时伺机降低刷新率和显示器渲染，显示器功率和能量 可以满足(并且甚至超过)某些州认证(例如，加利福尼亚能源委员会和能源 之星标准)。另外，连同针对某些特征(例如，面部唤醒、自适应调暗、存在 即不锁定、以及缺席即锁定)来优化用户体验一起，可以适当地处置与相关性 策略有关的问题。相关性策略可以包括：当存在与是否存在用户、用户是否是 接合的、用户是否是脱离的或是否不存在用户相关的用户输入事件(hid)时， 对于多显示器计算系统场景，实施例可以解决该问题以准确地指示是否存在用 户、用户是否是接合的、或者用户是否是脱离的/是否不存在用户而不必等待用 户输入事件。具体而言，实施例可以指示哪个显示器与有效地管理功率、能量 和性能不相关。
347.转向图32-图37，简化流程图表示可与可在其中实现基于用户 存在和注意力的显示管理的多显示器计算系统2500的实施例相关联的示例硬 件逻辑、机器可读指令、固件、软件或其任何合适的组合。在至少一个实施例 中，一组操作对应于在图32-37的流程图中示出的活动。在一个示例中，机盖 控制中枢(例如，155、260、305、954、1705、1860、2830a、2830b)或其部 分(例如，基于视觉的分析器集成电路(例如，2540a、2540b、2540c、3020)) 可利用或执行这些操作中的至少一些，并且soc(例如，140、240、340、914、 1840、2840a、2840b、2508、3002)可利用或执行这些操作中的至少一些。为 了易于说明起见，可参照图25和图30的组件来描述图32-图37的流程图，但 是应当领会并理解，已经贯穿本技术对这些组件进行了进一步的说明和描述， 并且那些说明和描述中的一项或多项可适用于参照图32-图37所引用的组件。
348.图32是根据至少一个实施例的、与在多显示器计算系统(例如， 2500)中检测用户存在相关联的示例过程3200的高级流程图。在至少一个实 施例中，一组操作与示例过程3200的活动相对应。在一个示例中，可由设置 在多显示器计算系统的显示设备(例如，241、341、2510、2530、3010)中的 视觉/成像模块(例如，172、263、363、1740、1863、2832a、2832b、3026) 以及与该显示设备相关联的相机(例如，2514、3014)来执行这些操作。更具 体地，神经网络加速器(例如，276、327、1740、1863、2834a、2834b、3030) 可执行这些操作中的一个或多个操作。
349.在3202处，可检测与显示设备3010相关联的相机3014的视场 (fov)内的移动。在一些实现方式中，检测移动可由与相机集成在一起或通 信地耦合至相机3014的成像传感器来执行。在3204处，相机在与该相机相关 联的fov中捕捉新的图像(或帧)。相机生成针对新图像(或帧)的图像传感 器数据，并且该图像传感器数据被提供至与显示设备3010相关联的基于视觉 的分析器ic 3020。更具体地，在至少一个实施例中，将图像传感器数据提供 至神经网络加速器3030，以执行用户存在检测、面部检测、面部取向检测、以 及(可能地)多面部检测。
350.在3205处，nna 3030可运行一种或多种机器学习算法来检测 (多个)人类面部，并且如果检测到人类面部，则检测(多个)人类面部的取 向。在3206处，视觉/成像模块3026可基于由nna 3030执行的面部检测、用 户存在检查和头部取向检测来生成新的图像元数据。新的图像元数据可包括例 如从由相机3014在显示设备3010的前方捕捉到的新图像得到的
用户存在还是 缺席的指示。可基于面部检测来确定用户的存在。如果检测到人类面部，则存 在用户。如果用户被确定为存在，随后确定头部取向，则新的图像元数据还可 包括对用户与同相机相关联的显示设备3010接合还是与显示设备3010脱离(例如，被动地接合)的指示。
351.在3208处，可将新的图像元数据与先前的图像元数据进行比较， 以确定自与先前的图像元数据相关联的先前图像被捕捉起是否发生任何用户 事件。为了确定是否发生用户事件，可以将基于由相机3014捕捉到的新图像 的图像传感器数据生成的新的图像元数据与先前基于在新的图像被捕捉之前 捕捉到的图像的图像传感器数据生成的所存储的先前图像元数据进行比较。由 此，将新的图像元数据与先前的图像元数据进行比较，以标识差别并确定那些 差别是否对应于用户事件。当与先前的图像数据进行比较在新的图像元数据中 检测到用户存在的改变时，可能发生用户事件。例如，在先前图像中可能不存 在用户但在新图像中可能存在用户，或者在先前图像中存在用户但在新图像中 可能不存在用户。可能发生的另一用户事件是当用户的面部取向改变时。在此 种场景中，在先前图像中将已经检测到人类面部，并且可能已经标识面部的取 向。如果新的图像元数据指示检测到的用户的面部取向与先前的图像元数据中 指示的面部取向不同，则用户事件已经发生。例如，先前的图像元数据可能指 示用户不与显示设备接合(这基于面部取向来确定)并且新的图像元数据可能 指示用户与显示设备接合(这基于面部取向来确定)，或者反之亦然。
352.在3210处，基于在3208中执行的比较作出是否已经发生用户 事件的判定。如果尚未发生用户事件(例如，先前的图像元数据与新的图像元 数据相同)，则在3212处，作为优化，可以不向soc 3002发送新的图像元数 据。如果基于3208中执行的比较而确定已经发生用户事件，则将新的图像元 数据发送至soc 3002，以确定用于显示设备(以及可能地，显示设备连接到的 计算设备)的操作模式。在3216处，可将新的图像元数据存储为先前的图像 元数据，以供对照要针对显示设备生成的下一新图像元数据进行比较。
353.图33是根据至少一个实施例的、与在多显示器计算系统(例如， 2500)中处理新的图像传感器数据以检测用户存在、(多个)用户面部、以及 头部/面部取向相关联的示例过程3300的高级流程图。示例过程3300可提供 与图32中的过程3200的一个或多个操作(例如，3205、3206)相关联的附加 细节。在至少一个实施例中，一组操作与示例过程3300的活动相对应。在一 个示例中，这些操作中的至少一些可由神经网络加速器(例如，276、327、1740、1863、2834a、2834b、3030)执行并且可能由基于视觉的分析器ic(例如， 2540a、2540b、2540c、3020)的视觉/成像模块(例如，172、263、363、1740、 1863、2832a、2832b、3026)中的图像处理算法3039来执行。
354.在3302处，nna 3030可以对由与显示设备3010相关联的相机 3014捕捉到的新图像的图像传感器数据运行一种或多种机器学习算法。一种示 例机器学习算法可以是被训练成用于检测人类面部的神经网络模型，并且此种 机器学习算法当被执行时可以检测在图像传感器数据中是否存在人类面部。在 3304处，作出关于用于面部检测的神经网络模型是否在图像传感器数据中检测 到人类面部的判定。如果未检测到人类面部，则在3306处，生成指示不存在 用户的新的图像元数据。新的图像元数据还可指示没有用户与显示设备3010 接合。
355.如果在3304处确定了由用于面部检测的神经网络模型在图像 传感器数据中检测
到人类面部，则在3308处，可运行另一机器学习算法来确 定检测到的人类面部的头部/面部取向。一种示例机器学习算法可以是被训练成 用于检测人类面部的取向(例如，按度数)的神经网络模型，并且此种机器学 习算法在被执行时可以检测在图像传感器数据中的检测到的人类面部的取向。 在至少一个实施例中，可以按相对于用户的面部与显示设备之间的直接显示路 径的旋转度数来确定面部取向。直接显示路径可以被计算为从检测到的面部到 显示设备的显示面板的中央、到捕捉图像的相机、或到与显示设备相关联的任 何其他合适的点。
356.在3310处，可以评估用户的面部取向，以确定其是否在针对推 断出与显示设备3010的接合的最大旋转角度内。在一个示例中，最大旋转角 度是用户的面部相对于用户的面部与显示设备3010(例如，显示设备的显示面 板的中央处、相机处、或显示设备上任何其他合适的位置)之间的直接显示路 径在任一方向上的第一级最大旋转角度(例如，24
°
)。
357.在3312处，如果用户的面部取向被确定为处于第一级最大旋转 角度(例如，24
°
)内，则可以作出用户与显示设备3010的显示面板接合(例 如，用户可能正在阅读或查看显示面板上的某物)的推断。在此种场景中，在 3316处，生成指示存在用户并且用户与显示设备3010接合的新的图像元数据。
358.如果用户的面部取向被确定为大于第一级最大旋转角度但不大 于第二级最大旋转角度(例如，90
°
)，则可以推断用户从显示设备3010的显 示面板脱离，但可能与显示设备3010对接或以其他方式连接到的计算系统中 的另一显示面板接合。在此种场景中，在3314处，生成指示存在用户但用户 并未与显示设备3010接合(即，与显示设备3010脱离)的新的图像元数据。
359.应当注意，如果用户的面部取向大于第二级最大旋转角度或者 以其他方式不可检测，则如在3406处所评估，用户可被确定为不存在。
360.应当注意，在另一实施例中，可以由soc(例如，3002)作出关 于用户的面部取向是否处于特定的阈值旋转级别内的判定，以推断接合或脱离。 在该实施例中，元数据可以包括对所确定的面部取向的指示，并且该信息可以 由soc用来确定用户是接合的还是从显示设备脱离。
361.图34是与处理由多显示器计算系统(例如，2500)中的显示设 备(例如，3010)的基于视觉的分析器ic(例如，3020)生成的新的图像元数 据相关联的示例过程3400的高级流程图。在至少一个实施例中，一组操作和/ 或指令与示例过程3400的、用于在计算系统被锁定时(例如，在缺席操作模 式下)接收由计算系统中的基于视觉的分析器ic(或lch)生成的新的图像 元数据并在可适用的情况下应用面部唤醒策略的活动相对应。在一个示例中， 这些操作中的至少一些可由多显示器计算系统(例如，2500)的soc(例如， 140、240、340、914、1840、2840a、2840b、4140、3002、2508)执行。在更 具体的示例中，过程3400的一个或多个操作可由soc的集成传感器中枢(例 如，242、342、1790、1842、3006)执行。
362.在3402处，当显示设备被关闭(例如，不向显示面板提供背光) 并且计算系统被锁定时，由多显示器计算系统的soc 3002从显示设备3010的 基于视觉的分析器ic 3020接收新的图像元数据。在至少一个实施例中，当为 所有的计算设备选择缺席操作模式时，计算系统可被锁定。
363.在3404处，作出关于新的图像元数据是否指示存在用户的判定。 如果机器学习算
法(例如，nna 3030)在由相机3014捕捉到的新图像的图像 传感器数据中检测到人类面部，则在元数据中可将用户指示为存在。如果新的 图像元数据不指示存在用户，则显示设备3010保持被关闭并且计算设备保持 被锁定。
364.如果新的图像元数据指示用户存在，则在3406处，作出关于新 的图像元数据是否指示用户与显示设备接合的判定。如果确定了用户的面部取 向(例如，相对于到显示设备的直接显示路径)在任一方向上不大于第一级最 大旋转角度，则新的图像元数据可指示用户与显示设备接合。如果新的图像元 数据不指示用户与显示设备接合，则显示设备3010保持被关闭并且计算设备 保持被锁定。然而，用户可能与多显示器计算系统中的另一显示设备接合，并 且如果如此，则从该另一显示设备接收到的新的图像元数据(其将指示存在用 户并且用户与该显示设备接合)可使得soc触发认证机制。
365.在3406处，如果新的图像元数据指示用户与显示设备接合，则 在3408处，可以作出关于多显示器计算系统中的另一显示设备是否已经使得 认证机制被soc 3002触发的判定。如果是，则显示设备3010保持被关闭，直 到用户通过该另一显示设备被认证。
366.如果在3408处确定了在多显示器计算系统中没有其他显示设 备已经使得认证机制被soc 3002触发，则在3410处，可以调用面部唤醒策略， 并且soc可以在显示设备3010上触发认证机制。多显示器计算系统中的其他 显示设备可以保持被关闭，直到用户经由显示设备3010被认证。
367.图35图示出与处理由多显示器计算系统(例如，2500)中的显 示设备(例如，3010)的基于视觉的分析器ic(例如，3020)生成的新的图像 元数据相关联的示例过程3500的高级流程图。在至少一个实施例中，一组操 作与示例过程3500的、用于在显示设备处于接合操作模式(例如，显示设备 的显示面板具有默认亮度)时接收新的图像元数据并且如果可适用则调用调暗 策略或缺席即锁定策略的活动相对应。在一个示例中，这些操作中的至少一些 可由多显示器计算系统(例如，2500)的soc(例如，140、240、340、914、 1840、2840a、2840b、4140、3002、2508)执行。在更具体的示例中，过程3500 的一个或多个操作可由soc的集成传感器中枢(例如，242、342、1790、1842、 3006)执行。
368.在3502处，当显示设备处于接合操作模式(例如，显示设备的 显示面板具有默认亮度)时，由多显示器计算系统的soc 3002从显示设备3010 中的基于视觉的分析器ic 3020接收新的图像元数据。
369.在3504处，作出关于新的图像元数据是否指示存在用户的判定。 如果新的图像元数据指示存在用户，则在3506处，作出关于新的图像元数据 是否指示用户与显示设备接合的判定。如果用户与显示设备接合，则用户的面 部取向可在第一级区域中(例如，在任一方向上，不大于第一级最大旋转角度)。 如果新的图像元数据指示用户与显示设备接合，则如3508处所指示，显示设 备保持处于接合操作模式(例如，全显示亮度或默认显示亮度)。
370.如果在3506处作出新的图像元数据不指示用户与显示设备 3010接合的判定，则在3510处，作出关于新的图像元数据是否指示用户与显 示设备脱离(但仍存在用户)的判定。如果确定了用户是脱离的(但仍存在用 户)，则在3514处，可调用自适应调暗策略并且可以为显示设备3010选择规 律调暗操作模式。在一个示例中，规律调暗操作模式可以将显示设备3010的 显示面板的背光降低预定的亮度百分比，直到达到预定的最小亮度水平。例如， 可在五秒钟已经过去之后将显示面板的亮度降低百分之五(5％)，并且随后每 秒钟降
低百分之五(5％)，直到达到百分之二十(20％)。显示面板可保持在 百分之二十(20％)的亮度，直到发生用户事件。
371.如果在3510处作出新的图像元数据指示存在用户但用户不是 接合的或者是脱离的判定，则用户的面部取向可以在第三级区域中(例如，在 任一方向上大于第二级最大旋转角度)。由此，用户的面部可能是不可检测的。 在此种场景中，不同的方式可能是不同用户的所期望的。最初，在3512处，可 调用激进调暗策略，并且可以为显示设备3010选择激进调暗操作模式。在一 个可能的实现方式(或系统/用户配置)中，激进调暗操作模式可将显示设备 3010的显示面板的背光降低预定的亮度百分比，直到背光被关闭。例如，可在 五秒钟已经过去之后将显示面板的亮度降低百分之二十(20％)，并且随后每 秒钟降低百分之一(1％)，直到达到百分之零(0％)，并且背光可以被关闭。 在另一个可能的实现方式(或系统/用户配置)中，激进调暗操作模式可将显示 设备3010的显示面板的背光降低预定的亮度百分比，直到背光被降低至预定 的最小亮度水平。在其中背光最终被关闭的实现方式中，可调用存在即不锁定 策略(如将在本文中进一步所描述)来防止在用户仍然存在时(即使用户的面 部不可检测)计算系统被锁定。然而，在其他实现方式中，系统可被配置成用 于如果用户的面部未被检测到(例如，当用户的面部取向在第三级区域中时) 则在背光被关闭之后锁定。
372.再次参考3504，如果新的图像元数据不指示存在用户，则在3520 处，可作出关于是否应当调用缺席即锁定策略的评估。在3520处，作出关于 从多显示器计算系统中的其他显示设备中的每一者接收到的上一图像元数据 是否指示不存在用户的判定。如果是，则在3522处，可调用缺席即锁定策略， 并且可为显示设备3010选择缺席操作模式。当选择缺席操作模式时，关闭显 示设备并且不提供背光。当为显示设备3010选择缺席操作模式并且所有的其 他显示设备已经处于缺席操作模式(或处于激进调暗操作模式)时，随后计算 设备的soc锁定并且用户必须再次被认证来进行解锁并使用计算系统。
373.如果在3520处确定了来自计算系统中的其他显示设备中的至 少一者的上一图像元数据指示存在用户，则在3524处可调用激进自适应调暗 策略，并且可以如先前所描述地为显示设备3010选择激进调暗操作模式。
374.图36是与处理由多显示器计算系统(例如，2500)中的显示设 备(例如，3010)的基于视觉的分析器ic(例如，3020)生成的新的图像元数 据相关联的示例过程3600的高级流程图。在至少一个实施例中，一组操作与 示例过程3600的、用于在显示设备处于规律或激进调暗操作模式时接收新的 图像元数据的活动相对应。在一个示例中，这些操作中的至少一些可由多显示 器计算系统(例如，2500)的soc(例如，140、240、340、914、1840、2840a、 2840b、4140、3002、2508)执行。在更具体的示例中，过程3600的一个或多 个操作可由soc的集成传感器中枢(例如，242、342、1790、1842、3006)执 行。
375.在3602处，当显示设备处于调暗操作模式时，由多显示器计算 系统的soc 3002从显示设备3010中的基于视觉的分析器ic 3020接收新的图 像元数据。
376.在3604处，作出关于新的图像元数据是否指示存在用户的判定。 如果新的图像元数据指示存在用户，则在3606处，作出关于新的图像元数据 是否指示用户与显示设备接合的判定。如果新的图像元数据指示用户与显示设 备接合，则在3608处，将用于显示设备的调暗操作模式改变为接合操作模式。 由此，可将显示设备3010的显示面板的亮度提高至全
显示亮度或默认显示亮 度。
377.如果在3606处作出新的图像元数据不指示用户与显示设备 3010接合的判定，则在3610处，作出关于新的图像元数据是否指示用户与显 示设备脱离的判定。如果新的图像元数据指示用户是脱离的(但存在用户)， 则用户的面部取向可处于第二级区域中(例如，在任一方向上，大于第一级最 大旋转角度但不大于第二级最大旋转角度)。在此种场景中，在3614处，如本 文中先前所描述，显示设备保持处于自适应调暗操作模式。
378.如果在3610处作出新的图像元数据指示用户不脱离(但仍存在 用户)的判定，则用户的面部取向可以在第三级区域中(例如，在任一方向上 大于第二级最大旋转角度)。由此，用户的面部可能不是可检测的。在此种场 景中，在3612处，如本文中先前所描述，如果显示设备当前处于规律自适应 调暗操作模式，则可以为显示设备3010选择激进自适应调暗操作模式。否则， 如果已经为显示设备3010选择激进自适应调暗操作模式，则该激进自适应调 暗操作模式保持被选择。
379.再次参考3604，如果新的图像元数据不指示存在用户，则如(a) 所指示，过程可流向图35的过程3500，以评估是否应当调用缺席即锁定策略， 如本文中先前所描述。
380.图37是与用于多显示器计算系统(例如2500)的显示设备(例 如3010)的不活动超时过程相关联的示例过程3700的高级流程图。在至少一 个实施例中，一组操作和/或指令与示例过程3700的、用于评估由显示设备的 基于视觉的分析器ic(或lch)生成的图像元数据并在可适用的情况下应用 存在即不锁定策略的活动相对应。在一个示例中，这些操作中的至少一些可由 多显示器计算系统(例如，2500)的soc(例如，140、240、340、914、1840、 2840a、2840b、4140、3002、2508)执行。在更具体的示例中，过程3700的 一个或多个操作可由soc的集成传感器中枢(例如，242、342、1790、1842、 3006)执行。
381.在3702处，用于显示设备3010的显示器锁定定时器期满。在3704处，访问来自显示设备的上一图像元数据。在一个或多个实施例中，多显 示器计算系统中的每个显示设备的上一图像元数据可被存储在任何合适的存 储器或存储单元中，直到更新版本的图像数据被接收并代替当前所存储的图像 元数据。
382.在3706处，作出关于来自显示设备3010的上一图像元数据是 否指示存在用户的判定。如果在3706处确定了显示设备3010的上一图像元数 据指示存在用户，则在3710处，作出关于来自显示设备3010的上一图像元数 据是否指示用户是接合的或脱离的判定。例如，如果新的图像元数据指示用户 是脱离的(但存在用户)，则用户的面部取向可处于第二级区域中(例如，在 任一方向上，大于第一级最大旋转角度但不大于第二级最大旋转角度)。替代 地，如果上一图像元数据指示用户与显示设备接合，则用户的面部取向可处于 第一级区域中(例如，在任一方向上，不大于第一级最大旋转角度)。在这些 场景中的任一场景中，仍然存在用户，并且在3712处，可调用存在即不锁定 策略，并且不活动监视器可被覆写以防止显示设备3010被锁定。替代地，显 示设备3010保持处于当前被选择的无论何种模式(例如，接合操作模式、自 适应调暗操作模式)。
383.如果在3706处确定了显示设备3010的上一图像元数据指示不 存在用户，或者如果在3710处确定了来自显示设备3010的上一图像元数据指 示用户不与显示设备接合并且不与显示设备脱离(即，存在用户但面部是不可 检测的)，则在3708处，可为显示设备选择缺席操作模式并且显示设备可被 关闭(例如，背光被关闭)，并且计算设备可被锁定。另外，
可重置用于显示 设备3010的锁定定时器。
384.以下示例涉及根据本说明书的实施例。示例da1提供一种计算 系统，该计算系统包括：第一电路系统，该第一电路系统处于第一显示器中并 通信地耦合至第一相机，该第一电路系统用于基于由第一相机捕捉到的第一图 像传感器数据来生成第一图像元数据；第二电路系统，该第二电路系统处于第 二显示设备中并通信地耦合至第二相机，该第二电路系统用于基于由第二相机 从该第二相机的第二视场捕捉到的第二图像传感器数据来生成第二图像元数 据，其中第一视场与第二视场部分地重叠；以及处理器，该处理器操作地耦合 至第一显示设备和第二显示设备，其中，该处理器用于：基于第一图像元数据 选择用于第一显示设备的第一操作模式；以及基于第二图像元数据选择用于第 二显示设备的第二操作模式。
385.示例da2包括如示例da1所述的主题，并且计算系统进一步 包括处于第三显示设备中的第三电路系统，该第三电路系统耦合至第三相机并 且耦合至处理器，该第三电路系统基于由第三相机从第三视场捕捉到的第三图 像传感器数据来生成第三图像元数据，其中处理器用于：接收来自第三显示设 备的第三图像元数据；以及基于该第三图像元数据选择用于第三显示设备的第 三操作模式。
386.示例da3包括如示例da1-da2中任一项所述的主题，其中， 第一电路系统进一步被配置成用于：在第一图像传感器数据中检测用户的面部； 基于在第一图像传感器数据中检测到用户的面部而确定在第一相机的第一视 场中存在用户；基于第一图像传感器数据，确定用户的面部的第一取向；以及 至少部分地基于用户的面部的第一取向来确定用户与第一显示设备接合还是 脱离。
387.示例da4包括如示例da3所述的主题，并且基于确定了用户 的面部相对于用户的面部与第一显示设备之间的第一路径在任一方向上不被 旋转大于第一最大旋转角度而将该用户确定为与第一显示设备接合。
388.示例da5包括如示例da3-da4中任一项所述的主题，并且基 于确定了用户与第一显示设备接合，第一图像元数据用于指示用户与第一显示 设备接合。
389.示例da6包括如示例da3-da5中任一项所述的主题，其中， 第二电路系统被配置成用于：在第二图像传感器数据中检测用户的面部；基于 在第二图像传感器数据中检测到用户的面部而确定在第二相机的第二视场中 存在用户；基于第二图像传感器数据，确定用户的面部的第二取向；以及至少 部分地基于用户的面部的第二取向来确定用户与第二显示设备接合还是脱离。
390.示例da6.5包括如示例da6所述的主题，并且基于确定了用户 的面部相对于用户的面部与第二显示设备之间的第二路径在任一方向上被旋 转大于第一最大旋转角度且不大于第二旋转角度而将该用户确定为与第二显 示设备脱离。
391.示例da7包括如示例da6-da6.5中任一项所述的主题，并且 基于确定了用户与第二显示设备脱离，第二图像元数据用于指示用户与第二显 示设备脱离。
392.示例da8包括如示例da6-da7中任一项所述的主题，并且第 一电路系统进一步配置成用于执行机器学习算法以在第一图像传感器数据中 检测用户的面部并确定用户的面部的第一取向，并且第二电路系统进一步用于 执行机器学习算法以在第二图像传感器数据中检测用户的面部并确定用户的 面部的第二取向。
393.示例da9包括如示例da8所述的主题，并且机器学习算法包 括被训练成用于识别人类面部和人类面部取向的一种或多种神经网络。
394.示例da10包括如示例da1-da9中任一项所述的主题，并且处 理器进一步被配置成用于：确定第一图像元数据指示存在用户并且用户与第一 显示设备接合；确定对计算系统的访问被锁定；确定认证机制当前不是正在第 二显示设备上运行；触发认证机制以经由第一显示设备来认证用户；以及保持 第二显示设备被关闭，直到用户被认证。
395.示例da11包括如示例da1-da10中任一项所述的主题，并且 处理器进一步被配置成用于：确定第二图像元数据指示存在用户并且用户与第 二显示设备脱离，其中第二操作模式基于确定了用户与第二显示设备脱离而要 被选择；以及响应于选择了第二操作模式，在一时间段内渐进式地降低用于第 二显示器的显示面板的背光的亮度，直到发生用户事件或者直到背光被降低至 预定的最小亮度水平。
396.示例da12包括如示例da1-da10中任一项所述的主题，并且 处理器进一步被配置成用于：确定第二图像元数据指示存在用户并且用户的面 部是不可检测的，其中第二操作模式基于确定了存在用户并且用户的面部是不 可检测的而要被选择；以及响应于选择了第二操作模式，在一时间段内渐进式 地降低用于第二显示器的显示面板的背光的亮度，直到发生用户事件或者直到 背光被关闭。
397.示例da13包括如示例da1-da10中任一项所述的主题，并且 处理器进一步被配置成用于：确定第二图像元数据指示不存在用户；确定与操 作地耦合至处理器的所有其他显示设备相关联的上一图像元数据指示不存在 用户；以及响应于选择了第二操作模式而关闭第二显示设备以及操作地耦合至 处理器的所有其他显示设备并且锁定计算系统。
398.示例da14包括如示例da1-da13中任一项所述的主题，并且 处理器进一步被配置成用于：确定对于第一显示设备不活动所允许的最大时间 量已经过去；访问与第一显示设备相关联的上一图像元数据；以及基于确定了 与第一显示设备相关联的上一图像元数据指示存在用户，防止第一显示设备被 关闭。
399.示例da15包括如示例da1-da14中任一项所述的主题，并且 第一图像元数据用于指示在与第一相机相关联的第一视场中存在用户还是不 存在用户以及该用户与第一显示设备接合还是脱离。
400.示例da16包括如示例da1-da14中任一项所述的主题，并且 第一电路系统进一步被配置成用于：确定在第一视场中发生第一事件；以及响 应于确定了在第一视场中发生第一事件，将第一图像元数据发送至处理器。
401.示例da17包括如示例da16所述的主题，并且第一电路系统 进一步被配置成用于：通过将第一图像元数据与先前由第一电路系统基于由第 一相机在捕捉到第一图像传感器数据之前从第一视场捕捉到的其他图像传感 器数据生成的第四图像元数据进行比较来确定发生第一事件。
402.示例da18包括本文中上文所描述的示例da中的任一项所述 的主题，并且进一步包括示例ab1-ab14中任一项所述的特征(只要那些特征 与本文中上文的示例da的特征不冗余)。
403.示例db1提供一种计算系统，该计算系统包括计算设备，该计 算设备包括：机盖，该机盖包含第一显示设备，该第一显示设备包括：第一相 机；第一电路系统，该第一电路系
统通信地耦合至第一相机，该第一电路系统 用于基于由第一相机从第一视场捕捉到的第一图像传感器数据来生成第一图 像元数据；以及处理器，该处理器通信地耦合至机盖中的第一电路系统，该处 理器被配置成用于基于第一图像元数据来选择用于第一显示设备的第一操作 模式；以及第二显示设备，该第二显示设备操作地耦合至计算设备的处理器， 第二显示设备包括：第二电路系统，该第二电路系统通信地耦合至与第二显示 设备相关联的第二相机，第二电路系统用于基于由第二相机从第二视场捕捉到 的第二图像传感器数据来生成第二图像元数据，其中第一视场与第二视场部分 地重叠，并且其中处理器用于基于第二图像元数据选择用于第二显示设备的第 二操作模式。
404.示例db2包括如示例db1所述的主题，其中，第一电路系统被 配置成用于：在第一图像传感器数据中检测用户的面部；基于在第一图像传感 器数据中检测到用户的面部而确定在第一视场中存在用户；基于第一图像传感 器数据，确定用户的面部的第一取向；以及至少部分地基于用户的面部的第一 取向来确定用户与第一显示设备接合还是脱离。
405.示例db3包括如示例db2所述的主题，并且基于确定了用户 的面部相对于用户的面部与第一显示设备之间的路径在任一方向上不被旋转 大于第一最大旋转角度而将该用户确定为与第一显示设备接合。
406.示例db4包括如示例db2-db3中任一项所述的主题，其中， 第二电路系统被配置成用于：在第二图像传感器数据中检测用户的面部，并且 基于在第二图像传感器数据中检测到用户的面部而确定在第二相机的第二视 场中存在用户；基于第二图像传感器数据，确定用户的面部的第二取向；以及 至少部分地基于用户的面部的第二取向来确定用户与第二显示设备接合还是 脱离。
407.示例db4.5包括如示例db4所述的主题，并且基于确定了用户 的面部相对于用户的面部与第二显示设备之间的第二路径在任一方向被旋转 大于第一最大旋转角度且不大于第二旋转角度而将该用户确定为与第二显示 设备脱离。
408.示例db5包括如示例db4-db4.5中任一项所述的主题，并且 第一电路系统进一步配置成用于执行机器学习算法以在第一图像传感器数据 中检测用户的面部并确定用户的面部的第一取向，并且第二电路系统进一步用 于执行机器学习算法以在第二图像传感器数据中检测用户的面部并确定用户 的面部的第二取向。
409.示例db6包括如示例db5所述的主题，并且机器学习算法包 括被训练成用于识别人类面部和人类面部取向的一种或多种神经网络，其中人 类面部取向按旋转度数来表示。
410.示例db7包括如示例db1-db6中任一项所述的主题，并且处 理器进一步被配置成用于：确定第一图像元数据指示存在用户并且用户与第一 显示设备接合；确定对计算系统的访问被锁定；触发认证机制以经由第一显示 设备来认证用户；以及保持第二显示设备被关闭，直到用户被认证。
411.示例db8包括如示例db1-db7中任一项所述的主题，并且处 理器进一步被配置成用于：确定第二图像元数据指示存在用户并且用户与第二 显示设备脱离，其中第二操作模式基于确定用户与第二显示设备脱离而要被选 择；以及响应于选择了第二操作模式，在一时间段内渐进式地降低用于第二显 示器的显示面板的背光的亮度。
412.示例db9包括如示例db1-db7中任一项所述的主题，并且处 理器进一步被配置成用于：确定第二图像元数据指示不存在用户；确定与操作 地耦合至处理器的所有其他显示
设备相关联的上一图像元数据指示不存在用 户；以及响应于选择了第二操作模式而关闭第二显示设备以及操作地耦合至处 理器的所有其他显示设备并且锁定计算系统。
413.示例db10包括如示例db1-db9中任一项所述的主题，并且处 理器进一步被配置成用于：确定对于第一显示设备不活动所允许的最大时间量 已经过去；访问与第一显示设备相关联的上一图像元数据；以及基于确定了与 第一显示设备相关联的上一图像元数据指示存在用户，防止第一显示设备被关 闭。
414.示例db11包括如示例db1-db10中任一项所述的主题，并且 第一图像元数据用于指示在与第一相机相关联的第一视场中存在用户还是不 存在用户以及该用户与第一显示设备接合还是脱离。
415.示例db12包括如示例db1-db10中任一项所述的主题，并且 第一电路系统进一步被配置成用于：确定在第一视场中发生第一事件；以及响 应于确定了在第一视场中发生第一事件，将第一图像元数据发送至处理器。
416.示例db13包括如示例db12所述的主题，并且第一电路系统 进一步被配置成用于通过将第一图像元数据与先前由第一电路系统基于由第 一相机在捕捉到第一图像传感器数据之前从第一视场捕捉到的其他图像传感 器数据生成的第三图像元数据进行比较来确定发生第一事件。
417.示例db14包括如示例db1-db13中任一项所述的主题，并且 第二显示设备经由对接站操作地耦合至计算设备。
418.示例db15包括本文中上文所描述的示例db中的任一项所述 的主题，并且进一步包括示例ab1-ab14中任一项所述的特征(只要那些特征 与本文中上文的示例db的特征不冗余)。
419.示例dc1提供一种装置，该装置包括电路系统，该电路系统被 配置成通信地耦合至与外部监视器相关联的相机以及操作地耦合至外部监视 器的计算设备，该电路系统用于：接收从相机的视场捕捉到的图像传感器数据； 在图像传感器数据中检测用户的面部；基于在图像传感器数据中检测到用户的 面部而确定在相机的视场中存在用户；确定用户的面部的取向；以及至少部分 地基于用户的面部的取向来确定用户与外部监视器接合还是脱离；生成用于指 示在相机的视场中存在用户并且进一步用于指示用户与外部监视器接合或脱 离的图像元数据；以及将图像元数据发送至计算设备的处理器。
420.示例dc2包括如示例dc1所述的主题，并且用户的面部的取 向是相对于用户的面部与外部监视器之间的路径来确定的。
421.示例dc3包括如示例dc1-dc2中任一项所述的主题，并且电 路系统进一步被配置成用于基于用户的面部的取向而确定用户的面部不被旋 转大于第一最大旋转角度，其中，基于确定了用户的面部不被旋转大于第一最 大旋转角度，图像元数据用于指示用户与外部监视器接合。
422.示例dc4包括如示例dc1-dc2中任一项所述的主题，并且电 路系统进一步被配置成用于基于用户的面部的取向而确定用户的面部被旋转 大于第一最大旋转角度但不大于第二最大旋转角度，其中，基于确定了用户的 面部被旋转大于第一最大旋转角度但不大于第二最大旋转角度，图像元数据用 于指示用户与外部监视器脱离。
423.示例dc5包括如示例dc1-dc2中任一项所述的主题，并且电 路系统进一步被配置
成用于基于用户的面部的取向而确定用户的面部被旋转 大于第二最大旋转角度，其中，基于确定了用户的面部被旋转大于第二最大旋 转角度，图像元数据用于指示存在用户以及用户的面部是不可检测的。
424.示例dc6包括如示例dc1-dc5中任一项所述的主题，并且电 路系统进一步被配置成用于执行机器学习算法以在图像传感器数据中检测用 户的面部并确定用户的面部的取向。
425.示例dc7包括如示例dc6所述的主题，并且机器学习算法包 括被训练成用于识别人类面部和人类面部取向的一种或多种神经网络，其中人 类面部取向按旋转度数来表示。
426.示例dc8包括如示例dc1-dc7中任一项所述的主题，并且电 路系统在计算设备的外部。
427.示例dc9包括如示例dc1-dc8中任一项所述的主题，并且外 部监视器经由对接站而连接至计算设备。。
428.示例dc10包括如示例dc1-dc9中任一项所述的主题，并且电 路系统和相机被嵌入在外部监视器中或者可移除地连接至外部监视器。
429.示例dd1提供一种设备，该设备包括处理器，该处理器操作地 耦合至第一显示设备和第二显示设备，该处理器用于执行一条或多条指令以： 接收与由第一相机从接近第一显示设备的第一视场捕捉到的第一图像相关联 的第一图像元数据；确定第一图像元数据指示在第一视场中存在用户并且该用 户与第一显示设备接合；接收与由第二相机从接近第二显示设备的第二视场捕 捉到的第二图像相关联的第二图像元数据；确定第二图像元数据指示在第二视 场中存在用户并且该用户与第二显示设备脱离；至少部分地基于第一图像元数 据来选择用于第一显示设备的第一操作模式；以及至少部分地基于第二图像元 数据来选择用于第二显示设备的第二操作模式。
430.示例dd2包括如示例dd1所述的主题，并且处理器用于执行 一条或多条指令以进一步：确定对包括该处理器的计算系统的访问被锁定；确 定认证机制当前不是正在第二显示设备上运行；触发认证机制以经由第一显示 设备来认证用户；以及保持第二显示设备被关闭，直到用户被认证。
431.示例dd3包括如示例dd1-dd2中任一项所述的主题，并且处 理器用于执行一条或多条指令以进一步：确定第二图像元数据指示用户与第二 显示设备脱离；以及在一时间段内渐进式地降低用于第二显示设备的显示面板 的背光的亮度。
432.示例dd4包括示例dd3所述的主题，并且背光的亮度被渐进 式地降低，直到背光被降低至预定的最小亮度水平或被关闭。
433.示例dd5包括如示例dd1-dd4中任一项所述的主题，并且处 理器用于执行一条或多条指令以进一步：接收与由第三相机从接近操作地耦合 至处理器的第三显示设备的第三视场捕捉到的第三图像相关联的第三图像元 数据；确定第三图像元数据指示在第三视场中不存在用户；确定与第一显示设 备相关联的上一图像元数据指示在第一视场中不存在用户并且与第二显示设 备相关联的上一图像元数据指示在第二视场中不存在用户；选择用于第三显示 设备的第三操作模式；以及响应于选择了第三操作模式而关闭第三显示设备、 第一显示设备和第二显示设备并且锁定包括该处理器的计算系统。
434.示例dd5.1包括如示例dd1-dd5中任一项所述的主题，并且 基于确定了用户的面
部相对于用户的面部与第一显示设备之间的第一路径在 任一方向上不被旋转大于第一最大旋转角度而将该用户确定为与第一显示设 备接合。
435.示例dd5.2包括如示例dd1-dd5.1中任一项所述的主题，并且 基于确定了用户的面部相对于用户的面部与第二显示设备之间的第二路径在 任一方向上被旋转大于第一最大旋转角度但小于第二最大旋转角度而将该用 户确定为与第一显示设备脱离。
436.示例dd6包括如示例dd1-dd5.2中任一项所述的主题，并且 处理器用于执行一条或多条指令以进一步：确定对于第一显示设备不活动所允 许的最大时间量已经过去；访问与第一显示设备相关联的上一图像元数据；以 及基于确定了与第一显示设备相关联的上一图像元数据指示存在用户，防止第 一显示设备被关闭。
437.示例de1提供一种方法，该方法包括：由耦合至第一相机的第 一电路系统基于由第一相机从接近第一显示设备的第一视场捕捉到的第一图 像传感器数据来生成第一图像元数据；由耦合至第二相机的第二电路系统基于 由第二相机从接近第二显示设备的第二视场捕捉到的第二图像传感器数据来 生成第二图像元数据，其中，第一视场与第二视场部分地重叠；由计算设备的 处理器接收来自第一电路系统的第一图像元数据和来自第二电路系统的第二 图像元数据；由处理器基于第一图像元数据选择用于第一显示设备的第一操作 模式；以及由处理器基于第二图像元数据选择用于第二显示设备的第二操作模 式。
438.示例de2包括如示例de1所述的主题，并且方法进一步包括： 在第一图像传感器数据中检测用户的面部；基于在第一图像传感器数据中检测 到用户的面部而确定在第一视场中存在用户；基于第一图像传感器数据，确定 用户的面部的第一取向；以及至少部分地基于用户的面部的第一取向来确定用 户与第一显示设备接合还是脱离。
439.示例de3包括如示例de2所述的主题，并且方法进一步包括： 基于确定了用户的面部相对于用户的面部与第一显示设备之间的第一路径在 任一方向上不被旋转大于第一最大旋转角度，确定用户与第一显示设备接合。
440.示例de4包括如示例de2-de3中任一项所述的主题，并且基 于确定了用户与第一显示设备接合，第一图像元数据被生成以指示用户与第一 显示设备接合。
441.示例de5包括如示例de2-de4中任一项所述的主题，其中， 第二电路系统用于：在第二图像传感器数据中检测用户的面部；以及基于在第 二图像传感器数据中检测到用户的面部而确定在第二相机的第二视场中存在 用户；基于第二图像传感器数据，确定用户的面部的第二取向；以及至少部分 地基于用户的面部的第二取向来确定用户与第二显示设备接合还是脱离。
442.示例de5.5包括如示例de5所述的主题，并且方法进一步包括： 基于确定了用户的面部相对于用户的面部与第二显示设备之间的第二路径在 任一方向上被旋转大于第一最大旋转角度且不大于第二最大旋转角度，确定用 户与第二显示设备脱离。
443.示例de6包括如示例de5-de5.5中任一项所述的主题，并且基 于确定了用户与第二显示设备脱离，第二图像元数据被生成以指示用户与第二 显示设备脱离。
444.示例de7包括如示例de5-de6中任一项所述的主题，并且在 第二图像传感器数据中检测用户的面部以及确定用户的面部的第二取向包括 执行一种或多种机器学习算法，并且在第一图像传感器数据中检测用户的面部 以及确定用户的面部的第一取向包括执行这一种或多种机器学习算法。
445.示例de8包括如示例de7所述的主题，并且一种或多种机器学 习算法包括被训练成用于识别人类面部和人类面部取向的一种或多种神经网 络。
446.示例de9包括如示例de1-de8中任一项所述的主题，并且方 法进一步包括：确定第一图像元数据指示存在用户并且用户与第一显示设备接 合；确定对包括处理器的计算系统的访问被锁定；确定认证机制当前不是正在 第二显示设备上运行；触发认证机制以经由第一显示设备来认证用户；以及保 持第二显示设备被关闭，直到用户被认证。
447.示例de10包括如示例de1-de9中任一项所述的主题，并且方 法进一步包括：确定第二图像元数据指示存在用户并且用户与第二显示设备脱 离，其中选择第二操作模式基于确定了用户与第二显示设备脱离；以及响应于 选择了第二操作模式，在一时间段内渐进式地降低用于第二显示器的显示面板 的背光的亮度。
448.示例de11包括示例de10所述的主题，并且背光的亮度被渐进 式地降低，直到背光被降低至预定的最小亮度水平或被关闭。
449.示例de12包括如示例de1-de9中任一项所述的主题，并且方 法进一步包括：确定第二图像元数据指示存在用户并且用户的面部是不可检测 的，其中选择第二操作模式基于确定了存在用户并且用户的面部是不可检测的； 以及响应于选择了第二操作模式，在一时间段内渐进式地降低用于第二显示器 的显示面板的背光的亮度，直到发生用户事件或者直到背光被关闭。
450.示例de13包括如示例de1-de9中任一项所述的主题，并且方 法进一步包括：确定第二图像元数据指示不存在用户；确定与第一显示设备相 关联的上一图像元数据指示不存在用户；以及响应于选择了第二操作模式而关 闭第一显示设备和第二显示设备并且锁定包括处理器的计算系统。
451.示例de14包括如示例de1-de13中任一项所述的主题，并且 方法进一步包括：确定对于第一显示设备不活动所允许的最大时间量已经过去； 访问与第一显示设备相关联的上一图像元数据；以及基于确定了与第一显示设 备相关联的上一图像元数据指示存在用户，防止第一显示设备被关闭。
452.示例de15包括如示例de1-de14中任一项所述的主题，并且 第一图像元数据指示在与第一相机相关联的第一视场中存在用户还是不存在 用户以及该用户与第一显示设备接合还是脱离。
453.示例de16包括如示例de1-de14中任一项所述的主题，并且 方法进一步包括：确定在第一视场中发生第一事件；以及响应于确定了在第一 视场中发生第一事件，将第一图像元数据从第一电路系统发送至处理器。
454.示例de17包括如示例de16所述的主题，并且方法进一步包 括：通过将第一图像元数据与先前由第一电路系统基于由第一相机在捕捉到第 一图像传感器数据之前从第一视场捕捉到的其他图像传感器数据生成的第三 图像元数据进行比较来确定发生第一事件。
455.示例de18包括本文中上文所描述的示例de中的任一项所述 的主题，并且进一步包括示例aa1-aa16中任一项所述的方法的要素(只要那 些方法要素与本文中上文的示例de的方法要素不冗余)。
456.示例df1提供一种设备，该设备包括用于执行示例de1-de17 中任一项所述的方法的装置。
457.示例df2包括如示例df1所述的主题，并且用于执行该方法的 装置包括至少一个处理器和至少一个存储器元件。
458.示例df3包括如示例df2所述的主题，并且至少一个存储器元 件包括机器可读指令，这些机器可读指令在被执行时使得设备执行前述示例中 任一项所述的方法。
459.示例df4包括如示例df1-df3中任一项所述的主题，并且设备 是计算系统、处理元件或芯片上系统中的一者。
460.示例dg1提供至少一种机器可读存储介质，包括指令，其中这 些指令在被执行时实现如前述示例中的任一项所述的装置、实现如前述示例中 的任一项所述的计算系统、或实现如前述示例中的任一项所述的方法。
461.改善的触摸体验
462.如先前所讨论，机盖控制器中枢允许触摸传感器数据到操作系 统的递送与显示器刷新率的同步。由于帧可以基于在相同的时间间隔(显示器 刷新之间的时间量)内收集的触摸传感器数据来渲染，此种同步提供了平滑的 触摸体验。考虑用户用他们的手指以平稳的速率跨显示器移动图标。如果使得 触摸传感器数据向操作系统的递送与显示器刷新率同步，则在每个屏幕刷新率 的情况下图标将跨显示器移动基本上相同的距离，并且图标将看起来平滑地跨 显示器移动。在没有同步的情况下，在连续帧中由图标移动的距离可能不同， 并且图标的移动可能看起来比在同步方式中更跳跃。
463.一些现有的应用在使用之前使得触摸传感器数据平滑以解决此 种缺乏同步的问题，但此类调节在应用级执行，并且并非所有应用都可在使用 之前使得触摸传感器数据平滑。由机盖控制器中枢对触摸传感器数据的调节提 供了在设备级对触摸传感器数据的调节。由lch将经调节的触摸传感器数据 发送至操作系统，其中该经调节的触摸传感器数据可用于可由在计算设备上运 行的操作系统和应用使用。由此，机盖控制器中枢启用设备级特征，这些设备 级特征以至少两种方式向用户提供跨所有应用的改善的触摸体验——通过使 触摸传感器数据向操作系统的递送与显示器刷新率同步；以及通过在触摸传感 器数据被发送至操作系统之前对其进行调节。
464.一般而言，触摸传感器数据递送与显示器刷新率的同步可以按 如下方式执行。触摸显示器控制器(例如，165、285、385)检测触摸显示器(例 如，145、280、380、926、2140)处触摸交互的开始，并且将触摸传感器数据 提供至lch。在显示器被刷新之前的某个时刻，lch(例如，155、260、305、 954、1705)接收即将到来的刷新的通知。此种通知可以来自显示子系统或者显 示子系统的组件，诸如定时控制器(例如，定时控制器150、400、355、944、 1706、2100)。lch基于从触摸控制器接收到的触摸传感器数据来生成经调节 的触摸传感器数据，并将经调节的触摸传感器数据发送至操作系统。经调节的 触摸传感器数据可以包括经调节的触摸位置数据，并且在一些实施例中，可以 包括经调节的触摸强度数据。将经调节的触摸传感器数据发送至操作系统可以 包括将来自机盖(例如，120、123、220、301、1701)的数据发送至计算设备 (例如，100、122、200、300、900)的基座(例如，110、129、210、315、910、 1702)中的主机处理单元(例如，140、240、340、1760、2186)。
465.操作系统可以将经调节的触摸传感器数据传递至在计算设备上 执行的应用。操作系统或应用可以基于经调节的触摸传感器数据生成帧数据。 可以将帧数据提供至显示模块(例如，241、341、2164)，该显示模块生成要 在显示器上显示的新的帧。显示模块将视
频数据发送至定时控制器(例如，150、 400、355、944、1706、2100)，该视频数据包括表示新的帧的信息，并且定时 控制器可以使得新的帧被显示在显示器上。通过使机盖控制器中枢向操作系统 提供经调节的触摸传感器数据而不是使各个应用调节它们接收到的触摸传感 器数据，可以使得经调节的触摸传感器数据对在计算设备上操作的操作系统和 任何应用而言是可用的。
466.图38是包括能够提供改善的触摸用户体验的机盖控制器中枢 的示例计算设备的简化框图。计算设备3800包括机盖3810和基座3820。机盖 3810包括触摸显示器控制器(触摸控制器)3830、lch 3834、显示子系统3838、 以及嵌入式显示面板3842。基座3820包括主机处理单元3850，该主机处理单 元3850包括显示模块3860。操作系统3870以及一个或多个应用3880可以在 基座3820中的计算资源(例如，主机处理单元3850)上执行。
467.计算设备3800可以是本文中所描述的计算设备(例如，100、 122、200、300、900)中的任一者。机盖3810可以是本文中所描述的机盖(例 如，120、123、220、301、920、1701)中的任一者。触摸控制器3830可以是 本文中所描述的触摸控制器(例如，165、285、385)中的任一者。嵌入式显示 面板3842是触摸显示器，并且可以是本文中所描述的显示面板(例如，145、 280、380、926、2140)中的任一者。lch 3834可以是本文中所描述的lch(例 如，155、260、305、954、1705)中的任一者。在一些实施例中，lch 3834具 有相比于在本文中所描述的其他lch实施例中作为lch的部分来讨论的全部 组件和模块更少的组件和模块。例如，lch 3834可以不包括音频模块。
468.显示子系统3838可以包括本文中所描述的执行显示相关操作 的一个或多个组件，例如定时控制器(例如，150、400、355、944、1706、2100) 及其组成定时控制器组件(例如，帧缓冲器(例如，830、2120)、帧处理堆叠 模块(例如，822-826、2124-2128))、行驱动器(例如，882、2154、2158)、 列驱动器(例如，884、2160)、显示驱动器(例如，880、2130)和视频数据 接收器(例如，812、2110)。主机处理单元3850可以是本文中所描述的任何 主机处理单元(例如，140、385、380、382、340、342、914、1760、2186)。 显示模块3860可以是本文中所描述的任何显示模块(例如，381、341、2164)。 基座3820可以是本文中所描述的基座(例如，110、129、210、315、910、1702) 中的任一者。
469.图39图示出计算设备3800中的组件之间的示例性信息流。在 3920处，触摸控制器3830未在显示器3842处检测到触摸交互。在一些实施例 中，触摸控制器3830可以通过检测触摸传感器数据与指示没有对象正在触摸 显示器的触摸传感器数据的偏差来检测触摸交互。在3925处，触摸控制器3830 在显示器3842处检测到触摸交互的发起。在3930处，响应于在显示器3842 处检测到触摸交互的发起，触摸控制器3830将触摸传感器数据提供至lch3834。在3935处，lch 3834向显示子系统3838发送提高显示器3842的刷新 率的通知。在其他实施例中，lch 3834可以通知显示子系统3838将刷新率改 变为通知中指定的刷新率或者将刷新率改变为显示器3842的最大刷新率。在 一些实施例中，lch 3834经由同步信号3882(例如，180、226、370)向显示 子系统3838发送通知。如果lch 3834保持对显示器刷新率的跟踪并且显示 器刷新率已经处于“活跃”显示器刷新率(例如，60hz至120hz)，则lch 3834 可以不向显示子系统3838发送此种通知。
470.在3940处，触摸控制器3830继续将触摸传感器数据3832发送 至lch 3834。在3945和3950处，显示子系统3838向lch 3834和操作系统 3870发送指示显示器刷新将发生的显
示器刷新通知。可在显示器刷新通知3945 被发送至lch 3834之后将被发送至操作系统3870的显示器刷新通知3945延 迟一延迟3947，从而为操作系统3870或应用3880提供附加的时间来基于经 调节的触摸传感器数据渲染新的帧。在一些实施例中，延迟3947是可编程的。 在一些实施例中，显示器刷新通知可以是将要发生对显示器的第一行或第一列 的重绘的通知。即将到来的显示器刷新的通知与显示器刷新的开始之间的延迟 由3955来表示。在一些实施例中，该延迟是可编程的。甚至在一些现有显示 器的最大刷新率(例如，120hz)下也仍然存在进行以下操作的时间：生成经 调节的触摸传感器数据，将经调节的触摸传感器数据发送至操作系统3870，将 经调节的触摸传感器数据传递至应用3880，基于帧信息生成新的帧，以及及时 将包括表示新的帧的信息的视频数据发送至显示子系统3838以供利用新的帧 来对显示器3842进行刷新。
471.在3960处，响应于接收到显示器刷新通知，lch 3834基于由 触摸控制器3830提供的触摸传感器数据来生成经调节的触摸传感器数据3836。 在一些实施例中，触摸传感器数据包括触摸控制器检测到触摸所在的触摸位置 信息(例如，x-y坐标)，并且经调节的触摸数据可以包括经调节的触摸位置 数据。在一些实施例中，触摸传感器数据3832包括可反映触摸交互的强度(例 如，用户或对象多强地按压显示器)的触摸强度信息，并且经调节的触摸传感 器数据可以包括经调节的触摸强度数据。如果lch 3834自触摸交互的发起或 自经调节的触摸传感器数据上一次被生成起接收到多个触摸传感器数据样本 (例如，多个x-y坐标集)，则lch 3834可以对多个触摸传感器数据样本执 行一个或多个调节操作。调节操作可以是平滑化操作，诸如对于多个传感器数 据样本对触摸位置x-y坐标求平均、采用卡曼滤波器的平滑化操作、或者任何 其他类型的平滑化操作。在一些实施例中，lch 3834可以基于在先前显示器 刷新之前在lch 3834处接收到的触摸传感器数据生成经调节的触摸传感器数 据3836。例如，生成经调节的触摸数据位置可包括计算由lch在先前的例如 五次显示器刷新上接收到的触摸位置数据指示的触摸位置的平均值。
472.在3965处，将经调节的触摸传感器数据3836发送至操作系统 3870。lch 3834可以从触摸控制器3830接收触摸传感器数据3832，该触摸传 感器数据3832用于在生成经调节的触摸传感器数据3836以用于在经调节的触 摸传感器数据3836被发送之后的下一显示器刷新间隔时使用。在3970处，操 作系统3870将经调节的触摸传感器数据传递至应用3880，该应用3880可以 基于经调节的触摸传感器数据生成帧信息。在一些实施例中，操作系统3870可 以基于经调节的触摸传感器数据生成帧信息。帧信息可以表示已经由应用3880 或操作系统3870基于经调节的触摸传感器数据进行更新的帧的全部或部分， 诸如更新用户元件(例如，光标、指针)或游戏角色的位置。在3975处，应用 3880向操作系统3870发送重绘命令。例如，如果操作系统3870是操作系统，则应用3880可以向显示窗口管理器发送重绘命令。
473.虽然未在图39中图示，但是在显示器刷新期间使得新的帧被显 示的附加动作可以包括：显示子系统3838接收来自计算设备的基座3820的视 频数据3845，以及显示子系统3838使得显示设备利用新的帧被刷新。在一些 实施例中，视频数据3854可以由显示模块3860生成，该显示模块3860是主 机处理单元3850的部分。在一些实施例中，触摸控制器3830可以将触摸传感 器数据发送至lch 3834中的主机模块(例如，261、362)。在一些实施例中， 可以通过i3c连接(例如，连接221)或usb连接(例如，连接238)将经调 节的触摸传感
器数据3836传递至操作系统3870。
474.图40图示出用于使触摸传感器数据向操作系统的发送与显示 器刷新率同步的示例方法。该方法可以由例如膝上型计算机中的机盖控制器中 枢(例如，155、260、305、954、1705、3834)来执行。在4010处，从触摸显 示器控制器接收触摸传感器数据。在4020处，响应于接收到显示器刷新通知， 基于触摸传感器数据生成经调节的触摸传感器数据；并且将经调节的触摸传感 器数据发送至操作系统。接收触摸传感器数据、生成经调节的触摸传感器数据、 以及发送经调节的触摸传感器数据可以在移动计算设备的机盖中执行，并且操 作系统可以正在位于移动计算设备的基座中的一个或多个处理单元上执行。
475.在其他实施例中，方法4000可以包括附加要素。例如，可以从 显示子系统接收显示器刷新通知。在另一示例中，在移动计算设备上执行的操 作系统或应用基于经调节的触摸传感器数据生成帧信息，新的帧基于该帧信息 而被生成，并且显示器被刷新以显示新的帧。
476.下列示例涉及根据本说明书的实施例。
477.示例ea1是一种方法，该方法包括：接收来自触摸显示器控制 器的触摸传感器数据；以及响应于接收到显示器刷新通知而基于触摸传感器数 据生成经调节的触摸传感器数据，并且将经调节的触摸传感器数据发送至操作 系统；其中，接收触摸传感器数据、生成经调节的触摸传感器数据、以及发送 经调节的触摸传感器数据是在移动计算设备的机盖中执行的，并且操作系统正 在位于移动计算设备的基座中的一个或多个处理单元上执行。
478.示例ea2包括如示例ea1所述的方法，其中，触摸传感器数据 包括触摸位置数据，生成经调节的触摸传感器数据包括基于触摸位置数据生成 经调节的触摸位置数据，经调节的触摸传感器数据包括经调节的触摸位置数据。
479.示例ea3包括如示例ea1或ea2所述的方法，其中，触摸传 感器数据包括触摸强度数据，生成经调节的触摸传感器数据包括基于触摸强度 数据生成经调节的触摸强度数据，经调节的触摸传感器数据包括经调节的触摸 强度数据。
480.示例ea4包括如示例ea1-ea3中任一项所述的方法，其中， 生成经调节的触摸传感器数据包括使触摸传感器数据平滑化。
481.示例ea5包括如示例ea1-ea4中任一项所述的方法，进一步 包括：接收先前的触摸传感器数据；以及接收在显示器刷新通知之前的先前的 显示器刷新通知，先前的触摸传感器数据在接收先前的显示器刷新通知之前被 接收，其中，生成经调节的触摸传感器数据包括对触摸传感器数据与先前的触 摸传感器数据求平均。
482.示例ea6包括如示例ea1-ea5中任一项所述的方法，进一步 包括：通知显示子系统改变显示器的刷新率。
483.示例ea7包括如示例ea1-ea5中任一项所述的方法，进一步 包括：通知显示子系统提高显示器的刷新率。
484.示例ea8包括如示例ea1-ea5中任一项所述的方法，进一步 包括：通知显示子系统将显示器的刷新率提高至最大刷新率。
485.示例ea9包括如示例ea6-ea8中任一项所述的方法，进一步 包括：响应于接收到触摸传感器数据而通知显示子系统。
486.示例ea10包括如示例ea1-ea9中任一项所述的方法，进一步 包括：将经调节的触
摸传感器数据发送至在移动计算设备上执行的应用。
487.示例ea11包括如示例ea1-ea10中任一项所述的方法，进一 步包括：由在移动计算设备上执行的操作系统或应用基于经调节的触摸传感器 数据生成帧信息；基于帧信息生成新的帧；以及刷新显示器以显示新的帧。
488.示例ea12包括本文中上文的示例ea中任一项所述的方法，并 且进一步包括示例aa1-aa16或de1-de17中任一项所述的方法的要素(只要 那些方法要素与本文中上文的示例ea的方法要素不冗余)。
489.示例eb1是一种装置，该装置包括电路系统，该电路系统用于： 接收来自触摸显示器控制器的触摸传感器数据；接收显示器刷新通知；以及响 应于接收到显示器刷新通知而基于触摸传感器数据生成经调节的触摸传感器 数据，并且将经调节的触摸传感器数据发送至主机处理单元；其中，该装置用 于在移动计算设备的机盖中使用。
490.示例eb1.5包括如示例eb1所述的装置，其中，该装置是机盖 控制器中枢。
491.示例eb2包括如示例eb1所述的装置，其中，触摸传感器数据 包括触摸位置数据，生成经调节的触摸传感器数据包括基于触摸位置数据生成 经调节的触摸位置数据，经调节的触摸传感器数据包括经调节的触摸位置数据。
492.示例eb3包括如示例eb1或eb2所述的装置，其中，触摸传 感器数据包括触摸强度数据，生成经调节的触摸传感器数据包括基于触摸强度 数据生成经调节的触摸强度数据，经调节的触摸传感器数据包括经调节的触摸 强度数据。
493.示例eb4包括如示例eb1-eb3中任一项所述的装置，其中， 生成经调节的触摸传感器数据包括对触摸传感器数据与在先前显示器刷新之 前接收到的触摸传感器数据求平均。
494.示例eb5包括如示例eb1-eb3中任一项所述的装置，电路系统 用于：进一步通知显示子系统改变显示器的刷新率。
495.示例eb6包括如示例eb1-eb3中任一项所述的装置，电路系统 用于：进一步通知显示子系统提高显示器的刷新率。
496.示例eb7包括如示例eb1-eb3中任一项所述的装置，电路系统 用于：进一步通知显示子系统将显示器的刷新率提高至最大刷新率。
497.示例eb8包括如示例eb6-eb7中任一项所述的装置，电路系统 用于：进一步响应于接收到触摸传感器数据而通知显示子系统。
498.示例eb9包括本文中上文的示例eb中的任一项所述的装置并 且进一步包括示例dc1-dc10或dd1-dd6中任一项的特征(只要那些特征与 本文中上文的示例eb的特征不冗余)。
499.示例ec1是一种移动计算设备，该移动计算设备包括：基座， 该基座包括用于执行操作系统的一个或多个主机处理单元；以及机盖，该机盖 可旋转地耦合至基座，该机盖包括：触摸显示器；触摸显示器控制器；显示子 系统，用于刷新触摸显示器；以及电路系统，该电路系统用于：接收来自触摸 显示器控制器的触摸传感器数据；接收来自显示子系统的显示器刷新通知；以 及响应于接收到显示器刷新通知而基于触摸传感器数据生成经调节的触摸传 感器数据，并且将经调节的触摸传感器数据发送至操作系统。
500.示例ec1.5包括如示例ec1所述的装置，其中，该装置是机盖 控制器中枢。
501.示例ec2包括如示例ec1所述的移动计算设备，其中，触摸传 感器数据包括触摸位置数据，生成经调节的触摸传感器数据包括基于触摸位置 数据生成经调节的触摸位置数据，经调节的触摸传感器数据包括经调节的触摸 位置数据。
502.示例ec3包括如示例ec1或ec2所述的移动计算设备，其中， 触摸传感器数据包括触摸强度数据，生成经调节的触摸传感器数据包括基于触 摸强度数据生成经调节的触摸强度数据，经调节的触摸传感器数据包括经调节 的触摸强度数据。
503.示例ec4包括如示例ec1-ec3中任一项所述的移动计算设备， 电路系统进一步用于：接收先前的触摸传感器数据；以及接收在显示器刷新通 知之前的先前的显示器刷新通知，先前的触摸传感器数据在接收先前的显示器 刷新通知之前被接收，其中，生成经调节的触摸传感器数据包括对触摸传感器 数据与先前的触摸传感器数据求平均。
504.示例ec5包括如示例ec1-ec4中任一项所述的移动计算设备， 电路系统用于：进一步通知显示子系统改变显示器的刷新率。
505.示例ec6包括如示例ec1-ec4中任一项所述的移动计算设备， 电路系统用于：进一步通知显示子系统提高显示器的刷新率。
506.示例ec7包括如示例ec1-ec4中任一项所述的移动计算设备， 电路系统用于：进一步通知显示子系统将显示器的刷新率提高至最大刷新率。
507.示例ec8包括如示例ec7所述的移动计算设备，电路系统用 于：进一步响应于接收到触摸传感器数据而通知显示子系统。
508.示例ec9包括如示例ec1-ec8中任一项所述的移动计算设备， 其中，显示子系统包括定时控制器。
509.示例ec10包括如示例ec1-ec9中任一项所述的移动计算设备， 主机处理单元用于执行应用，操作系统用于将经调节的触摸传感器数据提供至 应用。
510.示例ec11包括如示例ec1-ec10中任一项所述的移动计算设 备，操作系统或应用用于基于经调节的触摸传感器数据来生成帧信息；操作系 统用于基于帧信息来生成新的帧，显示子系统进一步用于：接收来自基座的视 频数据；以及使得显示器利用新的帧被刷新。
511.示例ec12包括本文中上文的示例ec中任一项所述的移动计 算设备，并且进一步包括示例ab1-ab14、da1-da17或db1-db14中任一项 的特征(只要那些特征与本文中上文的示例ec的特征不冗余)。
512.示例ed1是一种移动计算设备，该移动计算设备包括：基座， 该基座包括用于执行操作系统的一个或多个主机处理单元；以及机盖，该机盖 可旋转地耦合至基座，该机盖包括：触摸显示器；触摸显示器控制器；显示子 系统，用于刷新触摸显示器；以及触摸传感器数据调节装置，该触摸传感器数 据调节装置用于调节从触摸显示器控制器接收到的触摸传感器数据并以与触 摸显示器的刷新率同步的方式将经调节的触摸传感器数据发送至操作系统。
513.示例ed2包括如示例ed1所述的移动计算设备，其中，触摸传 感器数据包括触摸位置数据，生成经调节的触摸传感器数据包括基于触摸位置 数据生成经调节的触摸位置数据，经调节的触摸传感器数据包括经调节的触摸 位置数据。
514.示例ed3包括如示例ed1或ed2所述的移动计算设备，主机 处理单元用于执行应
用，操作系统用于将经调节的触摸传感器数据提供至应用。
515.示例ed4包括如示例ed1-ed3中任一项所述的移动计算设备， 操作系统或应用用于基于经调节的触摸传感器数据来生成帧信息；操作系统用 于基于帧信息来生成新的帧，显示子系统进一步用于：接收来自基座的视频数 据；以及使得显示器利用新的帧被刷新。
516.示例ed5包括本文中上文的示例ed中任一项所述的移动计算 设备，并且进一步包括示例ab1-ab14、da1-da17或db1-db14中任一项的 特征(只要那些特征与本文中上文的示例ed的特征不冗余)。
517.示例ee是一种或多种非瞬态计算机可读存储介质，存储有指 令，这些指令在被执行时使得移动计算设备的机盖的一个或多个处理单元执行 如示例aa1-aa16、de1-de17或ea1-ea8中任一项所述的方法。
518.示例ef是一种设备，该设备包括用于执行如示例aa1-aa16、 de1-de17或ea1-ea8中任一项所述的方法的一种或多种装置。
519.手势连续统一体
520.将一个或多个前向相机集成到移动计算设备的机盖中允许将空 中手势作为手势连续统一体的部分来处置，其中手势连续统一体——手势空间 连续统一体，其中连续的手势包括初始触摸手势分量(2d手势)、在显示器前 方的空间中作出的随后的空中手势(3d手势)分量；以及手势时间连续统一 体，包括相关的“多平面”手势，其中触摸手势之后是一个或多个相关的空中手 势。也实现反向的情形。连续手势可以开始于空中手势分量并结束于触摸手势 分量，并且一系列相关多平面手势可以开始于空中手势并且随后为一个或多个 相关的触摸手势。可以由多个用户提供多平面手势。例如，第一用户可以提供 触摸手势，并且第二用户可以以相关的空中手势来跟进。也支持同时的多平面 手势。多个用户可以同时提供相关的触摸手势和空中手势。
521.一般而言，如下所述地启用组合手势。分别从由触摸显示器控 制器(例如，165、285、385、3830)提供的触摸传感器数据以及由相机(例如， 160、270、346、932、2514、3014)提供的图像传感器数据确定触摸元数据和 图像元数据。触摸元数据可以由触摸分析器来确定，并且图像元数据可以由视 觉/成像分析器(172、263、363、1740、2540a、2540b、3020、3026)来确定。 触摸显示器控制器、相机、触摸分析器、以及视觉/成像分析器可以位于诸如膝 上型计算机之类的移动计算设备(例如，100、122、200、300、900、3800)的 机盖(例如，120、123、220、301、920、1701、3810)中。将触摸元数据和图 像元数据发送至操作系统和/或应用，该操作系统和/或应用基于触摸元数据和 图像元数据来确定组合手势是否已经由用户作出。对组合手势是否已经被作出 的判定可以附加地基于也可被发送至操作系统和/或应用的触摸传感器数据的 部分和/或图像传感器数据的部分。触摸元数据可以包括指示对显示器(例如， 145、280、380、926、2140、3842)的触摸的位置的信息，并且图像元数据可 以包括指示手势对象(例如，手指、触控笔)在显示器前方的空间中的位置的 信息。图像元数据可以包括指示手势对象距显示器的表面的距离的距离信息。 触摸分析器和/或视觉/成像分析器可以向操作系统提供指示触摸传感器数据和 图像传感器数据在空间上或在时间上是否相关的信息，并且对组合手势是否已 经被作出的判定可以进一步基于空间和时间关系信息。如果确定了组合手势已 经被作出，则操作系统和/或应用可以基于组合手势来执行一个或多个动作，诸 如“拾取”虚拟对象并在应用环境内移动该对象。
522.类似地启用多平面手势。分别从由触摸显示器控制器(例如， 165、285、385、3830)提供的第一触摸传感器数据以及由相机(例如，160、 270、346、932、2514、3014)提供的图像传感器数据确定触摸元数据和图像元 数据。在多平面手势场景中，图像元数据可基于在第一触摸传感器数据被接收 到之后接收到的图像传感器数据来确定。将第一触摸元数据和图像元数据发送 至操作系统或应用，该操作系统或应用基于第一触摸元数据来执行一个或多个 第一动作，并且随后基于图像传感器数据执行一个或多个第二动作。如果自与 第一触摸传感器数据的接收相关联的时间起用户已经与显示器(例如，145、 280、380、926、2140、3842)接合，则可以采取第二动作。可以基于附加触摸 传感器数据来确定附加触摸元数据，并且可以将附加触摸元数据提供至操作系 统或应用。操作系统或应用随后可以基于附加触摸元数据来执行一个或多个第 三动作。如果自与第一触摸传感器数据的接收相关联的时间起用户已经与屏幕 的显示器接合，则可执行第三动作。作为由操作系统和/或应用采取的第一动作 的部分，设备(例如，100、122、200、300、900、3800)可以进入其中空中手 势被识别并被作用的模式或情境。在一些实施例中，进入模式或情境可以包括 呈现新的用户界面，或者将现有的用户界面更新为包括用于空中手势的提示。
523.检测用户与显示器的接合可以基于确定在显示器的前方是否存 在用户和/或确定用户的头部相对于显示器的取向。用户存在和头部/面部取向 可以由图像分析器来确定。可以使用神经网络加速器来进行用户存在检测和/或 确定头部/面部取向。
524.还支持由多个用户提供的多平面手势。例如，可以响应于由第 一用户对显示器(例如，145、280、380、926、2140、3842)的触摸而生成触 摸传感器数据，并且图像传感器数据可以表示由第二用户作出的空中手势。如 果确定了从由第一用户进行触摸的时间起直到空中手势被作出为止第二用户 已经与显示设备接合，则操作系统和/或应用可以执行一个或多个与空中手势相 关的动作，并且如果确定从对显示器作出初始触摸的时间起直到其对显示器作 出任何后续触摸为止第一用户已经与显示器接合，则操作系统和/或应用可以执 行一个或多个与触摸相关的动作。图像分析器(例如，172、263、363、1740、 2540a、2540b、3020、3026)可以基于图像传感器数据来检测多个用户的存在， 将第一用户与触摸传感器数据相关联，将第二用户与图像传感器数据相关联， 并且确定每个用户是否与显示器接合。可以使用神经网络加速器在图像传感器 数据中检测一个或多个用户的存在并确定用户是否与显示器接合。
525.多用户多平面手势可以允许用户之间在创造性过程期间进行同 时的协作。例如，在插图程序中，一个人可以经由触摸输入从事插图的一个部 分，而第二个人可以通过空中手势来从事插图的另一部分，其中每个用户根据 他们的各自的偏好与插图应用程序进行交互。或者，这两个用户可以同时经由 空中手势来进行交互。在多平面手势的另一示例中，用户可以通过触摸允许改 变画笔颜色的图标在插图应用中为画笔选择不同的画笔颜色，并且作为响应， 用户可以使用空中手势与之交互以选择新颜色的色轮用户界面要素被显示。空 中手势可以包括例如，用户用他们的指尖指向期望的颜色，然后捏合他们的手 指或将他们伸出的手指收回到他们的拳头中来作出选择。
526.在一些移动计算设备中可以利用由除触摸显示器控制器和相机 之外的传感器生成的传感器数据来启用连续的手势和多平面手势，这些传感器 诸如激光雷达传感器、雷达传感器以及超声传感器。由这些附加传感器(例如， 附加传感器671)生成的传感器数据在
移动计算设备的机盖、移动计算设备的 基座、或这两者中可与触摸传感器数据和图像传感器数据融合。
527.图41是能够支持组合手势和多平面手势的示例计算设备的简 化框图。计算设备4100包括机盖4110和基座4140。机盖4110包括定时控制 器(tcon)4114、嵌入式显示面板4118、触摸显示器控制器4124、相机4128、 触摸分析器4134、以及视觉/成像分析器4138。基座4140包括一个或多个主机 处理单元4150，该一个或多个主机处理单元4150可以执行操作系统4160以 及一个或多个应用4170。计算设备4100可以是本文中所描述的计算设备(例 如，100、122、200、300、900、3800)中的任一者。机盖4110可以是本文中 所描述的机盖(例如，120、123、220、301、920、1701、3810)中的任一者。 触摸显示器控制器4124可以是本文中所描述的触摸控制器(例如，165、285、 385、3830)中的任一者。嵌入式显示面板4118是触摸显示器，并且可以是本 文中所描述的显示面板(例如，145、280、380、926、2140、3842)中的任一 者。触摸分析器4134和视觉/成像分析器4138可以是本文中所描述的机盖控 制器中枢(例如，155、260、305、954、1705、3810)中的任一者的部分。在 一些实施例中，触摸分析器4134可以是lch主机模块(例如，176、261、362、 1720)的部分，并且在一些实施例中，视觉/成像分析器4138可以包括本文中 所描述的lch视觉/成像模块或视觉/成像分析器集成电路(例如，172、263、 363、1740、2540a、2540b、3020、3026)中的任一者的部分，或者可以是lch 视觉/成像模块或视觉/成像分析器集成电路中的任一者的部分。在一些实施例 中，触摸分析器4134和视觉/成像分析器4138可以是分开的物理组件(例如， 分开的封装集成电路、或者被封装在一起的分开的集成电路)。相机4128可 以是本文中所描述的相机(例如，160、270、346、932、2514、3014)中的任 一者。主机处理单元4150可以是本文中所描述的任何主机处理单元(例如， 140、385、380、382、340、342、914、1760、2186)。基座4214可以是本文 中所描述的基座(例如，110、129、210、315、910、1702)中的任一者。
528.图42图示出应用于计算设备的示例组合手势。计算设备4200 包括机盖4210、基座4214、相机4218、以及显示器4228。组合手势4250开 始于用户的手指4220在显示器4228上的第一点4232处的触摸，以选择虚拟 对象。手势以用户沿从第一点4232到显示器4228上的第二点4236的路径4240 移动其手指4220来继续。组合手势的空中部分开始于第二点4236，在该第二 点4236处，用户捏合其手指来“抓取”对象，并且随后将其手指拉离显示表面 以“拾取”所选择的对象。用户沿路径4244将其捏合的手指拉离显示表面，指 示该路径的路径4244的虚线表示在显示器4228前方的空间中作出。在显示器 前方的空间中的点4248处，用户通过例如松开他们的手指来结束组合手势的 空中手势部分，这使得所选择的虚拟对象在应用环境内“掉落”。
529.参考图41，在一些实施例中，设备4100可以启用组合手势，诸 如图42中图示出的组合手势，如下所述。触摸分析器4134从触摸显示器控制 器4124接收触摸传感器数据4130，触摸传感器数据4130与在显示器处作出 的触摸手势(例如，在第一点4232处的捏合手势、沿路径4240拖动虚拟对象) 相关联。触摸分析器4134基于接收到的触摸数据来确定触摸元数据。触摸分 析器可以基于接收到的触摸数据来确定触摸位置信息(例如，用户选择虚拟对 象所在的第一点4232的位置、用户“拾取”对象所在的第二点4136的位置、沿 路径4240的位置)。触摸分析器4134将触摸元数据4144发送至主机处理单 元4150。在一些实施例中，触摸分析器4134可以将在触摸分析器4134处接收 到的触摸传感器数据4130的部
分发送至主机处理单元4150。在其中触摸分析 器4134是机盖控制器中枢的部分的实施例中，lch的除触摸分析器4134之 外的组件可以将触摸元数据4144发送至主机处理单元4150。在一些实施例中， 触摸分析器4134可以确定多个触摸位置的位置，并且触摸元数据可以包括对 显示器4118的多个同时触摸的触摸位置信息。对显示器的多个同时触摸的位 置可以允许操作系统4160或应用4170确定显示器处的多指触摸手势，诸如在 图41中图示的组合手势示例中用于拾取虚拟对象的捏合手势。
530.视觉/成像分析器4138从相机4128接收图像传感器数据4132， 图像传感器数据与由用户做出的空中手势(例如，用户沿路径4244从显示器 的表面拉回他们的捏合的手指)相关联。视觉/成像分析器4138基于接收到的 图像传感器数据来确定图像元数据。视觉/成像分析器4138可以基于图像传感 器数据来确定空中手势位置信息。空中手势位置信息可以包括在图像传感器数 据4132中检测到的手势对象(例如，手指、触控笔)的位置。可以利用一个或 多个nna(例如，nna 327)和/或dsp(例如，dsp 328)来确定手势对象的 位置。在一些实施例中，视觉/成像分析器4138基于从位于机盖中的多个相机 接收到的图像传感器数据来确定图像元数据。视觉/成像分析器4138将图像元 数据4148发送至主机处理单元4150。在一些实施例中，视觉/成像分析器4138 可以将图像传感器数据4132的部分发送至主机处理单元4150。在其中视觉/成 像分析器4138是机盖控制器中枢的部分的实施例中，lch的除视觉/成像分析 器4138之外的组件可以将图像元数据4148发送至主机处理单元4150。
531.在一些实施例中，相比于相机，诸如激光雷达传感器、雷达传感 器和超声传感器之类的输入传感器可以更好地用作接近度传感器，因为相比于 通过来自图像传感器的手势对象的位置，可以以更少的计算工作来确定空中手 势位置信息。
532.触摸分析器4134、视觉/成像分析器4138、机盖4110中的另一 组件或其组合可以确定指示触摸传感器数据4130与图像传感器数据4132在时 间上相关的时间关系信息、指示触摸传感器数据4130与图像传感器数据4132 在空间上相关的空间关系信息，或时间关系信息和空间相关信息两者。可以将 时间关系信息和空间关系信息从触摸分析器4134、视觉/成像分析器4138或另 一机盖组件发送至主机处理器单元4150。如果例如与对显示器的触摸相对应的 触摸传感器数据被确定为紧接在确定与空中手势相对应的图像传感器数据已 被相机4128捕捉或被视觉/成像分析器4138接收之前或紧接在这之后已被触 摸显示器控制器4124捕捉或在触摸分析器4134处被接收，则触摸传感器数据 4130和图像传感器数据4132可以在时间上相关。如在确定触摸传感器数据与 图像传感器数据之间的时间关系时使用的术语“紧接在
……
之前”和“紧接 在
……
之后”并不意指在触摸控制器4124处对触摸传感器数据的捕捉或在触摸 分析器4134处对触摸传感器数据的接收与在相机4128处对图像传感器数据的 捕捉或在视觉/成像分析器4138处对图像传感器数据的接收之间不存在时间间 隙，而是它们在时间上连续发生并且可以在彼此的短时间内(例如，在十分之 一秒、四分之一秒、二分之一秒或一秒内)发生。
533.如果例如由触摸位置数据表示的对显示器的触摸的所确定的开 始位置或结束位置接近于由图像传感器数据表示的空中手势的所确定的开始 位置或结束位置，则触摸传感器数据和图像传感器数据可以在空间上相关。如 在确定触摸传感器数据和图像传感器数据在空间上是否相关时所使用的术语
ꢀ“
接近”并不意指触摸手势在空中手势结束或开始
所在的精确位置处开始或结 束。相反，如果触摸传感器数据和图像传感器数据的对应触摸手势和空中手势 彼此在距离阈值内(例如，在人类指尖的尺寸、触控笔笔尖的尺寸的尺度上在 数个像素内)开始或结束，则触摸传感器数据和图像传感器数据可以被确定为 在空间上相关。
534.在一些实施例中，确定是否已经在显示器处做出组合手势可以 包括确定从第一手势分量开始的时间(例如，由触摸分析器或视觉/成像分析器 接收到触摸/图像传感器数据的时间、或者基于由触摸分析器或视觉/成像分析 器对触摸/图像传感器数据的分析已经确定手势已经开始的时间)开始直到第二 手势分量结束的时间(例如，由触摸分析器或视觉/成像分析器接收到上一触摸 /图像传感器数据所在的时间，或基于由触摸分析器或视觉/成像分析器对触摸/ 图像传感器数据的分析已经确定手势已结束的时间)为止用户是否已经与显示 器接合。下文更详细地讨论确定用户与显示器的接合。
535.在设备4100上运行的操作系统4160或应用4170可以基于触摸 元数据4144和图像元数据4148来确定是否已经在设备4100处作出组合手势。 在一些实施例中，此种确定可以基于以下各项中的一项或多项来作出：空间关 系信息、时间关系信息、触摸传感器数据、图像传感器数据、触摸位置信息、 以及空中手势位置信息。操作系统4160或应用4170可以响应于确定了组合手 势已经被作出而执行一个或多个动作，诸如执行图41中图示的组合“移动-拾 取-掉落”手势。
536.在一些实施例中，设备4100可以包括附加传感器4154。附加传 感器4154可以包括一个或多个激光雷达(“光检测和测距”、“激光成像、检测 和测距”)传感器、雷达传感器、以及超声传感器。激光雷达传感器包括能够以 激光来照明对象并测量反射的任何传感器。激光雷达传感器可以将激光雷达传 感器数据提供至机盖4110中的一个或多个其他组件。激光雷达传感器数据可 以包括基于由传感器测得的激光反射指示接近于设备4100的一个或多个检测 到的对象的存在或到一个或多个检测到的对象的距离的信息、和/或表示测得的 激光反射以供另一组件处理的数据。
537.雷达传感器包括能够将无线电波发射到其周围并测量无线电波 反射的任何传感器。雷达传感器可以将雷达传感器数据提供至机盖4110中的 一个或多个其他组件。雷达传感器数据可以包括基于由雷达传感器测得的无线 电波反射指示接近于设备4100一个或多个对象的存在或到该一个或多个对象 的距离的信息、和/或表示测得的无线电波反射以供另一组件处理的数据。超声 传感器包括能够将超声波发射到其周围并测量超声反射的任何传感器。超声传 感器可以将超声传感器数据提供至机盖4110中的一个或多个其他组件。超声 传感器数据可以包括基于由传感器测得的超声波反射指示接近于设备4100一 个或多个对象的存在或到该一个或多个对象的距离的信息、和/或表示测得的超 声波反射以供另一组件处理的数据。
538.激光雷达传感器数据、雷达传感器数据、以及超声传感器数据 可作为附加数据传感器数据4158被发送至附加传感器分析器4162。附加传感 器分析器4162可以基于附加传感器数据4158确定对象的存在或到对象的距 离。在一些实施例中，附加传感器分析器4162可以包括多个分析器，其中每 个分析器处理一种类型的传感器数据，诸如处理激光雷达传感器数据的激光雷 达分析器、处理雷达传感器数据的雷达分析器、以及处理超声传感器数据的超 声传感器。附加传感器分析器可以生成附加传感器元数据4166，该附加传感器 元
数据4166可以被提供至一个或多个主机处理单元4150，在一个或多个主机 处理单元4150处，附加传感器元数据4166可以由操作系统4160、应用4170 中的一个或多个或集成传感器中枢4180进一步处理。
539.在一些实施例中，机盖中的一个或多个组件可以利用(或“融合”) 各种类型的传感器数据来确定由机盖4110或基座4140中的其他组件使用的元 数据信息。例如，可以使用激光雷达传感器数据、图像传感器数据、雷达传感 器数据或超声传感器数据中的一者或多者来确定显示器4118前方的一个或多 个对象的存在或该一个或多个对象的位置。虽然在本文中在涉及组合手势和多 平面手势的讨论中引用了图像传感器数据和图像传感器元数据，但是组合手势 和多平面手势也可以依赖于附加传感器数据和附加传感器元数据。例如，确定 已经作出组合手势或确定多平面手势的相关性可以基于附加传感器数据4158 和/或附加传感器元数据4166，并且图像传感器元数据4148可以包括基于对图 像传感器元数据与附加传感器数据4162类型中的一种或多种的组合处理的元 数据。
540.例如，操作系统4160或应用4170中的一个应用可以基于包 括从图像传感器数据确定的元数据的图像元数据、以及附加传感器数据类型中 的一种或多者来确定组合手势。在一些实施例中，可以进一步基于附加传感器 元数据来确定组合手势。附加传感器元数据和/或图像元数据可以包括基于图像 传感器数据、雷达传感器数据、激光雷达传感器数据、以及超声传感器数据中 的一者或多者的空中手势位置信息。在一些实施例中，可以将激光雷达传感器 数据的部分、雷达传感器数据的部分、以及超声传感器数据的部分中的一者或 多者提供至一个或多个处理单元4150，并且对组合手势的确定可以进一步基于 被发送至基座4140的此种附加传感器数据来确定。
541.在一些实施例中，时间关系信息和/或空间关系信息可以基于触 摸传感器数据、图像传感器数据、雷达传感器数据、激光雷达传感器数据、以 及超声传感器数据中的一者或多者。
542.在一些实施例中，用户接合信息也可以基于附加传感器数据类 型。例如，确定在显示器前方存在还是不存在用户、用户的头部或面部的取向、 以及用户与设备4100的显示器接合还是不接合可以基于图像传感器数据、雷 达传感器数据、激光雷达传感器数据、以及超声传感器数据中的一者或多者。 在一些实施例中，作为作出此类确定的部分，一个或多个nna(例如，327、 3030)和/或dsp(例如，dsp 328)可以利用各种传感器数据类型中的一者或 多者。
543.在一些实施例中，对多种类型的传感器数据进行处理或“融合
”ꢀ
以确定触摸位置、空中手势位置、空间或时间关系、用户存在、头部/面取向、 用户接合、或涉及多种类型的传感器数据的任何其他确定可以在触摸分析器、 视觉/成像分析器4138、附加传感器分析器和/或机盖4110中的、未在图41中 示出的任何其他组件中执行。触摸分析器4134、视觉/成像分析器4138、附加 传感器分析器4162中的每一者可以与其他分析器中的任一者共享在分析器处 接收到的传感器数据，并且由这些分析器中的一个分析器生成的任何元数据也 可以与这些其他分析器中的任一者分享。lch 4138可以是本文中所描述的 lch(例如，155、260、305、954、1705、3834)中的任一者。在一些实施例 中，对多种传感器数据类型的融合可以在基座中由集成传感器中枢4180执行。
544.图43a-43c图示出相关的多平面手势和参考触摸手势的第一示 例。如本文中所使
用，短语“多平面手势”是指两个或更多个手势，其中一个或 多个手势是在显示器手势(第一“平面”)处作出的触摸手势，并且一个或多个 手势是在显示器前方的空间(第二“平面”)中作出的空中手势。在术语“多平面
”ꢀ
中对词语“平面”的使用并不要求空中手势沿距显示器的固定距离被作出，并且 旨在暗示空中手势不是在显示表面处作出的。多平面手势可以包括包含朝向显 示表面和从显示表面离开(例如，沿相对于显示屏的显示表面的z轴)的移动 的空中手势，并且可以在远离显示表面的任何距离处发生。
545.在图43a-图43b中图示出的多平面手势被示出为应用于计算设 备4300。设备4300包括机盖4310、基座4314、相机4304、以及显示器4318。 设备4300正在执行插画应用。在图43a中，用户通过触摸显示器4318上的点 4324处的编辑用户界面要素来选择编辑模式。响应于对编辑界面要素的选择， 应用进入编辑模式，在编辑模式下，应用识别空中手势并对空中手势进行响应 以编辑插画。由此，对显示器4318上点4324的触摸是一系列多平面手势中的 第一手势。在图43b中，如由在显示器4318前方的空间中作出手势的用户的 手部4328所图示，用户使用空中手势对插画进行编辑(例如，绘制、描画、涂 色)。空中手势可以包括用户利用伸出的食指或利用他们的手部来作出手势。
546.利用空中手势来编辑插画向用户提供了能够在具有对显示器 4318的阻碍较少的查看的同时与插画进行交互的优势。图43c图示出其中用 户经由触摸来编辑插图的参考触摸手势，相对于该参考触摸手势来比较图43b 的空中手势。如可以看出，通过经由触摸手势来编辑插图，用户的手部(和腕 部)会遮挡显示器的部分。由此，作出空中手势允许用户在交互期间查看到显 示器的更多的部分。进一步地，空中手势可允许用户从更加舒适的物理条件来 与显示器进行交互。例如，在就坐于课桌旁时与膝上型计算机进行交互的用户 可能不得不前倾以触摸膝上型计算机的显示表面。使用空中手势可以允许用 户在与设备交互时以更舒适和符合人体工程学的正确定位坐回在椅子上。
547.在图43a-图43b中图示出的类型的相关多平面手势是相关的， 体现在第一动作(例如，触摸编辑ui要素)将应用、操作系统或设备置于其 中空中手势被识别并被作用的模式或情境中。在一些实施例中，基于作出空中 手势与触摸手势在时间上有多靠近，在触摸手势之后作出的空中手势与该触摸 手势相关。例如，图43a-图43b中示出的插画程序可以识别在用户选择编辑 ui要素之后的所指定的时间段(其可以是预定义的时间或用户定义的时间)内 发生的任何空中手势，并将该空中手势解释为用于对插画进行编辑而作出的空 中手势。可以将一个或多个空中手势解释为出于编辑目的而被作出。一旦在所 指定的时间内还未作出空中手势，插图程序就可以退出其中空中手势被解释为 用于插画编辑目的的模式或情境。
548.在一些实施例中，基于从触摸手势被作出的时间到空中手势被 作出的时间用户与显示器的接合的连续性，触摸手势之后的空中手势可以与该 触摸手势相关。例如，可以在编辑ui要素被触摸之后作出多个空中手势，并 且只要用户与显示器接合，后续的空中手势就可以被解释为插画编辑手势。也 就是说，只要用户保持与显示器4318接合，就维持响应于触摸手势而将设备 4300、操作系统或应用置于其中的模式或情境。如果用户由于例如用户在显示 器前方的存在不再被检测到或检测到用户将目光从显示器移开而变成脱离的， 则应用、操作系统或应用从通过触摸手势触发的模式或情境退出。下文更详细 地讨论就连续手势和多平面手势而言确定用户接合。不要求在初始触摸手势之 后作出的手势是
空中手势。在初始触摸手势之后作出的触摸手势可以被解释为 在作为初始触摸手势的结果而进入的模式或情境中作出，并且可以在空中手势 之后、在空中手势之间、或与空中手势同时作出。
549.进一步地，不必以触摸手势来开始一系列多平面手势。在一些 实施例中，一系列多平面手势中的初始手势可以是空中手势。例如，当在屏幕 前方检测到存在用户时，对逐渐接近显示器的手势对象(例如，手指、触控笔) 的检测可以使得一个或多个动作(诸如显示一个或多个ui要素)被采取。在 一些实施例中，ui要素可以在显示器附近、手指被确定逐渐接近显示器之处被 显示。当在屏幕前方检测到用户或在诸如当特定应用正在操作，当应用的特定 部分正在操作时等之类的某些情境中，可以连续执行对针对逐渐接近的手势对 象的图像传感器数据的监视。在一些实施例中，由手势对象作出的特定空中手 势可以触发其中对逐渐接近显示表面的手势对象的检测可使得一个或多个ui 要素被显示或其他动作被采取的模式。
550.参考图41，在一些实施例中，设备4100可以启用相关多平面手 势，诸如图43a-图43b、图44a-图44c、图45a-图45b、图46a-图46b、图 47a-图47b以及图48a-图48b中图示出的多平面手势，如下所述。触摸分析 器4134接收来自触摸显示器控制器4124的触摸传感器数据4130，该触摸传 感器数据4130与在显示器处作出的触摸手势(例如，图43a中的选择编辑ui 要素)相关联。触摸分析器4134基于接收到的触摸传感器数据4130来确定触 摸元数据4144。触摸分析器4134可基于接收到的触摸传感器数据4130来确 定触摸位置信息。触摸分析器4134将触摸元数据4144发送至主机处理单元 4150。在一些实施例中，触摸分析器4134可以将在触摸分析器4134处接收到 的触摸传感器数据4130的部分发送至主机处理单元4150。在其中触摸分析器 4134是机盖控制器中枢的部分的实施例中，lch的除触摸分析器4134之外的 组件可以将触摸元数据4144发送至主机处理单元4150。在一些实施例中，触 摸分析器4134可以确定多个触摸位置的位置，并且触摸元数据可以包括对显 示器4118的多个触摸的触摸位置信息。对显示器的多个触摸的位置信息可以 允许操作系统4160或应用4170检测多指触摸手势。
551.视觉/成像分析器4138接收来自相机4128的图像传感器数据 4132，该图像传感器数据4132与由用户作出的一个或多个空中手势(例如， 如图43b中图示出的用户作出“绘制”或“描画”空中手势)相关联。视觉/成像分 析器4138基于接收到的图像传感器数据4132来确定图像元数据4148。视觉/ 成像分析器4138可以基于图像传感器数据4132来确定空中手势位置信息。空 中手势位置信息可以包括在图像传感器数据4132中检测到的手势对象(例如， 手指、触控笔)的位置。可以利用一个或多个神经网络加速器(例如，nna 327、 3030)和/或数字信号处理器(例如，dsp 328)来确定手势对象的位置。视觉 /成像分析器4138将图像元数据4148发送至主机处理单元4150。在其中视觉/ 成像分析器4138是机盖控制器中枢的部分的实施例中，lch的除视觉/成像分 析器4138之外的组件可以将图像元数据4148发送至主机处理单元4150。在 一些实施例中，触摸分析器4134可以将触摸传感器数据4130的部分发送至主 机处理单元4150。
552.视觉/成像分析器4138可以基于图像传感器数据来确定用户接 合信息。视觉/成像分析器4138可以通过确定用户的面部或头部相对于显示器 的取向来确定用户接合，并且如果面部或头部取向信息指示用户不是正在看着 显示器，则确定用户不与显示器接合。
在一些实施例中，确定用户接合信息可 以确定在显示器前方是否存在用户。在一些实施例中，确定是否存在用户包括 确定用户是否位于定位在设备4100中的相机的视场内。视觉/成像分析器4138 可以经由本文中所描述的方式中的任何方式来检测用户的存在或确定用户是 否与显示器接合，这些方式诸如针对就本文中在图23-图37和对应讨论处所公 开的多显示器系统中的显示管理而言检测用户的存在和检测用户是否接合所 描述的方式中的任何方式。例如，视觉/成像分析器4138可以利用nna(例如， nna 327、3030)来确定在视场中存在还是不存在用户、以及用户与显示器4118 接合还是脱离。视觉/成像分析器4138可以利用机器学习算法(例如，神经网 络)以在由相机4128提供的图像传感器数据中检测人类面部和/或面部取向。 图像元数据可以包括指示检测到的面部的位置的用户位置信息。在一些实施例 中，视觉/成像分析器4138可以基于图像传感器数据4132来检测多个用户的 存在，确定多个用户的头部或面部取向，和/或确定多个用户的接合信息。
553.在一些实施例中，如果用户脱离达短时间段，则设备可以保持 处于空中识别模式。这可以允许设备保持处于其中空中手势被识别和被作用的 模式或情境中的时段比用户要看着屏幕以使得设备保持处于空中手势识别模 式的情况下更长。例如，考虑其中用户正在膝上型计算机处工作并且选择使该 膝上型计算机进入空中手势识别模式的ui要素的场景。用户可以位于屏幕前 方并且由于其正在喝一口咖啡、检查其智能电话等而暂时将目光移开。设备可 以允许此类脱离时刻并且保持处于空中手势模式。其间允许用户脱离的时段可 以是预先配置的或用户定义的，并且可以是例如1秒、3秒、1分钟、5分钟、 10分钟、或任何其他长度的时间。在其他实施例中，只要用户存在，设备就保 持处于空中手势识别模式，而不考虑用户是否正在看着屏幕。这可允许其中用 户位于处于空中手势识别模式的设备的前方的场景，并且允许用户花费不限量 的时间来阅读报纸、阅读书籍等。在此类场景中，如果设备屏幕上弹出系统通 知(可以经由可听警报向用户通知该系统通知)，则用户可以查找、阅读通知， 并利用对其手部的空中滑动忽略该通知，而无需向前伸手来触摸屏幕。
554.在一些实施例中，用户接合可以基于检测到用户在显示器前方 的存在，但是考虑用户是否正在看着屏幕而允许用户片刻的脱离。这可以允许 设备、操作系统或应用保持处于其中空中手势被识别和被作用的模式或情境中 的时段比用户应正在看着屏幕以使得用户被认为是接合的情况下更长。例如， 考虑其中用户正在看着膝上型计算机并且选择使该膝上型计算机进入其识别 空中手势的模式的ui要素的场景。用户可以位于屏幕前方并且由于其正在喝 一口咖啡、阅读报纸、检查其智能电话等而暂时将目光移开。来自片刻的允许。
555.在其中视觉/成像分析器4138检测到多个用户的一些实施例中， 设备可以将用户关联至触摸手势或空中手势。此种关联可以由视觉/成像分析器 4138、触摸分析器4134、机盖4110中的另一组件、或其组合来执行。在一些 实施例中，将用户关联至触摸手势或空中手势可以由设备4100的基座4140中 的计算资源执行，诸如由主机处理单元4150执行。将多个检测到的用户中的 一者与触摸手势或空中手势相关联可以包括基于触摸位置信息、图像位置信息、 和/或用户位置信息来确定哪个用户位于最靠近于手势之处。可以由视觉/成像 分析器4138或机盖4110的另一组件将一个或多个用户的用户接合信息发送至 主机处理单元4150。
556.在设备4100上操作的操作系统4160或应用4170可以基于触摸 元数据来执行一个
部4528经由一个或多个空中手势来操纵圆锥4534。移动或操纵对象的空中手 势可以包括用于在cad环境中从表面拾取或抬起对象的“抓取”手势(例如， 将一根或多根手指朝向拇指合拢(但不接触))或捏合手势、以及用于旋转对 象的对处于抓取定位的捏合的手指或手部的扭转或移动。在cad环境中，用 户将其手指或手部从屏幕移开或朝向屏幕移动可以分别使得对象被移动成更 靠近于或更远离于用户。如此，cad应用可以基于从显示器4530的表面距用 户的手指、手部、或其他手势对象的距离来执行动作。
561.图46a-图46b图示出相关的多平面手势的第四示例。手势被示 出为应用于计算设备4600，该计算设备4600包括机盖4610、基座4620、相机 4604、以及显示器4630。设备4600正在执行视频会议应用。在图46a中，用 户经由在显示器4630上的点4624处的触摸来选择音量控制ui要素。作为响 应，视频会议应用进入其中可以经由空中手势来控制音量的音量控制模式。在 图46b中，用户的手指4628通过空中手势控制音量滑块ui要素4632(例如， 用户的手指4628向左或向右移动使得音量滑块ui要素向左或向右滑动，并且 由此降低或提高音量水平设置)。可以被识别为接受经调整的音量设置的空中 手势的示例包括上下滑动手指4628或者将手指4628收回到用户的拳头中。
562.图46a-图46b图示出响应于初始手势(例如，触摸音量控制ui 要素)而被呈现的用户界面要素(例如，音量控制滑块)的示例，能够经由空 中手势与该ui要素进行交互。响应于对显示器进行触摸，可以呈现能够经由 空中手势与其交互的各种其他ui要素。在一些实施例中，操作系统或应用可 以进入包括显示新的用户界面的模式或情境，在该模式或情境下，空中手势被 识别并被作用。操作系统或应用可以保持处于此种模式或情境，直到用户不再 与显示器接合，预期的空中手势已经被接收，或用户退出该模式或情境(通过 提供例如操作系统或应用识别为指示用户期望退出该模式或情境的手势的触 摸手势或空中手势)，或用户触摸使得退出空中手势模式或情境的ui要素。
563.在其中对用于应用设置(诸如在图46a-图46b中图示出的用于 视频会议应用的音量设置)的参数值的调整可以经由空中手势来作出的应用中， 各种类型的空中手势可以控制对参数值的调整。例如，面向显示器的抬高的手 掌可以静音，面相上的手掌可以增加参数值，并且面向下的手掌可以减小参数 值。可以被识别为选择参数值的空中手势的示例包括摆动手指、在空中“双击
”ꢀ
手指或握拳。在一些实施例中，也可以经由空中手势作出对操作系统级参数的 调整。例如，响应于用户触摸与操作系统参数相关联的图标，设备可以进入其 中后续空中手势可以调整操作系统参数的值的模式或情境。
564.图47a-图47b图示出相关的多平面手势的第五示例。手势被示 出为应用于计算设备4700，该计算设备4700包括机盖4710、基座4720、相机 4704、以及显示器4730。设备4700正在执行视频会议应用，其中正在参与者 之间共享饼状图。在图47a中，用户通过在点4728处触摸显示器4730来选择 饼状图的部分4724。作为响应，视频会议应用进入其中可以经由空中手势来对 图表进行注释的注释模式。图47b图示出用户的手指4732通过经由空中手势 添加注释“ 10”并从部分4724沿着注释绘制箭头来注释图表部分4724。在一些 实施例中，可以通过应用将手势对象在距显示表面第一距离范围内的作出的空 中手势解释为要在显示器上作出的书写并且不将手势对象在相比于该距离范 围进一步远离显示器作出的空中手势解释为用于创建注释的手势来执行利用 空中手势的书写。在其他视频会议应用实施例中，用户可以触摸使得应用进 入演示模式的ui要素，在该演示模式下，空中手势控制在
会议期间共享的内 容。例如，向右的空中滑动可以使演示前进到下一幻灯片，空中捏合或松开手 势可以使得应用程序放大或缩小所呈现的内容。
565.图48a-图48b图示出相关的多平面手势的第六示例。手势被示 出为应用于计算设备4800，该计算设备4800包括机盖4810、基座4820、相机 4804、以及显示器4830。设备4800正在执行办公生产力应用，并且多个通知 4824(例如，文本通知、电子邮件通知、系统通知、会议通知、来电通知)已 经出现在显示器4830的右下方。在图48a中，用户在显示器4830上的点4832 处用手指4828从多个通知4824中选择通知。作为响应，操作系统进入通知可 以经由空中手势而被忽略或被选择的模式。在图48b中，手指4828经由空中 手势选择通知4824(通过例如指向通知达阈值时间量)并且随后作出“向右滑 动”手势来忽略该通知。用户可以以类似的方式来忽略通知4836和4840。替 代地，用户可以通过例如向左滑动、向上滑动、做出空中“轻击”手势等来指示 查看关于所选择的通知的更多信息。提供查看与通知有关的更多信息的指示 可以使得设备打开电子邮件应用来查看电子邮件，使得示出通知内容的更多内 容的弹出窗口被显示，或执行允许用户查看关于所选择的通知的更多信息的任 何其他动作。
566.通过允许对何时可由操作系统或应用接受空中手势的改善的控 制，本文中描述的相关的多平面手势可以允许对协作应用的改善的控制、改善 的游戏体验、以及更身临其境的创作者工具。如所讨论，可以呈现允许用户使 设备进入其中空中手势被识别并被作用的模式或情境的ui要素。这在例如插 画应用中可以是有益的。例如，用户可以使用他们的惯用手控制触控笔经由触 摸手势与插图应用交互，并使用他们的另一只手触摸ui要素来调出色轮ui要 素，用户可以经由空中手势在色轮ui要素中选择新颜色。用户可以将其惯用 手保持在触控笔上并且利用其非惯用手经由空中手势来选择新颜色，从而允许 对新颜色的选择在其非惯用手不遮挡显示器的部分的情况下作出。许多其他多 平面手势用例是可能的。例如，可以呈现当被选择时使得用户经由空中手势选 择画笔宽度的画笔尺寸ui要素。可以通过用户将其手指或手部移动成更靠近 或更远离屏幕、或者通过向上或向下移动其手指或手部来调整画笔宽度。
567.图49是确定应用于移动计算设备的组合手势并基于该组合手 势来执行动作的示例方法。方法4900可以由诸如膝上型计算机之类的移动计 算设备(例如，100、122、200、300、900、3800)来执行。方法要素4910可 以在移动计算设备的机盖中执行，并且方法要素4930可以在移动计算设备的 基座中执行。在4912处，从触摸显示器控制器接收触摸传感器数据。在4914 处，从相机接收图像传感器数据。在4916处，基于触摸传感器数据来确定触 摸元数据。在4918处，基于图像传感器数据来确定图像元数据。在4920处， 将触摸元数据和图像元数据提供至操作系统。在4932处，操作系统或应用基 于触摸元数据和图像元数据来确定组合手势。操作系统和应用正在位于移动计 算设备的基座中的一个或多个处理单元上执行。在4934处，操作系统或应用 基于组合手势来执行一个或多个动作。在其他实施例中，方法4900可以包括 附加要素，诸如，将触摸传感器数据的部分和/或图像传感器数据的部分提供至 操作系统，操作系统或应用基于触摸传感器数据的部分和/或图像传感器数据的 部分来确定组合手势。
568.图50是确定存在一系列多平面手势并且基于这些多平面手势 来执行动作的示例方法。方法5000可以由诸如膝上型计算机之类的移动计算 设备(例如，100、122、200、300、
900、3800)来执行。方法要素5010可以 在移动计算设备的机盖中执行，并且方法要素5030可以在移动计算设备的基 座中执行。在5012处，从触摸显示器控制器接收第一触摸传感器数据。在5014 处，基于第一触摸传感器数据来确定第一触摸元数据。在5016处，将第一触 摸元数据提供至操作系统。在5018处，在第一触摸传感器数据被接收之后， 从位于移动计算设备的机盖中的相机接收图像传感器数据。在5020处，基于 图像传感器数据来确定图像元数据。在5022处，将图像元数据提供至操作系 统。在5032处，操作系统或应用基于第一触摸元数据来执行一个或多个第一 动作。操作系统和应用正在位于移动计算设备的基座中的一个或多个处理单元 上执行。在5034处，操作系统或应用基于第一触摸元数据来执行一个或多个 第二动作。
569.在其他实施例中，方法5000可以包括附加要素，诸如，基于图 像传感器数据来确定指示第一用户与移动计算设备的显示器的接合的第一用 户接合信息并将第一用户接合信息提供至操作系统，其中，如果第一用户接合 信息指示从与接收第一触摸传感器数据相关联的时间开始直到与接收图像传 感器数据相关联的第二时间为止第一用户与显示器的接合，则操作系统或应用 执行一个或多个第二动作。
570.下列示例涉及根据本说明书的实施例。
571.示例fa1是一种方法，该方法包括，在移动计算设备的机盖中： 接收来自触摸显示器控制器的触摸传感器数据，接收来自相机的图像传感器数 据，基于触摸传感器数据来确定触摸元数据，基于图像传感器数据来确定图像 元数据，以及将触摸元数据来图像元数据提供至操作系统；以及在移动计算设 备的基座中：由操作系统或应用基于触摸元数据和图像元数据来确定组合手势， 该操作系统和应用在位于基座中的一个或多个处理单元上执行，以及由操作系 统或应用基于组合手势来执行一个或多个动作。
572.示例fa2包括如示例fa1所述的方法，其中，图像元数据包括 空中手势位置信息。
573.示例fa3包括如示例fa2所述的方法，其中，空中手势位置信 息包括指示手势对象距移动计算设备的显示器的距离的距离信息，执行一个或 多个动作进一步基于该距离信息。
574.示例fa4包括如示例fa1所述的方法，其中，触摸元数据包括 触摸位置信息。
575.示例fa5包括如示例fa1所述的方法，进一步包括：在移动计 算设备的机盖中，将触摸传感器数据的至少部分提供至操作系统，确定组合手 势进一步基于该触摸传感器数据的至少部分。
576.示例fa6包括如示例fa1所述的方法，进一步包括：在移动计 算设备的机盖中，将图像传感器数据的至少部分提供至操作系统，其中，确定 组合手势进一步基于该图像传感器数据的至少部分。
577.示例fa7包括如示例fa1所述的方法，进一步包括在移动计算 设备的机盖中：确定指示触摸传感器数据和图像传感器数据在时间上相关的时 间关系信息；以及将时间关系信息提供至操作系统，其中，确定组合手势进一 步基于该时间关系信息。
578.示例fa8包括如示例fa1所述的方法，进一步包括在移动计算 设备的机盖中：确定指示触摸传感器数据和图像传感器数据在空间上相关的空 间关系信息；以及将空间关系信息提供至操作系统，其中，确定组合手势进一 步基于该空间关系信息。
579.示例fa9包括如示例fa1所述的方法，进一步包括在移动计算 设备的机盖中：接收
来自激光雷达传感器、雷达传感器和超声传感器中的一者 或多者的附加传感器数据；基于该附加传感器数据来确定附加传感器元数据； 以及将附加传感器元数据提供至一个或多个处理单元，其中，确定组合手势进 一步基于附加传感器元数据。
580.示例fa10包括本文中上文的示例fa中任一项所述的方法，并 且进一步包括示例aa1-aa16、de1-de17或ea1-ea10中任一项所述的方法 的要素(只要那些方法要素与本文中上文的示例fa的方法要素不冗余)。
581.示例fb1是一种移动计算设备，该移动计算设备包括机盖和基 座，该机盖包括：触摸显示器；相机；触摸显示器控制器；视觉/成像分析器电 路系统，该视觉/成像分析器电路系统用于：接收来自相机的图像传感器数据， 基于图像传感器数据来确定图像元数据，以及将图像元数据提供至操作系统； 以及触摸分析器电路系统，该触摸分析器电路系统用于：接收来自触摸显示器 控制器的触摸传感器数据，基于触摸传感器数据来确定触摸元数据，以及将触 摸元数据提供至操作系统；该基座包括用于执行操作系统或应用的一个或多个 处理单元，该操作系统或应用用于：基于触摸元数据和图像元数据来确定组合 手势；以及基于组合手势来执行一个或多个动作。
582.示例fb1.5包括如示例fb1所述的移动计算设备，其中，视觉 /成像分析器电路系统和触摸分析器电路系统均为机盖控制器中枢的部分。
583.示例fb2包括如示例fb1所述的移动计算设备，其中，图像元 数据包括空中手势位置信息。
584.示例fb3包括如示例fb2所述的移动计算设备，其中，空中手 势位置信息包括指示手势对象距触摸显示器的距离的距离信息，执行一个或多 个动作进一步基于该距离信息。
585.示例fb4包括如示例fb1所述的移动计算设备，其中，触摸元 数据包括触摸手势位置信息。
586.示例fb5包括如示例fb1所述的移动计算设备，其中，触摸分 析器电路系统用于进一步将触摸传感器数据的至少部分提供至操作系统，其中， 确定组合手势进一步基于该触摸传感器数据的至少部分。
587.示例fb6包括如示例fb1所述的移动计算设备，其中，视觉/成 像分析器电路系统用于进一步将图像传感器数据的至少部分提供至操作系统， 其中，确定组合手势进一步基于该图像传感器数据的至少部分。
588.示例fb7包括如示例fb1所述的移动计算设备，其中，确定组 合手势进一步基于以下判定：基于触摸元数据和图像元数据，触摸传感器数据 和图像传感器数据在时间上是否相关。
589.示例fb8包括如示例fb1所述的移动计算设备，进一步包括视 觉/成像分析器电路系统和/或图像分析器电路系统用于：生成指示触摸传感器 数据和图像传感器数据在时间上相关的时间关系信息；以及将时间关系信息提 供至操作系统，其中，确定组合手势进一步基于该时间关系信息。
590.示例fb9包括如示例fb1所述的移动计算设备，其中，确定组 合手势进一步基于以下判定：基于触摸元数据和图像元数据，触摸传感器数据 和图像传感器数据在空间上是否相关。
591.示例fb10包括如示例fb1所述的移动计算设备，进一步包括 视觉/成像分析器电
路系统和/或图像分析器电路系统用于：生成指示触摸传感 器数据和图像传感器数据在空间上相关的空间关系信息；以及将空间关系信息 提供至操作系统，其中，确定组合手势进一步基于该空间关系信息。
592.示例fb11包括如示例fb1所述的移动计算设备，进一步包括 在机盖中：一个或多个附加传感器，该一个或多个附加传感器包括激光雷达传 感器、雷达传感器和超声传感器中的一者或多者；以及附加传感器分析器，该 附加传感器分析器用于：接收来自一个或多个附加传感器的附加传感器数据， 基于附加传感器数据来确定附加传感器元数据，以及将附加传感器元数据提供 至一个或多个处理单元，其中，确定组合手势进一步基于附加传感器元数据。
593.示例fb12包括本文中上文的示例fb中任一项所述的移动计算 设备，并且进一步包括示例ab1-ab14、da1-da17、db1-db14或ec1-ec10 中任一项的特征(只要那些特征与本文中上文的示例fb的特征不冗余)。
594.示例fc1是一种方法，该方法包括，在移动计算设备的机盖中： 接收来自触摸显示器控制器的第一触摸传感器数据；基于第一触摸传感器数据 来确定第一触摸元数据；将第一触摸元数据提供至操作系统；在接收到第一触 摸传感器数据之后，接收来自位于机盖中的相机的图像传感器数据；基于图像 传感器数据来确定图像元数据；以及将图像元数据提供至操作系统；以及在移 动计算设备的基座中，在位于移动计算设备的基座中的一个或多个处理单元上 执行的操作系统和应用：基于第一触摸元数据来执行一个或多个第一动作；以 及在执行一个或多个第一动作之后，基于图像元数据来执行一个或多个第二动 作。
595.示例fc1.5包括如示例fc1所述的方法，其中，视觉/成像分析 器电路系统和触摸分析器电路系统均为机盖控制器中枢的部分。
596.示例fc2包括如示例fc1所述的方法，包括在移动计算设备的 机盖中：基于图像传感器数据来确定指示第一用户与移动计算设备的显示器的 接合的第一用户接合信息；以及将第一用户接合信息提供至操作系统，其中， 如果第一用户接合信息指示从与接收第一触摸传感器数据相关联的第一时间 开始直到与接收图像传感器数据相关联的第二时间为止第一用户与显示器的 接合，则操作系统或应用执行一个或多个第二动作。
597.示例fc3包括如示例fc1所述的方法，进一步包括在移动计算 设备的机盖中：接收来自触摸显示器控制器的第二触摸传感器数据；基于第二 触摸传感器数据来确定第二触摸元数据；以及基于图像传感器数据来确定指示 第一用户与移动计算设备的显示器的接合的第一用户接合信息，以及将第二触 摸元数据和第一用户接合信息提供至操作系统；以及在移动计算设备的基座中， 如果第一用户接合信息指示从与接收第一触摸传感器数据相关联的第一时间 开始直到与接收第二触摸传感器数据相关联的第三时间为止第一用户与显示 器的接合，则操作系统或应用基于第二触摸元数据来执行一个或多个第三动作。
598.示例fc4包括如示例fc3所述的方法，其中，确定第一用户接 合信息包括：基于图像传感器数据在相机的视场中检测第一用户的存在；确定 第一用户的面部取向；以及基于该面部取向来确定第一用户是否正在看着移动 计算设备的显示器。
599.示例fc5包括如示例fc1所述的方法，进一步包括在移动计算 设备的机盖中：基于图像传感器数据在相机的视场中确定第一用户的存在和第 二用户的存在；将第一用户与第一触摸传感器数据相关联；以及将第二用户与 图像传感器数据相关联。
600.示例fc6包括如示例fc4所述的方法，进一步包括在移动计算 设备的机盖中：确定指示第二用户与移动计算设备的显示器的接合的第二用户 接合信息；以及将第二用户接合信息提供至操作系统，其中，如果第二用户接 合信息指示从与接收第一触摸传感器数据相关联的第一时间开始直到与接收 图像传感器数据相关联的第二时间为止第二用户与显示器的接合，则操作系统 和应用执行一个或多个第二动作。
601.示例fc7包括如示例fc1所述的方法，包括在移动计算设备的 机盖中：在接收到第一触摸传感器数据之后，接收来自触摸显示器控制器的第 二触摸传感器数据；基于第二触摸传感器数据来确定第二触摸元数据；确定指 示第一用户是否与移动计算设备的显示器接合的第一用户接合信息；以及将第 二触摸元数据和第一用户接合信息提供至操作系统；以及在移动计算设备的基 座中，如果第一用户接合信息指示从与接收第一触摸传感器数据相关联的第一 时间开始直到与接收第二触摸传感器数据相关联的第三时间为止第一用户与 显示器的接合，则操作系统或应用基于第二触摸元数据来执行一个或多个第三 动作。
602.示例fc8包括如示例fc1-fc7中任一项所述的方法，其中，执 行一个或多个第二动作包括：使得可以经由空中手势来与其交互的用户界面被 显示。
603.示例fc9包括如示例fa1所述的方法，进一步包括在移动计算 设备的机盖中：接收来自激光雷达传感器、雷达传感器和超声传感器中的一者 或多者的附加传感器数据；基于该附加传感器数据来确定附加传感器元数据； 以及将附加传感器元数据提供至一个或多个处理单元，其中，执行一个或多个 第二动作进一步基于附加传感器元数据。
604.示例fc10包括本文中上文的示例fc中任一项所述的方法，并 且进一步包括示例aa1-aa16、de1-de17或ea1-ea10中任一项所述的方法 的要素(只要那些方法要素与本文中上文的示例fc的方法要素不冗余)。
605.示例fd1是一种移动计算设备，该移动计算设备包括机盖和基 座，该机盖包括：触摸显示器；相机；触摸显示器控制器；视觉/成像分析器电 路系统，该视觉/成像分析器电路系统用于：接收来自触摸显示器控制器的第一 触摸传感器数据；基于第一触摸传感器数据来确定第一触摸元数据；以及将第 一触摸元数据提供至操作系统；触摸分析器电路系统，该触摸分析器电路系统 用于：在第一触摸传感器数据在视觉/成像分析器电路处被接收之后，接收来自 相机的图像传感器数据；基于图像传感器数据来确定图像元数据；以及将图像 元数据提供至操作系统；该基座包括用于执行操作系统和应用的一个或多个处 理单元，该操作系统和应用用于：基于第一触摸元数据来执行一个或多个第一 动作；以及在执行一个或多个第一动作之后，基于图像元数据来执行一个或多 个第二动作。
606.示例fd2包括如示例fd1所述的移动计算设备，视觉/图像分 析器电路系统用于进一步：基于图像传感器数据来确定指示第一用户与触摸显 示器的接合的第一用户接合信息；以及将第一用户接合信息提供至操作系统， 如果第一用户接合信息指示从与接收第一触摸传感器数据相关联的第一时间 起直到与接收图像传感器数据相关联的第二时间为止第一用户与触摸显示器 接合，则操作系统或应用执行一个或多个第二动作。
607.示例fd3包括如示例fd1所述的移动计算设备，触摸分析器电 路系统进一步用于：接收来自触摸显示器控制器的第二触摸传感器数据；以及 基于第二触摸传感器数据来确定第二触摸元数据；并且视觉/成像分析器电路系 统进一步用于：基于图像传感器数据来
确定指示第一用户是否与触摸显示器接 合的第一用户接合信息；以及将第二触摸元数据和第一用户接合信息提供至操 作系统，如果第一用户接合信息指示从与接收第一触摸传感器数据相关联的第 一时间起直到与接收第二触摸传感器数据相关联的第三时间为止第一用户与 触摸传感器的接合，则操作系统或应用进一步用于基于第二触摸元数据来执行 一个或多个第三动作。
608.示例fd4包括如示例fd1所述的移动计算设备，其中，确定第 一用户接合信息包括：基于图像传感器数据在相机的视场中检测第一用户的存 在；确定第一用户的面部取向；以及基于该面部取向来确定第一用户是否正在 看着触摸显示器。
609.示例fd5包括如示例fd1所述的移动计算设备，进一步包括在 移动计算设备的机盖中：基于图像传感器数据在相机的视场中确定第一用户的 存在和第二用户的存在；将第一用户与第一触摸传感器数据相关联；以及将第 二用户与图像传感器数据相关联。
610.示例fd6包括如示例fd5所述的移动计算设备，视觉/成像分 析器电路系统进一步用于：确定指示第二用户与移动计算设备的触摸显示器的 接合的第二用户接合信息；以及将第二用户接合信息提供至操作系统；其中， 如果第二用户接合信息指示从与接收第一触摸传感器数据相关联的第一时间 开始直到与接收图像传感器数据相关联的第二时间为止第二用户与触摸显示 器的接合，则操作系统或应用用于执行一个或多个第二动作。
611.示例fd7包括如示例fd6所述的移动计算设备，触摸分析器电 路系统用于：在接收到第一触摸传感器数据之后，接收来自触摸显示器控制器 的第二触摸传感器数据；基于第二触摸传感器数据来确定第二触摸元数据；以 及确定指示第一用户与触摸显示器接合的第一用户接合信息；将第二触摸元数 据和第一用户接合信息提供至操作系统；并且在移动计算设备的基座中，如果 第一用户接合信息指示从与接收第一触摸传感器数据相关联的第一时间开始 直到与接收第二触摸传感器数据相关联的第三时间为止第一用户与触摸显示 器的接合，则操作系统或应用用于基于第二触摸元数据来执行一个或多个第三 动作。
612.示例fd8包括如示例fd1-fd7中任一项所述的移动计算设备， 其中，一个或多个第二动作包括使得向用户提示空中手势的用户界面在触摸显 示器处被显示。
613.示例fd9包括如示例fd1所述的移动计算设备，进一步包括在 机盖中：一个或多个附加传感器，该一个或多个附加传感器包括激光雷达传感 器、雷达传感器和超声传感器中的一者或多者；以及附加传感器分析器，该附 加传感器分析器用于：接收来自一个或多个附加传感器的附加传感器数据；基 于附加传感器数据来确定附加传感器元数据；以及将附加传感器元数据提供至 一个或多个处理单元，其中，执行一个或多个第二动作进一步基于附加传感器 元数据。
614.示例fd10包括本文中上文的示例fd中任一项所述的移动计 算设备，并且进一步包括示例ab1-ab14、da1-da17、db1-db14、ec1-ec10 中任一项的特征(只要那些特征与本文中上文的示例fd的特征不冗余)。
615.示例fe1是一种装置，该装置包括用于以下操作的电路系统： 在装置的第一输入端口处接收触摸传感器数据；基于触摸传感器数据来确定触 摸元数据；在装置的第二输入端口处接收图像传感器数据；基于图像传感器数 据来确定图像元数据；生成指示触摸传感器数据和图像传感器数据在时间上相 关的时间关系信息；以及在装置的一个或多个输出端口处提供触摸元数据、图 像元数据、以及时间关系信息，该装置用于在移动计算设备的
机盖中使用。
616.示例fe1.5是如示例fe1所述的装置，其中，该装置是机盖控 制器中枢。
617.示例fe2是如示例fe1所述的装置，电路系统进一步用于：生 成指示触摸传感器数据和图像传感器数据在空间上相关的空间关系信息；以及 在装置的输出端口中的一个输出端口处提供该空间关系信息。
618.示例fe3是如示例fe1所述的装置，电路系统进一步用于：在 装置的第三输入端口处接收附加传感器数据，该附加传感器数据由激光雷达传 感器、雷达传感器和超声传感器中的一者或多者提供；基于附加传感器数据来 确定附加传感器元数据；以及在装置的输出端口中的一个或多个输出端口处提 供该附加传感器元数据，其中，生成时间关系包括确定触摸传感器数据和/或图 像传感器数据与附加传感器数据在时间上相关，时间关系信息进一步指示触摸 传感器数据和/或图像传感器数据与附加传感器数据在时间上相关。
619.示例ff1是一种装置，该装置包括用于以下操作的电路系统： 在装置的第一输入端口处接收第一触摸传感器数据；基于第一触摸传感器数据 来确定第一触摸元数据；在装置的第二输入端口处接收图像传感器数据；基于 图像传感器数据来确定图像元数据；基于图像传感器数据来确定指示第一用户 与触摸显示器的接合的第一用户接合信息；以及在装置的一个或多个输出端口 处提供图像元数据、第一触摸元数据、以及第一用户接合信息，该装置用于在 移动计算设备的机盖中使用。
620.示例ff1.5是如示例ff1所述的装置，其中，该装置是机盖控 制器中枢。
621.示例ff2包括如示例ff1所述的装置，其中，确定第一用户接 合信息包括：基于图像传感器数据在相机的视场中检测第一用户的存在；确定 第一用户的面部取向；以及基于该面部取向来确定第一用户是否正在看着触摸 显示器。
622.示例ff3包括如示例ff1所述的装置，电路系统进一步用于： 基于图像传感器数据在相机的视场中确定第一用户的存在和第二用户的存在； 将第一用户与第一触摸传感器数据相关联；以及将第二用户与图像传感器数据 相关联。
623.示例ff4包括如示例ff3所述的装置，电路系统进一步用于： 确定指示第二用户与移动计算设备的触摸显示器的接合的第二用户接合信息； 以及在装置的一个或多个输出端口处提供该第二用户接合信息。
624.示例ff5包括如示例ff1所述的装置，电路系统进一步用于： 在装置的第三输入端口处接收附加传感器数据，该附加传感器数据由激光雷达 传感器、雷达传感器和超声传感器中的一者或多者提供；基于附加传感器数据 来确定附加传感器元数据；基于图像传感器数据来确定指示第一用户与触摸显 示器的接合的第一用户接合信息；以及在装置的一个或多个输出端口处提供附 加传感器元数据，其中，装置用于在移动计算设备的机盖中使用。
625.示例fg1是一种装置，该装置包括电路系统和时间关系确定装 置，该电路系统用于以下操作：在装置的第一输入端口处接收触摸传感器数据； 基于触摸传感器数据来确定触摸元数据；在装置的第二端口处接收图像传感器 数据；基于图像传感器数据来确定图像元数据；在装置的一个或多个输出端口 处提供触摸元数据、图像元数据、以及时间关系信息，该时间关系信息指示触 摸传感器数据和图像传感器数据在时间上相关；以及在装置的一个或多个输出 端口处提供触摸元数据、图像元数据、以及时间关系信息，该装置用于在
移动 计算设备的机盖中使用，时间关系确定装置用于确定时间关系信息。
626.示例fg2包括如示例fg1所述的装置，电路系统进一步用于： 在装置的一个或多个输出端口处提供空间关系信息，该空间关系信息指示触摸 传感器数据和图像传感器数据在空间上相关，装置进一步包括用于确定空间关 系信息的空间关系确定装置。
627.示例fh1是一种装置，该装置包括电路系统和用户接合确定装 置，该电路系统用于以下操作：在装置的第一输入端口处接收第一触摸传感器 数据；基于第一触摸传感器数据来确定第一触摸元数据；在装置的第二输入端 口处接收图像传感器数据；基于图像传感器数据来确定图像元数据；在装置的 一个或多个输出端口处提供触摸元数据、图像元数据、以及第一用户接合信息， 该第一用户接合信息基于图像传感器数据指示第一用户与触摸显示器的接合， 其中，该装置用于在移动计算设备的机盖中使用，用户接合确定装置用于确定 第一用户接合信息。
628.示例fi1是一种或多种非瞬态计算机可读存储介质，存储有指 令，这些指令在被执行时使得计算设备的机盖的一个或多个处理单元执行如示 例fa1-fa9中任一项所述的方法。
629.示例fj1是一种设备，该设备包括用于执行如示例fa1-fa9中 任一项所述的方法的一个或多个装置。
630.用户存在情况下的低功率触摸
631.如先前所讨论，lch可以将基于机盖的组件置于低功率状态。 例如，当移动计算设备的机盖闭合时，显示流水线组件可被置于低功率状态以 禁用显示器的至少部分。在各种条件下，诸如当在机盖显示器前方不存在用户 时，当用户不是正在看着显示器时，或者当用户不是正在与设备进行交互时， lch也可以将触摸显示器控制器以及与对触摸传感器数据的处理有关的组件 置于低功率状态。
632.在具有机盖控制器中枢的移动计算设备的一些实施例中，当处 于低功率模式时由触摸显示器控制器(负责通过对触摸显示器进行采样或扫描 来生成触摸传感器数据的组件)消耗的功率相对于现有实施例可减少大约50％。 基于用于13.3”fhd(全hd(高清))触摸显示器的现有供应商的架构，将触 摸空闲功耗降低50％将使其显示器的触摸空闲功耗从400mw降低至200mw。
633.表1示出了针对现有内嵌式触摸显示器的功耗值。内嵌式显示 器的逻辑部分在正常操作期间大约消耗最多0.89w，这比由可比较的覆盖表面 式显示器的逻辑部分消耗的功率多大约450mw。内嵌式显示器的增加的功耗 是由于在显示器处于空闲模式时发生的持续存在的触摸扫描。如可以看出，当 表1的内嵌式显示器处于其空闲状态(空闲_1、空闲_2)中的任一空闲状态时， 触摸扫描操作仍在以30hz或60hz的速率执行。内嵌式显示器的操作状态包 括操作_2状态，在该操作_2状态中，通过将触摸扫描率(采样率)和触摸报 告率提高至120hz来实现更加平滑的触摸体验，但这也将显示器刷新率提高 至120hz，导致功耗增加。触摸报告率是向操作系统报告触摸传感器数据或触 摸元数据的速率。在其中将显示器刷新率、触摸扫描率以及触摸报告率全部 设置为60hz的操作_3状态得到降低的显示面板功耗，但导致降级的触摸体 验。
634.在具有用户存在检测的情况下，对触摸传感器数据的采样在空 闲模式下可以被停止，并且可以节省在现有的内嵌式显示器中消耗的空闲触摸 功率(～200mw)的大约一
半。当基于由被并入到移动计算设备的设备机盖中 的输入传感器(例如，相机、触摸显示器、激光雷达传感器、雷达传感器、超 声传感器、话筒)生成的传感器数据而检测到用户的存在时，设备的触摸功率 可以从低功率状态被唤醒。可以启用触摸采样或扫描操作(如果其在低功率状 态下已经被禁用)，并且可以以活跃采样率(例如，60hz及更高)发生采样。 在一些实施例中，可以利用更高的活跃扫描率，诸如120hz或240hz。可在 游戏应用中利用这些更高的扫描率。表1－针对现有的内嵌式显示面板的功耗以及显示器刷新率、触摸扫描率 和触摸报告率
635.一般而言，触摸组件功耗降低基于用户存在，用户接合和/或用 户交互如下所述被启用。如果不存在用户，则触摸组件(诸如触摸显示器控制 器和处理触摸传感器数据的组件)可以被置于低功率状态。可以通过以下方式 将触摸显示器控制器置于低功率状态：将触摸显示器控制器对触摸显示器进行 扫描或采样以生成触摸传感器数据所按照的速率降低至低速率(例如，20hz 或更低)；或者通过经由减少提供至触摸显示器控制器的功率而禁用该触摸显 示器控制器。将处理触摸传感器数据的组件置于低功率状态可以包括：减少提 供至该组件的功率，或者启用其中该组件或该组件的处理触摸传感器数据的部 分不进行操作的该组件的模式。
636.当检测到用户存在时，可以将触摸显示器控制器的触摸采样率 提高至活跃触摸采样率，诸如60hz或更高(例如，120hz、240hz)。可以 基于由位于机盖中的一个或多个输入传感器生成的传感器数据来检测用户存 在，该一个或多个输入传感器诸如，相机、激光雷达传感器、雷达传感器、超 声传感器、话筒、以及甚至触摸显示器(如果该触摸显示器仍在操作)。例如， 可以通过以下方式来确定用户存在：对触摸显示器处的触摸事件的检测，通过 检测由相机提供的图像传感器数据中的用户，或者通过由接近度传感器(例如， 激光雷
达传感器、雷达传感器、超声传感器)中的一个检测显示器附近的用户、 手指或另一对象。对触摸事件的检测可以由触摸显示器控制器或处理触摸传感 器数据的触摸分析器来检测。对图像传感器数据中用户的检测可以由一个或多 个nna(例如，276、327、3030)和/或dsp(275、378)执行。可以以触摸 采样率将触摸传感器数据提供至触摸分析器(其可以是lch的部分)。触摸 元数据可以基于触摸传感器数据来生成，并且能够以触摸报告率被报告至操作 系统，触摸报告率是触摸元数据和/或触摸传感器数据被提供至操作系统所按照 的速率。触摸报告率可以响应于检测到用户的存在而被提高。在一些情况下， 触摸采样率和触摸报告率可以是相同的。如果显示器处于低功率状态(例如， 显示器被禁用或者以低刷新率(诸如20hz或更低)来操作)，则显示器的刷 新率可以响应于检测到用户的存在而提高。可以使触摸报告率、显示器刷新率 或这两者与触摸采样率匹配。在移动计算设备的基座中，操作系统以及一个或 多个应用可以基于触摸元数据和/或触摸传感器数据来执行动作。
637.一旦已经检测到用户存在，随后就可以基于用户是否保持存在、 与显示器接合、和/或与设备交互来调整显示器刷新率、触摸采样率和触摸报告 率。这些后续调整可以基于附加触摸传感器数据和/或基座输入设备传感器数据。 可以如本文中先前所描述地确定用户接合(例如，基于对用户的头部或面部取 向的确定来确定用户是否正在看着显示器)。可以基于用户有多新近地与设备 进行交互来确定用户交互的水平，该交互诸如对触摸显示器进行触摸、在实体 或虚拟键盘上键入击键、对触控板或触摸板进行触摸、或使通信地耦合至设备 的鼠标移动。如果存在用户，用户与设备接合，并且用户正在活跃地与设备交 互，则显示器刷新率、触摸采样率、触摸报告率可以全部被设置为高值(例如， 120hz、240hz)，以提供高响应度的用户体验。如果用户仍存在但其交互水 平降低或如果其变成脱离的，则触摸采样率和触摸报告率可以按比例降低。如 果用户正将目光从显示器移开达阈值时间段(例如，大约1-5秒)，则可以确 定用户是脱离的。如果用户存在但与显示器脱离，则触摸显示器控制器可以被 禁用，或者触摸采样率可以被降低至0hz。如果不再存在用户，则触摸显示器 控制器也可以被关闭。另外，如果不再存在用户，则基座中的主机处理单元可 以被置于低功率状态。如果在用户被确定为不再存在时用户发起的任务仍在运 行，则可以延期将处理单元置于低功率状态，直到用户发起的任务已经结束执 行。
638.检测用户存在、用户接合和用户交互的水平，以及使得显示器 刷新率、触摸采样率和触摸报告率改变可以全部在计算设备的机盖中的一个或 多个组件(诸如，机盖控制器中枢)中发生。
639.图51图示出基于用户存在调整触摸操作的示例方法。方法5100 可以由例如膝上型计算机(例如，100、122、200、300、900、3800)执行。在 5110处，发生“显示器开”事件，诸如显示器响应于设备被开启或移动设备的机 盖被打开而开启。在5120处，在显示器前方确定用户存在。用户存在检测可 以通过例如以下操作来执行：检测对触摸显示表面进行触摸的用户的手指；在 由被集成到膝上型设备中的一个或多个相机捕捉到的图像数据中检测用户的 存在；在由被并入到计算设备中且被集成到机盖控制器中枢架构中的话筒捕捉 到的音频中检测唤醒短语或关键短语；或者基于接近度传感器数据(例如，激 光雷达传感器数据、雷达传感器数据、超声传感器数据、光传感器数据)来检 测设备附近用户的头部、手指或对象的接近度。如果检测到用户的存在，则在 5130处启用正常触摸操作。正常触摸操作
可以对应于将触摸采样率和触摸报告 率设置为60hz或更大(例如，120hz、240hz)的值。如果在5140处没有检 测到用户，则将触摸操作置于低功率状态，在该低功率状态下，触摸采样率和 触摸报告率被设置为低值(例如，20hz或更低)，或者触摸显示器控制器和 触摸处理组件被禁用。
640.图52是能够基于用户存在、接合和交互来控制触摸操作的示例 计算设备的简化框图。计算设备5200包括机盖5210和基座5240。机盖5210 包括显示子系统5214、嵌入式显示面板5218、触摸显示器控制器5224、机盖 传感器5233、以及机盖控制器中枢5238。基座5240包括一个或多个主机处理 单元5250，该一个或多个主机处理单元5250可以执行操作系统5260以及一 个或多个应用5270。基座5240进一步包括基座输入设备5280(例如，键盘、 触控板、触摸板、鼠标)。
641.计算设备5200可以是本文中所描述的计算设备(例如，100、 122、200、300、900、3800、4100)中的任一者，并且机盖5210可以是本文中 所描述的机盖(例如，120、123、220、301、920、1701、3810)中的任一者。 嵌入式显示面板5218是触摸显示器，并且可以是本文中所描述的显示面板(例 如，145、280、380、926、2140、3842、4124)中的任一者。lch 5238可以是 本文中所描述的lch(例如，155、260、305、954、1705、3834、4138)中的 任一者。显示子系统5214可以是本文中所描述的显示子系统中的任一者(例 如，3838)，可以包括本文中所描述的执行显示相关操作的一个或多个组件， 诸如，定时控制器(例如，150、400、355、944、1706、2100、3830、4124) 及其组成定时控制器组件(例如，帧缓冲器(例如，830、2120)、帧处理堆叠 模块(例如，822-826、2124-2128))、行驱动器(例如，882、2154、2158)、 列驱动器(例如，884、2160)、显示驱动器(例如，880、2130)、以及视频 数据接收器(例如，812、2110)。触摸显示器控制器5224可以是本文中所描 述的触摸显示器控制器(例如，165、285、385、3830、4110)中的任一者。
642.触摸显示器控制器5224对触摸显示器5218进行扫描或采样， 以生成被提供至lch 5238的触摸传感器数据样本(例如，触摸传感器数据) 5230。机盖传感器5233包括相机和话筒，该相机可以是本文中所描述的相机 (例如，160、270、346、932、2514、3014、4128)中的任一者，该话筒可以 是本文中所描述的话筒(例如，158、290、390、926)中的任一者。机盖传感 器5233可以任选地包括一个或多个附加传感器5290，诸如激光雷达传感器、 雷达传感器、超声传感器或光传感器。
643.话筒5226生成音频传感器数据，相机5228生成图像传感器数 据，并且附加传感器5290生成附加机盖传感器数据，所有的这些可以统称为 机盖传感器数据，该机盖传感器数据被提供至lch 5238。lch 5238基于机盖 传感器数据5232来生成机盖传感器元数据5248。在一些实施例中，机盖传感 器元数据5248可以由触摸分析器(例如，4134)、主机模块(例如，176、261、 362、1720)、音频模块(例如，170、264、364、1730)以及视觉/成像分析器 模块或视觉/成像集成电路(例如，172、263、363、1740、2540a、2540b、3020、 3026、4162)中的一者或多者生成。lch 5238生成被递送至主机处理单元5250 的机盖传感器元数据5248。在一些实施例中，lch 5238可以将触摸传感器数 据5230的至少部分和/或机盖传感器数据5232的部分发送至主机处理单元 5250。在一些实施例中，lch 5238可以包括附加分析器，诸如，处理激光雷达 传感器数据的激光雷达分析器、处理雷达传感器数据的雷达分析器、以及处理 超声传感器数据的超声分析器。
较低水平(例如，20hz或更低)。
648.如果存在用户但该用户是脱离的(例如，如果用户处于膝上型 计算机前方但正在阅读杂志文章、书籍、报告等)，则触摸采样率和触摸报告 率可以被设置为零，或者触摸显示器控制器和/或处理触摸传感器数据的组件可 以被禁用，但是主机处理单元可以以活跃水平继续操作，并且所调度的任务可 以继续被执行。
649.如果不存在用户(由于例如设备的机盖已经闭合，或者用户只 是漫步离开)，则设备可以进入待机模式，在该待机模式中，触摸采样率和触 摸报告率被设置为零，或者触摸显示器控制器和/或处理触摸传感器数据的组件 被禁用。显示器可以被禁用，并且主机处理单元可以被置于低功率状态。当处 于待机状态时，设备可以被锁定。
650.在一些实施例中，在处理单元被置于低功率状态并且设备进入 待机状态之前，设备可以处于安静状态，在该安静状态下，在设备进入待机状 态之前，可以允许仍在执行的任何用户发起的任务完成并且可以允许在用户发 起的任务仍在执行时被调度用于运行的任何其他任务执行。
651.在检测到用户存在时，lch 5238可以使得触摸采样率和显示器 刷新率进行调整。lch 5238可以经由与显示子系统5214的同步信号5234(例 如，180、226、370)使显示器刷新率调整，并且可以通过其与触摸显示器控制 器5224的连接使触摸采样率调整。
652.图53是基于用户存在、接合和交互来控制触摸操作的示例方法。 方法5300可以由膝上型计算机的机盖中的机盖控制器中枢执行。在5310处， 从位于机盖中的一个或多个机盖输入传感器接收机盖输入传感器数据。在5320 处，基于机盖输入传感器数据，确定用户存在于位于机盖中的触摸显示器的前 方。在5330处，响应于确定存在用户，使得触摸显示器控制器的触摸采样率 提高。在5340处，以触摸采样率从触摸显示器控制器接收触摸传感器数据。 在5350处，基于触摸传感器数据来确定触摸元数据。在5360处，以触摸报告 率将触摸元数据提供至位于移动计算设备的基座中的一个或多个主机处理器。 在其他实施例中，方法5300可包括附加要素。例如，方法5300可以进一步接 收来自一个或多个机盖输入传感器的附加机盖输入传感器数据，基于附加输入 传感器数据确定不存在用户，并且响应于确定了不存在用户而使得触摸显示器 控制器的触摸采样率降低。
653.下列示例涉及根据本说明书的实施例。
654.示例ga1是一种方法，该方法包括，在移动计算设备的机盖中： 接收来自位于机盖中的一个或多个机盖输入传感器的机盖输入传感器数据；基 于机盖输入传感器数据，确定用户存在于位于机盖中的触摸显示器的前方；响 应于确定了存在用户而使得触摸显示器控制器的触摸采样率提高；以触摸采样 率接收来自触摸显示器控制器的触摸传感器数据；基于触摸传感器数据来确定 触摸元数据；以及以触摸报告率将触摸元数据提供至位于移动计算设备的基座 中的一个或多个主机处理器。
655.示例ga2包括如示例ga1所述的方法，其中，触摸传感器数 据是第二触摸传感器数据，并且机盖输入传感器数据进一步包括由触摸显示器 控制器提供的第一触摸传感器数据。
656.示例ga3包括如示例ga1所述的方法，其中，一个或多个机 盖输入传感器包括相机。
657.示例ga4包括如示例ga3所述的方法，其中，一个或多个机 盖输入传感器进一步包
括激光雷达传感器、雷达传感器、以及超声传感器中的 一者或多者。
658.示例ga5包括如示例ga1所述的方法，进一步包括：在基座 中，由操作系统基于触摸传感器数据来执行一个或多个动作，该操作系统在位 于基座中的一个或多个处理单元上执行。
659.示例ga6包括如示例ga1所述的方法，进一步包括：在机盖 中，响应于确定了存在用户而提高触摸报告率。
660.示例ga7包括如示例ga1所述的方法，进一步包括：在机盖 中，响应于确定了存在用户而引起触摸显示器的显示器刷新率的提高。
661.示例ga8包括如示例ga1所述的方法，其中，触摸报告率与 触摸采样率相同。
662.示例ga7包括如示例ga1所述的方法，进一步包括：在机盖 中，响应于确定用户存在而使得触摸显示器的显示器刷新率被提高，其中，触 摸采样率、显示器刷新率和触摸报告率相同。
663.示例ga10包括如示例ga1所述的方法，其中，触摸采样率、 触摸报告率、以及触摸显示器的显示器刷新率中的至少两者是不同的。
664.示例ga11包括如示例ga1所述的方法，其中，触摸采样率、 触摸报告率、以及触摸显示器的显示器刷新率全部彼此不同。
665.示例ga12包括如示例ga1所述的方法，进一步包括，在机盖 中：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附 加输入机盖传感器数据确定不存在用户；以及响应于确定了不存在用户而使得 触摸显示器控制器的触摸采样率降低。
666.示例ga13包括如示例ga12所述的方法，进一步包括：响应 于确定了不存在用户而降低触摸报告率。
667.示例ga14包括如示例ga12所述的方法，进一步包括：响应 于确定了不存在用户而使得触摸显示器的显示器刷新率降低。
668.示例ga15包括如示例ga1所述的方法，进一步包括，在机盖 中：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附 加机盖输入传感器数据确定用户不与触摸显示器接合；以及响应于确定了用户 不与触摸显示器接合而使得触摸采样率降低和/或降低触摸报告率。
669.示例ga16包括如示例ga15所述的方法，其中，使得触摸采 样率降低至零，并且将触摸报告率降低至零。
670.示例ga17包括如示例ga1所述的方法，进一步包括，在基座 中：在一个或多个处理单元上执行用户发起的任务；在机盖中：接收来自一个 或多个机盖输入传感器的附加机盖输入传感器数据，基于附加机盖输入传感器 数据确定用户不与触摸显示器接合，以及响应于确定了用户不与触摸显示器接 合而使得触摸采样率降低和/或降低触摸报告率；以及在基座中：在将一个或多 个处理单元置于低功率状态之前，允许完成用户发起的任务。
671.示例ga18包括如示例ga1所述的方法，进一步包括，在机盖 中：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附 加机盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器数据和 机盖输入传感器数据中的一者或多者来确定用户是否正在与移动计算设备进 行交互；以及如果用户与触摸显示器接合并且用户正在与设备进行交互，则将 触摸采样率设置为触摸显示器控制器的最大触摸采样率。
672.示例ga19包括如示例ga18所述的方法，进一步包括：调节 触摸传感器数据以生成经调节的触摸传感器数据，其中，触摸元数据包括经调 节的触摸传感器数据。
673.示例ga20包括如示例ga18所述的方法，其中，确定用户与 触摸显示器的接合包括：确定用户的面部取向；以及基于该面部取向来确定用 户是否正在看着触摸显示器。
674.示例ga21包括如示例ga1所述的方法，进一步包括，在机盖 中：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附 加机盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器数据和 机盖输入传感器数据中的一者或多者来确定用户有多新近地与移动计算设备 交互；以及如果用户与触摸显示器接合：如果用户已在自先前的交互起的短于 第二时间段的第一时间段内与移动计算设备进行交互，则将触摸采样率设置为 第一触摸采样率，并且如果在该第一时间段内用户尚未与设备进行交互，那么 若用户已在第二时间段内与设备进行交互则将触摸采样率设置为第二触摸采 样率，第一触摸采样率大于第二触摸采样率。
675.示例ga21包括如示例ga1所述的方法，进一步包括：接收来 自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附加机盖输入 传感器数据确定用户与触摸显示器的接合；基于触摸传感器数据和附加机盖输 入传感器数据中的一者或多者来确定用户有多新近地与移动计算设备交互；以 及如果用户与触摸显示器接合：如果用户已在自先前的交互起的第一时间段内 与移动计算设备进行交互，则将触摸采样率设置为第一触摸采样率，第一时间 段短于第二时间段，第二时间段短于第三时间段；并且如果在该第一时间段内 用户尚未与移动计算设备进行交互，那么若用户已在自先前的交互起的第二时 间段内与移动计算设备进行交互则将触摸采样率设置为第二触摸采样率；并且 如果在第二时间段内用户尚未与移动计算设备进行交互，那么若用户已在自先 前的交互起的第三时间段内与设备进行交互则将触摸采样率设置为第三触摸 采样率，第一触摸采样率大于第二触摸采样率，第二触摸采样率大于第三触摸 采样率。
676.示例ga23包括如示例ga18-ga22中任一项所述的方法，进一 步包括：接收与一个或多个基座输入设备相关联的基座输入设备传感器数据， 确定用户有多新近地与移动计算设备交互进一步基于基座输入设备传感器数 据。
677.示例ga24包括如示例ga23所述的方法，其中，一个或多个 基座输入设备包括键盘、触控板、触摸板以及鼠标中的一者或多者。
678.示例ga25包括本文中上文的示例ga中任一项所述的方法， 并且进一步包括示例aa1-aa16、de1-de17、ea1-ea10或fa1-fa9中任一 项所述的方法的要素(只要那些方法要素与本文中上文的示例ga的方法要素 不冗余)。
679.示例gb1是一种移动计算设备，该移动计算设备包括基座和机 盖，该基座包括一个或多个主机处理单元，该机盖包括：触摸显示器；触摸显 示器控制器；一个或多个机盖输入传感器；以及用于以下操作的电路系统：接 收来自一个或多个机盖输入传感器的机盖输入传感器数据；基于机盖输入传感 器数据，确定用户存在于触摸显示器的前方；响应于确定了存在用户而使得触 摸显示器控制器的触摸采样率提高；以触摸采样率接收来自触摸显示器控制器 的触摸传感器数据；基于触摸传感器数据来确定触摸元数据；以及以触摸报告 率将触摸元数据提供至一个或多个主机处理单元。
680.示例gb2包括如示例gb1所述的移动计算设备，其中，触摸传 感器数据是第二触摸
传感器数据，并且机盖输入传感器数据进一步包括由触摸 显示器控制器提供的第一触摸传感器数据。
681.示例gb3包括如示例gb1所述的移动计算设备，其中，一个或 多个机盖输入传感器包括相机。
682.示例gb4包括如示例gb1所述的移动计算设备，其中，一个或 多个机盖输入传感器进一步包括激光雷达传感器、雷达传感器、以及超声传感 器中的一者或多者。
683.示例gb5包括如示例gb1所述的移动计算设备，一个或多个 主机处理单元用于执行操作系统，该操作系统用于基于触摸传感器数据来执行 一个或多个动作。
684.示例gb6包括如示例gb1所述的移动计算设备，电路系统进 一步用于响应于确定了存在用户而提高触摸报告率。
685.示例gb7包括如示例gb1所述的移动计算设备，电路系统进 一步用于响应于确定了存在用户而引起触摸显示器的显示器刷新率的提高。
686.示例gb8包括如示例gb1所述的移动计算设备，其中，触摸 报告率与触摸采样率相同。
687.示例gb9包括如示例gb1所述的移动计算设备，电路系统进 一步用于：响应于确定了用户存在而使得触摸显示器的显示器刷新率被提高， 其中，触摸采样率、显示器刷新率和触摸报告率相同。
688.示例gb10包括如示例gb1所述的移动计算设备，其中，触摸 采样率、触摸报告率、以及触摸显示器的显示器刷新率中的至少两者是不同的。
689.示例gb11包括如示例gb1所述的移动计算设备，其中，触摸 采样率、触摸报告率、以及触摸显示器的显示器刷新率全部彼此不同。
690.示例gb12包括如示例gb1所述的移动计算设备，电路系统进 一步用于：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据； 基于附加机盖输入传感器数据确定不存在用户；以及响应于确定了不存在用户 而使得触摸显示器控制器的触摸采样率降低。
691.示例gb13包括如示例gb1所述的移动计算设备，电路系统进 一步用于响应于确定了不存在用户而降低触摸报告率。
692.示例gb14包括如示例gb12所述的移动计算设备，电路系统 进一步用于响应于确定了不存在用户而使得触摸显示器的显示器刷新率降低。
693.示例gb15包括如示例gb1所述的移动计算设备，电路系统 进一步用于：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据； 基于附加机盖输入传感器数据确定用户不与触摸显示器接合；以及响应于确定 了用户不与触摸显示器接合而使得触摸采样率降低和/或降低触摸报告率。
694.示例gb16包括如示例gb15所述的移动计算设备，其中，使得 触摸采样率降低至零，并且将触摸报告率降低至零。
695.示例gb17包括如示例gb1所述的移动计算设备，一个或多个 主机处理单元用于开始对用户发起的任务的执行；电路系统进一步用于：接收 来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附加机盖输 入传感器数据确定用户不与触摸显示器接合；以及响应于确定了用户不与触摸 显示器接合而使得触摸采样率降低和/或降低触摸报
告率；并且一个或多个主机 处理单元用于在被置于低功率状态之前允许完成用户发起的任务。
696.示例gb18包括如示例gb1所述的移动计算设备，电路系统进 一步用于：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据； 基于附加机盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器 数据和机盖输入传感器数据中的一者或多者来确定用户是否正在与移动计算 设备进行交互；以及如果用户与触摸显示器接合并且用户正在与移动计算设备 进行交互，则将触摸采样率设置为触摸显示器控制器的最大触摸采样率。
697.示例gb19包括如示例gb18所述的移动计算设备，电路系统 进一步用于调节触摸传感器数据以生成经调节的触摸传感器数据，其中，触摸 元数据包括经调节的触摸传感器数据。
698.示例gb20包括如示例gb18所述的移动计算设备，其中，确定 用户与触摸显示器的接合包括：确定用户的面部取向；以及基于该面部取向来 确定用户是否正在看着触摸显示器。
699.示例gb21包括如示例gb1所述的移动计算设备，电路系统进 一步用于：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据； 基于附加机盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器 数据和机盖输入传感器数据中的一者或多者来确定用户有多新近地与移动计 算设备交互；以及如果用户与触摸显示器接合：如果用户已在自先前的交互起 的短于第二时间段的第一时间段内与移动计算设备进行交互，则将触摸采样率 设置为第一触摸采样率；并且如果在该第一时间段内用户尚未与移动计算设备 进行交互，那么若用户已在第二时间段内与移动计算设备进行交互则将触摸采 样率设置为第二触摸采样率，第一触摸采样率大于第二触摸采样率。
700.示例gb22包括如示例gb1所述的移动计算设备，电路系统进 一步用于：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据； 基于附加机盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器 数据和附加机盖输入传感器数据中的一者或多者来确定用户有多新近地与移 动计算设备交互；以及如果用户与触摸显示器接合：如果用户已在自先前的交 互起的第一时间段内与移动计算设备进行交互，则将触摸采样率设置为第一触 摸采样率，第一时间段短于第二时间段，第二时间段短于第三时间段；并且如 果在该第一时间段内用户尚未与移动计算设备进行交互，那么若用户已在自先 前的交互起的第二时间段内与移动计算设备进行交互则将触摸采样率设置为 第二触摸采样率；并且如果在第二时间段内用户尚未与移动计算设备进行交互， 那么若用户已在自先前的交互起的第三时间段内与移动计算设备进行交互则 将触摸采样率设置为第三触摸采样率，第一触摸采样率大于第二触摸采样率， 第二触摸采样率大于第三触摸采样率。
701.示例gb23包括如示例gb19-gb22中任一项所述的移动计算设 备，电路系统进一步用于接收与一个或多个基座输入设备相关联的基座输入设 备传感器数据，并且确定用户有多新近地与移动计算设备交互进一步基于基座 输入设备传感器数据。
702.示例gb24包括如示例gb23所述的移动计算设备，其中，一个 或多个基座输入设备包括键盘、触控板、触摸板以及鼠标中的一者或多者。
703.示例gb25包括本文中上文的示例gb中任一项所述的移动计 算设备，并且进一步
包括示例ab1-ab14、da1-da17、db1-db14、ec1-ec10、 fb1-fb10、或fd1-fd9中任一项的特征(只要那些特征与本文中上文的示例 gb的特征不冗余)。
704.示例gc0是一种装置，该装置包括用于以下操作的电路系统： 接收来自一个或多个机盖输入传感器的机盖输入传感器数据；基于机盖输入传 感器数据，确定用户存在于触摸显示器的前方；响应于确定了存在用户而使得 触摸显示器控制器的触摸采样率提高；以触摸采样率接收来自触摸显示器控制 器的触摸传感器数据；基于触摸传感器数据来确定触摸元数据；以及以触摸报 告率将触摸元数据提供至一个或多个主机处理单元。
705.示例gc1包括如示例gc0所述的装置，其中，一个或多个机盖 输入传感器包括相机。
706.示例gc2包括如示例gc0所述的装置，其中，一个或多个机盖 输入传感器进一步包括激光雷达传感器、雷达传感器、以及超声传感器中的一 者或多者。
707.示例gc3包括如示例gc0所述的装置，电路系统进一步用于 响应于确定了存在用户而提高触摸报告率。
708.示例gc4包括如示例gc0所述的装置，电路系统进一步用于 响应于确定了存在用户而引起触摸显示器的显示器刷新率的提高。
709.示例gc5包括如示例gc0所述的装置，其中，触摸报告率与触 摸采样率相同。
710.示例gc6包括如示例gc0所述的装置，电路系统进一步用于： 响应于确定了用户存在而使得触摸显示器的显示器刷新率被提高，其中，触摸 采样率、显示器刷新率和触摸报告率相同。
711.gc7包括如示例gc0所述的装置，其中，触摸采样率、触摸报 告率、以及触摸显示器的显示器刷新率中的至少两者是不同的。
712.gc8包括如示例gc0所述的装置，其中，触摸采样率、触摸报 告率、以及触摸显示器的显示器刷新率全部彼此不同。
713.gc9包括如示例gc0所述的装置，电路系统进一步用于：接收 来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附加机盖输 入传感器数据确定不存在用户；以及响应于确定了不存在用户而使得触摸显示 器控制器的触摸采样率降低。
714.示例gc10包括如示例gc9所述的装置，电路系统进一步用于 响应于确定了不存在用户而降低触摸报告率。如示例gc0所述的装置，电路 系统进一步用于：响应于确定了不存在用户而使得触摸显示器的显示器刷新率 降低。
715.示例gc11包括如示例gc0所述的装置，电路系统进一步用于： 接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附加机 盖输入传感器数据确定用户不与触摸显示器接合；以及响应于确定了用户不与 触摸显示器接合而使得触摸采样率降低和/或降低触摸报告率。
716.示例gc12包括如示例gc11所述的装置，其中，使得触摸采样 率降低至零，并且将触摸报告率降低至零。
717.示例gc13包括如示例gc11所述的装置，电路系统进一步用 于：接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附 加机盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器数据和 机盖输入传感器数据中的一者或多者来确定用户是否正在与移动计算设备进 行交互；以及如果用户与触摸显示器接合并且用户正
在与移动计算设备进行交 互，则将触摸采样率设置为触摸显示器控制器的最大触摸采样率。
718.示例gc14包括如示例gc11所述的装置，电路系统进一步用 于调节触摸传感器数据以生成经调节的触摸传感器数据，其中，触摸元数据包 括经调节的触摸传感器数据。
719.示例gc15包括如示例gc11所述的装置，其中，确定用户与触 摸显示器的接合包括：确定用户的面部取向；以及基于该面部取向来确定用户 是否正在看着触摸显示器。
720.示例gc16包括如示例gc0所述的装置，电路系统进一步用于： 接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附加机 盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器数据和附加 机盖输入传感器数据中的一者或多者来确定用户有多新近地与移动计算设备 交互；以及如果用户与触摸显示器接合：如果用户已在自先前的交互起的短于 第二时间段的第一时间段内与移动计算设备进行交互则将触摸采样率设置为 第一触摸采样率；并且如果在该第一时间段内用户尚未与移动计算设备进行交 互，那么若用户已在第二时间段内与移动计算设备进行交互则将触摸采样率设 置为第二触摸采样率，第一触摸采样率大于第二触摸采样率。
721.示例gc17包括如示例gc0所述的装置，电路系统进一步用于： 接收来自一个或多个机盖输入传感器的附加机盖输入传感器数据；基于附加机 盖输入传感器数据确定用户与触摸显示器的接合；基于触摸传感器数据和附加 机盖输入传感器数据中的一者或多者来确定用户有多新近地与移动计算设备 交互；以及如果用户与触摸显示器接合：如果用户已在自先前的交互起的第一 时间段内与移动计算设备进行交互，则将触摸采样率设置为第一触摸采样率， 第一时间段短于第二时间段，第二时间段短于第三时间段；并且如果在该第一 时间段内用户尚未与移动计算设备进行交互，那么若用户已在自先前的交互起 的第二时间段内与移动计算设备进行交互则将触摸采样率设置为第二触摸采 样率；并且如果在第二时间段内用户尚未与移动计算设备进行交互，那么若用 户已在自先前的交互起的第三时间段内与移动计算设备进行交互则将触摸采 样率设置为第三触摸采样率，第一触摸采样率大于第二触摸采样率，第二触摸 采样率大于第三触摸采样率。
722.示例gc18包括如示例gc13-gc17中任一项所述的装置，电路 系统进一步用于接收与一个或多个基座输入设备相关联的基座输入设备传感 器数据，确定用户有多新近地与移动计算设备交互进一步基于基座输入设备传 感器数据。
723.示例gc19包括如示例gc18所述的装置，其中，一个或多个基 座输入设备包括键盘、触控板、触摸板以及鼠标中的一者或多者。
724.示例gd1是一种或多种非瞬态计算机可读存储介质，存储有指 令，这些指令在被执行时使得计算设备的机盖的一个或多个处理单元执行如示 例ga1-ga24中任一项所述的方法。
725.示例ge1是一种设备，该设备包括用于执行如示例ga1-ga24 中任一项所述的方法的一个或多个装置。
726.图54是包括机盖控制器中枢的示例移动计算设备的基座中的 计算设备组件的框图。一般而言，图54中示出的组件可以与其他示出的组件 进行通信，这些其他示出的组件包括机盖控制器中枢中的那些组件，但是为了 易于图示，并非所有的连接均被示出。组件5400包括多处理器系统(包括第 一处理器5402和第二处理器5404)，并且被图示为包括点
对点(p-p)互连。 例如，处理器5402的点对点(p-p)接口5406经由点对点互连5405耦合至处 理器5404的点对点接口5407。应理解，图54中图示出的点对点互连中的任一 者或全部可以替代地被实现为多分支总线，并且图54中图示出的任何或所有 总线都可以由点对点互连代替。
727.如图54中所示，处理器5402和5404是多核处理器。处理器 5402包括处理器核5408和5409，并且处理器5404包括处理器核5410和5411。 处理器核5408-5411可以以下文结合附图所讨论的方式类似的方式或者以其他 方式来执行计算机可执行指令。
728.处理器5402和5404分别进一步包括至少一个共享高速缓存存 储器5412和5414。共享高速缓存5412和5414可以存储由处理器的一个或多 个组件(诸如，处理器核5408-5409和5410-5411)利用的数据(例如，指令)。共 享高速缓存5412和5414可以是设备的存储器层级结构的部分。例如，共享高 速缓存5412可以在本地存储也被存储在存储器5416中的数据，以允许由处理 器5402的组件更快地访问数据。在一些实施例中，共享高速缓存5412和5414 可以包括多个高速缓存层，诸如第1级(l1)、第2级(l2)、第3级(l3)、第4 级(l4)和/或其他高速缓存或高速缓存层，诸如末级高速缓存(llc)。
729.虽然示出了两个处理器，但设备可以包括任何数量的处理器或 其他计算资源，包括机盖控制器中枢中的那些计算资源。进一步地，处理器可 以包括任何数量的处理器核。处理器可以采取各种形式，诸如中央处理单元、 控制器、图形处理器、加速器(诸如，图形加速器、数字信号处理器(dsp) 或ai加速器)。设备中的处理器可以与设备中的其他处理器相同或不同。在 一些实施例中，设备可以包括与第一处理器、加速器、fpga或任何其他处理 器异构或不对称的一个或多个处理器。系统中的处理元件之间在包括架构、微 架构、热、功耗特征等的一系列指标度量方面可能存在各种差异。这些差异可 将其自身有效显示为系统中的处理器之间的不对称性和异构性。在一些实施例 中，处理器5402和5404驻留在多芯片封装中。如本文中所使用，术语“处理 器单元”和“处理单元”可以指任何处理器、处理器核、组件、模块、引擎、电路 系统或本文中所描述的任何其他处理元件。处理器单元或处理单元可以采用硬 件、软件、固件或其能够得到的任何组合来实现。机盖控制器中枢可以包括一 个或多个处理单元。
730.处理器5402和5404进一步包括存储器控制器逻辑(mc)5420 和5422。如图54中所示，mc 5420和5422分别控制耦合至处理器5402的存 储器5416和耦合至处理器5404的存储器5418。存储器5416和5418可以包 括各种类型的存储器，诸如易失性存储器(例如，动态随机存取存储器(dram)、 静态随机存取存储器(sram))或非易失性存储器(例如，闪存、固态驱动 器、基于硫族化物的相变非易失性存储器)。尽管mc 5420和5422被图示为 被集成到处理器5402和5404中，但在替代实施例中，mc可以是处理器外部 的逻辑并且可以包括存储器层级结构的一个或多个层。
731.处理器5402和5404经由p-p互连5432和5434耦合至输入/输 出(i/o)子系统5430。点对点互连5432将处理器5402的点对点接口5436与 i/o子系统5430的点对点接口5438连接，并且点对点互连5434将处理器5404 的点对点接口5440与i/o子系统5430的点对点接口5442连接。输入/输出子 系统5430进一步包括用于将i/o子系统5430耦合至图形模块5452的接口 5450，图形模块5452可以是高性能图形模块。i/o子系统5430和图形模块5452 经由总线5454耦合在一起。替代地，总线5454可以是点对点互连。
732.输入/输出子系统5430进一步经由接口5462耦合至第一总线 5460。第一总线5460可以是外围组件互连(pci)总线、pci express(pci快 速)总线、另一第三代i/o互连总线或任何其他类型的总线。
733.各种i/o设备5464可以耦合至第一总线5460。总线桥5470可 以将第一总线5460耦合至第二总线5480。在一些实施例中，第二总线5480可 以是低引脚数(lpc)总线。各种设备可以耦合至第二总线5480，这些设备包 括例如键盘/鼠标5482、音频i/o设备5488、以及用于存储计算机可执行指令 (代码)5492的存储设备5490(诸如，硬盘驱动器、固态驱动器或其他存储设 备)。代码5492可包括用于执行本文中所描述的技术的计算机可执行指令。 可以耦合至第二总线5480的附加组件包括(多个)通信设备或(多个)通信单 元5484，其可使用一种或多种通信标准(例如，ieee 802.11标准及其补充) 经由一个或多个有线或无限通信链路(例如，导线、电缆、以太网连接、射频 (rf)信道、红外信道、wi-fi信道)提供设备与一个或多个有线或无线网络 5486(例如，wi-fi、蜂窝或卫星网络)之间的通信。
734.设备可以包括可移除存储器，诸如闪存卡(例如，sd(安全数 字)卡)、记忆棒、订户身份模块(sim)卡。计算设备中的存储器(包括高 速缓存5412和5414、存储器5416和5418及存储设备5490、以及机盖控制器 中枢中的存储器)可以存储数据和/或计算机可执行指令以用于执行操作系统 5494或应用5496。示例数据包括网页、文本消息、图像、声音文件、视频数 据、传感器数据或从机盖控制器中枢接收到的任何其他数据、或者要由设备通 过一个或多个有线或无线网络发送至一个或多个网络服务器或其他设备和/或 从一个或多个网络服务器或其他设备接收的其他数据集、或者供设备使用的其 他数据。设备可以具有对诸如外部硬盘驱动器或基于云的存储之类的外部存储 器(为示出)的访问权。
735.操作系统5494可以控制图54中图示出的组件的分配和使用， 并且支持一个或多个应用程序5496。应用程序5496可以包括常见的移动计算 设备应用(例如，电子邮件应用程序、日历、联系人管理器、网页浏览器、消息 收发应用)以及其他计算应用。
736.设备可以支持各种输入设备，诸如触摸屏、话筒、相机(单视场 或立体)、轨迹球、触摸板、触控板、鼠标、键盘、接近度传感器、光传感器、 压力传感器、红外传感器、心电图(ecg)传感器、ppg(光体积描记图)传感器、 皮肤电反应传感器，并且设备可以支持一个或多个输出设备，诸如一个或多个 扬声器或显示器。这些输入设备或输出设备中的任一者可以在设备的内部、在 设备的外部、或者可移除地可与设备附接。外部输入设备和输出设备可以经由 有线或无线连接与设备进行通信。
737.另外，计算设备可以提供一个或多个自然用户接口(nui)。例 如，操作系统5494、应用5496或机盖控制器中枢可以包括话音识别作为语音 用户接口的部分，语音用户接口允许用户通过语音命令来操作设备。进一步地， 设备可以包括允许用户经由身体、手部、或面部姿势而与设备进行交互的输入 设备和组件。
738.设备可以进一步包括一个或多个通信组件5484。组件5484可 以包括耦合至一根或多根天线的无线通信组件，以支持设备与外部设备之间的 通信。天线可以位于基座、机盖、或设备的其他部分中。无线通信组件可以支 持各种无线通信协议和技术，诸如近场通信(nfc)、ieee 802.11(wi-fi)变 体、wimax、蓝牙、zigbee、4g长期演进(lte)、码分多址(cdma)、通 用移动电信系统(umts)和全球移动电信系统(gsm)。另外，无线调制解 调器可以支持与一个或多个蜂窝网络的通信，以便在单个蜂窝网络内、在蜂窝 网络之间、或在移
动计算设备与公共交换电话网络(pstn)之间进行数据和语 音通信。
739.设备可以进一步包括：包括物理连接器的至少一个输入/输出端 口(其可以是例如usb、ieee 1394(火线)、以太网和/或rs-232端口)；电 源(诸如可再充电电池)；卫星导航系统接收器，诸如gps接收器；陀螺仪； 加速度计；以及罗盘。gps接收器可以耦合至gps天线。设备可以进一步包 括耦合至一个或多个附加接收器、发射器和/或收发器以启用附加功能的一根或 多根附加天线。
740.图54图示出一个示例计算设备架构。可以使用基于替代架构的 计算设备来实现本文中所描述的技术。例如，代替于位于分立的集成电路上的 处理器5402和5404以及图形模块5452，计算设备可以包括包含图54中图示 出的组件中的一个或多个组件的soc(芯片上系统)集成电路。在一个示例中， soc可以包括多个处理器核、高速缓存存储器、显示驱动器、gpu、多个i/o 控制器、ai加速器、图像处理单元驱动器、i/o控制器、ai加速器、图像处理 器单元。进一步地，计算设备可以经由总线或者与图54中示出的点对点配置 不同的点对点配置来连接元件。而且，图54中的所图示的组件不是必需的或 全部包括的，因为在替代实施例中，可移除所示组件并添加其他组件。
741.图55是用于作为实现机盖控制器中枢的部分来执行计算机可 读指令的示例处理单元5500的框图。处理单元5500可以是任何类型的处理器 或处理器核，诸如，微处理器、嵌入式处理器、数字信号处理器(dsp)、网络处 理器或加速器。处理单元5500可以是单线程核，或者可以是多线程核，体现 在其每个核可包括多于一个硬件线程上下文(或“逻辑处理器”)。
742.图55还图示出耦合至处理器5500的存储器5510。存储器5510 可以是本文中所描述的任何存储器或者本领域技术人员已知的任何其他存储 器。存储器5510可以存储可由处理单元5500执行的计算机可执行指令5515 (代码)。
743.处理器核包括接收来自存储器5510的指令的前端逻辑5520。 指令可以由一个或多个解码器5530处理。解码器5530可以生成微操作(诸如 采用预定义格式的固定宽度的微操作)作为其输出，或者可生成反映原始代码 指令的其他指令、微指令或控制信号。前端逻辑5520进一步包括寄存器重命 名逻辑5535和调度逻辑5540，调度逻辑5540一般分配资源并对与对指令进 行转换以供执行相对应的操作进行排队。
744.处理单元5500进一步包括执行逻辑5550，执行逻辑5550包括 一个或多个执行单元(eu)5565-1至5565-n。一些处理器核实施例可以包括 专用于特定功能或功能集合的数个执行单元。其他实施例可以包括可以执行特 定功能的仅一个执行单元或一个执行单元。执行逻辑5550执行由代码指令指 定的操作。在完成对由代码指令指定的操作的执行之后，后端逻辑5570使用 引退逻辑5575对指令进行引退。在一些实施例中，处理单元5500允许乱序执 行但是要求指令的有序引退。引退逻辑5575可以采取如本领域技术人员已知 的各种形式(例如，重排序缓冲器等等)。
745.至少对于由解码器5530所生成的输出、由寄存器重命名逻辑 5535利用的硬件寄存器和表以及由执行逻辑5550修改的任何寄存器(未示出) 而言，处理单元5500在指令的执行期间被转换。虽然未在图55中图示，但处 理器可以将其他元件与处理单元5500一起包括在集成芯片上。例如，处理器 可以包括诸如存储器控制逻辑、一个或多个图形模块、i/o控制逻辑、和/或一 个或多个高速缓存之类的附加元件。
746.如本文中在任何实施例中所使用，术语“模块”是指可采用硬件 组件或设备、在处理器上运行的软件或固件、或其组合来实现的用于执行符合 本公开的一个或多个操作的逻辑。软件可被具体化为记录在非瞬态计算机可读 存储介质上的软件包、代码、指令、指令集和/或数据。固件可被具体化为硬编 码(例如，非易失性的)在存储器设备中的代码、指令或指令集、和/或数据。 如在本文中的任何实施例中所使用，术语“电路系统”可以单独地或以任何组合 包括例如硬连线电路系统、可编程电路系统(诸如，包括一个或多个单独的指 令处理核的计算机处理器)、状态机电路系统和/或存储由可编程电路系统执行 的指令的固件。本文中所描述的模块可共同地或单独地被具体化为形成一个或 多个设备的部分的电路系统。由此，模块中的任一个均可以被实现为电路系统， 诸如连续项集生成电路系统、基于熵的离散化电路系统等。被称为被编程为执 行方法的计算机设备可以被编程为经由软件、硬件、固件或其组合来执行该方 法。
747.在一些实施例中，机盖控制器中枢是封装的集成电路，包括本 文中被描述为是机盖控制器中枢的部分的组件(模块、端口、控制器、驱动器、 定时、块、加速器、处理器等)。机盖控制器中枢组件可以被实现为专用电路 系统、操作固件或软件的可编程电路系统、或其组合。因此，模块可以替代地 称为“电路系统”(例如，“图像预处理电路系统”)。模块还可以替代地称为“引 擎”(例如，“安全引擎”、“主机引擎”、“视觉/成像引擎”、“音频引擎”)，并且
ꢀ“
引擎”可以被实现为硬件、软件、固件或其组合。进一步地，机盖控制器中枢 模块(例如，音频模块、视觉/成像模块)可以与其他模块组合，并且各个模块 可以分成单独的模块。
748.在权利要求书和说明书中使用附图标记旨在辅助对权利要求书 和说明书的理解，并且并非旨在作为限制。
749.任何所公开的方法均可以被实现为计算机可执行指令或计算机 程序产品。此类指令可以使得计算机或一个或多个处理器能够执行计算机可执 行指令来执行本文中所公开的方法中的任一者。一般而言，如本文中所使用， 术语“计算机”是指本文中所描述或本文中所提及的任何计算设备或系统、或者 任何其他计算设备。由此，术语“计算机可执行指令”是指可由本文中所描述或 提及的任何计算设备或任何其他计算设备执行的指令。
750.计算机可执行指令或计算机程序产品以及在所公开技术的实现 期间创建和使用的任何数据可以被存储在一个或多个有形或非瞬态计算机可 读存储介质上，例如光介质盘(例如，dvd、cd)、易失性存储器组件(例如， dram、sram)或非易失性存储器组件(例如闪存、固态驱动器、基于硫族 化物的相变非易失性存储器)。计算机可读存储介质可以被包含在诸如固态驱 动器、usb闪存驱动器和存储器模块之类的计算机可读存储设备中。替代地， 计算机可执行指令可由包含用于执行所公开方法的全部或部分的硬连线逻辑 的特定硬件组件执行，或者由计算机可读存储介质和硬件组件的任何组合执行。
751.计算机可执行指令可以是例如专用软件应用或经由网络浏览器 或其他软件应用(诸如远程计算应用)访问的软件应用的部分。此类软件可以 由例如单个计算设备或在使用一个或多个联网的计算机的网络环境中读取和 执行。进一步地，应理解，所公开的技术不限于任何特定的计算机语言或程序。 例如，所公开的技术可以由以c 、java、perl、python、javascript、adobe flash 或任何其他合适的编程语言编写的软件来实现。同样，所公开的技术不限于任 何特定的计算机或任何特定类型的硬件。
752.此外，任何基于软件的实施例(包括例如用于使计算机执行所 公开的方法中的任
一者的计算机可执行指令)可以通过合适的通信手段上传、 下载或远程访问。此类合适的通信方式包括例如，因特网、万维网、内联网、 电缆(包括光纤电缆)、磁通信、电磁通信(包括rf、微波和红外通信)、电 子通信或其他此类通讯手段。
753.如在本技术和权利要求书中所使用，由术语“和/或”连接的项列 表可意指列出的项的任何组合。例如，短语“a、b和/或c”可意指a；b；c； a和b；a和c；b和c；或a、b和c。进一步地，如在本技术和权利要求 书中所使用，由术语
“……
中的至少一个”连接的项列表可意指列出的项的任何 组合。例如，短语“a、b或c中的至少一个”可意指a；b；c；a和b；a和 c；b和c；或a、b和c。而且，如在本技术和权利要求书中所使用的，由 术语
“……
中的一个或多个”联接的项列表可意指所列项的任何组合。例如，短 语“a、b和c中的一个或多个”可意指a；b；c；a和b；a和c；b和c； 或a、b和c。此外，如在本技术中和在权利要求书中所使用，短语“至少两个
”ꢀ
可以已知所列出的项中的任何两项。例如，短语“a、b或c中的至少两个个
”ꢀ
可意指a和b；a和c；或b和c。进一步地，如在本技术中和在权利要求书 中所使用，短语“全部不同于彼此”已知所列出的项中的每一者均不同于彼此。 例如，“a、b、c全部不同于彼此”可以意指a、b和c各自具有不同的值(例 如，a为20hz，b为60hz，并且c为120hz)。
754.此外，词语“优化(optimize/optimization/optimizing)”和相关术 语是指代系统、组件或过程的功耗、等待时间或其他性能或行为特征的相对改 善的技术术语，而不是指示系统、组件或过程已得到完美改善从而实现功耗、 等待时间或性能或行为特征的“最佳”状态。
755.不应将所公开的方法、装置和系统解释为以任何方式进行限制。 替代地，本公开内容单独地以及以与彼此的各种组合和子组合针对各个公开的 实施例的所有新颖的且非显而易见的特征和方面。所公开的方法、装置和系统 既不限于任何特定方面或特征或其组合，所公开的实施例也不要求存在任何一 个或多个特定优点或解决任何一个或多个特定的问题。
756.参考本公开的装置或方法在此提出的操作理论、科学原理或其 他理论描述是出于更好地理解的目的而提供的，并且不旨在限制范围。所附权 利要求中的装置和方法不限于以由此类操作理论描述的方式起作用的那些装 置和方法。
757.虽然出于方便呈现起见而以特定的、连续的顺序描述了所公开 的方法中的一些方法的操作，但是应理解，这种描述方式涵盖重新安排，除非 本文中阐述的特定语言需要特定的排序。例如，在某些情况下，顺序地描述的 操作可以被重新安排或同时执行。而且，出于简单起见，附图可能未示出所公 开的方法可以与其他方法结合使用的各种方式。