用于配对的用户计算设备的电话会议接口和控件的制作方法

用于配对的用户计算设备的电话会议接口和控件


背景技术：

1.许多用户计算设备是便携式的，诸如但不限于：膝上型计算机、笔记本计算机、智能手机和平板计算机。对于许多人而言，工作可能涉及使用多个不同的计算设备并且与之进行交互，包括跨设备的多任务处理。另外，工作环境已经变得更加动态。例如，跨家中、咖啡店、机场、会议室和个人工作空间中完成的工作量越来越多，并且按需工作空间分配(其中，个人可能每天在不同的地点工作)越来越普遍。需要新的并且经改进的方案来改进与这些不同的设备和工作环境的用户交互，并且更充分地实现由这些不同的设备和工作环境所提供的能力。


技术实现要素：

2.根据本公开的第一方面，一种适于在活跃配对的用户计算设备之间提供统一用户接口的系统，包括一个或多个处理器以及包括指令的机器可读介质，所述指令当由所述一个或多个处理器运行时可以使得所述一个或多个处理器：确定第一用户计算设备有资格与第二用户计算设备活跃配对。所述指令还可以使得所述一个或多个处理器：确定在所述第一用户计算设备和所述第二用户计算设备两者都被认证用于相同的用户服务账户的第一时间所述第一用户计算设备物理接近所述第二用户计算设备。此外，所述指令可以使得所述一个或多个处理器：基于确定所述第一用户计算设备有资格与所述第二用户计算设备活跃配对以及确定所述第一用户计算设备物理接近所述第二用户计算设备，来确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在第一活跃配对集合中。所述指令还使得所述一个或多个处理器在所述第一时间接收对与电话会议会话相关联并且由所述第一用户计算设备呈现的第一用户接口控件的致动的第一指示。同样地，所述指令使得所述一个或多个处理器：响应于接收到所述第一指示以及确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在所述第一活跃配对集合中，使得在与所述用户服务账户相关联的第一用户作为第一参与者加入所述电话会议会话时由所述第二用户计算设备呈现所述电话会议会话的实时组件。
3.根据本公开的第二方面，一种在活跃配对的用户计算设备之间提供统一用户接口的方法，可以包括：确定第一用户计算设备有资格与第二用户计算设备活跃配对。所述方法还可以包括：确定在所述第一用户计算设备和所述第二用户计算设备两者都被认证用于相同的用户服务账户的第一时间所述第一用户计算设备物理接近所述第二用户计算设备。所述方法还可以包括：基于确定所述第一用户计算设备有资格与所述第二用户计算设备活跃配对以及确定所述第一用户计算设备物理接近所述第二用户计算设备，来确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在第一活跃配对集合中。另外，所述方法包括：在所述第一时间接收对与电话会议会话相关联并且由所述第一用户计算设备呈现的第一用户接口控件的致动的第一指示。同样地，所述方法包括：响应于接收到所述第一指示以及确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在所述第一活跃配对集合中，使得在与所述用户服务账户相关联的第一用户
作为第一参与者加入所述电话会议会话时由所述第二用户计算设备呈现所述电话会议会话的实时组件。
4.提供本发明内容是为了以简化形式介绍对概念的选择，这些概念将在下文的详细描述中进一步描述。本发明内容并非旨在识别所要求保护的主题的关键特征或基本特征，也并不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题并不限于解决在本公开的任何部分中所指出的任何或所有缺点的实现方式。
附图说明
5.附图仅通过示例而非限制的方式描绘了根据本教导的一种或多种实现方式。在附图中，相似的附图标记指代相同或相似的元件。此外，应当理解，附图不一定按比例绘制。
6.图1图示了被配置为在配对的用户计算设备之间提供统一用户接口的系统的示例；
7.图2a图示了在图1中所示的系统的各方面的示例性细节结合在图1中所示的第一位置处操作的各种示例；图2b图示了在图1和图2a中所示的配对服务的各方面的示例性细节；
8.图3a、图3b和图3c图示了在图1-2b中所示的系统的第一示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一用户接口(ui)交互，其中，使用由第一设备呈现的ui控件导致第二设备作为电话会议会话的端点加入；
9.图4图示了在图1-2b中所示的系统的第二示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，在将所述第二设备保持为针对活跃会话的主要视听端点的同时，由远程参与者发起的活跃会话的投射部分经由所述第一设备来呈现；
10.图5a、图5b和图5c图示了在图1-2b中所示的系统的第三示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，第一用户使用所述第二设备上的ui控件从所述第一设备发起所述活跃会话的投射部分；
11.图6a、图6b和图6c图示了在图1-2b中所示的系统的第四示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，基于对所述第一用户的注意力的检测来由所述第一设备和所述第二设备选择性地执行对实时媒体流的捕获；
12.图7a、图7b、图7c和图7d图示了在图1-2b中所示的系统的第五示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，基于对所述第一用户的注意力的检测经由所述第一设备和所述第二设备选择性地执行媒体呈现；
13.图8a和图8b图示了在图1-2b中所示的系统的第六示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，在参与电话会议会话时，所述第一用户选择用于投射的文件并且利用所选择的文件经由手持第三设备发起会话的投射部分；
14.图9a、图9b和图9c图示了在图1-2b中所示的系统的第七示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，基于设备状态在设备之间自动传输用于电话会议会话的白板接口的呈现；
15.图10a和图10b图示了在图1-2b中所示的系统的第八示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，所述第一用户使用所述第二设
备经由所述第一设备上的ui向其他参与者发起在电话会议会话中生成的内容的传输；
16.图11a、图11b、图11c、图11d和图11e图示了在图1-2b中所示的系统的第九示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，在参与电话会议会话时，所述第一用户经由手持式第三设备邀请额外的参与者；
17.图12a、图12b和图12c图示了在图1-2b中所示的系统的第十示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，所述手持第三设备被临时招募为针对由第二设备呈现的虚拟白板的媒体输入设备；
18.图13a、图13b和图13c图示了在图1-2b中所示的系统的第十一示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，通过致动所述第二设备上的ui控件而在所述第一设备上打开在所述第二设备上打开以供查看的文件；
19.图14a和图14b图示了在图1-2b中所示的系统100的第十二示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，通过致动所述第二设备上的ui控件，而打开第二设备上正在查看的文件中所包括的内容元素以供在所述第一设备上检查；
20.图15a、图15b和图15c图示了在图1-2b中所示的系统的第十三示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，所述第一设备呈现ui控件以向第三设备提供在由所述第一设备呈现的内容中标识的地理位置；
21.图16a、图16b和图16c图示了在图1-2b中所示的系统的第十四示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，所述第一设备在所述第三设备上发起用户输入操作，导致用户输入从所述第三设备递送到发起的第一设备；
22.图17是图示了用于在活跃配对的用户计算设备之间提供统一用户接口的示例性过程的实现方式的流程图；
23.图18是图示了用于在活跃配对的用户计算设备之间提供统一用户接口的示例性过程的实现方式的流程图；
24.图19是图示了示例性软件架构的框图，其各个部分可以与在本文中所描述的各种硬件架构结合使用，这些硬件架构可以实现在本文中所描述的任意特征；
25.图20是图示了被配置为从机器可读介质读取指令并且执行在本文中所描述的任意特征的示例性机器的组件的框图。
具体实施方式
26.在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，应当意识到，可以在没有这样的细节的情况下实践本教导。在其他情况下，公知的方法、过程、组件和/或电路已经在没有细节的相对较高的水平上进行了描述，以避免不必要地模糊本教导的各方面。在以下材料中，方向指示(诸如“顶部”或“左侧”)仅用于在以下讨论期间提供参考系，而并不旨在指示所描述的物品的所需、期望或预期方向。
27.图1图示了被配置为在配对的用户计算设备之间提供统一用户接口(“ui”)的系统100的示例。注意，术语“用户接口”(或者“ui”)并不限于图形用户接口(“gui”)，而是也可以包括其他用户接口，诸如但不限于语音输入和呈现输出。在该示例中，第一用户120被示为在第一时间段t1期间在第一位置110a处、在第二时间段t2期间在第二位置110b处、以及在
第三时间段t3期间在第三位置110c处使用第一用户计算设备130(其可以更简单地被称为“计算设备”或“设备”)。在第一时间段t1期间，第一用户120在第一位置110a处也使用第二用户计算设备132。在第二时间段t2期间，与第一用户120相关联的第三用户计算设备134位于第二位置110b处。在第三时间段t3期间，第一用户120在第三位置110c处也使用第四用户计算设备136。在图1中所示的特定示例中，第一设备130是笔记本或膝上型计算设备形式的便携式计算设备，第二设备132是包括触摸屏、相机、麦克风和扬声器的桌面计算设备，第一设备134是智能电话的形式，而第四设备136是桌面计算设备的形式(由图1中的监视器表示)。然而，可以理解，第一设备130、第二设备132、第三设备134和/或第四设备136可以以其他形式来实现。在一些示例中，用户计算设备提供另一用户计算设备不提供的能力。例如，在图1中，第一设备130包括物理键盘，而第二设备132不包括物理键盘。作为另一示例，第二设备132包括触摸屏，而第一设备130不包括触摸屏。
28.术语“用户计算设备”涉及面向终端用户的计算设备，通常假设单个用户在给定时间使用所述设备。例如，由用户计算设备运行的软件程序可能需要提供密码或者其他凭证以便访问与用户账户相关联的资源。在一些示例中，用户计算设备可以支持多个这样的用户账户，从而允许不同的用户在各自的时间“登录”到设备。在一些示例中，用户计算设备可以支持单个用户账户；例如，大多数智能手机设备都假定与单个个体结合使用。
29.第一软件程序实例131(在一些示例中，其可以被称为“软件实例”、“应用”或“app”)在第一时间段t1、第二时间段t2和第三时间段t3期间由第一设备130来运行。此外，第一软件程序实例131被配置为经由一个或多个网络140结合与第一用户120相关联的第一用户服务账户152与配对服务150进行交互。例如，第一软件程序实例131可以被配置为向配对服务150提供凭证以认证针对第一用户服务账户152的第一软件程序实例131。所述交互可以包括例如在第一软件程序实例131与配对服务150之间发送和接收的命令和/或数据以实现在本文中所描述的技术的各方面。这些交互可以经由例如持久连接、异步通信和/或轮询来实现，以用于在由第一设备130运行的第一软件程序实例131与配对服务150之间传输消息。应当理解，经由由所述用户计算设备运行的对应配置的软件程序示例来发生对用户计算设备与配对服务150的交互或者被配置为与配对服务150进行交互的引用。
30.在第一时间段t1期间，第二设备132正在运行第二软件程序实例133。与针对第一软件程序实例131所描述的非常相似，第二软件程序实例133被配置为经由一个或多个网络140结合第一用户服务账户152与配对服务150进行交互。因此，在第一时间段t1期间，第一设备130和第二设备132两者都被配置为与配对服务150进行交互，并且确实结合第一用户服务账户152与配对服务150进行交互。在一些示例中，第二软件程序实例133可以被配置为在第二时间段t2和/或第三时间段t3期间结合第一用户服务账户152与配对服务150进行交互。在一些实现方式中，由不同的软件程序实例对相同的第一用户服务账户152的使用在软件程序实例之间提供一致并且稳健的安全机制，诸如通过经由配对服务150分发和管理访问令牌以实现安全数据访问和交换。
31.在第二时间段t2期间，第三设备134正在运行第三软件程序实例135。与针对软件程序实例131和133所描述的非常相似，第三软件程序实例135被配置为经由一个或多个网络140结合第一用户服务账户152与配对服务150进行交互。因此，在第二时间段t2期间，第一设备130和第三设备134都被配置为与配对服务150进行交互，并且可以结合第一用户服
务账户152与配对服务150进行交互。在一些示例中，第三软件程序实例135可以被配置为在第一时间段t1和/或第三时间段t3期间结合第一用户服务账户152与配对服务150进行交互，同时保持在第一位置110a处。在一些示例中，第三设备134在第一时间段t1和/或第三时间段t3期间与第一用户120在一起。
32.在第三时间段t3期间，第四软件程序实例137正在由第四设备136运行。与针对软件程序实例131、133和135所描述的非常相似，第三软件程序实例135被配置为经由一个或多个网络140结合第一用户服务账户152与配对服务150进行交互。因此，在第三时间段t3期间，第一设备130和第四设备136两者都被配置为与配对服务150进行交互，并且确实结合第一用户服务账户152与配对服务150进行交互。在一些示例中，第四软件程序实例137可以被配置为在第一时间段t1和/或第二时间段t2期间结合第一用户服务账户152与配对服务150进行交互，同时保持在第三位置110c处。
33.系统100被配置为针对两个或更多个计算设备(诸如在第一时间段t1期间的第一设备130和第二设备132)自动地识别时间段(诸如第一时间段t1)，在所述时间段期间，在每个集合中的每个用户计算设备结合相同的用户服务账户与配对服务150进行交互，并且在每个集合中的用户计算设备接近或者可能接近彼此和/或公共用户或者在其附近。由系统100识别出的用户计算设备集合可以被称为“活跃配对”，并且在针对所述设备集合识别出的时间段期间一起被包括在活跃配对集合中。注意，在一些示例中，三个或者更多个设备可以被包括在活跃配对集合中。例如，在一些情况下，当第一用户120在第一位置110a处时，第一设备130、第二设备132和第三设备134可能被包括在活跃配对集合中。
34.在一些示例中，系统100被配置为基于用户是否已经将用户计算设备识别为有资格配对(例如，通过明确地将所述设备识别为有资格或无资格配对)来调节将用户计算设备包括在所识别出的集合中。在系统100被如此配置的示例中，第一设备130和第二设备132已经被识别为有资格配对，而第三设备134尚未被识别为有资格配对，系统100可以将第一设备130和第二设备132识别为在第一时间段t1期间被包括在活跃配对集合中(基于这两个设备都已经被识别为有资格配对)，尽管第一设备130和第三设备134在第二时间段t2彼此靠近，但是未将这两个设备识别为在该时间期间被包括在活跃配对集合中(由于第三设备134未被识别为有资格配对)。
35.在一些示例中，系统100被配置为基于用户是否已经将两个用户计算设备识别为有资格彼此配对(例如，通过明确地将所述设备识别为有资格或无资格彼此配对)来调节将两个用户计算设备包括在所识别出的集合中。在一些实现方式中，用户可以执行配对过程以将设备识别为有资格彼此配对。在这样配置系统100的示例中，第一设备130和第二设备132已经被识别为有资格配对在一起，第一设备130和第四设备136已经被识别为适合配对在一起，但是第二设备132和第四设备136尚未被识别为有资格配对在一起，在第二设备132和第四设备136彼此接近的情况下，系统100不会将所述设备识别为一起被包括在活跃配对集合中，尽管每个设备都能够与其他设备活跃配对。
36.在图1中所示的示例中，系统100在第一时间段t1期间(在此期间其足够接近以进行活跃配对)将第一设备131和第二设备132识别为用户计算设备的第一活跃配对集合，但是在第二时间段t2或第三时间段t3期间(在此期间其没有足够接近)不是如此。同样地，系统100在第三时间段t3期间(在此期间其足够接近)将第一设备131和第四设备136识别为用
户计算设备的第二活跃配对集合，但是在第一时间段t1或第二时间段t2期间(在此期间其没有足够接近)不是如此。
37.系统100还被配置为：基于所涉及的用户计算设备在相关联的时间段期间是否活跃配对来控制由用户计算设备对针对各种活动的用户接口的呈现。在一些示例中，响应于系统100将用户计算设备识别为已经在未活跃配对与活跃配对之间转换，可以修改由用户计算设备呈现的用户接口(包括但不限于：添加显示的用户接口(ui)元素、移除显示的ui元素、和/或改变显示的ui元素的外观)。系统100还被配置为基于运行软件程序实例的用户计算设备在相关联的时间段期间是否活跃配对来控制软件程序实例的行为。
38.可以采用各种机制来识别用户计算设备彼此接近的时间段。举例来说，第一设备130和第二设备132可以被配置为发送和/或接收短程无线电信号(诸如但不限于根据蓝牙低能量(ble)和/或近场通信(nfc)通信协议标准)和/或声音信号。通过另一示例，第一设备130和第二设备132可以各自被配置为检测特定用户或设备的存在(诸如但不限于：通过rfid标签检测、面部识别和/或语音识别技术)。
39.图1还图示了第二用户160a和相应的计算设备170a、第三用户160b和相应的计算设备170b、第四用户160c和相应的计算设备170c、以及第五用户160d和相应的计算设备170d。在下文所讨论的一些示例中，第二用户120经由电话会议服务180与用户160a、160b、160c和160d中的一些或所有用户参与电话会议会话。在一些示例中，电话会议会话涉及捕获和传输视频媒体流和音频媒体流以分发给其他参与者，并且为其他参与者接收和呈现视频媒体流和音频媒体流。电话会议服务180可以通过电话会议会话提供额外能力，诸如但不限于：向和/或从其他参与者投射显示和/或应用内容、口语的现场转录、和/或白板媒体流和/或服务。
40.图2a图示了在图1中所示的系统100的各方面的示例性细节结合在图1中所示的第一位置110a处操作的各种示例。然而，可以理解，所描述的细节也可以结合其他用户计算设备(诸如但不限于在图1中所示的第三设备134和第四设备136)和其他用户来应用。尽管本公开主要描述了涉及由单个第一用户120使用的用户计算设备的配对的示例，但是应当理解，系统100支持向多个用户提供与其相关联的用户计算设备相关的类似功能。
41.如上文所提到的，第一用户计算设备130是笔记本或膝上型计算机的形式。如在图2a中所示的，第一设备130包括第一显示设备210，诸如但不限于基于lcd的显示面板，其可以被用于呈现各种图形用户接口(“gui”)。第一设备130还包括第一本地存储装置212，诸如易失性和/或非易失性存储装置，其被示为存储第一本地数据213，诸如电子文件。第一设备130还包括第一运行环境214，在其中第一软件程序实例131由第一设备130来运行。其他软件程序实例可以由第一运行环境214和/或由第一设备130提供的其他运行环境内的第一设备130来运行。第一设备130还包括各种输入设备216，诸如但不限于：第一相机217、第一麦克风218和/或键盘219。第一设备130还包括各种输出设备220，诸如但不限于第一扬声器221。输入设备和输出设备的其他示例将结合图20进行讨论。
42.如上文所提到的，第二用户计算设备132是桌面计算设备的形式，所述桌面计算设备被配置为接收基于触摸的输入并且作为用于数字助理(例如，microsoft cortana
tm
)的语音驱动接口来提供服务。如在图2a中所示的，第二设备132包括第二显示设备230，其可以被用于呈现各种gui。第二设备132还包括被示为存储第二本地数据233的第二本地存储装置
232。第二设备132还包括第二运行环境234，在其中第二软件程序实例133由第二设备132来运行。其他软件程序实例可以由在第二运行环境234和/或由第二设备132提供的其他运行环境内的第二设备132来运行。第二设备132还包括各种输入设备236，诸如但不限于：第二相机237、第二麦克风238和/或触摸屏239。第二设备132还包括各种输出设备240，诸如但不限于第二扬声器241。
43.图2a包括在图1中所示的电话会议服务180。在一些示例中，如在图2a中所示的，电话会议服务180可以维护针对电话会议会话的会话记录251。在一些示例中，会话记录251可以包括针对已经被调度但是尚未开始的电话会议会话的调度会话252。在一些示例中，会话记录251可以包括针对与一个或多个活跃参与者的电话会议会话的活跃会话252。活跃会话252可能来自先前的调度会话或自组织会话。在图2a中所示的示例中，系统100可以包括存储服务254，其被配置为接收、存储存储数据255并且使其可访问，包括存储数据项256。例如，存储数据项256可以是由内容创建应用(诸如但不限于文字处理器应用)生成的电子文档。
44.在图2a中所示的示例中，系统100可以包括控制服务250，其被配置为作为配对服务的客户端服务与配对服务150进行交互，允许其从配对服务150接收活跃配对集合中的改变的通知，发送消息或者与设备交换消息，和/或获取设备信息。另外，控制服务250被配置为与电话会议服务180进行交互以从电话会议服务180获取信息并且向电话会议服务180发出命令。经由与配对服务150、电话会议服务180和用户计算设备的交互，控制服务250被配置为使得能够针对电话会议会话提供配对感知特征，而不必修改电话会议服务180自身。在一些示例中，控制服务250被配置为与存储服务254进行交互以获得关于存储数据255的信息(例如，文件元数据)和/或访问被包括在存储数据255中的项目或者使所述项目可访问。在一些示例中，针对控制服务所描述的功能可以被部分或整体并入到配对服务150和/或电话会议服务180中。在图2a中所示的示例中，系统100可以包括第三方客户端服务258，第三方客户端服务258被配置为作为客户端服务与配对服务150进行交互以使得能够将配对感知特征并入到第三方服务和/或应用中。在一些实现方式中，控制服务250和/或第三方服务258可以经由设备获得配对相关信息，而不是直接与作为客户端服务的配对服务150进行交互。注意，在一些实现方式中，程序软件实例130、134、136、138和/或在本文中所描述的其他配对感知程序软件实例可以被配置为至少部分地经由客户端服务(诸如控制服务250或第三方客户端服务258)与配对服务150进行交互。
45.图2b在图示了在图1和图2a中所示的配对服务150的各方面的示例性细节。配对服务150包括用户认证器260，用户认证器260被配置为识别和认证与在用户计算设备与配对服务150之间的通信会话相关联的用户服务账户。例如，用户认证器260可以被配置为接收和处理用户名和密码散列形式的凭证。在一些实现方式中，用户认证器260支持使用从外部认证服务获得的凭证(例如，由单点登录(sso)服务发布的令牌)，并且可以将由这样的服务提供的用户账户标识符与其各自的用户服务账户相关联。在一些实现方式中，用户认证器260被配置为向已经成功认证的设备发出访问令牌，并且配对服务150被配置为在与设备的随后通信中接收和处理访问令牌以用于认证和授权操作。
46.在一些实现方式中，配对服务150包括客户端服务接口270，其用于在配对服务150与“客户端”服务之间进行交互，所述“客户端”服务被配置为针对一个或多个选择的用户服
务账户接收关于活跃配对集合的信息并且基于设备作为配对或未配对设备的状态和/或与其活跃配对的设备来与设备进行交互。示例性客户端服务包括在图2a中所示的控制服务250和第三方客户端服务258。在一些示例中，客户端服务接口270被配置为结合所选择的用户服务账户来执行对客户端服务的认证和/或授权，这可以包括针对用户认证器260所描述的认证技术的使用和接受由用户认证器260发布给设备的令牌。在一些实现方式中，客户端服务可以经由客户端服务接口270获得关于用户相关联的设备286、可用设备288和/或下文讨论的活跃配对记录292的信息。在一些示例中，服务可以被设计为经由设备获得配对相关的信息，而不是作为客户端服务与配对服务器150进行交互。
47.在一些实现方式中，配对服务150维护针对与配对服务150建立的用户服务账户的用户服务账户记录280，包括针对第一用户120的用户服务账户152的用户服务账户记录282。在一些示例中，用户服务账户记录282被存储在多个单独的记录中。例如，与用户服务账户相关联的访问令牌284可以由用户认证器260来维护。在一些实现方式中，用户服务账户记录282包括针对用户服务账户152而发布的访问令牌284。
48.在一些实现方式中，用户服务账户记录282包括已经利用针对用户服务账户152的配对服务150而认证的设备的用户相关联的设备286信息。在一些实现方式中，配对服务150被配置为响应于设备与配对服务150的成功用户认证(或者“登录”)而将设备添加到用户相关联的设备286。在一些实现方式中，配对服务150被配置为响应于设备与配对服务150的“签出”而从用户相关联的设备286移除设备。在一些示例中，支持由多个不同用户使用的设备被配置为在用户结束使用设备时“签出”配对服务。
49.在一些实现方式中，用户服务账户记录282包括可用设备288信息，其标识当前利用配对服务150针对用户服务账户152而认证的设备，所述设备当前可能被包括在设备的活跃配对集合中。在一些示例中，可以响应于持久网络连接的建立和终止而从可用设备288添加和移除设备，但是可以使用其他方案来识别可用设备288。在一些示例中，设备被配置为向配对服务150发送注册消息以指示其与其他设备配对的可用性，并且向配对服务150发送取消注册消息以指示其无法配对，并且配对服务150被配置为分别从可用设备288添加和删除设备。在一些示例中，设备被配置为经由由设备运行的软件程序实例响应于事件来向配对服务150发送注册消息，所述事件诸如但不限于：到设备的用户登录、软件程序实例的启动、和/或重新建立网络连接。在一些实现方式中，配对服务150被配置为基于从设备接收到周期性保活消息和/或从设备接收到最近接收到的保活消息的超时到期来分别从可用设备288添加/维护和移除所述设备。
50.在一些实现方式中，用户服务账户记录282包括记录设备与其他设备配对的资格的设备配对资格记录290，并且配对服务150被配置为基于设备配对资格记录290来识别有资格被包括在活跃配对集合中的设备。在这样的实现方式中，配对服务150包括设备配对资格接受器262，其被配置为接收指示对设备配对资格的改变的设备配对资格消息(例如，来自用户计算设备)并且相应地修改设备配对资格记录290。在一些实现方式中，一些或所有设备可以默认为有资格，并且用户可以“选择退出”设备配对，其中“选择退出”被记录在设备配对资格记录290中。在一些实现方式中，一些或所有设备可以默认为没有资格，并且用户可以“选择加入”设备以与其他有资格设备配对，其中“选择加入”被记录在设备配对资格记录290中。在一些实现方式中，针对给定设备，用户能够识别能够肯定地与之配对和/或否
定地不能够与之配对的特定的其他设备，其中该信息被记录在设备配对资格记录290中。例如，系统100可以实现设备配对过程，其中用户必须肯定地将设备识别为被允许与另一设备配对，导致设备配对资格记录290指示两个设备可以一起被包括在活跃配对集合中。在一些实现方式中，三个或更多个设备的集合可以被识别为配对组，所有设备必须在物理上彼此接近才能建立活跃配对集合，其中配对组被记录在设备配对资格记录中290。
51.配对服务150包括活跃配对检测器264，其被配置为：基于从与用户服务账户相关联的设备接收的信息，来实例化活跃配对集合，将设备添加到当前实例化的活跃配对集合，从当前实例化的活跃配对集合中移除设备(例如，响应于所述活跃配对集合在所述移除之后包括两个或更多个设备)，和/或取消实例化活跃配对集合(例如，响应于少于两个设备保持活跃配对集合)。在一些实现方式中，响应于检测到指示设备已经变得可用于被包括在活跃配对集合中的事件(诸如上文所描述的用于将设备添加到可用设备288的各种事件)和/或可以反映设备与另一设备的物理接近度改变的事件(例如，检测到的设备位置改变可以将其从另一设备的物理接近度中移除)，活跃配对检测器264被配置为确定所述设备是否将被包括在活跃配对集合中。活跃配对检测器264被配置为执行对设备的基于接近度的配对，其中，其被配置为：确定设备是否(或者可能)物理接近一个或多个其他设备，基于肯定确定所述设备在物理上接近一个或多个其他设备而将所述设备包括在与其他设备的活跃配对集合中，以及基于否定确定所述设备在物理上不接近其他设备而不将设备包括在活跃配对集合中或者从活跃配对集合中移除。在一些示例中，为了确定设备是否与一个或多个其他设备物理接近，活跃配对检测器264被配置为向设备发出接近度检测命令，所述设备被配置为执行接近度检测动作(例如，响应于所述接近度检测命令)，所述设备被配置为基于接近度检测动作来将设备接近度信息发送到活跃配对检测器264，和/或活跃配对检测器264被配置为至少基于所接收到的设备接近度信息来做出接近度确定。在利用设备配对资格记录290的实现方式中，活跃配对检测器264被配置为识别符合设备配对资格记录290的活跃配对集合。在一些实现方式中，单个设备可以同时被包括在两个不同的活跃配对集合中。例如，在这样的实现方式中，如果设备a有资格与设备b活跃配对，则设备a有资格与设备c活跃配对，设备b没有资格与设备c活跃配对，并且设备a、b和c在物理上彼此接近，第一活跃配对集合将包括设备a和b，而不同的第二活跃配对集合将包括设备a和c。在一些实现方式中，配对服务150被配置为使用活跃配对检测器264和/或设备配对资格接受器262来实现在设备之间的初始配对过程(例如，其可以修改设备配对资格记录290以指示所述设备有资格彼此活跃配对)。
52.用户服务账户记录282包括活跃配对记录292，其记录当前实例化的活跃配对集合和被包括在每个活跃配对集合中的设备。活跃配对检测器264被配置为根据实例化活跃配对集合、取消实例化活跃配对集合(包括在活跃配对集合中的设备)以及从活跃配对集合中移除设备来更新活跃配对记录292。
53.配对服务150包括设备通信器268，其被配置为向设备递送(或者尝试递送)消息(诸如但不限于命令或请求消息)，并且在一些实现方式中，也从设备接收和路由消息(诸如但不限于响应消息)。在一些实现方式中，这允许配对服务150封装针对不同设备的不同消息递送技术的使用。例如，针对一些设备，可以优选利用特定于平台的通知框架，而不是维持持久的网络连接。在一些实现方式中，配对服务150被配置为从设备或客户端服务接收消
息，以由设备通信器268递送到所选择的设备、被包括在所选活跃配对集合中的设备中的每个设备，和/或每个活跃配对设备。
54.配对服务150包括活跃配对通知器266，其被配置为通知设备和/或客户端服务关于活跃配对集合的改变。活跃配对通知器266被配置为经由设备通信器268通知设备关于包括设备的活跃配对集合的改变，诸如但不限于将所述设备添加到活跃配对集合或者从活跃配对集合中移除，并且另一设备被添加到活跃配对集合或者从活跃配对集合中移除。在一些示例中，设备被配置为基于其是否被包括在活跃配对集合中和/或者其他设备是否被包括在活跃配对集合中来修改ui和行为。在一些实现方式中，活跃配对通知器266可以通知客户端服务关于活跃配对集合的改变。在一些示例中，客户端服务被配置为基于由活跃配对通知器266提供的通知来修改向设备发出的命令和客户端服务行为。
55.图3a、图3b和图3c图示了在图1、图2a和图2b中所示的系统100的第一示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一ui交互，其中，使用由第一设备130呈现的ui控件导致第二设备132作为电话会议会话的端点来加入。在图3a-3c中的第一示例可以与在图4-16c中的示例中的任意示例相组合。如在图3a中所示的，该第一示例发生在图1中所描述的第一时间段t1期间，在此期间，第一用户120、第一设备130和第二设备132在第一位置110a处。在图3a中所示的时间并且经由与配对服务150的交互，第一设备130和第二设备132被活跃配对(意味着其被包括在相同的活跃配对集合中)。
56.此时，被配置为与配对服务150和/或控制服务250进行交互的第一软件程序实例131(被标记为“第一app”)由第一设备130在第一运行环境214中运行。另外，第五软件程序实例310(被标记为“第五app”)也由第一设备130在第一运行环境214中运行。在一些实现方式中，针对第五软件程序实例310所描述的特征中的一些或全部特征可以替代地被并入到第一软件程序实例131中。在一些实现方式中，第五软件程序实例310被配置为与第一软件程序实例131进行交互以用于与配对服务150和/或控制服务250的所有或者一些交互。在一些实现方式中，第五软件程序实例310被配置为直接与配对服务150通信以用于与配对服务150和/或控制服务250的所有或者一些交互。第五软件程序实例310被配置为与电话会议服务180进行交互，诸如访问会话记录251和参与电话会议会话。例如，第五软件程序实例310可以并入用于microsoft windows
tm 10操作系统的microsoft teams
tm
软件的各种特征。
57.同样地，此时，被配置为与配对服务150和/或控制服务250进行交互的第二软件程序实例133(被标记为“第二app”)由第二设备132在第二运行环境234中运行。另外，第六软件程序实例320(被标记为“第六app”)也由第二设备132在第二运行环境234中运行。在一些实现方式中，针对第六软件程序实例320所描述的特征中的一些或全部特征可以替代地被并入到第二软件程序实例133中。在一些实现方式中，第六软件程序实例320被配置为与第二软件程序实例133进行交互以用于与配对服务150和/或控制服务250的所有或者一些交互。在一些实现方式中，第六软件程序实例320被配置为直接与配对服务150通信以用于与配对服务150和/或控制服务250的所有或者一些交互。第六软件程序实例320被配置为与电话会议服务180进行交互。在该示例中，第六软件程序实例320被配置为针对第二设备132提供“主屏幕”接口。
58.在图3a中，第一ui 312被针对第五软件程序实例310呈现在第一显示器210上，并且正在为第一用户120显示预定电话会议会话的议程。第一ui 312包括与在图2a中的活跃
会话253相对于的预定电话会议会话ui元素314。ui元素314包括第一会话加入ui控件316(被标记为“加入”)，其可以被用于作为活跃会话253中的参与者加入第一用户120，其中，用户170a、170b、170c和170d已经参与。另外，第二ui 322被针对第六软件程序实例320呈现在第二显示器230上以提供“主屏幕”接口。在该特定示例中，第二ui 322包括第二会话加入ui控件324(被标记为“加入”)，其也可以被用于将第一用户120作为活跃会话253中的参与者加入。
59.图3b图示了第一用户120已经通过使用在图3a中所示的指针302致动了第一会话加入ui控件316的结果。系统100被配置为至少基于第一设备130是否被包括在活跃配对集合中来处理对第一会话加入ui控件316的致动。响应于第一设备130被包括在活跃配对集合中，系统100已经例如经由第二软件程序实例133使得在第二运行环境234中运行的第七软件程序实例340作为视听端点来操作以使第一用户120参与活跃会话253。第七软件程序实例340被配置为经由(一个或多个)网络140传输针对活跃会话253的传出会话媒体368(被标记为“媒体输出”)以供会话参与者所使用的设备来呈现，诸如图1中的计算设备170a、170b、170c和170d。例如，传出会话媒体368可以包括经由第二相机237捕获的第一用户120的实时视频和/或经由第二麦克风238捕获的第一用户120的实时音频。
60.第七软件程序实例340也被配置为接收和呈现针对活跃会话253的传入会话媒体366。第七软件程序实例340被配置为在第二显示器230上的第三ui 342的各个区域中呈现被包括在传入实时媒体366中的实时视频。在该示例中，第三ui 342包括呈现用户160a的第一视频流353的第一区域352、呈现用户106b的第二视频流355的第二区域354、呈现用户160c的第三视频流357的第三区域356、以及呈现用户160d的第四视频流358的第四区域358。第七软件程序实例340也被配置为经由第二扬声器241呈现被包括在传入实时媒体366中的实时音频。因此，尽管由第一设备130呈现的第一会话加入ui控件316被用于发起加入活跃会话253，但是远程参与者的视觉和音频呈现以及第一用户120的视频和音频捕获由第二设备312基于其与第一设备130活跃配对来执行。另外，第三ui 342包括第一会话ui控件360，该控件360包括例如第一相机启用/禁用ui控件361(切换第一用户120的视频传输)、第一麦克风静音ui控件362(切换第一用户120的音频传输)、第一音量ui控件363(调整用于向第一用户120呈现音频的音量)、和/或第一会话终止ui控件364(用于结束第一用户120在活跃会话253中的参与)。因此，第二设备132作为针对活跃会话253的焦点中心来操作，同时让第一设备130空闲用于其他活动，诸如用于在第一设备130上运行的电子邮件程序的第三ui接口。
61.在各种实现方式中，第一设备130、第二设备132和/或控制服务250可以做出第一设备130和第二设备132被包括在活跃配对集合中的肯定确定。第一设备130、第二设备132和/或控制服务250可以至少基于该肯定确定来从被包括在所述活跃配对集合中的设备中选择第二设备132作为视听端点来操作，并且使得所选择的设备作为视听端点来操作(例如，经由由系统100发送到第二设备132的第二消息326)。作为示例，响应于对第一会话加入ui控件316的致动，第五软件程序310可以向控制服务250传输指示对第一会话加入ui控件316的致动的第一消息318。然后，响应于获得第一设备130和第二设备132被活跃配对的信息(例如，通过来自配对服务150的通知)并且接收第一消息318，控制服务250可以选择第二设备132，并且传输第二消息326作为关于第二设备132作为视听端点来操作的请求。作为另
一示例，响应于接收到第一设备130被包括在活跃配对集合中的信息，第五软件程序310可以在配对模式下操作，并且响应于处于配对模式，经由配对服务150将第一消息318传输到第二设备132(并且由第二设备132接收作为第二消息326)，其中，第一消息318请求第二设备132作为视听端点来操作。在一些示例中，第二设备132可以响应于接收到第二消息326而拒绝请求(例如，由于第二设备132已经被用于另一目的)，作为响应，系统100将使得第一设备130用作视听端点。应当理解，可以应用涉及在第一设备130、第二设备132和控制服务250之间交换的消息并且由第一设备130、第二设备132和控制服务250确定的其他方案，以获得相同的效果。
62.在一些示例中，系统100被配置为获得针对被包括在活跃配对集合中的设备的能力和/或配置信息，并且基于所获得的能力信息和/或配置信息来选择设备。例如，针对第二设备132的能力和/或配置信息在可用时可以指示其是优选的视听端点，并且系统100可以基于该指示来选择第二设备132。配置信息可以包括例如用户设置、组设置或者系统设置。
63.注意，第一设备130和第二设备132各自被配置为在未配对时作为视听端点来操作。因此，基于第一设备130和/或控制服务250对第一设备130未配对的确定，对第一会话加入ui控件316的致动将反而导致第一设备130作为活跃会话253的视听端点来操作，很像针对在图3b中的第二设备132所示的。类似地，基于第二设备132和/或控制服务250确定第二设备132未配对，对第二会话加入ui控件316的致动将导致第二设备132作为针对活跃会话253的视听端点来操作。
64.如在图3c中所示的，在一些实现方式中，被包括在活跃配对集合中的多于一个设备可以同时用于呈现活跃会话253中的其他参与者的视频。在图3c中所示的示例中，第一用户120与四个其他参与者加入活跃会话253，其中，音频和视频捕获以及呈现如在图3b中所描述的那样被执行，在这之后，具有各自实时视频流375和377的两个额外参与者已经加入活跃会话253。系统100继续使用第二设备132来呈现针对活跃会话253的音频，呈现实时视频流353、355、357和359，并且捕获第一用户120的实时视频和音频，其中，第七软件程序实例340接收入站媒体366并且发送出站媒体368，如在图3b中所描述的。
65.然而，不是在第二设备132上一起呈现所有六个视频流353、355、357、359、375和377，而是系统100被配置为使被包括在活跃配对集合中的多个设备(并且，在一些示例中，基于为设备获得的能力和/或配置信息确定为能够进行视频呈现)各自为活跃会话253呈现视频流的一部分。这允许呈现的大小比利用单个设备所实现的更大。在一些实现方式中，系统100被配置为选择主要视频呈现设备，并且基于关于视频流和被包括在活跃配对集合中的设备的信息，选择和使用一个或多个额外视频呈现设备来呈现视频流的相应部分。在一些示例中，将设备用作额外视频呈现设备是基于活动类型和/或活动级别的；例如，如果第一设备130最近没有被积极使用，则系统100更有可能将选择并且使用第一设备130作为额外视频呈现设备。在一些示例中，对额外呈现设备的使用可以基于要呈现的视频流的数量；例如，系统100可以被配置为将第二设备100限制为呈现四个视频流，除非存在多于六个视频流(在这种情况下，可以使用不同的呈现方案)。
66.在图3c中，基于视频流的数量以及第一设备130和第二设备132在活跃配对集合中，系统100正在第一设备130上呈现实时视频流375和377。结果，第五软件程序实例310被配置为接收和呈现针对活跃会话253的传入会话媒体386(被标记为“媒体输入”)。第五软件
程序实例310被配置为在第一显示器210上的第四ui 376的各个区域中呈现被包括在传入会话媒体386中的实时视频。在该示例中，第四ui 376包括呈现视频流375的第五区域374以及呈现视频流377的第六区域376。在该示例中，第二设备132仍然用于捕获第一用户120的视频和音频并且发送传出会话媒体368，并且为活跃会话253呈现音频，如在图3b中所描述的。在一些实现方式中，系统100被配置为在用于为参与者呈现视频流的相同设备上为参与者呈现音频。
67.另外，在一些实现方式中，第五软件程序实例310被配置为也在第一显示器210上呈现第二会话ui控件380，其与第一ui控件360相似并且同时呈现。在该示例中，第二会话ui控件包括ui控件381、382、383和384，其具有与在第二显示器230上示出的相应ui控件361、362、363和364相同的功能。注意，对ui控件381、382和383的致动导致由第一设备130传输相应的消息(例如，到控制服务250和/或第二设备132)，其使得系统100使得第七软件程序实例340分别切换视频传输、切换音频传输并且调整针对音频呈现的音量。在第一设备130上的ui控件384和第二设备132上的ui控件364都能够被用于结束对活跃会话253的参与。因此，第一用户120能够容易地提交用于活跃会话253的命令，无论其注意力在该时间是指向第一设备130还是第二设备132。在一些示例中，第五软件程序实例310可以被配置为即使在不呈现第四ui 376时也在第一显示器210上呈现第二会话ui控件380。
68.关于图3b和图3c的示例，由系统100用于呈现和捕获针对电话会议会话的音频和视频的设备可以响应于设备被添加到活跃配对集合中或者从活跃配对集合中移除而动态地改变。例如，如果第二设备132将被关闭或者失去网络连接，则系统100可以被配置为替代地使用第一设备130来呈现和捕获针对活跃会话253的所有音频和视频。
69.图4图示了在图1、图2a和图2b中所示的系统100的第二示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，在将第二设备132保持为针对活跃会话253的主要视听端点的同时，由远程参与者发起的活跃会话253的投射部分经由第一设备130来呈现。图4从在图3b中所示的状态继续，并且可以与在图3a-3c和图5a-16c中所描述的示例中的任意示例相组合。
70.在图4中，活跃会话253的远程参与者之一已经发起活跃会话253的投射部分。所述投射部分可以包括例如“屏幕投射”远程参与者的显示的一部分，但是可以使用其他投射技术。系统100被配置为：响应于确定第一设备130和第二设备132被包括在活跃配对集合中以及投射部分的通知，继续使用第二设备132作为在图3b中所描述的视听端点，并且同时使得第一设备130作为投射端点来操作，其中，投射内容在第一显示器210上呈现。可以使用涉及在第一设备130、第二设备132和控制服务250之间交换并且由其确定的消息的各种方案。例如，控制服务250可以被配置为通过与配对服务150和电话会议服务180的交互来识别这些条件，并且向第一设备130发送消息来请求其开始作为投射部分的投射端点来操作。
71.在该示例中，第五软件程序实例310被配置为接收和响应于(例如，通过在第一显示器210上呈现视觉投射内容424)针对活跃会话253的投射部分的投射数据410。第五软件程序实例310(尽管可以使用不同的软件程序实例)被配置为呈现包括内容显示区域422的第五ui 420，在内容显示区域422中呈现被包括在投射数据410中的视觉投射内容424。另外，在一些实现方式中，第五软件程序实例310被配置为也在第一显示器210上呈现第三会话ui控件430，这与先前针对图3c中的第二会话ui控件380所描述的非常相似。在该示例中，
第三会话ui控件430包括上文所描述的ui控件381、382和384。在一些示例中，第三会话ui控件430也包括投射视图ui控件440，其控制由第五软件程序实例310对投射数据410的呈现。在该示例中，投射视图ui控件440包括后退导航ui控件441以及前向导航ui控件442，其允许第一用户120异步地向后或向前移动通过在图4中正在被投射的文档。因此，第一用户120能够容易地提交针对活跃会话253的命令，无论其注意力当时是指向第一设备130还是第二设备132。
72.注意，系统100被配置为：响应于第二设备132不在活跃配对集合中并且被用于加入包括投射部分的活跃会话253，使用第二设备132接收投射数据410并且在第二显示器230上呈现视觉投射内容424。系统100被配置为响应于第一设备130不在活跃配对集合中而使用第一设备130是类似的独立方式。然而，如在图4中所示的，当在活跃会话253期间第一设备130和第二设备132两者都在活跃配对集合中时，系统100向第一用户120提供经改善的体验。
73.图5a、图5b和图5c图示了在图1、图2a和图2b中所示的系统100的第三示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，第一用户120使用第二设备132上的ui控件从第一设备130发起活跃会话253的投射部分。在图5a-5c中的第三示例从在图3b所示的状态继续，并且可以与在图3a-4和图6a-16c所描述的示例中的任意示例相组合。在图5a中，第一用户120正在经由第二设备132发起活跃会话253的投射部分。由于第二设备132可能已经是针对活跃会话253的用户关注的区域，因此从第二设备132发起投射会更有效。对此，使用手122经由触摸屏239提供输入，第一用户120致动ui控件510以呈现投射设备列表512。系统100被配置为识别与能够投射内容(例如，基于为设备获得的能力和/或配置信息)的第二设备132被包括在活跃配对集合中的设备，并且将所识别出的设备呈现为具有相应投射设备选择器ui控件514的可用投射设备。在该示例中，第一设备130(其已经被给予人类可读标识符“pc”)是唯一识别出的投射设备，并且因此仅有一个投射设备选择器ui控件514(具有文本“投射pc”)被包括在投射源列表512中。在此，第一用户120致动投射设备选择器ui控件514，选择第一设备130。
74.图5b图示了可以由系统100响应于确定所选择的设备提供多个投射源(在一些示例中，其可以由所选择的设备响应于对设备选择器ui控件514的致动来识别)而执行的投射源选择操作。在该示例中，第五软件程序实例310被配置为识别可从第一设备130获得的投射源。然而，如果所选择的设备不提供多个投射源，则系统100可以跳过该投射源选择操作。在图5b中，响应于确定所选择的第一设备130提供多个投射源，系统100向第一用户120显示投射源选择ui 530。在该示例中，系统100被配置为经由所选择的第一设备130呈现投射源选择ui 530(在该示例中，经由第五软件程序实例310在第一显示器210上)，但是在一些示例中，系统100可以替代地经由在其上已致动设备选择器ui控件514的第二设备132来显示投射源选择ui 530。投射源选择ui 530包括针对在所选择的设备上可用的每个投射源的投射源选择器ui控件。如在图5b中所图示的，第一设备130能够提供特定于窗口的投射源，并且因此，投射源选择ui 530包括针对相应窗口522、524和526的投射源选择器ui控件532、534和536。许多设备能够提供完整的显示区域作为投射源，如由被包括在投射源选择ui 530中的投射源选择器ui控件538针对第一设备130所指示的。在图5b中所示的示例中，第一用户120使用指针502来致动针对窗口522的投射源选择器ui控件532。
75.图5c继续对投射部分的发起。系统100被配置为响应于对投射设备选择器ui控件514和/或投射源选择器ui控件532的致动，将所选择的第一设备130配置为开始向远程参与者传输投射数据540以用于呈现。在该示例中，系统100使得第五软件程序实例310生成并且传输投射数据504。另外，在一些实现方式中，第五软件程序实例310被配置为在第一显示器210上呈现第四会话ui控件540，就像先前针对在图3c中的第二会话ui控件380所描述的。在该示例中，第四会话ui控件540包括上文所描述的ui控件381、382、383和384。在一些示例中，第四会话ui控件540也包括控制活跃会话253的投射部分的投射源ui控件550。在该示例中，投射源ui控件550包括投射指示器551(指示第一设备130正在投射)和投射终止ui控件552(其使得系统100终止投射部分)。在一些实现方式中，第六程序软件实例540被配置为在第一会话ui控件360中包括相似的投射源ui控件560。在该示例中，投射源ui控件560包括投射指示器561(指示第一设备130正在投射)和投射终止ui控件562(其使得系统100终止投射部分)。
76.图6a、图6b和图6c图示了在图1、图2a和图2b中所示的系统100的第四示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，基于对第一用户120的注意力的检测来由第一设备130和第二设备132选择性地执行对实时媒体流的捕获。在图6a-6c中的第四示例从在图5a所示的示例继续，并且可以与在图3a-5c和图7a-16c中所描述的示例中的任意示例相组合。
77.在图6a中，系统100被配置为响应于第二设备132与第一设备130在活跃配对集合中，来识别被包括在活跃配对集合中并且能够实时视频捕获的设备中的哪些设备受到第一用户120的关注，并且配置所识别出的设备以捕获和传输第一用户120的针对活跃会话253的视频流。在一些实现方式中，所述系统被配置为基于针对设备获得的能力和/或配置信息(其可能反映用户临时发起的相机禁用)来识别能够实时视频捕获的设备。在一些实现方式中，系统100被配置为基于例如所检测到的头部和/或眼睛方向(例如，经由相机217和/或相机237捕获的图像)、检测到的用户接近度(例如，经由相机217和/或相机237捕获的图像)和/或用户输入活动(例如，经由键盘、指针或触摸屏)来评估用户注意力。在图6a所示的特定示例中，第一设备130和第二设备132两者都能够经由各自的相机217和237进行视频捕获，并且基于所检测到的朝向第二设备132的视线方向610，系统100已经确定第一用户120的注意力针对第二设备132。基于该确定，系统100将第二设备132配置为使用第二相机237捕获和传输出站实时视频流620，使用第二麦克风238捕获和传输出站实时音频流630，并且使用第二扬声器241呈现入站实时音频流640。同样地、基于该确定，系统100将第一设备130配置为不使用第一相机217、第一麦克风218或者第一扬声器221用于为活跃会话253生成或呈现媒体。
78.在图6b中，继续在图6a中的示例，基于所检测到的朝向第一设备130的视线方向612，系统100已经确定第一用户120的注意力新指向第一设备130。基于该确定，系统100将第二设备132配置为停止传输出站实时视频流620，并且将第一设备130配置为使用第一相机217捕获并且传输出站实时视频流622以替代出站实时视频流620。结果，由活跃配对集合提供给远程参与者的实时视频更好地捕获第一用户120。
79.如在图6c中所示的，系统100还可以被配置为识别被包括在活跃配对集合中并且能够实时音频捕获的设备中的哪些设备受到第一用户120的关注，并且配置所识别出的设
备以捕获和传输第一用户120的用于活跃会话的音频流。在一些实现方式中，所述系统被配置为基于为设备获得的能力和/或配置信息来识别能够实时音频捕获的设备。在图6c中，基于所检测到的朝向第一设备130的视线方向614，系统100已经确定第一用户120的注意力指向第一设备130。基于该确定，系统100将第二设备132配置为不传输出站实时视频流620或者出站音频流630，并且将第一设备130配置为捕获并且传输出站实时视频流622并且使用第一麦克风218捕获并且传输实时音频流632以替换出站实时音频流630。结果，由活跃配对集合提供给远程参与者的实时音频更好地捕获第一用户120。在一些示例中，基于为设备获得的能力和/或配置信息，系统100可以将第二设备100识别为主要音频捕获设备，并且因此不从使用第二麦克风238(导致在图6b中所示的配置)切换。这可以允许第二设备132中的高级麦克风238或音频处理管线继续被用于维持音频质量。在图6a-6c中，系统100已经将第二设备132识别为主要音频呈现设备(例如，基于为设备获得的能力和/或配置信息)，并且因此将第二设备132配置为呈现实时音频流640。这可以允许高级扬声器241继续用于维持音频质量。
80.图7a、图7b、图7c和图7d图示了在图1、图2a和图2b中所示的系统100的第五示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，基于对第一用户120的注意力的检测经由第一设备130和第二设备132选择性地执行媒体呈现。在图7a-7d中的第五示例从在图6a所示的状态继续，并且可以与在图3a-6c和图8a-16c中所描述的示例中的任意示例相组合。在图7a-7d中，系统100被配置为：响应于第二设备132与第一设备130在活跃配对集合中，来识别被包括在活跃配对集合中并且能够进行视频呈现的设备中的哪些设备受到第一用户120的关注，并且配置所识别出的设备为活跃会话253呈现所选择的视频内容。在一些实现方式中，所述系统被配置为基于为设备获得的能力和/或配置信息(其可能反映设备处于无法在显示器上呈现视频的锁定状态)来识别能够进行视频呈现的设备。
81.在图7a-7c中，系统100被配置为从活跃会话253的远程参与者中识别最近的活跃发言者751，并且配置所识别出的设备来呈现与最近的活跃发言者751相对应的实时视频流。在图7a-7c中所示的特定示例中，最近的活跃发言者751是与实时视频流353相对应的用户160a。在图7a中，如在图6a中，基于所检测到的朝向第二设备132的视线方向710，系统100已经确定第一用户120的注意力指向第二设备132。基于该确定，系统100将第二设备132配置为呈现与第一区域352中最近活跃的发言者751相对应的实时视频流353(如在图3b中所示的)，并且将活跃配对集合中的其他设备(在该示例中，第一设备130)配置为不呈现实时视频流353。在图7a中，实时视频流353、355、357和359由第二设备132在第三ui 342的相应区域352、354、356和358中呈现。
82.在图7b中，系统100被配置为每次仅在被包括在活跃配对集合中的所述设备中的一个设备上呈现与最近的活跃发言者751相对应的实时视频流。继续在图7a中的示例，基于所检测到的朝向第一设备130的视线方向712，系统100已经确定第一用户120的注意力新近指向第一设备130，如在图6b中。基于该确定，系统100将第二设备132配置为停止呈现实时视频流353(并且系统100可以停止将实时视频流353传输到第二设备132)，并且配置在第一设备130上运行的第五软件程序实例310在第六ui 720的区域722中的第一显示器210上接收和呈现实时视频流353。结果，第一用户120在参与第一设备130上的活动时更多地参与活
跃会话253。在一些实现方式中，第六ui 720包括紧凑的第五会话ui控件724，其可以被致动以展示类似于在图3c中的第二会话ui控件380的控件。在一些实现方式中，第三ui 342也被重新布置，并且新内容可以被包括在第三ui 342中以更有效地利用先前用于呈现最近的活跃发言者751的视频的空间。在图7b中所示的特定示例中，实时视频流355、357和359被移动到相应区域352、354和356，并且区域358被用于显示内容726(在该示例中，示出活跃会话253的实况转录)。注意，响应于最近活跃的发言者751改变为不同的远程参与者，系统100将对应地修改由第一设备130和第二设备132呈现的视频流。
83.图7c示出了图7b的替代方案，其中，系统100被配置为在第二设备132上呈现与最近的活跃发言者751对应的实时视频流(例如，基于将第二设备132识别为主要视听设备)，并且如果与第二设备132不同，则包含在活跃配对集合中并且能够进行视频呈现的设备被确定为受到第一用户120的关注。如在图7b中所示的，基于检测到的朝向第一设备130的视线方向714，系统100已经确定第一用户120的注意力指向第一设备130。实时视频流353、355、357和359继续在第三ui 342的区域352、354、356和358中呈现，如在图7a中所示的。如在图7b中，基于该确定，系统100将在第一设备130上执行的第五软件程序实例310配置为在图7b所述的第六ui 720的区域722中的第一显示器210上接收和呈现实时视频流353。第六ui 720还可以包括图7b中描述的紧凑第五会话ui控件724。注意，响应于最近的活跃发言者751改变为不同的远程参与者，系统100将相应地修改由第一设备130在第六ui 720中呈现的视频流。尽管图7b和7c图示了其中一个实时视频流的呈现跟随第一用户120的注意的示例，但是在一些示例中，多个实时视频流可以跟随第一用户120的注意；例如，在图7b中，所有四个实时视频流可以由第一设备130以允许第一用户130利用第一显示器210的其他区域的方式呈现。
84.图7d继续图7c的示例。在图7d中所示的特定示例中，紧凑的第五会话ui控件724包括一个或多个ui控件(未示出)，其允许第一用户120为活跃会话253选择多个视频内容项目中的一个以用于经由第六ui 720(或者以其他方式由被识别为被关注的设备)进行呈现。示例性视频内容项目包括但不限于：与最近的活跃发言者751相关联的实时视频流(如在图7c中所示的)、活跃会话253的实况转录(如在图7b中的区域358中所示的)、投射部分(如在图4中的区域422中所示的)以及白板(虚拟的或实际的)。在图7d中，本地用户120已经选择实况转录作为在第六ui 720的区域722中示出的所选择的视频内容746。在一些视线方式中，所选择的视频内容项目被存储并且在涉及活跃配对集合的稍后电话会议会话中使用。在一些视线方式中，图7c的示例可以被修改以示出实况转录、投射部分或白板，而不是最近的活跃发言者751。
85.图8a和图8b图示了在图1、图2a和图2b中所示的系统100的第六示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，在参与电话会议会话时，第一用户120选择用于投射的文件并且利用所选择的文件经由手持第三设备134发起会话的投射部分。在图8a和图8b中的第六示例从在图3b中所示的状态继续，并且还包括在包括第一设备130和第二设备132的活跃配对集合中的第三设备134。在图8a和图8b中的第六示例可以与在图3a-7d和图9a-16c中所描述的示例中的任意示例相组合。
86.在图8a中，由第三设备134在运行环境812中运行的第三软件程序实例135被配置为在第三设备134的显示器810上呈现第七ui 812。系统100被配置为识别由第一用户120最
近打开的文件，并且呈现被包括在第七ui 812中的文件列表820中的一些或所有识别出的文件。在一些实现方式中，系统100被配置为识别和包括由存储服务254维护的、最近由第一用户120打开的第一文件；例如，控制服务250可以被配置为与存储服务254进行交互以识别第一文件，并且将所识别出的第一文件报告给第三软件程序实例135。在一些实现方式中，系统100被配置为识别并且包括被本地存储在用于选择用于投射的文件的第三设备134中的第二文件。在一些实现方式中，系统100被配置为识别并且包括被本地存储在被包括在活跃配对集合中的设备中的第三文件；例如，可以通过第一设备130经由系统100将本地存储在第一设备130上并且由第一用户120最近编辑的文件报告给第三软件程序实例135。在图8a中，第一用户120的手212被用于从文件列表820中选择文件822用于投射。
87.在一些实现方式中，系统100被配置为将与第二设备132包含在活跃配对集合中、能够投射内容的设备(例如，基于为设备获得的能力和/或配置信息)识别为候选投射设备，并且从候选设备中识别投射设备。在一些示例中，在识别多个候选投射设备的情况下，系统100被配置为从候选投射设备中选择默认投射设备。可以基于为候选投射设备获得的能力和/或配置信息来选择所述默认投射设备；例如，系统100可以基于各种因素来选择所述默认投射设备，所述因素诸如是但不限于：显示分辨率、显示大小、网络连接类型、网络带宽、呈现所选择的文件的能力(例如，安装有电子表格以打开电子表格文件)和/或输入接口(例如，具有键盘和/或鼠标的设备可能比触摸屏设备更优选)。在图8a中所示的特定示例中，第一设备130、第二设备132和第三设备134是候选投射设备，其中，第一设备130被选择为所述默认投射设备。在识别出多个候选投射设备的一些示例中，系统100被配置为经由第三软件程序实例135提供允许第一用户120选择所识别出的候选投射设备之一作为投射设备的ui控件(在图8a中未示出)。
88.如上文所提到的，在该示例中，选择第一设备130以投射文件822。如在图8b中所示的，作为响应，系统100使得第一设备130为文件822发起活跃会话253的投射部分。例如，第三设备134和/或控制系统250可以向第一设备130发送消息，使得第一设备130在对应的应用中打开所选择的文件并且将用于呈现的对应的投射数据传输给远程参与者。在图8b中所示的示例中，第一显示器210最初显示第八ui 832，并且然后针对所述投射部分，第五软件程序实例310打开所选择的文件以显示来自在针对第五软件程序实例310的第九ui 840的区域842中的文件的投射内容844，与在图5c中所描述的非常相似。
89.图9a、图9b和图9c图示了在图1、图2a和图2b中所示的系统100的第七示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，基于设备状态在设备之间自动地传输对用于电话会议会话的白板接口的呈现。在图9a-9c中的第七示例可以与在图3a-8b和图10a-16c中所描述的示例中的任意示例相组合。
90.在图9a中，第一设备130不与第二设备132包含在活跃配对集合中，并且第二设备132作为针对活跃会话253的主要视听端点进行操作，与在先前的示例中所描述的非常相似。如在图9a中所示的，第二设备132正在呈现针对活跃会话253的第十ui 910，其中，第十ui 910包括远程参与者显示区域950，该区域950包括垂直布置的部分952、954和956，在其中呈现相应的实时视频流953，955和957。同样地，响应于在活跃会话253中启用白板(在此示例中，能够协作地编辑的虚拟白板)，第十ui 910包括示出第一白板内容914的白板接口912。出于该示例的目的，第二设备132经由白板接口912进行编辑的能力有限或没有。
91.对具有与白板进行交互的经改进的接口感兴趣，第一用户120已经拾取第五用户计算设备930(在该示例中，被体现为平板计算设备)，如在第五设备930的第四显示器932上所指示的那样，第五用户计算设备930在图9a所示的时刻处于锁定状态。在一些示例中，处于锁定状态的设备可以被包括在活跃配对集合中，但是基于其是锁定还是解锁而提供不同的能力。例如，在锁定状态下，设备可用于音频呈现或通知但是无法用于视频呈现；而在解锁状态下，所述设备可用于视频呈现。在一些示例中，设备在被锁定时将不会被包括在活跃配对集合中。在一些示例中，被配置为与配对服务150和/或控制服务250进行交互的特定应用必须在设备上运行以被包括在活跃配对集合中。
92.在图9b中，第五设备930已经被第一用户120解锁，正在第五设备930上的运行环境962中运行第八软件程序实例960，并且与第二设备132被包括在活跃配对集合中。响应于已经解锁的至少第五设备930，系统100自动地确定第五设备930当前提供比第二设备132更好的白板接口，并且响应于该确定而支持第五设备960针对白板停止使用第二设备132。因此，第八软件程序实例962呈现第十一ui 964，其中，第一用户120可以使用触笔124来查看第一白板内容914并且添加第二白板内容966。响应于白板未在第二设备132上呈现，第十ui 910被重新布置以根据例如在图7b中所示的四个面板格式来提供远程参与者的更大视图，其中，实时视频流953、955和957在第十ui 910的相应部分942、944和946中呈现，并且额外电话会议会话内容949(在图9b中，针对活跃会话253的聊天会话)在第十ui 910的部分948中呈现。
93.在图9c中，第一用户120已经完成使用第五设备930将第二白板内容966添加到虚拟白板，并且已经将第五设备930返回到锁定状态，如在显示器932中所示的。系统100被配置为：响应于第五设备930被锁定和/或从与第二设备132的活跃配对集合中移除，使得第十ui 910返回到在图9a中所示的布置，包括呈现相应实时视频流953、955和957的远程参与者显示区域950和现在包括如在图9a中所示的第一白板内容914和由第一设备120使用第五设备930添加的第二白板内容966两者的白板接口912。因此，如在图9a-9c中所示的，第一用户120能够快速并且动态地添加和移除第五设备930，以用于执行针对活跃会话253的特定活动。
94.图10a和图10b图示了在图1、图2a和图2b中所示的系统100的第八示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，第一用户120使用第二设备132经由第一设备130上的ui向其他参与者发起在电话会议会话中所生成的内容的传输。在图10a和图10b中的第八示例从在图9c中所示的示例继续，并且可以与在图3a-9c和图11a-16c中所描述的示例中的任意示例相组合。
95.在图10a中，第一用户120希望将在活跃会话253中创建的内容的副本(在该示例中，在第十ui 910的白板接口912中看到的第三白板内容1014)提供给活跃会话253的参与者和/或受邀者。对此，使用手122经由触摸屏239提供输入，第一用户120致动ui控件1022以暴露然后并且致动内容共享ui控件1024。
96.如在图10b中所示的，系统100被配置为：响应于对内容共享ui控件1024的致动和第二设备132被包括在与第一设备130的活跃配对集合中，而自动地生成由在第一设备130上运行的电子邮件应用(例如，microsoft outlook
tm
)在第一显示器910上呈现的第十二ui 1030中打开的草稿电子邮件。在一些实现方式中，系统100可以被配置为类似地响应于活动
会话253的终止。所述草稿电子邮件包括包含白板内容1014的第一附件1032。在一些示例中，所述草稿电子邮件可以包括第二附件1033，其包含活跃会话253的机器生成的转录。另外，如在图10b中所示的，电子邮件的接收者1034已经以活跃会话253的参与者自动地填充，并且电子邮件的主题1036已经被自动地生成。在一些示例中，可以为电子邮件的正文1038生成初始文本。通过在第一设备130上处理该草稿电子邮件，第一用户120受益于诸如但不限于：用于更容易地为主体1038输入文本的键盘219，拼写检查，访问联系人，电子邮件的自动建议的额外联系人，联系人的自动完成，以及用于识别可以通过“拖放”交互添加的额外附件的文件浏览器。
97.注意，系统100被配置为：响应于第二设备132不在活跃配对集合中，通过生成和发送类似的电子邮件给活跃会话253的参与者来响应对在“独立模式”中的ui控件1024的致动，这可以包括使用在第二设备132上的关联ui。然而，可以通过经由第一设备130完成草稿并且发送电子邮件而提供给第一用户120更高效、全特征和熟悉的体验，其允许第一设备130自动地进入活动的一方面，其中，其能够为第一用户120提供经改进的体验。
98.图11a、图11b、图11c、图11d和图11e图示了在图1、图2a和图2b中所示的系统100的第九示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，在参与电话会议会话时，第一用户120经由手持式第三设备134邀请额外的参与者。在图11a-11e中的第九示例可以与在图3a-10b和图12a-16c中所描述的示例中的任意示例相组合。图11a从在图8a中所示的示例继续，但是第一设备130不活跃，也未包含在包括第二设备132和第三设备134的活跃配对集合中。
99.在图11a中，第二设备132作为针对第一用户120的视听端点来操作以参与活跃会话253，如在图3b中所描述的。如在图3b中，第六软件程序实例340在第二显示器230上呈现第三ui 342，其中，实时视频流353、355、357和359在相应部分342、344、346和348中呈现。另外，第三ui 342包括邀请ui控件1102，其可以由第一用户120致动以在第二显示器230上呈现受邀者选择ui(未示出)，其用于选择和请求参与者加入当前活跃会话253。
100.然而，在该示例中，第一用户120将更愿意使用第三设备134来选择并且请求参与者加入当前活跃会话253。例如，第一用户120可能不希望受邀者选择ui阻挡第二显示器230的当前内容，更谨慎地向参与者发出请求，或者可以发现由第三设备134提供的ui比受邀者选择ui更有效或更熟悉。在图9a中所示的时间，第三设备134包含在与第二设备132的活跃配对集合中。第八软件程序实例1110(被标记为“第八app”)是在第三设备134上的运行环境812中运行的联系人列表应用，并且在显示器810上呈现具有联系人列表的第十三ui 1112，包括由在图11a中的第一用户120所选择的第一联系人1114。
101.在图11b中，响应于对第一联系人1114的选择，第八软件程序实例1110在显示器810上呈现显示第一联系人1114的细节的第十四ui 1120。另外，第十四ui 1120包括联系人动作部分1122，其包括用于由第三设备134和/或系统100发起与第一联系人1114相关的动作的多个ui控件，诸如但不限于：拨打电话、发送消息和/或发送电子邮件。被配置为与控制服务250进行交互的第三软件程序实例135被配置为与服务100的元件(诸如控制服务250、配对服务150和/或第二设备132)进行交互。另外，第三软件程序实例135被配置为与第八软件程序实例1110进行交互；例如，作为由第八软件程序实例1110调用的插件组件和/或向第八软件程序实例1110和/或运行环境812注册的回调。响应于第三软件程序实例135从服务
100获得关于第三设备134被包括在活跃配对集合并且第一设备120当前正在参与活跃会话253的信息，第十四ui 1120的动作部分1122包括联系人邀请ui控件1124，其向第一用户120指示经由第十四ui 1120向第一联系人1114发出请求以加入当前活跃会话253。在图11c中，响应于第一用户120已经致动了联系人邀请ui控件1124，第三设备134向服务100发送消息(未示出)，作为响应，服务100将向第一联系人1114发出请求以加入活跃会话253。例如，控制服务250可以被配置为请求电话会议服务180发出邀请。另外，在显示器810上呈现确认1128。
102.在图11d中，第一联系人1114已经从系统100接收到关于加入活跃会话253的请求并且已经接受所述请求(诸如但不限于通过点击邀请电子邮件中的链接)，导致第一个联系人1114被添加为活跃会话253的参与者。作为响应，第三ui 342从在图11a所示的具有四个部分352、354、356和357的布置重新布置为在图11d所示的新布置，其具有用于呈现第一联系人1144的实况视频流1143的部分1142和用于分别呈现实时视频流353、355、357和359的部分1144、1145、1146和1147。图11e示出了图11d的替代方案，其中，向第一联系人1114发出请求以加入活跃会话253是通过经由电话会议系统180发起实时呼叫来执行的。与在图11d中所示的类似，第三ui 342被布置为五面板布局。最初，部分1142指示对第一联系人1114的呼叫未决。一旦第一联系人1114接受所述呼叫，部分1142就为第一联系人1114呈现实时视频流1143，如在图11d中所示的。
103.图12a、图12b和图12c图示了在图1、图2a和图2b中所示的系统100的第十示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，手持第三设备134被临时招募为针对由第二设备132呈现的虚拟白板的媒体输入设备。在图12a-12c中的第十示例从在图11a所示的示例继续，并且与在图3a-11e和图13a-16c中所描述的示例中的任意示例相组合。
104.在图12a中，第一用户120正在使用第三设备134来捕获物理对象1210的一部分1212(在该示例中，笔记本页面的一部分)的照片。在一些示例中，响应于系统100确定第三设备134与第二设备132活跃配对，可以由第二设备132呈现的用户接口控件(未示出)发起以这种方式使用第三设备134。第二设备132可以呈现第三设备134可用于该目的的指示，以促进第一用户120发现该功能。
105.图12b示出了在显示器810上呈现的第十五ui 1220，并且其允许第一用户120选择所捕获的照片1222，并且在该示例中，从照片1222中识别裁剪图像1224。同样地，第十五ui 1220包括图像动作部分1225，其包括用于由第三设备134和/或系统100发起与图像1224相关的动作的多个ui控件，诸如但不限于，将图像1224复制到剪贴板和/或通过电子邮件发送图像1224。另外，响应于第三软件程序实例135从服务100获得关于第三设备134被包括在活跃配对集合中并且第一用户120当前正在参与活跃会话253的信息，并且在一些示例中，获得关于虚拟白板在活跃会话253中活跃的信息，第十四ui 1120的图像动作部分1224包括用于将图像1224添加到虚拟白板的白板上传ui 控件1226。白板上传ui控件1226的呈现可以通过与第三软件程序实例135的交互来实现，与在图11b和图11c中所描述的非常相似。
106.在图12c中，第二显示器230正在显示如在图9a中所示的第十ui 910，其包括白板接口912中的第一白板内容914。系统100被配置为：响应于对白板上传ui控件1226的致动，从第三设备134获得图像1224并且将基于图像1224生成的新白板图像1230添加到虚拟白
板。在各种实现方式中，控制服务250和/或第二设备132可以被配置为获得图像1224并且添加白板图像1230(例如，经由与电话会议服务180的交互)。在一些实现方式中，如在图12中所示的，第一用户120可以使用手122经由第二设备132上的白板接口912来移动、旋转、调整大小或者以其他方式调整白板图像1230。
107.因此，如在图12a-12c所示的，第一用户120能够快速并且动态地添加和移除第三设备134，以能够利用其独有的特性(在该示例中，便于随意捕获照片的小形状因子)。应当理解，系统100可以类似地被配置为使用第三设备134来为被包括在与第三设备134的活跃配对集合中的其他设备和/或在这样的设备上运行的配对感知应用捕获图像。例如，可以经由第三方服务258执行所述技术，以将这样的图像复制到由第一设备130的运行环境214提供的剪贴板中，从而允许将所述图像粘贴到各种应用中。
108.图13a、图13b和图13c图示了在图1、图2a和图2b中所示的系统100的第十一示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，通过致动第二设备132上的ui控件而在第一设备130上打开在第二设备132上打开以供查看的文件。图13a-13c的第十一示例可以与在图3a-12c和图14a-16c中所描述的示例中的任意示例相组合。
109.在图13a中，第一设备130和第二设备132被包括在活跃配对集合中。第九软件程序实例1310(被标记为“第九app”)在运行环境234中的第二设备132上运行并且被配置为在第二显示器230上显示类似于在图3a中所示的第二ui 322的第十六ui 1312。与在图3a-12c中所示的示例相反，在该特定示例中，第一用户120未参与电话会议会话。第一用户120有兴趣打开要在第二设备132上查看的文件。使用手122，第一用户120首先致动文件打开ui控件1314，作为响应，系统100识别最近由第一用户120打开的文件，并且在文件列表1316中呈现一些或所有识别出的文件，与在图8a中的文件列表820所描述的非常相似。在图13a中，第一用户120的手212被用于从文件列表1316中选择文件1318以供第二设备132打开。在另一示例中，文件1318可以由另一用户作为消息的附件发送并且使用被包括在显示该消息的ui中的相应ui控件来选择。
110.在图13b中，响应于对文件1318的选择，第二设备132被配置为使用相关联的第十软件程序实例1320打开所选择的文件1318(在该示例中，第十软件程序实例1320能够打开诸如文件1318的文字处理文件)。第十软件程序实例1320是配对感知应用，其被配置为与第二软件程序实例133进行交互以与配对服务150交互(其可以经由诸如第三方服务258的客户端服务发生)。如在图13b中所示的，第十软件程序实例1320在第二显示器230上呈现第十七ui 1322，其包括用于显示被存储在文件1318中的文件内容1326的文件内容部分1324。
111.系统100被配置为确定包括第二设备132的活跃配对集合是否包括除了能够被用于编辑文件1318(例如，使用适合于文件1318的内容创建应用)的第二设备132之外的一个或多个支持编辑设备。所述确定可以基于针对被包括在活跃配对集合中的设备而获得的能力和/或配置信息。在该示例中，第一设备130被识别为支持编辑设备。如在图13b中所示的，响应于识别支持编辑设备，系统100被配置为在第十七ui 1322中呈现文件编辑ui控件1328以允许第一用户120在支持编辑设备上编辑文件1318。在一些实现方式中，如果在活跃配对集合中不包括支持编辑设备但是识别出配对的(并且当前不是活跃配对的)支持编辑设备，则系统100被配置为指示(例如，通过在第十七ui 1322中显示指示)配对设备有效地编辑文
件1318以使第一用户120意识到这种可能性。在图13b中，第一用户120的手212被用于致动文件编辑ui控件1328。
112.在图13c中，响应于对文件编辑ui控件1328的致动，系统100被配置为向第一设备130(被识别为支持编辑设备)发出消息，其请求第一设备130打开文件1318以用于编辑。响应于接收到该消息(例如，由第一软件程序实例131)，第一设备130被配置为使用关联的第十一软件程序实例1330(在该示例中，文字处理应用，例如作为microsoft word
tm
)打开文件1318以用于编辑。如在图13c中所示的，第十一软件程序实例1330在第一显示器210上呈现第十八ui 1332，其包括用于显示和编辑被存储在文件1318中的文件内容1326的文件内容部分1334。因此，如在图13a-13c中所示的，第一用户120能够方便和高效地直接在第二设备132上打开文件，并且确信第一用户120能够在活跃配对设备上快速并且动态地打开文件，从而提供更有能力的应用或方便的用户输入设备(诸如第一设备130的键盘219)。
113.图14a和图14b图示了在图1、图2a和图2b中所示的系统100的第十二示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，通过致动第二设备132上的ui控件，而打开第二设备132上正在查看的文件中所包括的内容元素以供在第一设备130上检查。在图14a和图14b中的第十二示例可以与在图3a-13c和图15a-16c中所描述的示例中的任意示例相组合。
114.在图14a中，已经以用于打开图13b中的文件1318所描述的方式在第二设备132上打开了不同的文件，其中，第十软件程序实例1320呈现第十七ui 1322，其中，文件内容部分1324正在显示被存储在已经被打开的文件中的文件内容1410。所显示的文件内容1410包括内容元素1412(在该示例中，由电子表格程序生成的图表)。系统100被配置为确定包括第二设备132的活跃配对集合是否包括除了能够被用于检查内容元素1412的第二设备132之外的一个或多个支持检查设备(例如，使用适用于打开和/或编辑内容元素1412的应用)，与结合图13b为识别文件1318的识别支持编辑设备所描述的类似。在该示例中，第一设备130被识别为支持检查设备。如在图14a中所示的，响应于识别针对内容元素1412的支持检查设备，系统100被配置为在第十七ui 1322中呈现内容元素检查ui控件1414(在该示例中，与内容元素1412相邻)以允许第一用户120在支持检查设备上检查内容元素1412。在一些实现方式中，如果在活跃配对集合中不包括支持检查设备但是识别出配对的(并且不是活跃配对的)支持检查设备，则系统100被配置为指示(例如，通过在第十七ui 1322中显示指示)所述配对的设备有效地检查内容元素1412以使第一用户120意识到这种可能性。在图14a中，第一用户120的手212被用于致动元素检查ui控件1414。
115.在图14b中，响应于对内容元素检查ui控件1414的致动，系统100被配置为向第一设备130(被识别为支持检查设备)发出请求第一设备130打开内容元素1412的消息。响应于接收到该消息(例如，由第一软件程序实例131)，第一设备130被配置为使用相关联的第十二软件程序实例1420(在该示例中，电子表格应用，诸如microsoft excel
tm
)获得并且打开内容元素1412和/或与内容元素1412相关联的文件。在该示例中，用于生成内容元素1412的电子表格文件已经由第十二软件程序实例1420打开，其呈现显示针对电子表格文件的关联文件内容1424的第十九ui 1422。因此，如在图14a和14b中所示的，第一用户120能够方便并且高效地直接在第二设备132上打开文件，并且确信第一用户120能够在活跃配对设备上快速并且动态地检查文件的内容元素，从而提供更有能力的应用或方便的用户输入设备(诸
如第一设备130的键盘219)以用于检查内容元素。注意，尽管在图13b和图14a中ui控件1328和1414在ui 1322内呈现，但是在一些示例中，这样的ui控件可以被呈现在用于显示文件的ui之外。
116.图15a、图15b和图15c图示了在图1、图2a和图2b中所示的系统100的第十三示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，第一设备130呈现ui控件以向第三设备134提供在由第一设备130呈现的内容中标识的地理位置。在图15a-15c中的第十三示例可以与在图3a-14b和图16a-16c中所描述的示例中的任意示例相组合。在图15a和图15b中，第一设备130和第三设备134被包括在活跃配对集合中。
117.在15a中，第一用户120正在通过在第一设备130上(例如，在运行环境214中)运行的网络浏览器应用实例1510经由在第一显示器210上呈现的第二十ui 1512访问网站。第二十ui 1512正在呈现第一网页1514，其包括地图元素1516和相关联的街道地址元素1517(在该示例中，包括街道地址的文本元素)。配对感知的第十三软件程序实例1520被配置为与网络浏览器应用实例1510和第一软件程序实例131进行交互。在一些实现方式中，第十三软件程序实例1520可以作为针对网络浏览器应用实例1510的插件组件来操作，并且可以被配置为识别特定信息类型(在该示例中，地理位置信息类型)的信息项目的存在，并且获得该信息项目——在该示例中，为网页中与地图元素相对应的地理位置(例如，通过识别由已知地图服务生成的地图元素并且基于地图元素获得地理位置)和/或街道地址元素(例如，通过识别html《address》联系地址标签并且解析被包括在标签中的街道地址)。
118.系统100被配置为确定包括第一设备130的活跃配对集合是否包括能够被用于导航引导到指示的地理位置的一个或多个支持引导设备(例如，使用基于卫星的地理服务的支持引导的地图应用)。所述确定可以基于针对被包括在活跃配对集合中的设备获得的能力和/或配置信息。在该示例中，第三设备134被识别为支持引导设备。系统100被配置为响应于从网页获得地理位置和识别支持引导设备两者，而呈现位置引导ui控件1518以允许第一用户120使用支持引导设备来导航引导到所获得的地理位置。在图15a中所示的示例中，位置引导ui控件1518的呈现包括在第二十ui 1512中呈现包括位置引导ui控件1518的信息栏1519。在一些示例中，位置引导ui控件1518可以被呈现为右击菜单项和/或用于地图元素1516和/或街道地址元素1517的鼠标悬停项。在图15a中，使用指针1504致动位置引导ui控件1518，作为响应，第一设备130向系统100发送指示已经致动位置引导ui控件1518的消息(其可以包括地理位置)。
119.如在图15b中所示的，系统100被配置为：响应于对位置引导ui控件1518的致动，向第三设备134(被识别为支持导航设备)发出请求第三设备134提供到在图15a中获得的地理位置的导航引导的消息。在图15b所示的时间，第三设备134处于锁定状态。第三设备134被配置为：响应于在第三设备处于锁定状态时接收到消息，在显示器810上呈现允许第一用户120发起所请求的导航引导的通知1530(一旦第三设备134被解锁)。在图15c中，第三设备134已经被第一用户120解锁，并且响应于已经接收到消息并且第三设备134处于解锁状态，通过在第三设备134上运行的地图映射经由在显示器810上呈现的第二十一ui 1540执行到所获得的地理位置的导航引导。
120.图16a、图16b和图16c图示了在图1、图2a和图2b中所示的系统100的第十四示例，其为跨被包括在活跃配对集合中的多个设备的用户活动执行统一的ui交互，其中，第一设
备130在第三设备134上发起用户输入操作，导致用户输入从第三设备134递送到发起的第一设备130。在图16a-16c中的第十四示例可以与图3a-15c中所描述的示例中的任意示例相组合。在图16a-16c中，第一设备130、第二设备132和第三设备134被包括在活跃配对集合中。
121.在图16a中，第一用户120通过在第一设备130上(例如，在运行环境214中)运行的网络浏览器应用实例1610经由被呈现在第一显示器210上的二十二ui 1612来访问网站。第二十二ui 1612在第二网页1614呈现，其包括签名输入元素1616。感知配对的第十四软件程序实例1620被配置为与网络浏览器应用实例1610和第一软件程序实例131进行交互。在一些实现方式中，第十三软件程序实例1620可以作为针对网络浏览器应用实例1610的插件组件来操作，并且可以被配置为识别网页中签名输入元素的存在。
122.系统100被配置为确定包括第一设备130的活跃配对集合是否包括一个或多个支持签名输入设备。所述确定可以基于针对被包括在活跃配对集合中的设备获得的能力和/或配置信息。在该示例中，第二设备132和第三设备134两者都被识别为支持签名输入设备。系统100被配置为：响应于检测到网页中的签名输入元素和识别支持签名输入设备，而呈现对应的签名输入ui控件1618以允许第一用户120使用支持签名输入设备进行签名输入。在图16a中所示的示例中，示出了针对第二设备132的两个示例性签名输入ui控件1618，包括信息栏1619a中的签名输入ui控件1618aa和与签名输入元素1616相邻的签名输入ui控件1618ba，以及针对第三设备134示出了两个示例性签名输入ui控件1618，包括信息栏1619b中的签名输入ui控件1618ab和与签名输入元素1616相邻的签名输入ui控件1618bb。在一些示例中，可以将签名输入ui控件1618呈现为针对签名输入元素1616的右击菜单项和/或鼠标悬停项。在图15a中，使用指针1604来致动第三设备134的签名输入ui控件1618bb。
123.如在图16b中所示的，系统100被配置为：响应于对针对第三设备134的签名输入ui控件1618ab或1618bb的致动，向第三设备134发出请求第三设备134从第一用户120获得签名的消息。第三设备134被配置为：响应于接收到该消息(例如，经由第三软件程序实例135)，在显示器810上呈现用于在第三设备134上运行的第十五软件程序实例1630的第二十三ui 1632。第十五软件程序实例1630被配置为获得使用手122提供的签名1634。第二十三ui 1632包括签名完成ui控件1636以经由第三设备134完成对签名1634的输入。在一些示例中，第二设备132可以响应于对针对第二设备132的签名输入ui控件1618aa或1618ba的致动而被应用到类似的效果。如在图16c中所示的，系统100被配置为：响应于对签名完成ui控件1636的致动，将签名1634从第三设备134传输到第一设备130并且将签名1634输入到签名输入元素1634中。因此，如在图16a-16c中所示的，第一用户120能够快速并且动态地将具有触摸屏的设备或者其他期望的输入设备用于活跃配对集合中缺少这种输入设备的另一设备。
124.图17是图示了用于在活跃配对的用户计算设备之间提供统一用户接口的示例性过程1700的实现方式的流程图。在一些示例中，过程1700中的一些或全部可以组合关于图1-16c、图50和图51所讨论的特征中的任意特征来执行，但是其也可以利用在本文中所描述的任何其他特征来执行。在图17中，第一操作1710可以包括确定第一用户计算设备有资格与第二用户计算设备活跃配对。在第二操作1720中，过程1700可以包括确定在所述第一用户计算设备和所述第二用户计算设备两者都被认证用于相同的用户服务账户的第一时间所述第一用户计算设备物理接近所述第二用户计算设备。在第三操作1730中，过程1700可
以包括基于确定所述第一用户计算设备有资格与所述第二用户计算设备活跃配对以及确定所述第一用户计算设备物理接近所述第二用户计算设备，来确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在活跃配对集合中。在第四操作1740中，过程1700包括在所述第一时间接收对与用户活动相关联并且由所述第一用户计算设备呈现的用户接口控件的致动的指示。在第五操作1750中，过程1700包括：响应于接收到所述指示以及确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在所述活跃配对集合中，使得所述第二用户计算设备呈现与所述用户活动相关联的第二用户接口。
125.图18是图示了用于在活跃配对的用户计算设备之间提供统一用户接口的示例性过程1800的实现方式的流程图。在一些示例中，过程1800中的一些或全部可以组合关于图1-16c、图50和图51所讨论的特征中的任意特征来执行，但是其也可以利用在本文中所描述的任何其他特征来执行。在图18中，第一操作1810可以包括确定第一用户计算设备有资格与第二用户计算设备活跃配对。在第二操作1820中，过程1800可以包括确定在所述第一用户计算设备和所述第二用户计算设备两者都被认证用于相同的用户服务账户的第一时间所述第一用户计算设备物理接近所述第二用户计算设备。在第三操作1830中，过程1800包括基于确定所述第一用户计算设备有资格与所述第二用户计算设备活跃配对以及确定所述第一用户计算设备物理接近所述第二用户计算设备，来确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在活跃配对集合中。在第四操作1840中，过程1800包括在所述第一时间接收对与电话会议会话相关联并且由所述第一用户计算设备呈现的用户接口控件的致动的指示。在第五操作1850中，过程1800包括响应于接收到所述指示以及确定在所述第一时间所述第一用户计算设备和所述第二用户计算设备一起被包括在所述活跃配对集合中，使得在与所述用户服务账户相关联的第一用户作为第一参与者加入所述电话会议会话时由所述第二用户计算设备来呈现所述电话会议会话的实时组件。
126.结合图1-18所描述的系统、设备和技术的详细示例将在本文呈现用于例示说明本公开以及其益处。这样的使用示例不应当被解读为对本公开的逻辑过程实施例的限制，也不应当将用户接口方法与在本文中所描述的那些方法的改变视为在本公开的范围之外。在一些实施例中，在图1-18中所描述的各种特征在相应的模块中实现，所述模块也可以被称为和/或包括逻辑单元、组件、单元和/或机构。模块可以构成软件模块(例如，被体现在机器可读介质上的代码)或硬件模块。
127.在一些示例中，硬件模块可以机械地、电子地或者利用其任意合适的组合来实现。例如，硬件模块可以包括被配置为执行特定操作的专用电路或逻辑单元。例如，硬件模块可以包括专用处理器，诸如现场可编程门阵列(fpga)或专用集成电路(asic)。硬件模块也可以包括由软件临时配置以执行特定操作的可编程逻辑或电路，并且可以包括针对这样的配置的机器可读介质数据和/或指令的一部分。例如，硬件模块可以包括被涵盖在可编程处理器内的软件，所述可编程处理器被配置为运行一组软件指令。应当意识到，决定以机械方式、在专用和永久配置的电路中或者在临时配置的电路(例如，由软件配置)中实现硬件模块可能受成本、时间、支持和工程考量的驱动。
128.因此，短语“硬件模块”应当被理解为涵盖能够执行特定操作并且可以以某种物理
方式配置或布置的有形实体，即物理构造、永久配置的实体(例如，硬连线)和/或临时配置(例如，编程)以某种方式操作或执行在本文中所描述的特定操作的实体。如在本文中所使用的，“硬件实现的模块”指代硬件模块。考虑到其中硬件模块被临时配置(例如，被编程)的示例，所述硬件模块中的每个硬件模块不需要在任何一个时间实例上被配置或实例化。例如，在硬件模块包括通过软件配置成为专用处理器的可编程处理器的情况下，所述可编程处理器可以在不同的时间分别被配置为不同的专用处理器(例如，包括不同的硬件模块)。软件可以相应地配置一个或多个特定处理器，例如，以在一个时间实例构成特定硬件模块并且在不同时间实例构成不同硬件模块。使用一个或多个处理器实现的硬件模块可以被称为“处理器实现的”或者“计算机实现的”。
129.硬件模块能够向其他硬件模块提供信息以及从其他硬件模块接收信息。因此，所描述的硬件模块可以被认为是通信耦合的。在多个硬件模块同时存在的情况下，可以通过所述硬件模块中的两个或更多个硬件模块之间的信号传输(例如，通过适当的电路和总线)来实现通信。在多个硬件模块在不同时间被配置或实例化的实施例中，在这样的硬件模块之间的通信可以例如通过在多个硬件模块可以访问的存储器设备中存储和取回信息来实现。例如，一个硬件模块可以执行操作并且将输出存储在存储器设备中，并且然后另一硬件模块可以访问存储器设备以取回和处理所存储的输出。
130.在一些示例中，方法的操作中的至少一些操作可以由一个或多个处理器或处理器实现的模块来执行。此外，所述一个或多个处理器也可以操作用于支持在“云计算”环境中的相关操作的性能或者作为“软件即服务”(saas)。例如，所述操作中的至少一些操作可以由多台计算机(作为包括处理器的机器的示例)和/或在多台计算机之间执行，其中，这些操作可经由网络(例如，互联网)和/或经由一个或多个软件接口(例如，应用程序接口(api))来访问。对所述操作中的特定操作的执行可以被分布在处理器之间，不仅驻留在单个机器内，而且跨多台机器来部署。处理器或处理器实现的模块可以位于单个地理位置(例如，在家庭或办公室环境中，或服务器场内)，或者可以跨多个地理位置来分布。
131.图19是图示了示例性软件架构1902的框图1900，其各个部分可以与在本文中所描述的各种硬件架构结合使用，所述硬件架构可以实现上文所描述的特征中的任意特征。图19是软件架构的非限制性示例，并且将意识到，可以实现许多其他架构以促进在本文中所描述的功能。软件架构1902可以在诸如图20的机器2000的硬件上运行，其包括处理器2010、存储器2030和输入/输出(i/o)组件2050等。代表性硬件层1904被图示出并且能够代表例如图20的机器2000。代表性硬件层1904包括处理单元1906和相关联的可执行指令1908。可执行指令1908表示软件架构1902的可执行指令，包括在本文中所描述的方法、模块等的实现方式。硬件层1904也包括存储器/存储装置1910，其也包括可执行指令1908和伴随数据。硬件层1904也可以包括其他硬件模块1912。由处理单元1908保持的指令1908可以是由存储器/存储装置1910保持的指令1908的部分。
132.示例性软件架构1902可以被概念化为层，每个层提供各种功能。例如，软件架构1902可以包括层和组件，诸如操作系统(os)1914、库1916、框架1918、应用1920和表示层1944。在操作上，应用1920和/或层内的其他组件可以调用api调用1924到其他层并且接收对应的结果1926。所图示的层本质上是代表性的，并且其他软件架构可以包括额外的或者不同的层。例如，一些移动或专用操作系统可能不提供框架/中间件1918。
133.os 1914可以管理硬件资源并且提供公共服务。os 1914可以包括例如内核1928、服务1930和驱动程序1932。内核1928可以充当在硬件层1904与其他软件层之间的抽象层。例如，内核1928可以负责存储器管理、处理器管理(例如，调度)、组件管理、联网、安全设置等。服务1930可以为其他软件层提供其他公共服务。驱动程序1932可以负责控制底层硬件层1904或者与其接口。例如，驱动程序1932可以包括显示驱动程序、相机驱动程序、存储器/存储装置驱动程序、外围设备驱动程序(例如，经由通用串行总线(usb))、网络和/或无线通信驱动程序、音频驱动程序等，这取决于硬件和/或软件配置。
134.库1916可以提供可以由应用1920和/或者其他组件和/或层所使用的公共基础设施。库1916通常提供功能以供其他软件模块使用以执行任务，而不是直接与os 1914进行交互。库1916可以包括提供诸如存储器分配、字符串操纵、文件操作的功能的系统库1934(例如，c标准库)。另外，库1916可以包括api库1936，诸如媒体库(例如，支持图像、声音和/或视频数据格式的呈现和操纵)、图形库(例如，用于在显示器上呈现2d和3d图形的opengl库)、数据库(例如，sqlite或者其他关系数据库函数)和web库(例如，可能提供web浏览功能的webkit)。库1916也可以包括多种其他库1938，从而为应用1920和其他软件模块提供许多功能。
135.框架1918(有时也被称为中间件)提供了可以由应用1920和/或者其他软件模块使用的更高级别的公共基础设施。例如，框架1918可以提供各种图形用户接口(gui)功能、高级资源管理或者高级位置服务。框架1918可以为应用1920和/或者其他软件模块提供宽泛的其他api。
136.应用1920包括内置应用1940和/或第三方应用1942。内置应用1940的示例可以包括但不限于：联系人应用、浏览器应用、位置应用、媒体应用、消息传递应用和/或游戏应用。第三方应用1942可以包括由不同于特定平台的供应商的实体开发的任何应用。应用1920可以使用经由os 1914、库1916、框架1918和表示层1944可用的功能来创建用户接口以与用户进行交互。
137.一些软件架构使用虚拟机，如由虚拟机1948所图示的。虚拟机1948提供运行环境，其中，应用/模块能够像在硬件机器(诸如图20的机器2000)上运行一样执行。虚拟机1948可以由主机os(例如，os 1914)或者管理程序来托管，并且可以具有管理虚拟机1948的操作和与主机操作系统的互操作的虚拟机监视器1946。可能不同于虚拟机外部的软件架构1902的软件架构在虚拟机1948内运行，诸如os 1950、库1952、框架1954、应用1956和/或表示层1958。
138.图20是图示了被配置为从机器可读介质(例如，机器可读存储介质)读取指令并且执行在本文中所描述的特征中的任意特征的示例性机器2000的组件的框图。示例性机器2000是计算机系统的形式，在其之内可以运行用于使得机器2000执行在本文中所描述的特征中的任意特征的指令2016(例如，以软件组件的形式)。这样，指令2016可以被用于实现在本文中所描述的模块或组件。指令2016使得未编程和/或未配置的机器2000作为被配置为执行所描述的特征的特定机器来操作。机器2000可以被配置为作为独立设备操作或者可以被耦合(例如，联网)到其他机器。在联网部署中，机器2000可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力来操作，或者作为对等或分布式网络环境中的节点来操作。机器2000可以被体现为例如服务器计算机、客户端计算机、个人计算机(pc)、平板计
算机、膝上型计算机、上网本、机顶盒(stb)、游戏和/或娱乐系统、智能手机、移动设备、可穿戴设备(例如，智能手表)和物联网(iot)设备。此外，尽管仅图示了单个机器2000，但是术语“机器”包括个体地或联合地运行指令2016的机器的集合。
139.机器2000可以包括可以经由例如总线2002通信地耦合的处理器2010、存储器2030和i/o组件2050。总线2002可以包括经由各种总线技术和协议耦合机器2000的各种元件的多条总线。在示例中，处理器2010(包括例如中央处理单元(cpu)、图形处理单元(gpu)、数字信号处理器(dsp)、asic或者其适当组合)可以包括可以运行指令2016并且处理数据的一个或多个处理器2012a至2012n。在一些示例中，一个或多个处理器2010可以运行由一个或多个其他处理器2010提供或识别的指令。术语“处理器”包括多核心处理器，所述多核心处理器包括可以同时运行指令的核心。尽管图20示出了多个处理器，但是机器2000可以包括具有单个核心的单个处理器、具有多个核心的单个处理器(例如，多核心处理器)、每个具有单个核心的多个处理器、每个具有多个核心的多个处理器或者其任意组合。在一些示例中，机器2000可以包括被分布在多台机器之间的多个处理器。
140.存储器/存储装置2030可以包括主存储器2032、静态存储器2034或者其他存储器以及存储单元2036，处理器2010可以经由总线2002对其进行访问。存储单元2036和存储器2032、2034存储体现在本文中所描述的功能中的任意一个或多个功能的指令2016。存储器/存储装置2030也可以存储处理器2010的临时、中间和/或长期数据。指令2016在其运行期间也可以完全或者部分地驻留在存储器2032、2034内，在存储单元2036内，在至少一个处理器2010内(例如，在命令缓冲器或高速缓存内)，在至少一个i/o组件2050中的存储器内或者其任何合适的组合。因此，存储器2032、2034、存储单元2036、处理器2010中的存储器和i/o组件2050中的存储器是机器可读介质的示例。
141.如在本文中所使用的，“机器可读介质”指代能够临时或永久存储使机器2000以特定方式操作的指令和数据的设备，并且可以包括但不限于：随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪存、光存储介质、磁存储介质和设备、高速缓存、网络可访问或云存储装置、其他类型的存储装置和/或者其任意合适的组合。术语“机器可读介质”适用于用于存储指令(例如，指令2016)以供机器2000执行的单个介质或多种介质的组合，使指令当由机器2000的一个或多个处理器2010运行时，使得机器2000执行在本文中所描述的特征中的一个或多个特征。因此，“机器可读介质”可以指带单个存储装置，以及包括多个存储装置或设备的“基于云”的存储系统或存储网络。术语“机器可读介质”不包括信号自身。
142.i/o组件2050可以包括适于接收输入、提供输出、产生输出、传输信息、交换信息、捕获测量等的多种硬件组件。特定机器中所包括的特定i/o组件2050将取决于机器的类型和/或功能。例如，移动设备(诸如移动电话)可以包括触摸输入设备，而无头服务器或iot设备可能不包括这样的触摸输入设备。在图20中所图示出的i/o组件的特定示例绝不是限制性的，其他类型的组件可以被包括在机器2000中。i/o组件2050的分组仅仅是为了简化该讨论，并且分组绝不是限制性的。在各种示例中，i/o组件2050可以包括用户输出组件2052和用户输入组件2054。用户输出组件2052可以包括例如用于显示信息的显示组件(例如，液晶显示器(lcd)或投影仪)、声学组件(例如，扬声器)、触觉组件(例如，振动电机或力反馈设备)和/或者其他信号生成器。用户输入组件2054可以包括例如字母数字输入组件(例如，键盘或触摸屏)、定点组件(例如，鼠标设备、触摸板或者其他定点仪器)和/或触觉输入组件
(例如，提供位置和/或触摸力或触摸手势的物理按钮或触摸屏)被配置为接收各种用户输入，诸如用户命令和/或选择。
143.在一些示例中，i/o组件2050可以包括生物特征组件2056、运动组件2058、环境组件2060和/或位置组件2062，以及宽泛的其他物理传感器组件。生物特征组件2056可以包括例如检测身体表情(例如，面部表情、声音表情、手或身体姿势或眼睛跟踪)、测量生物信号(例如，心率或脑电波)和识别人(例如，经由基于语音、视网膜、指纹和/或面部的识别)的组件。运动组件2058可以包括例如加速度传感器(例如，加速度计)和旋转传感器(例如，陀螺仪)。环境组件2060可以包括例如照明传感器、温度传感器、湿度传感器、压力传感器(例如，气压计)、声学传感器(例如，用于检测环境噪声的麦克风)、物理接近传感器(例如、附近物体的红外感应)和/或可以提供与周围物理环境对应的指示、测量或信号的其他组件。位置组件2062可以包括例如位置传感器(例如，全球定位系统(gps)接收器)、高度传感器(例如，可以从中导出高度的气压传感器)和/或取向传感器(例如，磁力计)。
144.i/o组件2050可以包括通信组件2064，实现可操作用于经由相应的通信耦合件2072和2082将机器2000耦合到网络2070和/或设备2080的多种技术。通信组件2064可以包括一个或多个网络接口组件或者与网络2070接口的其他合适的设备。通信组件2064可以包括例如适于提供有线通信、无线通信、蜂窝通信、近场通信(nfc)、蓝牙通信、wi-fi和/或经由其他模态的通信的组件。设备2080可以包括其他机器或各种外围设备(例如，经由usb耦合)。
145.在一些示例中，通信组件2064可以检测标识符或者包括适于检测标识符的组件。例如，通信组件2064可以包括射频识别(rfid)标签阅读器、nfc检测器、光学传感器(例如，一维或多维条形码或者其他光学代码)和/或声学检测器(例如，识别标记的音频信号的麦克风)。在一些示例中，可以基于来自通信组件2062的信息来确定位置信息，诸如但不限于：经由互联网协议(ip)地址的地理位置、经由wi-fi、蜂窝、nfc、蓝牙或者其他无线站识别和/或信号三角测量的位置。
146.尽管已经描述了各种实施例，但是该描述旨在是示例性的而不是限制性的，并且应当理解，在实施例的范围内的更多实施例和实现方式是可能的。尽管在附图中图示了许多可能的特征组合并且在该详细描述中进行了讨论，但是所公开的特征的许多其他组合也是可能的。除非特别限制，否则任何实施例的任何特征都可以与任何其他实施例中的任何其他特征或元件组合使用或替代任何其他特征或元件。因此，应当理解，在本公开中所示和/或所讨论的特征中的任意特征可以以任何合适的组合一起实现。因此，除了根据所附权利要求以及其等同物之外，实施例不受限制。此外，可以在所附权利要求的范围内进行各种修改和改变。
147.尽管前文已经描述了被认为是最佳模式和/或者其他示例的内容，但是应当理解，可以在其中进行各种修改，并且可以以各种形式和示例来实现本文公开的主题，并且这些教导可以应用在许多应用中，在本文中仅描述了其中的一些。所附权利要求旨在要求保护落入本教导的真实范围内的任何和所有应用、修改和改变。
148.除非另有说明，否则在本说明书(包括随后的权利要求)中所提出的所有测量结果、值、额定值、位置、维度、尺寸和其他规格都是近似的，而不是精确的。其旨在具有与其所涉及的功能以及其所涉及的领域中的惯例一致的合理范围。
149.保护范围仅由以下权利要求限制。当根据本说明书和随后的审查历史进行解释并且包括所有结构和功能等价物时，该范围旨在并且应当被解释为与权利要求中使用的语言的普通含义一致。尽管如此，权利要求中的任何一项均不旨在涵盖未能满足《专利法》第101、102或103条要求的主题，也不应以这种方式对其进行解释。特此否认对这样的主题的任何意外接受。
150.除上文所述外，任何已经陈述或说明的内容均不旨在或不应当被解释为使任何组件、步骤、特征、对象、利益、优势或等同物奉献给公众，无论是否在权利要求书中提及。
151.应当理解，在本文中所使用的术语和表达具有与这些术语和表达相对于其对应的相应调查和研究领域所赋予的普通含义，除非在本文中另外阐述了特定含义。诸如“第一”和“第二”等关系术语可以仅用于将一个实体或动作与另一个区分开来，而不必要求或暗示这样的实体或动作之间的任何实际这样的关系或次序。术语“包括”、“包含”或者其任何其他变体旨在涵盖非排他性包含，使包括元件列表的过程、方法、物品或装置不仅包括那些元件，而且可能包括未明确列出的其他元件或这样的过程、方法、物品或装置所固有的元件。在没有进一步限制的情况下，以“一”或“一个”开头的元件不排除在包含该元件的过程、方法、物品或装置中存在附加的相同元件。
152.提供本公开的摘要以允许读者快速确定技术公开的性质。提交时理解其不会被用来解释或限制权利要求的范围或含义。此外，在上述详细描述中，可以看出，为了简化公开内容，在各种示例中将各种特征组合在一起。该公开方法不应当被解释为反映权利要求需要比每个权利要求中明确列举的更多特征的意图。相反，如以下权利要求所反映的，本发明主题不在于单个公开示例的所有特征。因此，以下权利要求由此并入详细说明中，其中每个权利要求作为单独要求保护的主题独立存在。