基于音频会话状态显示图形用户接口的制作方法

基于音频会话状态显示图形用户接口


背景技术：

1.图形用户接口（gui）为用户提供了与计算设备交互的能力。不同的应用通常提供不同的gui来促进不同的功能。
附图说明
2.图1是基于音频会话状态在gui之间切换的示例设备的框图。
3.图2是基于音频会话状态在gui之间切换的示例编程架构的框图。
4.图3是通信应用数据和音频会话事件的示意图。
5.图4是使用音频会话状态信息在应用之间切换的示例方法的流程图。
6.图5是使用订阅的音频会话状态信息在通用和通信应用之间切换的示例方法的流程图。
7.图6是基于音频会话状态信息的应用gui之间的转变的示意图。
具体实施方式
8.由于这样的应用的固有限制，协调不同应用的gui的显示以提供一致的、期望的和/或直观的用户体验可能困难或不可能。例如，对于用户而言通常为视频会议、语音呼叫和类似的通信会话安装各种不同的通信应用。当这样的应用缺乏使能功能（诸如稳健的应用编程接口（api））时，在这样的应用的不同gui之间切换可能不切实际。
9.可以提供用于各种不同通信应用的统一平台。通用应用可以提供音频/视频呼叫发起的中心点和一致或和谐的用户接口。
10.通信应用可能缺乏适用于与通用应用一起使用的api。这将使通用应用的gui和通信应用的gui之间的切换复杂化。具体地，当使用特定通信应用的通信会话结束时，用户可能期望返回到通用应用的gui，这是发起呼叫的起始点。在不使用诸如屏幕抓取之类的变通技术的情况下，切换回到通用应用的gui可能不切实际。然而，由于通信应用的gui中不可预测的改变，屏幕抓取容易失败，特别是如果这样的应用是由第三方提供的。
11.通用应用可以监视音频会话状态，并基于与通信应用相关的音频会话状态信息来处理gui转变。当使用特定通信应用进行通信会话时，通用应用可以检测该通信应用的音频会话的期满。作为响应，通用应用可以切换回到其gui，如在通用应用处发起呼叫的用户可以期望的。通用应用可以查询托管应用的操作系统，以获得各种支持的通信应用的音频会话状态。
12.图1示出了基于音频会话状态在gui之间切换的示例设备100。设备100可以是计算设备，诸如笔记本计算机、台式计算机、会议室计算系统、平板计算机、智能电话或诸如此类。设备100包括显示器102和耦合到显示器102的处理器104。
13.显示器102可以包括液晶显示器（lcd）、发光二极管（led）显示器、投影仪或类似的。显示器102可以经由诸如hdmi连接、显示端口连接或类似的之类的显示器连接连接到处理器104。显示器102可以经由线缆、集成显示器接口或类似的连接到处理器104。
14.处理器104可以包括中央处理单元（cpu）、微控制器、微处理器、处理核心、现场可编程门阵列（fpga）或能够执行指令的类似设备。处理器104可以与非暂时性机器可读介质协作来执行指令，所述非暂时性机器可读介质诸如随机存取存储器（ram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、闪速存储器、存储驱动器、光盘或类似的。处理器104可以控制显示器102的操作，诸如选择和格式化要在显示器102处输出的信息。
15.处理器104可以执行通用应用106和多个通信应用108、110。也就是说，处理器104可以执行通用应用106和第一通信应用、第二通信应用，等等。通信应用的示例包括skype
™
、 zoom video conferencing
™
、google meet
™
以及类似的。处理器104可以同时执行通用应用106和通信应用108、110。
16.通用应用106管理多个通信应用108、110。例如，通用应用106可以用于使用所选择的单独通信应用108、110在设备100和另一设备之间发起通信会话，诸如视频会议、语音呼叫或类似的。通用应用106可以被认为是启动板应用，其启动并登录到通信应用108、110中，并允许激活所选择的通信应用108、110。
17.显示器102可以输出通用应用106的通用gui 112。通用gui 112可以包括用于发起通信应用108、110的诸如按钮之类的用户接口组件。当没有通信会话活动时，显示器102可以输出通用gui 112，以允许用户选择用其发起通信会话的通信应用108、110。
18.通信应用108包括通信应用gui 114。gui 114可以特定于通信应用108，并且可以包括用户接口组件来发起、配置和结束通信会话，诸如视频会议、语音呼叫或类似的。每个通信应用108、110可以包括相应的gui。也就是说，第一通信应用可以包括第一gui，第二通信应用可以包括第二gui，等等。为了解释，gui 114将作为通信应用108的一部分来讨论。
19.显示器102可以在与底层通信应用108的活动会话期间输出通信应用gui 114。在会话期间，通用gui 112可以被隐藏。例如，在发起通信会话之前，通用gui 112可以显示在活动桌面上，并且通信应用gui 114可以显示在非活动桌面上。然后，当通信会话被发起时，包含通信应用gui 114的桌面可以被激活，并且包含通用gui 112的桌面可以被去激活。这样的桌面功能可以由诸如microsoft windows 10
™
之类的操作系统提供。例如，虚拟桌面可以经由操作系统向应用暴露的应用编程接口或api来访问（例如，通过编程接口，诸如windows 10
™
中的“ivirtualdesktopmanager”）。
20.通用gui 112可以接收用户输入以发起通信会话。因此，通用gui 112可以在没有用户输入或干预的情况下激活通信应用108并触发通信应用的gui 114的显示。
21.当通信会话结束（例如，用户挂断呼叫）时，通用gui 112被自动激活，使得用户可以在没有用户输入或干预的情况下返回到发起通信会话的gui。返回到通用gui 112可以是用户期望的行为，或者可以提供直观的用户体验，而不是在通信会话结束之后继续显示通信应用gui 114。用户可能不熟悉通信应用gui 114，并且可能希望返回到通用gui 112，或者一旦会话结束，用户可能不期望使通信应用gui 114处于焦点。此外，在通信会话之前，用户可能已经将通用应用106用于另一任务，并且可能期望到该任务的高效返回。
22.音频会话作为通信会话的一部分被发起，以促进用户之间的口头通信。音频会话可以由与激活的通信应用108、110相关联的操作系统发起。处理器104监视音频会话的状态116，以确定何时去激活通信应用gui 114并重新激活通用gui 112以用于在显示器102处呈现。通用应用106可以包括由处理器104执行的指令，以监视音频会话状态116。处理器104可
以订阅音频会话事件。这可以通过操作系统暴露的api（诸如通过windows 10
™
中的“iaudiosessioncontrol”和/或“iaudiosessionevents”接口）来实现。
23.当处理器104检测到作为音频会话状态116的期满状态时，这意味着通信应用108、114处的呼叫已经结束，处理器104去激活通信应用gui 114，并通过例如去激活和激活相应的虚拟桌面来激活通用gui 112。照此，通用应用106不需要依赖于来自通信应用108、110的信号来指示呼叫已经结束。通用应用106可以通过监视相关音频会话状态116来独立地确定呼叫已经结束。通用gui 112因此可以在没有用户输入或干预的情况下被重新激活。
24.在其它示例中，不同种类的应用可以包括不同的gui，所述gui基于对应用的期满音频会话的检测而被选择性地显示。这样种类的应用的示例包括音频回放应用、视频回放应用、游戏以及类似的。
25.图2示出了示例编程架构200。编程架构200可以与本文中描述的任何设备或方法一起使用。本文中公开的设备和方法可以被引用以用于描述，这里不重复，其中相似的术语和/或相似的参考标记指示相似的组件。
26.通用应用106可以向计算设备的桌面202输出通用gui 112。不同的通信应用108、110可以向相应的桌面206、208输出相应的通信应用gui 114、204。也就是说，第一通信应用可以输出第一gui，第二通信应用可以输出第二gui，等等。可以选择一个桌面202、206、208在给定时间显示，而其它桌面202、206、208可以隐藏。照此，gui 112、114、204可以选择性地呈现给用户。
27.通用应用106和通信应用108、110可以连续执行。当启动通用应用106时，通用应用106可以引用通信应用数据210来启动通信应用108、110，并且诸如通过提供名称和密码将用户登录到通信应用108、110中。通信应用数据210可以包含启动命令，所述启动命令在通信应用108、110的相应桌面206、208开始通信应用108、110。
28.当包含通用应用106的通用gui 112的桌面202活动时，用户可以使用通用gui 112来激活通信应用108、110，以实行视频会议、语音呼叫或类似的通信会话。作为通信会话的一部分，音频会话212可以由操作系统214创建。所选择的通信应用108、110可以通过由操作系统214暴露的api来触发音频会话212的创建。
29.通用应用106可以接收音频会话事件216的通知。通用应用106可以通过向操作系统214进行请求来订阅这样的通知。音频会话事件的示例包括音量改变或静音、断开、状态改变（例如，活动、非活动、期满）以及类似的。通信应用108、110的身份可以被存储为通用应用106可访问的数据210。身份可以包括应用名称、应用路径、过程标识符或类似的。通信应用身份可以在通用应用106处预编程，或者可以在运行时获得。通信应用108、110的身份可以用于订阅该应用108、110的音频事件通知。
30.当激活相应的通信应用108、110时，通用应用106可以发起从通用gui 112到通信应用gui 114、204的切换。通用应用106可以向操作系统214的api发出命令，以切换到包含相关通信应用gui 114、204的桌面206、208。通用应用106和未选择的通信应用108、110可以继续执行，但是它们相应的gui可以由于桌面的改变而被隐藏。在其它示例中，当通信会话发起时，操作系统214可以自动切换到所选择通信应用108、110的桌面206、208。
31.当通信会话由例如结束会话的本地或远程用户结束时，操作系统214可以使相关联的音频会话212期满，并且通用应用106可以接收指示相关联的音频会话的期满状态的事
件216的通知。响应于这样的事件，通用应用106可以向操作系统214发出命令，以切换到包含通用gui 112的桌面202。照此，除了可能按压结束呼叫按钮或类似的用户接口组件之外，用户可以在所选择的通信应用gui 114、204处不进行输入或干预的情况下返回到通用gui 112。
32.图3示出了通信应用数据210和音频会话事件216的示例。
33.通信应用数据210可以存储各种通信应用的应用启动命令300、登录凭证302和标识符304。通用应用106可以引用应用启动命令300来启动尚未运行的通信应用。通用应用106可以引用登录凭证302来登录到通信应用中，所述登录凭证302可以包括用户先前提供的用户名和密码。
34.特定音频会话事件306可以与特定应用标识符308相关联。当订阅事件发生时，操作系统214可以向通用应用106发出回调。可以使用其它编程信令机制。照此，通用应用106可以被通知与通信应用相关的事件。音频会话事件306的应用标识符308可以对应于存储在通信应用数据210中的标识符304，使得通用应用106可以确定相关联的通信应用何时已经结束其视频会议或语音呼叫。标识符304和相关联的应用标识符308可以具有相同的形式，或者具有不同的形式，它们每个指示相同的通信应用。例如，特定标识符304可以是编程对象，并且其相关联的应用标识符308可以是字符串，只要特定标识符304和其相关联的应用标识符308匹配并且指示相同的通信应用。将标识符304匹配到不同格式的应用标识符308可能涉及格式转换。通用应用106由此可以获得音频会话事件306的通知，该通知指示与感兴趣的通信应用标识符304匹配的应用标识符308的音频会话的期满状态。照此，通用应用106可以在适当的时间切换回到通用gui。
35.图4示出了使用音频会话状态信息在应用之间切换的示例方法400。方法400可以用本文中讨论的任何设备或架构来施行。方法400可以体现为处理器可执行指令，其可以存储在非暂时性机器可读介质中。
36.在框402处，显示通信应用的gui。通信应用可以促进gui的用户和远程用户之间的视频/音频呼叫。通信应用的gui可以提供呼叫的用户配置和呼叫的结束。
37.在框404处，在呼叫期间，监视通信应用的音频会话。这可以包括查询托管通信应用的操作系统。操作系统可以提供暴露允许订阅音频会话事件通知的api。
38.在框406处，确定通信应用的音频会话是否已经期满。音频会话可以响应于结束呼叫的用户输入而期满。例如，用户可以按压通信应用的gui处的按钮来结束呼叫，并且作为响应，通信应用可以命令操作系统结束音频会话。操作系统可以发出音频会话期满状态的通知。在框402和404处，通信应用的gui的显示和音频会话的监视可以继续，直到音频会话期满为止。
39.在框408处，检测音频会话的期满。作为响应，通信应用的gui停止显示。另外，在框410处，显示另一应用的gui，诸如支持多个通信应用的通用应用。照此，音频会话期满的检测触发了另一gui的呈现。各种gui的显示之间的切换可以通过指令操作系统在虚拟桌面之间切换来实现，其中特定的虚拟桌面包含特定的gui。
40.方法400因此基于音频会话状态改变的检测在不同gui之间切换。这可以允许用户在通信应用gui处结束通信会话之后在没有其它输入或干预的情况下自动返回到通用应用gui。
41.图5示出了使用订阅的音频会话状态信息在通用和通信应用之间切换的示例方法500。方法500可以用本文中讨论的任何设备或架构来施行。方法500可以体现为处理器可执行指令，其可以存储在非暂时性机器可读介质中。
42.在框502处，诸如通用应用之类的应用订阅音频会话事件通知，如可以由通过其执行应用的操作系统来提供。通用应用可以与多个通信应用相关联，并且可以为正在运行的每个这样的通信应用订阅音频会话事件通知。
43.在框504处，显示应用的gui。通用应用可以为用户提供通信应用的选择，以用于视频会议、语音呼叫或类似的通信会话。通用应用的gui可以包括用户接口组件，以切换到所选择的通信应用的gui。
44.通过框506，通用应用的gui继续显示，直到接收到发起与通信应用的通信会话的用户输入为止。
45.响应于这样的用户输入，在框404处，显示通信应用的gui，所述用户输入可以包括发起或应答呼叫的按钮按压。在通信会话期间，经由框404、406继续显示通信应用的gui，直到经由从在框502处进行的订阅接收的通知检测到音频会话的期满为止。然后，在框408、410处，响应于该通知，显示器从通信应用的gui切换回到通用应用的gui，使得用户可以自动返回到通信会话发起点。
46.图6示出了示例应用（诸如通用应用和若干通信应用）的示例gui。
47.通用应用的gui 112可以显示相应通信应用的信息600、602、604。这样的信息可以包括状态信息（例如，应用是否正在运行和登录的指示）、即将到来的会议/呼叫的日历/日程信息、应用的名称、应用的徽标以及类似的。通用gui 112可以进一步包括用于通信应用的用户接口组件606、608、610，诸如发起或应答视频/音频呼叫的按钮。通用应用可以订阅如由操作系统为通信应用提供的音频会话事件通知。当执行时或者当通信会话开始于通信应用时，这可以针对每个支持的通信应用来完成。
48.用户可以通过特定通信应用的用户接口组件610提供gui输入612，以切换到通信应用的gui 614。例如，gui输入612可以发起语音/视频呼叫。用户可以通过通信应用gui 614的用户接口组件616（诸如“挂断”按钮）来结束呼叫。通信应用可以诸如通过api回调或类似的向通用应用提供信号618，以通知通用应用呼叫已经结束。作为响应，通用应用可以切换回到通用gui 112，并且通信应用gui 614可以停止显示。
49.关于可能不能够提供api回调或类似信号的另一通信应用，用户可以通过这样的通信应用的用户接口组件606提供gui输入620，以切换到这样的通信应用的gui 622。例如，gui输入620可以发起语音/视频呼叫，这可以通过通信应用gui 620继续进行。通信应用gui 620可以显示呼叫的视频以及控制呼叫的其它用户接口组件。用户可以通过用户接口组件624（诸如“挂断”按钮）来结束呼叫。
50.当通信会话结束时，通信应用释放其资源。这包括释放操作系统提供的音频会话资源。照此，操作系统可以发出指示音频会话的期满状态的通知。已经订阅了这样的事件通知的通用应用接收期满状态的指示626，并且可以作为响应，指令操作系统切换回到通用gui 112。照此，用户可以在通信应用不提供api回调或类似信号618的情况下自动返回到通用gui 112。
51.鉴于上述，应当理解，通过监视音频会话状态，可以促进协调不同应用的gui的显
示。照此，即使当应用本身不支持相关功能时，应用gui也可以以一致、期望和/或直观的方式切换。
52.应该认识到，上面提供的各种示例的特征和方面可以组合成也落入本公开的范围内的进一步的示例。此外，各图不是按比例绘制的，并且为了说明性的目的，可能使尺寸和形状放大。