一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

计算设备的制作方法

2022-04-27 00:14:16 来源:中国专利 TAG:


1.本公开涉及一种计算设备。


背景技术:

2.电子设备通常具有用于捕获视频或图像的摄像机。电子设备的摄像机的常见示例通常包括用于捕获电子设备前面的对象的前置摄像机和用于捕获电子设备后面的对象的后置摄像机。为了捕获对象的图像或视频,用户经常需要基于对象相对于电子设备的位置来手动选择使用前置摄像机或后置摄像机。然后,所选择的摄像机可以捕获对象,而未选择的摄像机可以不被利用。此外,电子设备通常包括各种输入/输出元件,并且当电子设备以不同位置就位时,输入/输出元件相对于用户的位置可以改变。因此,电子设备通常需要用户记住与每个输入/输出元件相关联的功能,并准确地定位期望的输入/输出元件以与电子设备交互。因此,电子设备通常不便于用户使用,尤其是对于小孩和老人。


技术实现要素:

3.根据本公开中的主题的一个创新方面,描述了一种计算设备。一个一般方面包括一种计算设备,该计算设备可以包括:位于外壳的前表面上的显示屏;位于外壳的后表面上的支撑件,其中:支撑件被配置为当显示屏以第一取向就位时将显示屏支撑在相对于物理表面的第一位置;并且支撑件被配置成当显示屏以第二取向就位时将显示屏支撑在相对于物理表面的第二位置;位于前表面的第一周缘侧上的第一摄像机,第一摄像机被配置为捕获第一视场;以及位于前表面的第二周缘侧上的第二摄像机,其中:第一周缘侧与第二周缘侧相对;并且第二摄像机被配置为捕获与第一视场不同的第二视场。
4.实施方式可以包括以下特征中的一个或多个。计算设备,其中:第二取向和第一取向不同;当显示屏以所述第一取向就位时,显示屏处于第一查看位置,并且第一摄像机捕获包括外壳前面的表面的一部分的第一视场,并且第二摄像机捕获包括显示屏前面的区域的一部分的第二视场;并且当显示屏位于以第二取向就位时,显示屏处于第二查看位置,并且第一摄像机捕获包括显示屏上方的区域的第一部分的第一视场,并且第二摄像机捕获包括显示屏上方的区域的第二部分的第二视场。计算设备,其中:当显示屏被定位在第一取向时显示屏和物理表面之间的倾斜角大于当显示屏被定位在第二取向时显示屏和物理表面之间的倾斜角。计算设备可以包括:取向传感器,取向传感器检测显示屏何时以第一取向就位以及显示屏何时以第二取向就位;以及活动应用程序,活动应用程序基于取向传感器是检测到第一取向还是第二取向来执行例程。计算设备可以包括:当取向传感器检测到显示屏被定位在第一取向时,活动应用程序将位于第一周缘侧的第一摄像机识别为显示屏的顶部摄像机,将位于第二周缘侧的第二摄像机识别为显示屏的底部摄像机;顶部摄像机的第一视场向下指向物理表面;并且底部摄像机的第二视场向上指向面向显示屏的用户。计算设备,其中:顶部摄像机被配置为捕获第一视频流,该第一视频流包括第一视场中的物理表面的活动场景;并且底部摄像机被配置为捕获第二视频流,该第二视频流包括第二视场中的
用户的面部。计算设备,其中:当取向传感器检测到显示屏被定位在第二取向时:活动应用程序将位于第一周缘侧上的第一摄像机识别为显示屏的底部摄像机,并且将位于第二周缘侧上的第二摄像机识别为显示屏的顶部摄像机;并且底部摄像机的第一视场和顶部摄像机的第二视场指向上方。计算设备,其中:底部摄像机被配置为捕获第一视频流,第一视频流包括在第一视场中的用户的面部的第一部分;并且顶部摄像机被配置为捕获第二视频流,第二视频流包括在第二视场中的用户的面部的第二部分。计算设备,其中:底部摄像机被配置为捕获包括第一视场中的第一用户的第一视频流;并且顶部摄像机被配置为捕获包括第二视场中的第二用户的第二视频流。计算设备,其中:第一周缘侧包括从外壳的前表面向外延伸的突出部;第一摄像机定位在朝向物理表面的突出部上;并且第一摄像机的第一视场被配置为捕获物理表面的至少一部分。计算设备,其中支撑件可以包括:支撑元件,该支撑元件与外壳的后表面集成或耦接到外壳的后表面;并且支撑元件从外壳的后表面向外延伸,并且适合于物理表面上以将显示屏支撑在第一取向或第二取向上。计算设备,其中:通过转动计算设备将计算设备从第一取向转变到第二取向。
5.一个一般方面包括一种方法,该方法可以包括:确定计算设备在物理表面上被定位在第一取向,其中:计算设备包括被配置为捕获第一视场的第一摄像机和被配置为捕获与第一视场不同的第二视场的第二摄像机;并且当计算设备以第一取向就位时,第一摄像机的第一视场指向物理表面,而第二摄像机的第二视场指向面向计算设备的用户;使用计算设备的第一摄像机来捕获包括第一视场中的物理表面的活动场景的第一视频流;使用计算设备的第二摄像机来捕获包括第二视场中的用户的第二视频流;在计算设备的活动应用程序中,基于包括物理表面的活动场景的第一视频流和包括用户的第二视频流来确定活动应用程序的操作例程;以及在活动应用程序中执行操作例程。
6.实施方式可以包括以下特征中的一个或多个。方法,其中:确定活动应用程序的操作例程包括:在第一视频流中检测物理表面的活动场景中的有形对象;在第二视频流中确定用户的用户状态;以及基于活动场景中的有形对象和用户的用户状态,确定活动应用程序的操作例程。方法,其中:确定用户的用户状态包括:确定第二视频流中的用户的面部特征;基于用户的面部特征确定用户的用户状态;并且活动应用程序的操作例程包括基于用户的用户状态来调整活动应用程序中与用户相关联的任务复杂程度和指令细节程度中的一个或多个。方法,其中:第一摄像机位于显示屏的外壳的前表面的第一周缘侧上;并且第二摄像机位于显示屏的外壳的前表面的第二周缘侧上,其中第一周缘侧与第二周缘侧相对。方法可以包括:当计算设备在物理表面上被定位在第一取向时:第一摄像机成为计算设备的顶部摄像机,顶部摄像机向下指向物理表面;并且第二摄像机成为计算设备的底部摄像机,底部摄像机向上指向面向计算设备的用户。方法可以包括:确定计算设备在物理表面上被定位在第二取向,其中当计算设备以第二取向就位时,第一摄像机的第一视场指向面向计算设备的用户,并且当计算设备以第二取向就位时,第二摄像机的第二视场指向面向计算设备的用户;使用计算设备的第一摄像机来捕获包括在第一视场中的用户的面部的第一部分的第三视频流;使用计算设备的第二摄像机来捕获包括在第二视场中的用户的面部的第二部分的第四视频流;以及基于包括用户的面部的第一部分的第三视频流和包括用户的面部的第二部分的第四视频流中的一个或多个来调整活动应用程序的操作例程。方法可以包括:当计算设备在物理表面上被定位在第二取向时:第一摄像机成为计算设备的底部
摄像机,底部摄像机向上指向第一视场中的用户的面部的第一部分;并且第二摄像机成为计算设备的顶部摄像机,顶部摄像机向上指向第二视场中的用户的面部的第二部分。方法,其中:与处于第一取向的计算设备相比,处于第二取向的计算设备已被转动;并且当计算设备在物理表面上被定位在第二取向时计算设备和物理表面之间的倾斜角小于当计算设备在物理表面上被定位在第一取向时计算设备和物理表面之间的倾斜角。
7.一个一般方面包括一种计算设备,该计算设备可以包括:显示屏,以第一取向位于计算设备的前表面上;第一摄像机,靠近处于第一取向的计算设备的顶部边缘位于计算设备的前表面上,第一摄像机被配置为捕获第一视场;以及第二摄像机,靠近处于第一取向的计算设备的底部边缘位于计算设备的前表面上,第二摄像机被配置为捕获与第一视场不同的第二视场;和取向传感器,被配置为检测计算设备何时被定向到第二取向,其中在第二取向中,第一摄像机靠近处于第二取向的计算设备的底部边缘,并且第二摄像机现在靠近处于第二取向的计算设备的顶部边缘。
8.这些方面中的一个或多个的其他实施方式以及本文档中描述的其他方面包括编码在计算机存储设备上的被配置为执行方法的动作的相应系统、装置和计算机程序。如通过本文件所阐明的,上述和其它实施方式在多个方面是有利的。此外,应当理解,在本公开中使用的语言主要是为了可读性和指导目的而选择的,而不是为了限制在此公开的主题的范围。
附图说明
9.在附图中以示例的方式而不是以限制的方式示出了本公开,在附图中,相同的附图标记用于表示相似的元件。
10.图1a是示例性计算设备的前视图。
11.图1b和1c分别从前透视图和后透视图示出示例性计算设备的透视图。
12.图2a示出了处于第一取向的计算设备的侧视图,并描绘了第一摄像机和第二摄像机的视场。
13.图2b示出了处于第二取向的计算设备的侧视图,并描绘了第一摄像机和第二摄像机的视场。
14.图3示出了当示例性计算设备在活动表面上以第一取向就位时示例性计算设备的第一摄像机的视场和第二摄像机的视场。
15.图4是示出包括一个或多个示例性计算设备的示例性计算机系统的框图。
16.图5是示例性计算设备的框图。
17.图6是用于确定计算设备的取向的示例性方法的流程图。
18.图7是用于在第二取向上捕获视频流的示例性方法的流程图。
19.图8a和8b示出了计算设备的不同取向。
具体实施方式
20.图1a-1c示出了包括第一摄像机110和第二摄像机120的示例性计算设备100,该第一摄像机和第二摄像机能够同时操作以捕获不同视场的视频流。例如,第一摄像机110的视场可以向下指向计算设备前面的物理表面,其中用户可以放置一个或多个有形对象,并且
第二摄像机的视场可以从计算设备100上的显示屏140向外指向查看显示屏140的用户。通过使用第一摄像机110和第二摄像机120,计算设备100可能能够同时看到用户将什么对象放置在计算设备100的前面以及用户正在做什么(诸如捕获面部表情、语音、手势等)。
21.在一些实施方式中,计算设备110可以定位在不同的取向上,并且第一摄像机110和第二摄像机120的视场可以相对于计算设备110在不同取向上定位的物理表面而不同。在一些实施方式中,计算设备100可以从第一取向101转变到第二取向103。例如,如图1a-1c所示,第一取向101可以是显示屏140的第一查看位置,并且显示屏140可以是基本上竖向的位置,并且第一摄像机110的视场可以向下朝向计算设备100前面的物理表面。在另一示例中,如图2b所示,第二取向103可以是显示屏140的第二查看位置,并且显示屏140在位置上可以是基本平坦或水平的(例如,基本上平放在表面上),并且第一摄像机110的视场可以向外朝向计算设备100上方的顶部区域。
22.如图1a所示,在一些实施方式中,计算设备100可以包括外壳105,该外壳包括前表面107,显示屏140位于该前表面中。前表面107可以是基本上平坦的,并且显示屏140和一个或多个摄像机(例如,第一摄像机110和/或第二摄像机120)可以集成到前表面107中。在一些实施方式中,计算设备100的外壳105的前表面107还可包括一个或多个音频输出150。在进一步的实施方式中,音频输出150可以位于计算设备100的另一表面上,诸如后表面和/或侧表面。
23.显示屏140可以位于计算设备100的外壳105的前表面107上,以允许用户容易地观看显示屏140。在一些实施方式中,显示屏140可以由用户在不同的取向上查看,诸如第一取向101,其中显示屏140基本上是竖直的,或者第二取向103,其中显示屏140基本上是水平的,如在图2a和2b中更详细地示出的。
24.在一些实施方式中,显示屏140可以适于相对于计算设备100的取向来定向显示屏140的内容,以便允许基于计算设备100的取向将内容以竖向的方式呈现给用户。例如,当计算设备100从第一取向101转动到第二取向103时,第一取向101中的显示屏140的顶部变为第二取向103中的显示屏140的底部。活动应用程序414可以从取向传感器522接收取向信息,并且活动应用程序414可以使显示屏140的内容转动180度,以便考虑取向的变化,如本文别处更详细描述的。
25.在一些实施方式中,显示屏140可以占据计算设备100的前表面107的一部分,并且前表面107的围绕显示屏140的边缘可以被称为周缘侧(peripheral side)。周缘侧(诸如第一周缘侧102和第二周缘侧104)可以沿着显示屏140的侧面的周缘(诸如显示屏140的第一侧面142和/或显示屏140的第二侧面144)占据计算设备100的外壳105的前表面107的其他部分。外壳105的前表面107的这些其他周缘侧可以允许定位计算设备100的其他组件。例如,如图1a所示,第一摄像机110可以位于第一周缘侧102上,靠近显示屏140的第一侧142。在图1a中,计算设备100被定位在第一取向101,并且第一摄像机110可以被识别为沿着计算设备100的外壳105的顶部周缘侧的顶部摄像机。如图1a所示,第二摄像机120可以位于第二周缘侧104上,靠近显示屏140的第二侧144。在第一取向101中,第二摄像机120可被识别为沿着计算设备100的底部周缘侧的底部摄像机。
26.如图1a所示,第一摄像机110、第二摄像机120和显示屏140都位于计算设备100的前表面107上。应当理解,尽管如图所示第一摄像机110、第二摄像机120和显示屏140被集成
到计算设备100的外壳105的前表面107中,但在其他实施方式中,第一摄像机110、第二摄像机120和/或显示屏140中的一个或多个可以是可附接到计算设备140的外壳105的前表面107或其他部分的分离组件,并且可以定位在计算设备100的外壳105的周缘侧周围。
27.如图1a所示,第一摄像机110与第二摄像机120相对地定位于计算设备100的外壳105的前表面107上。如图1a中所描绘,第一摄像机110沿第一周缘侧102居中,且第二摄像机120沿第二周缘侧104居中。在进一步的实施方式中,附加的摄像机(未示出)可以被定位在计算设备100的外壳105的前表面107的其他部分上,并且这些附加的摄像机可以被配置为捕获与第一摄像机110和/或第二摄像机120的视场分离的附加视场。在一些实施方式中,不同的视场可以重叠并且允许来自附加摄像机的立体视觉,如本文别处所述。
28.在一些实施方式中,活动应用程序414可以选择使用哪些摄像机(从第一摄像机110、第二摄像机120和/或附加的摄像机)来捕获视频流,并且可以限制用于捕获视频流的摄像机的数量以改善处理时间。在进一步的实施方式中,基于计算设备100的取向,活动应用程序414可以基于计算设备100的取向选择特定的摄像机(从第一摄像机110、第二摄像机120和/或另外的摄像机中)。
29.在一些实施方式中,第一摄像机110和第二摄像机120可定位于前表面107的同一周缘侧(诸如第一周缘侧102或第二周缘侧104)上,且第一摄像机110和第二摄像机120可经定位以捕获不同的视场,尽管第一摄像机和第二摄像机定位于同一周缘侧上。例如,第一摄像机110和第二摄像机120可以都位于第一周缘侧102上(诸如彼此相邻,或者在几英寸的距离内但定位于第一周缘侧102上,等)。在该示例中,第一摄像机110可具有第一视场(诸如向前看以捕获计算设备前方的事物,诸如用户等),并且第二摄像机120可以具有第二视场(诸如向下看以捕获在计算设备100所搁置的物理表面上的事物(诸如有形对象等))。
30.图1b和1c分别从前透视和后透视示出了计算设备100的透视图。如图1b和1c所示,计算设备100可以包括支撑件,以将计算设备100定位在不同的取向上。在一些实施方式中,支撑件可以包括支撑元件130,用于将计算设备100的外壳105以不同的取向支撑并定位在物理表面上。在一些实施例中,支撑元件130可以在不同表面靠在物理表面上,诸如支撑元件130的底表面133或支撑元件130的后表面135,以便在不同取向上支撑计算设备100的外壳105,诸如图1b和1c中所示的第一取向101。
31.在一些实施方式中,支撑元件130可以从计算设备100的外壳105的后表面150延伸出来。在这些实施方式中,计算设备100的外壳105的后表面150可以是基本平坦的,并且支撑元件130可以从计算设备100的外壳105的后表面150的一部分延伸出来。如图1c所示,支撑元件130可以从计算设备100的外壳105的后表面150的下部152延伸出来。在一些实施方式中,支撑元件130可以沿着计算设备100的外壳105的后表面150的下部152的至少一部分延伸。在一些实施方式中,支撑元件130可以集成到计算设备100的外壳150。在这些实施方式中,计算设备100可以是单个单元,并且所有组件都可以容纳在外壳105内,以便于携带和使用。在进一步的实施方式中,支撑元件130可以是能够支撑计算设备100而尺寸最小的杆或突出部。在一些实施方式中,支撑元件130可以是可拆卸的,并且可以从计算设备100的外壳105的后表面150移除,以便允许计算设备100平放在表面上。在进一步的实施方式中,支撑元件130可以是可折叠的,并且可以能够平贴计算设备100的外壳105的后表面150折叠,以便允许计算设备100平放在表面上。
32.在一些实施方式中,支撑元件150可以容纳计算设备100的一个或多个组件。例如,与包括显示屏140的计算设备100的较薄区域相比,计算设备100的电池和/或其他组件可以位于支撑元件150的较大区域内。在一些实施方式中,支撑元件可以包括一个或多个访问端口132,诸如电源按钮132a、存储卡槽132b、输入/输出端口132c(诸如3.5mm端口等)等。通过将访问端口132定位在支撑元件130上,用户可以与各个端口132交互,而不会遮挡第一摄像机110和/或第二摄像机120的视场,和/或显示屏140的视场。
33.在一些实施方式中,附加支撑元件170可以存在于计算设备的外壳105的一个或多个表面上,诸如计算设备100的外壳105的后表面150。附加支撑元件170可以是计算设备100的外壳105的后表面150上的突出部或位于后表面150上的一块塑料/橡胶/金属等。附加支撑元件170可以被定位在计算设备100的外壳105的后表面150上,使得当计算设备100被放置在诸如第二取向103的不同取向时,附加支撑元件170与物理表面接触,并帮助将计算设备100定位和保持在第二取向103,如图2b所示。
34.在一些实施方式中,计算设备100可以包括附加的硬件输入/输出,诸如音量控件180和/或屏幕锁定按钮182。如图1b和1c所示,这些附加硬件输入/输出可以位于计算设备100的外壳105的侧表面上,其中用户可以容易地访问附加硬件输入/输出,而不会遮挡显示屏140和/或摄像机的视场。在一些实施方式中,这些附加的硬件输入/输出可以是可配置的,以独立于计算设备100的取向来提供类似的功能,如本文中别处关于图8a和8b所描述的。
35.在一些实施方式中,可以在计算设备100的外壳105上包括摄像机突出部160。摄像机突出部160可以是外壳105的周缘侧之一(诸如第一周缘侧102或第二周缘侧104)的模制部分。摄像机突出部160可以从前表面107延伸出来,并且具有定位在摄像机突出部160内的摄像机(诸如第一摄像机110和/或第二摄像机120),以便与平放地安装在计算设备100的外壳105的前表面107上的摄像机相比,增加摄像机的视场中所包括的内容。例如,摄像机突出部160可以调整摄像机的角度以向下看显示屏140和计算设备100前面的物理表面,而平放地安装在前表面107上的摄像机将向外朝计算设备100前面的区域看,而不是向下朝计算设备100所搁置的物理表面看。在一些实施方式中,摄像机突出部160可以将摄像机的视场定向成包括计算设备100的外壳105和/或显示屏140的至少一部分,并且所捕获的与计算设备100的显示屏140和/或外壳105有关的信息可以由活动应用程序414使用以改变由活动应用程序414正在执行的一个或多个例程。
36.图2a示出了以第一取向101就位的计算设备100。如图所示,在第一取向101中,计算设备100搁置在计算设备100的外壳105的底侧边缘190和支撑元件130的底表面133上。在该位置,计算设备100的前面和显示屏140被定位在基本竖直的位置。在一些实施方式中,显示屏140或外壳105的后表面与显示屏140在第一取向101上所位于的物理表面之间的倾斜角大于显示屏140或外壳105的后表面与显示屏在第二取向103上所位于的物理表面之间的倾斜角。在一些实施方式中,显示屏140可以在成角度的竖直位置上稍微向后倾斜,使得如果用户坐在计算设备100的前面,同时计算设备100以成角度的竖直位置放置在表面112上,则用户向前并且稍微向下看以查看显示屏140。
37.如示出了计算设备100的侧视图的图2a所示,第一摄像机110可以包括第一视场230,第二摄像机120可以包括第二视场240。如该示例中所示,第一视场230向下成角度,并
且包括紧邻显示屏140前面的区域和接近计算设备100前面的物理表面112的部分。如该示例中所示,第二视场240向外和/或向上成一定角度以捕获计算设备100前面的区域,这可包括用户从大约2英尺以外查看计算设备100等。应当理解,视场230和视场240被描绘为具有有限边界的三角形,但是可以描绘任何形状的视场,并且视图不限于所示的形状。另外,视场230和视场240可以延伸超出所示的形状,并且可以捕获的距离仅受摄像机可以观看的约束的限制。例如,可以使用诸如鱼眼或望远镜透镜之类的特殊透镜来适配摄像机的视场以捕获区域的特定部分。
38.如图2a中的示例所示,视场230和视场240可以重叠,其中第一摄像机110和第二摄像机120都可以从不同的视角捕获重叠内的对象。这可以允许活动应用程序414执行立体视觉,其中,可以在两个不同的视频流中捕获诸如用户或物理对象的对象,并且可以知道单独的摄像机(第一摄像机110和第二摄像机120)相对于图像中被捕获的对象的位置。这可以允许活动应用程序414使用两个不同的视图来跟踪与对象相关的位置、加速度、深度或其他信息。
39.在一些实施方式中,这可以允许活动应用程序414使用两个不同的二维捕获视频流来捕获三维信息。这可以允许活动应用程序414估计对象的距离、对象的范围、深度、对象的加速度等。活动应用程序414可以对捕获的视频流执行立体观测,以基于捕获的视频流提供三维可视化。
40.在进一步的实施方式中,活动应用程序414可以说明在视场之一(例如视场230和/或视场240)中的对象何时被遮挡(诸如被移动对象的手,或者被放置在对象前面的另一个对象),并且活动应用程序414可以使用另一个视场来继续跟踪被遮挡的对象。应当理解,通过与第一摄像机110和第二摄像机120一起添加附加摄像机,可以通过捕获示出附加视场的附加视频流来增强立体视觉能力。
41.图2b示出了以第二取向103就位的计算设备100。如图2b所示,在第二取向103中,计算设备100可以被定位成使得支撑元件130将计算设备100倾斜,诸如在倾斜的平面位置,并且支撑元件130的后表面135靠在物理表面上,并且附加支撑元件170靠在物理表面上。计算设备100的基本上平坦的位置可以使得当用户在该位置查看显示屏时,相对于用户和计算设备100搁置在其上的表面,显示屏140的底部边缘低于显示屏140的顶部边缘。例如,在该位置,用户210可能正在查看他们大腿上的计算设备100,并且计算设备100搁置于他们的大腿表面。支撑元件130所在的计算设备100的外壳105的后表面可以高于具有附加支撑元件170的计算设备100的外壳105的后表面,以使屏幕稍微朝向用户210倾斜。
42.在一些实施方式中,可以通过将计算设备100围绕其自身相对于第一取向101转动180度,然后将计算设备100搁置在第二取向103的物理表面上,来将计算设备100定向到第二取向103。在进一步的实施方式中,支撑元件130可以是可滑动或可拆卸地能够移除的,并且可以从计算设备100的外壳105的后表面的第一部分升高到计算设备100的外壳105的后表面的第二部分而不转动计算设备100,以将计算设备以第二取向103定位。
43.如图2b所示,在第二取向103中,第一摄像机110可以被识别为底部摄像机,因为它位于显示屏140的底部边缘,而第二摄像机120可以被识别为顶部摄像机,因为它在第二取向103中位于显示屏140的顶部边缘。第一摄像机110的视场240可以在第二取向103中沿着计算设备100的顶部边缘向上和向外定向。第二摄像机120的视场230可以向上指向计算设
备100的显示屏140上方的顶部区域。如图2b中的示例所示,视场230可以向上和向外扩展,以捕获用户210在第二取向103上从计算设备100的底部查看显示屏140的视图。视场230可以从用户210的面部下方的角度捕获用户210的面部的至少一部分。第二摄像机120可以能够将用户210的面部包括在所捕获的视频流中,并且可以将用户210的面部提供给活动应用程序214用于面部分析,以检测面部表情,诸如困惑、不感兴趣、困倦等。
44.在一些实施方式中,第二摄像机120也可以向上指向计算设备100的上方,并且能够捕获包括诸如天花板、照明阵列等的对象的视场。使用该视场230,可以分析第二摄像机120的视频流以标识计算设备100所位于的特定房间或位置。例如,活动应用程序414可以具有房间简档的数据库,诸如用户的教室、家庭等,并且活动应用程序414可以将视场230与房间简档的数据库进行比较,并且确定哪个天花板与第二摄像机120的视频流中正在捕获的内容相匹配。这可以允许活动应用程序414在特定位置运行特定应用程序。例如,当活动应用程序414确定计算设备100此刻位于用户的教室中时,活动应用程序414可以阻止运行游戏的请求。
45.在一些实施方式中,第二摄像机120可以被配置为捕获包括第一用户210的视场230,并且第一摄像机110可以被配置为捕获第二用户220的视场240。第一用户210和第二用户220可以位于计算设备100的相对侧,并且他们两者可以能够从他们各自的位置观看显示屏140。活动应用程序414可以运行用户都可以参与的应用程序,并且活动应用程序414可以分析第一用户210和第二用户220在各自的视场中呈现的对象、表情、手势等。在另一示例中,第一用户210可以是学生,而第二用户220可以是教师。活动应用程序414可以捕获教师和学生之间的交互,包括教师或学生的面部表情和/或手势,并基于所捕获的信息执行应用程序。
46.图3示出了处于第一取向101的示例性计算设备100。如该示例中所示,第一摄像机110包括朝向呈现活动对象310(例如,书本等)的表面向下延伸的视场230。如图所示,第二摄像机120包括朝向计算设备前面的区域向外延伸的视场240。计算设备100可以使用第一摄像机110捕获活动对象310的视频流,以及使用第二摄像机120捕获与活动对象310交互的用户(未示出)的视频流。活动应用程序414可以生成活动对象310的可视化以显示在显示屏140上,并且用户(未示出)能够同时与活动对象310和显示屏140上的可视化进行交互,而当用户交互时,第二摄像机捕获用户的至少一部分,诸如面部或手。这允许用户体验与物理和虚拟对象两者的丰富交互,同时活动应用程序414可以捕获用户的图像以用于附加例程。例如,用户可能正在做家庭作业并学习教科书中的主题。活动应用程序414可以从教科书中识别主题,并在显示屏140上提供与主题相关的附加精选信息。活动应用程序414还可以捕获用户的一个或多个面部表情,并且基于所捕获的面部表情,可以移除或补充在显示屏140上呈现的虚拟信息。例如,如果用户在查看虚拟信息时显得困惑,则活动应用程序414可以呈现虚拟信息的更广泛的概览,以便引导用户关于虚拟信息正在呈现什么。
47.图4是示出与计算设备100一起使用的示例性计算机系统400的框图。如所描绘的,系统400可以包括经由网络406可通信地耦接的计算设备100a
……
100n和服务器402a
……
402n。在图4和其余附图中,附图标记之后的字母,例如“100a”,表示对具有特定附图标记的元件的引用。文本中没有后续字母的附图标记,例如“100”,表示对具有该附图标记的元件的实例的一般引用。应当理解,图4中所示的系统400是以示例的方式提供的,并且本公开所
设想的系统400和/或其他系统可以包括附加的和/或更少的组件,可以组合组件和/或将一个或多个组件划分为附加的组件等。例如,系统400可以包括任意数量的服务器402、计算设备100和/或网络406。如图4所示,计算设备100可以经由信号线408耦接到网络406,并且服务器402可以经由信号线404耦接到网络406。计算设备100可由用户210访问。
48.网络406可以包括任何数量的网络和/或网络类型。例如,网络406可以包括但不限于一个或多个局域网(lan)、广域网(wan)(例如,互联网)、虚拟专用网(vpn)、移动(蜂窝)网络、无线广域网(wwan)、网络、通信网络、对等网络、多个设备可以通过其通信的其他互连数据路径、其各种组合等。
49.计算设备100可以是具有数据处理和通信能力的计算设备。在一些实施例中,计算设备100可以包括处理器(例如,虚拟的、物理的等)、存储器、电源、网络接口和/或其他软件和/或硬件组件,诸如正面和/或背面摄像机、显示屏、图形处理器、无线收发器、键盘、固件、操作系统、驱动器、各种物理连接接口(例如,usb、hdmi等)。在一些实施例中,计算设备100可以使用无线和/或有线连接经由网络406彼此耦接并通信,并且与系统400的其他实体通信。如本文别处所讨论的,系统400可以包括任何数量的计算设备100,并且计算设备100可以是相同或不同类型的设备(例如,平板计算机、移动电话、台式计算机、膝上型计算机等)。
50.如图4所示,计算设备100可以包括摄像机110和120、检测引擎412以及一个或多个活动应用程序414。计算设备100和/或摄像机110和120。在一些实施例中,检测引擎412可以检测和/或识别视频流中的对象,并且与活动应用程序414协作以向用户210提供虚拟体验,该虚拟体验基本上实时地合并物理环境中的对象和用户对对象的操纵。作为示例,检测引擎412可以处理由摄像机110或120捕获的视频流,以检测和识别由用户创建的对象。活动应用程序414可以生成由用户创建的对象的可视化,并且在显示屏140上向用户显示虚拟场景。检测引擎412和活动应用程序414的组件和操作将在全文中详细描述。
51.服务器402可以包括具有数据处理、存储和通信能力的一个或多个计算设备。在一些实施例中,服务器402可以包括一个或多个硬件服务器、服务器阵列、存储设备和/或存储系统等。在一些实施例中,服务器402可以是集中式、分布式和/或基于云的服务器。在一些实施例中,服务器402可以包括在主机服务器环境中操作并经由抽象层(例如,虚拟机管理器)访问主机服务器的物理硬件(例如,处理器、存储器、存储装置、网络接口等)的一个或多个虚拟服务器。
52.服务器402可以包括可由服务器402的一个或多个处理器操作的软件应用程序,以提供各种计算功能、服务和/或资源,并向计算设备160发送数据和从计算设备160接收数据。例如,软件应用程序可以提供互联网搜索、社交网络、基于web的电子邮件、博客、微博、照片管理、视频/音乐/多媒体托管/共享/分发、商业服务、新闻和媒体分发、用户账户管理或其任何组合的功能。应当理解,服务器202还可以提供其他网络可访问的服务。
53.在一些实施例中,服务器402可以包括能够从数据存储中检索与一个或多个搜索标准相匹配的结果的搜索引擎。作为示例,搜索标准可以包括图像,并且搜索引擎可以将该图像与其数据存储装置(未示出)中的产品图像进行比较,以识别与图像匹配的产品。在另一示例中,检测引擎412和/或存储装置510(例如,参见图5)可以请求搜索引擎提供与从视频流中提取的物理绘画、图像和/或有形对象相匹配的信息。
54.应当理解,图4中所示的系统400是作为示例提供的,并且各种不同的系统环境和
配置是可设想的,并且在本公开的范围内。例如,各种功能可以从服务器移动到客户端,或者反之亦然,并且一些实施方式可以包括附加的或更少的计算设备、服务和/或网络,并且可以实现各种客户端或服务器侧功能。此外,系统400的各种实体可以被集成到单个计算设备或系统中,或者被划分为附加的计算设备或系统等。
55.图5是示例性计算设备100的框图。如所描绘的,计算设备100可以包括由总线308通信地耦接的处理器512、存储器514、通信单元516、输入设备518、显示器520、存储装置510、摄像机110、摄像机120和取向传感器522。应当理解,计算设备100不限于此,并且其他组件也是可能的和可设想的。
56.处理器512可以通过执行各种输入/输出、逻辑和/或数学运算来执行软件指令。处理器512可以具有用于处理数据信号的各种计算架构,包括例如复杂指令集计算机(cisc)架构、精简指令集计算机(risc)架构和/或实现指令集的组合的架构。处理器512可以是物理的和/或虚拟的,并且可以包括单个核或多个处理单元和/或核。
57.存储器514可以是被配置为存储数据并向计算设备100的其他组件提供对数据的访问的非暂态计算机可读介质。在一些实施例中,存储器514可以存储可由处理器512执行的指令和/或数据。例如,存储器514可以存储检测引擎412、活动应用程序414和摄像机驱动器506。存储器514还可以存储其他指令和数据,包括例如操作系统、硬件驱动程序、其他软件应用程序、数据等。存储器514可耦接到总线508以用于与处理器512和计算设备100的其它组件通信。
58.通信单元516可以包括用于与网络406和/或其他设备的有线和/或无线连接的一个或多个接口设备(i/f)。在一些实施例中,通信单元516可以包括用于发送和接收无线信号的收发器。例如,通信单元516可以包括用于与网络406通信以及用于使用邻近连接(例如,nfc等)与附近设备通信的无线电收发器。在一些实施例中,通信单元516可以包括用于与其他设备的有线连接的端口。例如,通信单元516可以包括cat-5接口、thunderbolt
tm
接口、firewire
tm
接口、usb接口等。
59.显示器520(也称为显示屏140)可以显示由计算设备100输出的电子图像和数据以呈现给用户。显示器520可以包括任何显示设备、监视器或屏幕,包括例如有机发光二极管(oled)显示器、液晶显示器(lcd)等。在一些实施例中,显示器520可以是能够从用户的一个或多个手指接收输入的触摸屏显示器。例如,显示器520可以是能够检测和解释与显示表面的多个接触点的电容性触摸屏显示器。在一些实施例中,计算设备100可以包括图形适配器(未示出),用于渲染和输出图像和数据以在显示器520上呈现。图形适配器可以是包括单独的处理器和存储器(未示出)的单独的处理设备,或者可以与处理器512和存储器514集成。
60.输入设备518可以包括用于将信息输入到计算设备100中的任何设备。在一些实施例中,输入设备518可以包括一个或多个外围设备。例如,输入设备518可以包括键盘(例如,qwerty键盘)、指示设备(例如,鼠标或触摸板)、麦克风、摄像机等。在一些实施方式中,输入设备518可以包括能够从用户的一个或多个手指接收输入的触摸屏显示器。在一些实施例中,可以集成输入设备518和显示器520的功能,并且用户可以通过触摸显示器520的表面来与计算设备100交互。例如,用户可以通过使用他或她的手指接触键盘区域中的显示器520来与触摸屏显示器520上显示的仿真键盘(例如,软键盘或虚拟键盘)进行交互。
61.取向传感器522可包括用于检测计算设备100的取向的一个或多个传感器。在一些
实施方式中,取向传感器522可以包括能够检测计算设备100的取向的另一个取向传感器522。取向传感器可被配置成诸如通过使用加速计或类似传感器来检测计算设备相对于已知位置的角度或倾斜,并将该角度或倾斜传送给活动应用程序414。例如,取向传感器522可以检测计算设备100的倾斜度的差,以便确定计算设备100何时被定位在第一取向101或第二取向103,并且可以将该信息提供给活动应用程序414。
62.检测引擎412可以包括校准器502和检测器504。组件412、502和504可以彼此通信地耦接和/或通过总线508和/或处理器512通信地耦接到计算设备100的其他组件414、506、510、512、514、516、518、520、110、120和/或522。在一些实施例中,组件412、502和504可以是可由处理器512执行以提供其功能的指令集。在一些实施例中,组件412、502和504可以存储在计算设备100的存储器514中,并且可以由处理器512访问和执行以提供它们的功能。在任何前述实施方式中,这些组件412、502和504可以适于与计算设备100的处理器512和其他组件协作和通信。
63.校准器502包括用于对由摄像机110和/或120捕获的视频流执行图像校准的软件和/或逻辑。在一些实施例中,为了执行图像校准,校准器502可以校准视频流中的图像以适应摄像机110和/或120的捕获位置。摄像机110和/或120的捕获位置可取决于计算设备100的属性和/或计算设备100的取向。以不同的取向从摄像机位置捕获视频流可能导致对视频流的失真影响。因此,校准器502可以调整摄像机110和120的一个或多个操作参数以补偿这些失真影响。被调整的操作参数的示例包括但不限于聚焦、曝光、白平衡、光圈、f制光圈(f-stop)、图像压缩、iso、景深、降噪、焦距等。对捕获的视频流执行图像校准是有利的,因为这可以优化视频流的图像以准确地检测其中描绘的对象,并且因此可以显著地改进活动应用程序414基于在视频流中检测到的对象的操作。
64.在一些实施例中,校准器502还可以校准图像以补偿活动表面的特性(例如,尺寸、角度、地形等)。例如,校准器502可以执行图像校准以解决活动表面的不连续性和/或不均匀性,从而使得当计算设备100被设置在各种活动表面(例如,凹凸不平的表面、床、桌子、白板等)上时能够精确地检测对象。在一些实施例中,校准器502可以校准图像以补偿由摄像机110和/或120的光学元件引起的光学效应。在一些实施例中,校准器502还可以校准摄像机110或120,以将它们的视场分成多个部分,其中用户被包括在摄像机110和/或120的视场的一个部分中,而活动表面被包括在摄像机110和/或120的视场的另一个部分中。
65.检测器504包括用于处理由摄像机110或120捕获的视频流以检测视频流中存在的对象的软件和/或逻辑。在一些实施例中,为了检测视频流中的对象,检测器504可以分析视频流的图像以确定线段,并且使用存储器510中的对象数据来确定具有与线段匹配的轮廓的对象。在一些实施例中,检测器504可以向活动应用程序414提供在视频流中检测到的有形对象。在一些实施例中,检测器504可以将在视频流中检测到的对象存储在存储器510中,以供这些组件检索。在一些实施例中,检测器504可以确定是否可以在视频流中识别线段和/或与线段相关联的对象,并且指示校准器502相应地校准视频流的图像。
66.活动应用程序414包括可在计算设备100上执行的软件和/或逻辑。在一些实施例中,活动应用程序414可以从检测器504接收在活动表面的视频流中检测到的对象。在一些实施例中,活动应用程序414可以生成虚拟环境,该虚拟环境实时地合并有形对象的虚拟化和用户对活动表面上的有形对象的操纵,并且在计算设备100上向用户显示该虚拟环境。活
动应用程序414的非限制性示例包括视频游戏、学习应用程序、辅助应用程序、故事板应用程序、协作应用程序、生产力应用程序等。其他类型的活动应用程序也是可能的和可设想的。
67.摄像机驱动器506包括可存储在存储器514中并可由处理器512操作以控制/操作摄像机110和120的软件。例如,摄像机驱动器506可以是可由处理器512执行的软件驱动器,用于指示摄像机110和120捕获并提供视频流和/或静止图像等。在一些实施例中,摄像机驱动器506能够控制摄像机110和120的各种特征(例如,闪光灯、光圈、曝光、焦距等)。在一些实施例中,摄像机驱动器506可以经由总线508通信地耦接到摄像机110和120以及计算设备100的其他组件,并且这些组件可以与摄像机驱动器506接口以使用摄像机110和120来捕获视频和/或静止图像。
68.如本文别处所讨论的,摄像机110和120是适于在其视场中捕获视频流和/或图像的视频捕获设备(例如,摄像机)。在一些实施例中,摄像机110和120可以耦接到总线508,用于与计算设备100的其他组件进行通信和交互。在一些实施例中,摄像机110和120中的一个或多个可以包括用于收集和聚焦光的透镜、包括用于捕获聚焦光的像素区域的光传感器、以及用于基于由像素区域提供的信号生成图像数据的处理器。光传感器可以是任何类型的光传感器(例如,电荷耦合器件(ccd)、互补金属氧化物半导体(cmos)传感器、混合ccd/cmos器件等)。在一些实施例中,摄像机110和120可以包括用于捕获声音的麦克风。可选择地,摄像机110和120可以耦接到麦克风,该麦克风耦接到总线508或包括在计算设备100的另一组件中。在一些实施例中,摄像机110和120还可以包括闪光灯、变焦镜头和/或其他特征。在一些实施例中,摄像机110和120的处理器可以将正在捕获的视频和/或静止图像数据存储在存储器514中,和/或将视频和/或静止图像数据提供给计算设备100的其他组件,诸如检测引擎412和/或活动应用程序414。
69.存储器510是存储各种类型的数据并提供对各种类型的数据的访问的非暂态存储介质。存储在存储器510中的数据的非限制性示例包括由摄像机110和120捕获的视频流和/或静止图像、描述各种有形对象的对象数据(例如,对象轮廓、颜色、形状和大小等)、指示有形对象的对象检测结果等。在一些实施例中,存储在存储器510中的数据还可以包括一个或多个取向简档。例如,取向简档可以包括各个摄像机110和120的位置信息以及在不同取向的预期视场。
70.在一些实施例中,存储器510可以包括在存储器514或另一耦接到总线508的存储设备中。在一些实施例中,存储器510可以包括在分布式数据存储中,诸如基于云的计算和/或数据存储系统。在一些实施例中,存储器510可以包括数据库管理系统(dbms)。dbms可以是结构化查询语言(sql)dbms。例如,存储器510可以将数据存储在基于对象的数据存储或包括行和列的多维表中,并且可以使用编程操作(例如,sql查询和语句或类似的数据库操纵库)来操纵(即,插入、查询、更新和/或删除)存储在存储器510中的数据条目。具有附加特性、结构、动作和功能的存储器510的其他实施方式也是可能的和可设想的。
71.图6描绘了用于确定计算设备100所处的取向的示例性方法。在框602,取向传感器522可确定计算设备100以第一取向101被定位在物理表面上。取向传感器522可以基于由一个或多个取向传感器522检测到的角度来确定计算设备100处于第一取向,所述一个或多个取向传感器522可以确定计算设备100如何被定向和成角度。计算设备100可以包括被配置
为捕获第一视场230的第一摄像机110和被配置为捕获与第一视场不同的第二视场240的第二摄像机120。在一些实施方式中,第一视场230和第二视场240可以源自计算设备100上的不同摄像机位置,在进一步的实施方式中,第一视场230和第二视场240可以与视场的至少一部分重叠。在一些实施方式中,当计算设备100以第一取向101就位时,第一摄像机110的第一视场230可以指向物理表面,而第二摄像机120的第二视场240可以指向面向计算设备100的用户。
72.在框604,第一摄像机110可捕获包括第一视场230中的物理表面的活动场景的第一视频流。活动场景可以是接近计算设备100的物理表面的一部分。在一些实施方式中,一个或多个对象或其他物品可以被定位在第一摄像机110的视场230内的物理表面上。在进一步的实施方式中,用户可以在就位于物理表面上并在第一摄像机110的视场230内的一张纸或板上绘制或制作图像。在另一实施方式中,对象可以在不被放置在物理表面上的情况下穿过第一摄像机110的视场230,诸如由用户在接近计算设备100的区域中并且在第一摄像机110的视场230内执行的手势。
73.在框606,第二摄像机120可以捕获包括第二视场240中的用户的第二视频流。第二视频流可以包括被定位在计算设备100前面并且在第二视场240内的用户的轮廓。例如,在计算设备100放在桌子上而用户坐在椅子上时,用户可以位于计算设备100的前面,并查看显示屏140上的内容。在一些实施方式中,视频流可以捕获用户面部的至少一部分。在进一步的实施方式中,视频流可以捕获用户的肢体(诸如手)的至少一部分以捕获手势。视频流可以包括正被用户持有或操纵的对象。视频流还可以包括用户周围的环境,诸如教室中的海报等,所述环境可以由检测器504检测并被传递到活动应用程序414。在一些实施方式中,视频流可以包括来自用户的面部表情信息。
74.在框608,活动应用程序414可以基于第一视频流和第二视频流来确定操作例程。例如,第一视频流可以包括学生的教科书,并且第二视频流可以标识哪个特定学生出现在计算设备100的前面。活动应用程序414可以从存储器510中检索与特定学生的身份相关的个性化学习进度表,并找到在已经从第一视频流中识别的特定书本中已经分配给学生的主题。然后,活动应用程序414可以使特定主题和页码显示在显示屏140上,以便学生打开书本到该页,而无需从学生接收任何指示。这是有利的,因为它减少了学生开始学习所分配的材料所需的繁重工作和时间,并且还减少了由于学生不知道将书本翻开到何处等而引起错误的机会。
75.在另一示例中,活动应用程序414可以确定用户在第二视频流中的用户状态。用户状态可以包括面部特征,可以基于面部特征来确定用户状态。例如,面部特征可以是困惑的表情、注意水平、情绪状况,诸如快乐、悲伤、愤怒、喜悦、沮丧等。在一些实施方式中,检测器504可以将用户面部上的所识别的点与面部表情的数据库进行比较,并且将所识别的点映射到示例性面部表情。当面部表情映射超过阈值时,则基于该示例来识别面部表情。在一些实施方式中,示例性面部表情可以基于随着样本大小和准确度增加而不断更新的机器学习算法。在进一步的实施方式中,面部表情可以针对特定用户进行个性化,并且随着时间的推移,当捕获到该特定用户的不同面部表情时,检测器504可以更新该用户的示例性面部表情以提高准确性。
76.在一些实施方式中,操作例程可以是用户的任务,并且可以基于所捕获的信息来
更新任务的复杂度。在一些实施方式中,活动应用程序414可以基于用户或任务的进度来确定任务复杂程度。当任务看起来完成得太快时,任务复杂程度可以增加,和/或当任务看起来正在产生混乱和/或用户正在努力完成任务时,任务复杂程度可以降低。例如,如果用户表现出挫折感,诸如面部表情,或者阈值时间段已经过去而没有与对象交互,则活动应用程序414可以识别具有较低复杂程度的操作例程和/或提供适合于用户当前正在做的事情的指令细节程度。例如,如果在显示屏140上呈现数学问题,并且假设用户在由第一视频流捕获的表面上完成该问题。如果活动应用程序414确定用户表现出困惑或者他们尚未前进到表面上的问题的下一步,则活动应用程序414可以呈现操作例程,该操作例程提供关于接下来要执行什么来解决数学问题的提示。
77.在块610,活动应用程序414可以在显示屏140上执行操作例程。活动应用程序414可以使得基于操作例程来执行一个或多个程序。在一些实施方式中,活动应用程序414可以使附加信息显示在显示屏140上,诸如页码或学生信息。在进一步的实施方式中,活动应用程序414可以基于在第一或第二视频流中检测到的信息来生成可视化,并在显示屏140上显示该可视化。例如,第一视频流可以包括球的绘制,第二视频流可以包括来自用户的高兴的面部表情。活动应用程序414可以生成虚拟头像(avatar),该虚拟头像正在微笑并投掷绘制球的虚拟化,诸如具有相似形状、颜色、轮廓等的虚拟化。
78.图7描绘了用于确定计算设备100的取向的示例性方法。在框702,计算设备100被定位在第二取向,并且活动应用程序414可以确定计算设备100被定位在第二取向103。在一些实施方式中,计算设备100可以将取向从第一取向101改变到第二取向103,并且取向传感器522可以检测该取向的改变,并且将到第二取向103的取向的改变提供给活动应用程序414。在第二取向103中,第一摄像机110的第一视场240指向面向计算设备100的用户,并且第二摄像机120的第二视场230也指向面向计算设备100的用户。
79.在框704,第一摄像机110可以捕获包括第一视场240中的用户面部的第一部分的第三视频流。例如,用户面部的第一部分可以是从用户面部下方看到的用户的视图,并且包括嘴的一部分和用户头部所面对的方向。在框706,第二摄像机120可以捕获包括第二视场230中的用户面部的第二部分的第四视频流。用户面部的第二部分可以是用户的前视图,并且可以包括使用和嘴部表情。以此方式,第三视频流可以示出用户正在看哪里以及头部如何倾斜,并且第四视频流可以包括与第三视频流同时捕获的向前看的面部表情。通过捕获具有聚焦于用户面部的特定部分的高水平细节的两个不同视频流,活动应用程序414能够比不能提供与同时捕获视频流的两个摄像机相同的细节水平的单个摄像机更准确地预测用户状态,并且将接收更详细的面部表情信息。
80.在708,活动应用程序414可以基于在第三视频流和第四视频流中检测到的信息来调整显示在显示屏140上的操作例程。例如,第四视频流可以捕获用户的嘴对显示在显示屏上的单词发音的方式,并且由第三视频流提供的附加细节可以提供嘴如何塑造单词的附加细节。例如,使用立体视觉,可以在显示屏140上呈现形成单词的嘴的三维描绘,并且用户能够看到他们应该如何使用他们的嘴来塑造单词。
81.图8a示出了处于第一取向101的计算设备100。在该示例中,音量界面802可以虚拟地显示在显示屏140上。音量界面802可以沿着显示屏140的边缘可滑动地出现,该边缘对应于音量控件180位于计算设备100的外壳105的边缘上的位置。在一些实施方式中,音量控件
180可以包括音量增大按钮183和音量减小按钮185,用户可以选择性地按下音量增大按钮183和音量减小按钮185以改变音频输出160中的音频的音量。在一些实施方式中,音量控件180可以被离散地定位并且具有最小的轮廓,以不会使用户从计算设备100的操作中分心。通过创建最小轮廓,用户可能无法读取音量控件180上的任何标记,并且在一些实施方式中,可以在显示屏140上呈现音量界面802形式的提醒,以便向用户发信号通知如何操作音量控件180。
82.在一些实施方式中,当用户的手指接近音量控件180时,可以显示虚拟音量增大按钮804和虚拟音量减小按钮806。在一些实施方式中,当用户按下音量控件180时,可以显示音量界面802。在进一步的实施方式中,用户甚至可以不必按压音量控制180。例如,诸如触摸传感器或光传感器的接近传感器可以安装在音量控件180中/附近,并且当接近传感器检测到用户正在与音量控件180交互时,可以显示音量界面802以向用户发信号通知如何与音量控件180交互。在进一步的实施方式中,第一摄像机110或第二摄像机120可以包括视场,该视场包括音量控件180,并且当检测器504检测到用户正试图与音量控件交互时,可以显示音量界面802。在一些实施方式中,用户还可以与虚拟音量界面802而不是音量控件180交互,并且如果显示屏140检测到与音量界面802的触摸交互,则计算设备100可以基于与虚拟音量界面802的交互来改变音量。
83.在一些实施方式中,如图8a所示,音频输出150可以包括两个或更多个音频输出,诸如第一扬声器808和第二扬声器810。音频输出可以控制第一扬声器808和第二扬声器810正在输出什么,以便创建由活动应用程序414控制的立体声输出。在第一取向101中,第一扬声器808从计算设备100的左侧输出声音,而第二扬声器810从计算设备100的右侧输出声音。在进一步的实施方式中,用户可以耦接不同的音频输出选项,诸如一对有线耳机或蓝牙耳机,并且活动应用程序414可以将左声道音频和右声道音频发送到正确的音频输出,诸如左耳耳机和右耳耳机。在一些实施方式中,音频流可以按声道分割,诸如当两个用户正在与计算设备交互并且第一用户可以具有对应于第一扬声器808的第一音频输出并且第二用户可以具有对应于第二扬声器810的第二音频输出或其他对应的音频输出设备时。例如,教师可以使用与第二扬声器810的输出配对的耳机,而学生可以收听来自第一扬声器808的音频输出。到教师的输出可以通过耳机同时呈现,而学生可以听到去往第一扬声器808的输出声道。这将允许教师在不干扰学生的情况下听到私人信息,诸如学生输入的答案是否正确。
84.如图8b所示,当计算设备100以第二取向103被取向时,音量控件180和/或音频输出150的位置相对于显示屏140改变。在一些实施方式中,活动应用程序414可以基于取向来控制输入和输出的极性。例如,如图8b所示,当计算设备100以第二取向103被取向时,音量控件180位于计算设备100的右侧。在该实施方式中,音量增大按钮185可以位于音量控件180的顶部,而音量减小按钮183可以位于音量控件180的底部。类似地,音量界面802可以位于音量控件180所就位于的计算设备的外壳105的边缘附近,并且可以调节音量界面802,使得即使屏幕已经相对于屏幕在第一取向101中所处的位置改变了位置,音量增大指示器806仍然在音量界面802的顶部上,并且音量减小指示器804仍然在音量界面804的底部。活动应用程序414可以在软件中标识用于音量增大和音量减小的命令,该输入基于计算设备100的取向来控制硬件。活动应用程序414可以被配置为基于计算设备100如何被定向来更新音量控件的映射,以允许用户总是分别按下音量控件180的顶部来增大音量以及按下音量控件
180的底部来减小音量。通过保持习惯,用户必须控制音量,当计算设备100以不同取向就位时,活动应用程序提供更沉浸式的体验。
85.在一些实施方式中,当计算设备100以在第二位置103被取向时,活动应用程序414还可以更新音频输出。例如,第一扬声器808可以被活动应用程序414识别为右音频输出,第二扬声器810可以被活动应用程序414识别为左音频输出。在进一步的实施方式中,声音质量可以基于扬声器何时位于显示屏140上方而不是位于显示屏140下方而改变。当检测到不同取向时,可以由活动应用程序执行音频简档来改变音频质量,以便改善不同取向上的音频质量。
86.应当理解,上述示例性活动是以说明而非限制的方式提供的,并且本公开设想并涵盖了许多其他使用情况。在以上描述中,出于解释的目的,阐述了许多具体细节,以便提供对本公开的透彻理解。然而,应当理解,可以在没有这些具体细节的情况下实践本文所描述的技术。此外,以框图形式示出了各种系统、设备和结构,以避免使描述不清楚。例如,各种实现被描述为具有特定的硬件、软件和用户界面。然而,本公开适用于可以接收数据和命令的任何类型的计算设备,并且适用于提供服务的任何外围设备。
87.在一些实例中,本文可以按照对计算机存储器内的数据位的操作的算法和符号表示来呈现各种实施方式。在本文中,算法通常被认为是导致期望结果的一组自洽的操作。这些操作是那些需要对物理量进行物理操纵的操作。通常,尽管不是必须的,这些量采取能够被存储、传输、组合、比较和以其他方式操纵的电或磁信号的形式。主要出于共同使用的原因,有时将这些信号称为位、值、元素、符号、字符、术语、数字等已被证明是方便的。
88.然而,应当记住,所有这些和类似的术语都与适当的物理量相关联,并且仅仅是应用于这些量的方便的标签。除非特别声明,否则如从以下讨论中显而易见的,应当理解,贯穿本公开,利用包括“处理”、“计算”、“计算”、“确定”、“显示”等的术语的讨论是指计算机系统或类似的电子计算设备的动作和处理,其操纵计算机系统的寄存器和存储器内表示为物理(电子)量的数据并将所述数据转换为计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内类似地表示为物理量的其它数据。
89.本文描述的各种实施方式可以涉及用于执行本文的操作的装置。该装置可以是为所需目的而专门构造的,或者该装置可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这种计算机程序可以存储在计算机可读存储介质中,包括但不限于任何类型的盘,包括软盘、光盘、cd-rom和磁盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁卡或光卡、包括具有非易失性存储器的usb密钥的闪存或适于存储电子指令的任何类型的介质,所述计算机可读存储介质中的每个都耦接到计算机系统总线。
90.本文所描述的技术可以采取硬件实施方式、软件实施方式或包含硬件和软件元素两者的实施方式的形式。例如,该技术可以在软件中实现,该软件包括但不限于固件、驻留软件、微代码等。此外,该技术可以采取可从计算机可用或计算机可读介质访问的计算机程序产品的形式,该计算机可用或计算机可读介质提供由计算机或任何指令执行系统使用或与其结合使用的程序代码。出于本说明书的目的,计算机可用或计算机可读介质可以是任何非暂态存储装置,所述装置可以包含、存储、通信、传播或传输由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
91.一种适合于存储和/或执行程序代码的数据处理系统可以包括直接或通过系统总线间接耦接到存储器元件的至少一个处理器。存储器元件可以包括在程序代码的实际执行期间采用的本地存储器、大容量存储器和高速缓冲存储器,该高速缓冲存储器提供至少一些程序代码的临时存储,以便减少在执行期间必须从大容量存储器检索代码的次数。输入/输出或i/o设备(包括但不限于键盘、显示器、指点设备等)可以直接或通过中间i/o控制器耦接到系统。
92.网络适配器也可以耦接到系统,以使数据处理系统能够通过中间的专用和/或公共网络耦接到其他数据处理系统、存储设备、远程打印机等。无线(例如,wi-fi
tm
)收发器、以太网适配器和调制解调器仅是网络适配器的几个示例。专用网络和公共网络可以具有任意数量的配置和/或拓扑。可以使用各种不同的通信协议,包括例如各种互联网层、传输层或应用层协议,经由网络在这些设备之间传输数据。例如,可以使用传输控制协议/互联网协议(tcp/ip)、用户数据报协议(udp)、传输控制协议(tcp)、超文本传输协议(http)、安全超文本传输协议(https)、基于http的动态自适应流(dash)、实时流协议(rtsp)、实时传输协议(rtp)和实时传输控制协议(rtcp)、网络电话协议(voip)、文件传输协议(ftp)、网络套接字websocket(ws)、无线接入协议(wap)、各种消息收发协议(sms、mms、xms、imap、smtp、pop、webdav等)或其他已知的协议。
93.最后,本文呈现的结构、算法和/或接口并非固有地与任何特定的计算机或其它装置相关。各种通用系统可以与根据本文的教导的程序一起使用,或者可以证明构造更专用的装置来执行所需的方法块是方便的。各种这些系统所需的结构将从上面的描述中显现。此外,没有参考任何特定的编程语言来描述本说明书。应当理解,可以使用各种编程语言来实现本文所述的说明书的教导。
94.前面的描述是为了说明和描述的目的而给出的。前面的描述并不是穷举的,也不是将说明书限制为所公开的精确形式。根据上述教导,许多修改和变型是可能的。本发明的范围不受该具体实施方式的限制,而是受本技术的权利要求的限制。如本领域技术人员将理解的,在不脱离本说明书的精神或基本特征的情况下,本说明书可以以其它特定形式来体现。同样,模块、例程、特征、属性、方法和其他方面的特定命名和划分不是强制性的或重要的,并且实现说明书或其特征的机制可以具有不同的名称、划分和/或格式。
95.此外,本公开的模块、例程、特征、属性、方法和其他方面可以被实现为软件、硬件、固件或前述的任何组合。此外,无论在哪里将本说明书的组件(其示例是模块)实现为软件,都可以将该组件实现为独立程序、较大程序的一部分、多个单独的程序、静态或动态链接库、内核可加载模块、设备驱动器和/或以现在或将来已知的任何其他方式来实现该组件。另外,本公开绝不限于在任何特定编程语言中或用于任何特定操作系统或环境的实施方式。因此,本公开旨在说明而非限制所附权利要求中阐述的主题的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献