用于显示模块的端到端相机架构的制作方法

1.本文所述的主题涉及一种用于具有两个前置相机模块的计算设备的显示模块及其使用方法。


背景技术：

2.传统的移动设备通常包括单个前置相机，例如，可用于视频聊天和自拍。此类相机通常位于设备的显示模块的显示有效区域之外，诸如在显示器的边框中，或在靠近显示有效区域边缘的凹口或孔口中。当用户注视显示屏中心时，例如，在视频聊天期间，前置相机会以一定角度捕捉用户的图像，而不是直视相机。此类图像通常是不可取的，诸如在视频聊天期间。
3.确保用户在直接面对显示器时直视前置相机的一种解决方案是将相机放置在显示器的中心。然而，由于相机通常需要对其对象的视线畅通无阻以提供清晰的图像，诸如解决方案涉及在显示有效区域的中央制作孔口，所以这是不期望的。


技术实现要素：

4.本公开的特征在于一种显示模块，其具有在计算设备的相对边缘处的两个(或更多)前置相机模块。通过使用由两个相机模块采集的图像，当用户直视显示器时，可以生成用户的图像，就好像他/她正直视相机模块的镜头一样。
5.一方面，描述了一种显示模块，显示模块包括多个层，所述多个层包括具有显示有效区域的显示面板和结合到显示面板的后盖板。显示模块进一步包括在显示面板的显示有效区域的第一端上的第一孔口。第一孔口被构造用以接收第一相机模块。显示模块进一步包括在显示面板的显示有效区域的第二端上的第二孔口。第二孔口被构造用以接收第二相机模块。所述多个层中的第一层设计为围绕后盖板折叠。显示模块包括第三孔口，当第一层围绕后盖板折叠时，通过对多个层中的两层或更多层进行冲压而产生第三孔口，使得第三孔口与第二孔口对齐。第三孔口被设计成接收第二相机模块。应注意，短语“被构造用以接收
…”
在本文描述的一些实施方式中可以表示“被构造成用于
…”
。也就是说，在一些示例中，第一、第二和第三孔口中的任何一个可不一定“物理地”在孔口本身内接收相机模块的一部分，而是可以代替地提供透明窗口，光可以行进通过该透明窗口，使得所述光可以到达相机模块。参考第二孔口提及的第二相机模块可以是参考第三孔口提及的同一第二相机模块。也就是说，同一第二相机模块可以被构造用以接收已经穿过第二和第三孔口两者透射的光。
6.在一些实施方式中，可以单独或以任何可行的组合实施以下一项或多项。第一层是显示面板。在一个示例中，所述多个层进一步包括结合到显示面板的基板。被冲压以产生第三孔口的两个或更多层包括显示面板、后盖板和基板。基板是薄膜。在另一示例中，被冲压以产生第三孔口的两个或更多层包括显示面板的一部分和后盖板。所述多个层进一步包括结合到显示面板的基板。被冲压以产生第三孔口的两个或更多层不包括基板和位于基板
与后盖板之间的显示面板的另一部分。
7.在一个实例中，显示模块进一步包括有利于显示面板的显示有效区域的显示驱动器集成电路。第三孔口在显示驱动器集成电路与显示面板的折叠的一部分之间。在另一实例中，显示模块进一步包括有利于显示面板的显示有效区域的显示驱动器集成电路，以及经由结合焊盘连接到显示面板的柔性印刷电路板。在该实例中，第三孔口位于显示驱动器集成电路与结合焊盘之间。
8.在另一示例中，第一层是结合到显示面板的基板。基板为薄膜。在这样的示例的一个实例中，所述多个层进一步包括结合到显示面板的基板，并且被冲压以产生第三孔口的两个或更多层包括显示面板、后盖板和基板。在另一实例中，被冲压以产生第三孔口的两个或更多层包括基板和后盖板的一部分。被冲压以产生第三孔口的两个或更多层不包括基板和显示面板的另一部分。
9.显示模块进一步包括有利于显示面板的显示有效区域的显示驱动器集成电路。在一些示例中，显示驱动器位于基板上，并且第三孔口位于显示驱动器集成电路和显示面板的折叠的部分之间。在其他示例中，显示驱动器位于基板上，基板经由结合焊盘连接到柔性印刷电路板，第三孔口在显示驱动器集成电路和结合焊盘之间。
10.另一方面，描述了一种装置，包括在显示面板的显示有效区域的第一端上的第一孔口和在显示面板的显示有效区域的第二端上的第二孔口。第一孔口被构造用以接收第一相机模块，第二孔口被构造用以接收第二相机模块。显示有效区域的第一端和第二端中的每一个的发射像素密度低于在显示有效区域的其他区域中的发射像素密度。在可行情况下，一个方面的可选特征可以与任何其他方面相结合。而且，在可行情况下，本文所述的方面可以与其他方面相结合。
11.本文所述的主题提供了许多优点。例如，本文所述的显示模块的结构允许将两个或更多相机模块装配在显示器的显示有效区域内，这进而允许产生用户从相机模块向屏幕中心看去的图像，就像用户正看向相机模块一样。这样的图像通常是比用户没有直视相机模块的图像更期望的，尤其是在视频聊天等活动期间。
12.本文所述的主题的一个或多个变体的细节在附图和以下描述中阐述。本文所述的主题的其他特征和优点将从描述、附图和权利要求中变得显而易见。
附图说明
13.图1是示例设备的示意图，其具有带有两个前置相机模块的显示模块和数据处理装置。
14.图2是在孔口(“相机窗口”)处或附近的图1中所示的显示模块的一部分的横截面图，所述孔口被构造用以通过显示器的有效区域容纳相机模块之一(这里是图1的顶部孔口，用以接收图1的顶部相机模块)。
15.图3a是示例显示模块的前视图，包括具有两个前置相机模块的显示面板和联接到显示面板并且将被折叠(即，弯曲)在显示面板的一部分下方的接口模块。
16.图3b是图3a中所示的显示模块的后视图，并示出了图3a的接口模块已经被折叠并置于显示面板的一部分下方。
17.图4a是显示模块的另一示例的前视图，该显示模块包括图3a中所示的显示面板和
可替选接口模块，该可替选接口模块被联接至显示面板并被折叠在显示面板的一部分下方。
18.图4b是图4a中所示的显示模块的后视图，并示出了图4a的接口模块已被折叠并置于显示面板的一部分下方。
19.图5是示例显示模块的边缘部的横截面图，该边缘部位于将通过制造/冲压出孔而放置前置相机模块的位置处。
20.图6a至图6b示出了图3a和图3b中所示的显示模块的边缘部的示例，每个示例具有用于容纳前置相机模块的不同构造。
21.图7a至图7b示出了图4a和图4b中所示的显示模块的边缘部的示例，每个示例具有用于容纳前置相机模块的不同构造。
22.图8a示出了显示模块的又另一示例的前视图，该显示模块包括带两个前置相机模块的显示面板和另一可替选接口模块，该另一可替选接口模块联接至显示面板并被折叠在显示面板的一部分下方。
23.图8b是图8a中所示的显示模块的后视图，并示出了图8a的接口模块已经被折叠并置于显示面板的一部分下方。
24.图9a是显示模块的另一示例的前视图，该显示模块包括显示面板和另一可替选接口模块，该另一可替选接口模块联接至显示面板并被折叠在显示面板的一部分下方。
25.图9b是图9a的显示模块的后视图，并示出了图9a的接口模块已经被折叠并置于显示面板的一部分下方。
26.图10是另一示例显示模块的边缘部的横截面图，该边缘部在显示模块上的将通过制造/冲压孔而放置前置相机模块的位置处。
27.图11a至图11b示出了图8a和图8b中所示的显示模块的边缘部的示例，每个示例具有用于容纳前置相机模块的不同构造。
28.图12a至图12b示出了图4a和图4b中所示的显示模块的边缘部的示例，每个示例具有用于容纳前置相机模块的不同构造。
29.图13a至图13d示出了示例显示模块，其中显示面板在其中放置前置相机模块的区域中具有不同像素密度的区域。
30.各个图中相同的附图标记指示相同的元件。
具体实施方式
31.图1示出了计算设备102，包括：显示模块104，其具有两个前置相机模块106和108；和数据处理装置110(例如，包括一个或多个处理单元，诸如一个或多个cpu和/或gpu)。如图所示，计算设备102可以是智能手机。在其他实施方式中，计算设备102可以是平板计算机、平板计算机、膝上型计算机、台式计算机，使用显示模块的任何其他计算设备，和/或其任何组合。
32.显示模块104包括在显示有效区域(即，由用于生成显示图像的像素组成的显示器部分)中、分别靠近显示有效区域的顶部边缘和底部边缘的的孔口107和109(也称为相机窗口)。相机模块106和108各自定位在对应孔口处，并且从各自的视野内接收透射过对应孔口的光。
33.相机模块106和108中的每一个通常包括镜头、控制电子设备和用以与计算设备102的其他组件通信的接口，诸如相机串行接口(csi)、以太网或低压差分信号(lvds)。
34.当用户112参与交互式会话(例如，视频聊天)或使用设备102自拍时，相机模块106和108两者同时采集用户112(例如，用户112的面部)的一个或多个图像。例如，当采集视频片段时，相机模块106和108中的每一个以特定帧速率采集图像，例如，从每秒20幅图像到每秒120幅图像。当用户112注视显示模块104的中心时(如图所示)，这在这种交互式会话期间是典型的，由相机模块106采集的图像来自用户112注视相机模块下方的点的视角，并且由相机模块108采集的图像来自用户112注视相机模块上方的点的视角。换言之，两个相机模块都没有采集用户直接注视相机模块的镜头的图像。
35.在交互式会话中，诸如在视频聊天期间，通常期望呈现在显示器上的参与者的图像看起来好像这个人正在注视相机模块的镜头，以便参与者看起来好像他们在面对面交流一样。然而，对于仅具有偏移到显示器边缘的单个前置相机模块的设备，当用户正在注视显示器时，相机模块从某个角度捕捉用户的图像。例如，如果计算设备102仅具有相机模块106(而没有相机模块108)，则所采集的图像将显示用户112在向下看，而不是看向交互式会话中的实体。如果计算设备102仅具有相机模块108(而没有相机模块106)，则所采集的图像将显示用户112在向上看，而不是看向实体。
36.类似地，在拍摄自拍照片时，人们通常更优选拍摄对象直视相机模块镜头的图像。然而，用户在自拍时往往倾向于注视设备的显示器的中心。
37.在设备102的相对边缘处设置前置相机模块106和108，允许设备同时从对象的两侧采集图像。利用这些图像，数据处理装置110从两个相机模块接收那两个图像，并处理那些图像以生成经处理的图像，经处理的图像是两个实际图像的合成，并且看起来好像用户正注视相机模块的镜头。
38.类似地，在使用视频图像的交互式会话中，相机模块以一定的帧速率随时间采集图像，并且数据处理装置110处理来自两个相机模块的同时帧以生成合成视频，并将合成视频流传输到与用户112通信的实体。在合成视频中，用户看起来好像用户112在看向显示器而不是看向显示器上方或下方。
39.虽然计算设备102具有两个前置相机模块104和108，但是在一些实施方式中，更一般地，计算设备可以具有也联接到数据处理装置110的附加前置相机模块。此外，在一些实施方式中，相机模块106、108和/或其他相机模块的位置可以变化。例如，虽然相机模块106和108位于显示面板的顶部边缘和底部边缘处，但在某些实施方式中，相机模块可以位于显示器的侧边缘上。
40.图2示出了具有孔口107和相机模块106的显示模块104的边缘201的横截面图。显示模块104是多层设备，包括显示面板208(例如，有机发光二极管(oled)面板)、堆叠在面板顶部上的一个或多个薄膜206(例如，偏光片、四分之一波片)。模块104还包括后盖板210和薄膜206顶部上的盖板玻璃204。孔口107延伸穿过后盖板210、面板208和薄膜206，但是盖板玻璃204在孔口上方延伸，为相机模块106提供窗口202。在一些实施方式中，后盖板210可以包括附加的缓冲片。通过在薄膜206、面板208和后盖板210上冲孔或打孔，可以在显示模块104内产生孔口107。
41.通常，显示面板与接口模块接合，接口模块包括附加组件以生成和传递用于控制
显示面板中的像素的信号。例如，显示模块可以包括经由柔性印刷电路板附接到显示面板的集成电路，当模块被安装在计算设备中时，该柔性印刷电路板可以在显示器后面折叠(即，弯曲)。图3a示出了显示模块301的前视图，显示模块301包括面板208，面板208具有用于相应的相机模块(在该图中未示出)的顶部孔口316和底部孔口318。显示模块301还包括显示模块301的底部边缘处的接口模块302。接口模块302可以是接口板，该接口板包括用于将接口模块302折叠在显示面板308后面的面板弯曲区域304。面板弯曲区域304在所示构造中未折叠。接口模块302进一步包括显示驱动器集成电路(ic)306、柔性印刷电路板(pcb)308以及结合焊盘310，结合焊盘310将包括显示驱动器ic 306的面板区域与柔性pcb 308联接。接口部302的包括显示驱动器ic 306的部分进一步包括孔口312，孔口312的位置和尺寸被设计成接收被安装在孔口318处的前置相机模块。柔性pcb 308也包括连接器314，连接器314将显示模块301与显示模块301安装在其中的计算设备的其他组件连接(例如，用于来自设备中的数据处理单元的电功率和控制信号)。
42.图3b是显示模块301的后视图，并且示出了已经被折叠并放置在显示面板208的一部分下方的接口模块302。由于孔口312是在接口模块302折叠时被冲压的，所以该孔口必然与孔口318重叠。
43.图4a是另一示例显示模块401的前视图，显示模块401包括显示面板208，显示面板208具有：孔口416和418，以容纳相机模块(图中未示出)；和接口模块402(是接口模块302的替选)。接口模块402包括面板弯曲区域404(与面板弯曲区域304相同或相似)，面板弯曲区域404在所示构造中尚未折叠。第二结构402进一步包括：显示驱动器集成电路(ic)406(与显示驱动器ic 306相同或相似)；柔性印刷电路板(pcb)408(与柔性pcb 308相同或相似)；结合焊盘410(与接合焊盘310相同或相似)，以将包括显示驱动器ic 406的面板区域与柔性pcb 408联接。包括显示驱动器ic 406的面板区域进一步包括孔口412，该孔口412被构造用以接收相机模块108。在该实施方式中，孔口412在显示驱动器ic 306上方(与在显示驱动器ic下方的孔口312不同)。柔性pcb 308具有连接器414(与连接器314相同或相似)，连接器414将显示模块401与显示模块401安装在其中的计算设备的其他组件连接(例如，用于来自设备中的数据处理单元的电功率和控制信号)。
44.图4b是显示模块401的后视图，并示出了已经被折叠并置于显示面板208的一部分下方的接口模块402。由于孔口412是在接口模块402折叠时被冲压的，所以该孔口必然与孔口418重叠。
45.图5是显示模块104的边缘部501(与图2中所示的边缘部201不同)的横截面图，该边缘部501在将通过制造/冲压出孔而放置前置相机模块108的位置处。在图6a至图7b中示出了冲压出的孔，其讨论如下。
46.图6a示出了显示模块301的边缘部501的横截面图，显示模块301具有孔口312/318以容纳前置相机模块108。在该实施方式中，孔口312/318被冲压穿过面板208以及薄膜206、后盖板(可以包括附加的缓冲片)210以及面板208的折叠部。
47.图6b示出了在相机模块108被放置在其中的位置处的显示模块301的边缘部501(与图2中所示的边缘部201不同)的横截面图。该变体针对其中面板208具有足够高的透射率(即，透射率比图6a的实施方式中的相应透射率高10％或更多，诸如20％、30％、40％等)，以实现相机模块108的有效性能的情况。可以通过降低孔口312/318被布置在其中的显示有
效区域的部分中的各种组件(例如，形成像素电路、信号线、电源线、oled电极等并且可以以一种或多种图案布置的金属元件)的密度，来获得该足够高的透射率。在该变体中，孔口312/318仅在后盖板(可以包括附加的缓冲片)210和面板208的折叠部中被冲压，而不穿过面板208的主要部分。
48.图7a示出了显示模块401的边缘部501(与图2中所示的边缘部201不同)的横截面图，显示模块401具有用以容纳相机模块108的孔口412/418。在该变体中，孔口412/418被冲压穿过面板208以及薄膜206、后盖板(可以包括附加的缓冲片)210以及面板208的折叠部。
49.图7b示出了显示模块401的边缘部501(与图2中所示的边缘部201不同)的横截面图，显示模块401具有用以容纳相机模块108的孔口412/418。该变体针对其中面板208具有足够高的透射率(即，透射率比图6a的实施方式中的相应透射率高10％或更多，诸如20％、30％、40％等)，以实现相机模块108的有效性能的情况。可以通过降低孔口412/418被布置在其中的显示有效区域部分中的各种组件(例如，形成像素电路、信号线、电源线、oled电极等并且可能以一种或多种图案布置的金属元件)的密度来获得足够高的透射率。在该变体中，孔口412/418仅在后盖板(可以包括附加的缓冲片)210和面板208的折叠部中被冲压，而不穿过面板208的主要部分。
50.图8a示出了另一显示模块801的前视图，显示模块801包括：(a)显示面板208，其具有被设计成容纳前置相机模块(该图中未示出)的两个孔口816和818；和(b)另一接口模块802，其联接至显示面板208并被折叠在显示面板208的一部分下方。接口模块802包括薄膜弯曲区域804，其在所示构造中尚未折叠。薄膜弯曲区域804经由结合焊盘805联接到面板208。接口模块802进一步包括显示驱动器集成电路(ic)806、柔性印刷电路板(pcb)808、联接包括显示驱动器ic 806的薄膜区域与柔性pcb 808的结合焊盘810。包括显示驱动器ic 806的薄膜区域进一步包括被构造用以接收相机模块108的孔口812。在该实施方式中，孔口812在显示驱动器ic 806下方。柔性pcb 808具有连接器314，以将显示模块801与显示模块801被安装在其中的计算设备的其他组件连接(例如，用于来自设备中的数据处理单元的电功率和控制信号)。
51.图8b示出了显示模块801的后视图，并示出了已经被折叠并置于显示面板208的一部分下方的接口模块802。由于孔口812是在接口模块802折叠时被冲压的，所以该孔口必然与孔口818重叠。
52.图9a示出了另一显示模块901的前视图，显示模块包括：(a)显示面板208；和(b)另一接口模块902(是接口模块802的替选)，其联接至显示面板208并被折叠在显示面板208的一部分下方。接口模块902包括薄膜弯曲区域904(与薄膜弯曲区域804相同或相似)，其在所示构造中尚未折叠。薄膜弯曲区域904经由结合焊盘905(与结合焊盘805相同或相似)联接到面板208。接口模块902进一步包括显示驱动器集成电路(ic)906(与显示驱动器ic 806相同或相似)、柔性印刷电路板(pcb)908(与柔性pcb 808相同或相似)、联接包括显示驱动器ic 906的薄膜区域与柔性pcb 908的结合焊盘910(与结合焊盘810相同或详细)。包括显示驱动器ic 906的薄膜区域进一步包括被构造用以接收相机模块108的孔口912。在该实施方式中，孔口912在显示驱动器ic 906上方(与在显示驱动器ic 806下方的孔口812不同)。柔性pcb 908具有连接器914(与连接器814相同或相似)，以将显示模块901与显示模块901安装在其中的计算设备的其他组件连接(例如，用于来自设备中的数据处理单元的电功率和
控制信号)。
53.图9b示出了显示模块901的后视图，并且示出了已经被折叠并置于显示面板208的一部分下方的接口模块902。由于孔口912是在接口模块902折叠时被冲压的，所以该孔口必然与孔口918重叠。
54.图10是显示模块104的端部1001的横截面图，端部1001在将通过制造/冲压出孔口而放置相机模块108的位置处。在图8a至图9b中示出了冲压出的孔口，其讨论如下。与其中面板208被折叠的图5的显示模块104不同，图10的显示模块104进一步包括替代面板208被折叠的薄膜1002——可以是与膜上芯片(cof)技术相关联的薄膜，其在本文中也称为cof膜。
55.图11a是显示模块801的边缘部501的横截面图，其具有用以容纳前置相机模块108的孔口812/818。在该实施方式中，孔口812/818被冲压穿过面板208以及薄膜206、后盖板(可以包括附加的缓冲片)210以及薄膜1002的折叠部。
56.图11b是在相机模块108放置在其中的位置处的显示模块801的边缘部501(与图2中所示的边缘部201不同)的横截面图。在该变体中，孔口812/818仅在后盖板(可以包括附加的缓冲片210)和薄膜1002的折叠部中被冲压，而不穿过薄膜206。
57.图12a是显示模块901的边缘部501(与图2中所示的边缘部201不同)的横截面图，其具有用以容纳相机模块108的孔口912/918。在该变体中，孔口912/918被冲压穿过面板208以及薄膜206、后盖板(也可以包括附加的缓冲片)210以及薄膜1002的折叠部。
58.图12b是具有孔口912/918以容纳相机模块108的显示模块901的边缘部501(与图2中所示的边缘部201不同)的横截面图。在该变体中，孔口912仅被冲压穿过后盖板(也可以包括附加的缓冲片)210，但不穿过面板208或薄膜206。
59.图13a至图13d示出了相机模块108被放置在其中的区域中的发射像素的密度。当相机模块108捕捉图像时，在相机窗口区域1304处的面板208可以不被冲压穿过(如上文在图6a、图6b、图7a、图7b、图11a、图11b、图12a和图12b中所述的)而产生孔口，而是可以在相机窗口1304位于其中的显示有效区域的部分中具有较低密度的各种组件(例如，形成像素电路、信号线、电源线和oled电极等，并且可以以一种或多种图案布置的金属元件)。在相机窗口1304的区域处的这种较低密度可以使得通过相机窗口1304的高透射率(例如，透射率高于面板的显示有效区域的其他部分)能够有效地起作用。
60.图13a示出了面板208的显示有效区域的第一部1302，以及该显示有效区域的第二部1304。第二部1304是相机模块106和108被放置在其中的区域。图13b示出了第一部1302的像素密度。图13c示出了第二部1304中的发射像素密度的一种可替选实施方式，其中，相机窗口区1304中的一部分像素电路被移除，以提高穿过面板的透射率。图13d示出了另一种可替选实施方式，其中相机窗口区1304中的所有有效像素都被移除以提高(例如，最大化)透射率。图13c和图13d的那两种实施方式涉及部分或完全移除在窗口区中的像素，这两种实施方式防止切穿显示模块来产生孔口，这又减小了显示模块中的相机窗口1304周围的非发射边框区。在显示面板、前薄膜和盖板窗口未被冲压穿过的情况下，应冲压穿过显示面板的底部上的任何不透明层(例如，后盖板薄膜、缓冲片等)，以向相机提供透明的相机窗口。
61.虽然所有相机模块都被描述为装配在显示模块的显示有效区域内，但是在可替选实施方式中，至少一个相机模块可以装配在显示有效区域之外(例如，在各种实施方式中，
相机模块可以装配在显示有效区域的边缘附近的边框、凹口或孔口内)。此外，虽然将两个相机模块被描述为每个设备都被装配在显示模块中，但是本文所述的技术和过程可以扩展/缩放以使在显示有效区域之内和/或之外，每个设备包括任何数量的相机模块。
62.可以以数字电子电路、集成电路、专门设计的应用程序专用集成电路(asic)、计算机硬件、固件、软件和/或其组合来实现/实施本文所述的主题的各种实施方式。这些各种实施方式可以以一个或多个计算机程序实现。这些计算机程序可以在可编程系统上执行和/或解释。可编程系统可以包括至少一个可编程处理器，其可以具有特殊用途或通用用途。至少一个可编程处理器可以联接到存储系统、至少一个输入设备和至少一个输出设备。至少一个可编程处理器可以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且可以将数据和指令传输到存储系统、至少一个输入设备和至少一个输出设备。
63.这些计算机程序(也称为程序、软件、软件应用程序或代码)可以包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言来实现。本文中使用的术语“机器可读介质”可以指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(pld))，包括可以接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”可以指用于向可编程处理器提供机器指令和/或数据的任何信号。
64.为了提供与用户的交互，本文所述的主题可以在计算机上实现，计算机可以在显示设备上向一个或多个用户显示数据，显示设备诸如为阴极射线管(crt)设备、液晶显示器(lcd)监视器、发光二极管(led)监视器、有机发光二极管(oled)设备或任何其他显示设备。计算机可以经由键盘、鼠标、轨迹球、操纵杆或任何其他输入设备从一个或多个用户接收数据。为了提供与用户的交互，还可以提供其他设备，诸如基于用户反馈操作的设备，其可以包括感官反馈，诸如视觉反馈、听觉反馈、触觉反馈和任何其他反馈。可以以任何形式接收来自用户的输入，诸如声音输入、语音输入、触觉输入或任何其他输入。
65.尽管上文已经详细地描述了一些变体，但是其他修改也是可能的。例如，不同的替选实施方式可以单独使用，也可以以任何可行的组合进行组合。此外，本文所述的逻辑流程可能不需要所示的特定顺序或为顺序来实现期望的结果。其他实施方式可能在所附权利要求的范围内。