使用多个分立显示器增加显示区域的系统以及方法与流程

使用多个分立显示器增加显示区域的系统以及方法
1.本技术是中国专利申请号为201810837161.4、申请日为2018年7月26日、优先权日为2017年7月31日和2018年7月25日的发明专利申请的分案申请。
技术领域
2.本公开涉及集成诸如多个手持电子设备的多个分立显示器、以在多个显示器上显示一个图像或者多个图像的系统和方法，其中每个显示器呈现图像的唯一部分。


背景技术：

3.手持电子设备随处可见。绝大多数人具有一个或多个移动或手持电子设备，每个设备具有不同的屏幕或者显示器尺寸。人们已经开始将这些手持电子设备集成到它们日常的面对面交互中，例如与朋友和家人分享照片或者在办公室或商业环境中进行演示。有时，单个屏幕或显示器太小而无法完全了解图像、文档或者演示的细节。


技术实现要素：

4.本公开涉及允许多个分立设备的用户将设备定位成彼此相邻来创建一个更大的显示器的系统和方法。例如，单个图像可以在四个相邻的设备上被显示，以增加在其上观察该图像的显示器的尺寸。视频可以在多个设备上被显示。这可以在分享静态图像或者视频时增强用户体验。
附图说明
5.图1是根据本公开的实施例的第一和第二移动电子设备的视图；
6.图2是根据本公开的被包括在移动电子设备内的部件的框图；
7.图3a
‑
3b是根据本公开的实施例的第一和第二移动电子设备的视图；
8.图4是根据本公开的实施例的不同尺寸的第一和第二移动电子设备；
9.图5是根据本公开的实施例的使用的多个电子设备；
10.图6是根据本公开的一个实施例的、示出提供通过多个移动电子设备的多个单独屏幕形成的拼接屏幕的方法的功能框图。
11.图7a和7b是根据本公开的一个实施例的、更详细地示出由图6的主代理和生产者代理实施的设置以及生产者内容分配过程的流程图；以及
12.图8是以像素级别示出由图6中的多个消费者代理形成的拼接屏幕的像素的配置或布置的图。
具体实施方式
13.图1包括第一移动电子设备100和第二移动电子设备102。在标准移动电子设备中，图像104存储在移动电子设备100、102中的一个上，并且仅在存储该图像的一个移动设备上是可显示的，使得当仅在存储该图像的一个移动设备的屏幕上显示时，图像104相对较小。
如果两个用户一起观察该图像时，则以更大的格式(例如，在两个屏幕上)观察图像104可以是有优势的。本公开为用户提供了在观察图像104时的这种灵活性。
14.本公开还涉及在多个显示器上显示单个图像或者视频，其中的显示器相互之间进行关于定向以及屏幕分辨率的通信并且确定如何在多个显示器上划分并且显示图像或视频。例如，显示器可以是“智能监视器”或者“智能屏幕”，其中每个显示器包括定向传感器(例如，加速度计或陀螺仪)以及用以传输和交换各自定向和显示器性质的无线通信电路。
15.多个显示器，无论是相邻蜂窝手机上的多个屏幕还是布置在墙上的多个监视器，图像104可以以若干个部分被显示，例如，在图1中，其在第一移动电子设备100上示出了第一部分104a并且在第二移动电子设备102上示出了第二部分104b。本文所用的术语“移动电子设备”是指可以在不同位置之间容易地进行传递的任何类型的便携式电子设备。
16.首先，移动电子设备可以包括蜂窝手机、移动手机、具有或者不具有物理键盘的膝上型计算机、平板计算机、或者是具有显示器的任何电子设备，例如监视器或者屏幕。许多当前的移动电子设备通过限制移动电子设备四周边缘的结构框架来最大化显示区域。例如，在图1中，移动电子设备100、102具有扩展到框架112的边缘110的显示区域108。这种显示区域可以被称为无边框设计。无论在移动电子设备边缘处存在多大的框架，本公开都提供了通过利用多个相邻的显示器来增加显示区域。
17.每个移动电子设备都包括提供移动电子设备的功能的多个电子芯片或者部件。例如，如图2所示，电子设备200包括处理器202。该处理器可以是单个的处理器或者是包括多个处理器，例如，中央处理器、图形处理单元、微处理器、或者单独或一起提供电子设备的功能的其他任何类型的集成电路或者专用集成电路。
18.电子设备200还包括多个传感器204，其包括陀螺仪206、加速度计208、麦克风210、图像传感器212(例如，相机)、以及飞行时间(tof)(范围检测传感器)中的一个或多个。这些传感器中的每一个与处理器进行通信。
19.电子设备200包括无线通信模块216以及蜂窝通信模块218。一些无线通信选项包括蓝牙、wifi、以及近场通信(nfc)。设备200包括存储器220和电源管理模块222。
20.显示模块224包括触摸屏或者其他屏幕，其中的触摸屏或者其他屏幕向用户提供可视化交互界面以及任何其他图形用户界面，用户可以在可视化交互界面上查看文档、图像(静态或者视频)。显示器可以能够或者被配置为接收来自用户的手指或者触摸笔的输入。
21.移动电子设备包括用以操作移动电子设备的合适的软件、硬件、以及固件。软件包括通过使用移动设备中的各种传感器接收关于环境的数据和来自用户的输入的指令以及算法。每个移动设备可以具有嵌入在移动设备中的操作系统，该操作系统提供了使用与移动电子设备内的传感器以及其他部件集成的应用(app)的功能。
22.图3a是具有框架302的第一移动手机300的示例。屏幕304被定位在框架302内并且是交互式触摸显示屏幕，其中用户可以使用其手指或者触摸笔进行选择或者与屏幕进行交互。框架具有与第二端308相对的第一端306。第一端306包括穿过框架的开口，该开口暴露内部印刷电路板的容纳了各种电子部件(诸如相对于图2所描述的那些电子部件)的部分。扬声器310居中地定位在第一端306。相机或者图像传感器模块312被定位在扬声器310的一侧，并且飞行时间传感器314被定位到扬声器310的另一侧。
23.第二端308包括按键316，其可以是将显示返回到主页界面或者默认界面的“主页”按键。在第二端308上存在其他交互式表面318、320。麦克风322被定位成通过第二端的外部表面来接收声音。
24.移动手机300的框架的第一侧324包括按键326。框架的第二侧328包括两个按键：330、332，其可以是音量控制按键。与第一端和第二端的表面区域相比，第一侧和第二侧具有少量的框架区域。这些电子设备的边缘可以被称为边框。
25.图3a被示出为具有直升机尾部的一部分的图像330，其尾部上显示有呼号n407vs。用户可以选择与另一个用户共享该图像。图3b包括两部手机，来自图3a的第一手机300以及第二手机332。在图3b中的第一手机和第二手机是相同类型的手机，即，由相同的制造商制造并且具有相同的屏幕尺寸和内部部件。注意，可以使用不同屏幕尺寸和不同制造商的手机来实施本公开，这将在以下进行详细描述。
26.在图3b中，来自图3a中的第一手机300的图像329的第一部分330a被显示在第一手机300上并且第二部分330b被显示在第二手机332上。通过使用两部相邻的手机加倍了屏幕或者显示器尺寸。下文中详细描述用于在两部手机或者在两部以上手机之间传送此过程的方法。
27.图4具有与第三手机350相邻的来自图3a和3b的第一手机300，其中第三手机350与第一手机300相比，具有不同的屏幕或者显示器尺寸。本公开中描述的方法和系统允许第一手机与第三手机关于其各自的显示器尺寸以及定向中的每一项进行无线通信。多个手机中的一部手机是在两个或更多的屏幕上显示图像的发起或者控制手机。发起手机将发送回显信息(ping)或者以其他方式来确定在发起手机的阈值距离内的手机数目。然后，发起手机将收集来自阈值距离内的手机的定向和屏幕尺寸信息，以及来自阈值距离内的每个手机的其他信息，例如，手机屏幕的长宽比、屏幕的像素密度、以及表示了指示屏幕的水平和垂直尺度的像素尺度的像素术语。然后，发起手机处理图像以确定其图像可以被分割以在多个手机上显示图像的部分的数目。
28.例如，在图4中，第一手机300可以是的发起手机，其具有在多于一个手机上显示来自图3a的图像329的用户指令。第一手机300标识第三手机350在第一手机的阈值距离或者范围内。第三手机350将显示器尺寸和定向信息传输到第一手机。显示器尺寸信息将取决于当前在手机上激活的应用以及用户指令。定向信息由被包括在第三手机350中的陀螺仪和加速度计收集以及输出。可以使用蓝牙、近场通信、或者其他无线传输技术来传送此信息。
29.在第一手机收集关于第一手机和第三手机的不同操作参数的信息时，作为发起手机的第一手机确定了第三手机的屏幕尺寸小于第一手机的屏幕尺寸。第一手机的处理器或者操作系统确定图像329的第一部分352用于在第一手机上显示以及图像329的第二部分354用于在第二手机350上显示。发起手机，此例中的第一手机，随后将图像信息传输到第二手机。该信息可以是将要被显示的图像的一部分或者可以是具有将使第三手机能够处理以及显示图像的正确部分的信息的整个图像。
30.第一手机300调整图像的第一部分352的尺寸，使得第一尺度356和第二尺度358对应于第三手机350的第一尺度360和第二尺度362。
31.图5是多个设备的额外配置，其中多个设备一起可以在多个设备上显示单个图像或者视频。多个设备包括第一手机500、第二手机502、第三手机504、以及第四手机506。多个
手机被布置成第二手机502定位在第一手机500的右侧。第三手机504被定位在第一手机500的底侧。第四手机506被定位在第二手机502的底侧并且在第三手机504的右侧。设想了其他布置，并且可以包括以线性方式对准的多个设备，这可以有益于观看详细的全景照片。另外，代替四个手机，多个设备可以是多个平板计算机或者是手机、平板计算机，以及其他电子设备的混合。
32.由处于共享显示操作模式的设备确定多个设备的布置。手机可以自动标识其接近或者物理地触碰到另一个支持显示的设备。这样，共享显示操作模式可以被启用，以在满足多个共享显示参数时自动激活共享显示。备选地，共享显示操作模式可以是由用户激活的特征，例如在图像查看应用中或者在设备的设置部分中。
33.共享显示参数可以包括用户激活的共享屏幕设置，或者其可以被自动激活(例如，当两个能够共享屏幕的设备被定位在彼此邻近处时)。例如，基于从各自的多个传感器手机的信息，每个移动电子设备可以确定该移动电子设备是否定位在桌子上而不是被保持在用户的手中或者在用户的口袋内。如果移动电子设备确定该移动电子设备处于稳定的阈值内，即，不在口袋或者包中，则满足了第一共享显示参数。稳定阈值可以包括移动范围，该移动范围包括以相对固定的位置保持在用户手中。
34.被启用的移动电子设备可以周期性的发送回显信息或者轮询周围的设备以查看其是否被启用以用于共享显示设置。如果两个或更多个电子设备确定其彼此接近(例如，彼此在一英寸以内)，并且被保持在稳定阈值以内，则其可以激活共享图像模式。这可以包括操作认证协议，该认证协议可以交换定向和显示分辨率信息，以准备在多个屏幕上显示图像。
35.一旦设备处于共享显示操作模式，则设备被激活以检测具有启用的共享显示操作模式的另一设备的存在。此模式可以被认为是“屏幕组合模式”。
36.在一个实施例中，由用户提供每个设备的位置。例如，在第一手机500上，用户可以点击右下角，例如，在x 508上。对于第二手机502，用户点击屏幕的左下角，例如x 510。对于第三手机504，屏幕的右上角被触摸，例如x 512。类似地，对于第四手机506，屏幕的左上角被触摸，例如x 514。此功能可以由被包括在大多数现代智能手机中的触摸屏幕传感器来提供，使得可以标识触摸的一般位置，这可以指示四个手机的定向。
37.备选地，每个手机的加速度计可以检测屏幕上的点击或者相应手机的框架。加速度计可以确定来自用户的点击的位置，例如与左下角相比的右上角。
38.加速度计、陀螺仪、麦克风以及其他传感器的组合可以备选地检测手机到手机的碰触，即，代替用户点击屏幕或者框架的一部分来标识每个手机相对于彼此的定向，手机可以检测其已经被定位成彼此相邻。在处理器或者相关的专用集成电路中处理的加速度计和陀螺仪算法可以确定接触是沿着设备的与屏幕相对的表面产生的。
39.例如，在图5中，在第一手机500和第二手机502之间的边界或者交互表面516可以由在每个手机中的各自的加速度计或者陀螺仪来标识。结合麦克风，麦克风可以检测并且确定彼此接触(与将手机设置在表面上相比)的金属框架或者壳体之间的差异。例如，沿着第二手机502的左手侧检测到的碰触结合由麦克风检测到的金属或者壳体到壳体类型声音的读取可以向手机指示其位于另一手机的相邻位置。结合共享显示操作模式的该指示将为手机提供足够的信息以继续下一阶段的分析，以沿着此路径来创建使用相邻手机的更大的
显示器。
40.将要在更大的显示器中使用的每个手机相对于其他手机的定向和相对位置将被至少传送到发起手机。备选地，手机中的每一个可以与其他手机进行关于其各自定向的通信。另外，手机将传送其各自具有的参数，例如屏幕分辨率、屏幕区域、处理器信息，例如任何相关的图像处理和显示参数，以及无线通信协议参数。
41.一旦图像被选择以共享，则图像被从发起设备传送到其他参与的设备。发起设备可以从其他参与设备收集全部数据，并且可以标识将在每个设备上显示的图像部分。备选地，设备中的每一个可以收集全部信息并且基于每个设备的参数来确定显示图像的哪个部分。
42.每个电子设备具有图形用户界面框架以及显示驱动器，图形用户界面以及显示驱动器都具有操作参数。如果所分享图像是视频，则每个电子设备将包括可以被使用的帧缓存。操作参数被传送到相邻的其他设备以共享显示器。每个设备将具有存储器，该存储器存储了或者将访问设置用于从多个较小的显示器建立更大显示器的认证协议的指令。
43.如上所述，图像可以是静态图像或者可以是视频。如果是视频被选择，则发起手机可以是输出任何声音的唯一手机或者设备。对于视频，设备将传送帧速率，使得每个设备以适当的速率进行从每个图像的转换，以确保视频在各种设备上平滑地显示。
44.鉴于每个设备可以是由不同实体制造的不同类型的手机或者平板计算机，因此操作系统可以是不同的，使得每个设备具有不同的平台以及操作参数。一旦完成适当的认证，例如确认全部的相邻设备被启用屏幕共享模式，则各种设备的平台交换屏幕信息(例如，尺寸、定向、相对位置和分辨率)。尺寸和相对位置被用于计算更大的屏幕并且确定将在哪个设备上显示图像的哪个部分。借助每个设备的尺寸、定向、相对位置、以及分辨率，更大的组合屏幕的尺度和分辨率被计算出。
45.每个设备的帧缓存计算该设备上的更大的屏幕的相关部分。如果使用各个无边框(屏幕周围的边框非常小)或者缩小边框的设备来实现组合，当使用更大的显示器时，这种解决方案将提供改善的用户体验。
46.在本公开的进一步实施例中，在图1
‑
5的实施例中的发起设备通过无线网络进行通信(例如，wi
‑
fi网络)，以标识发起设备可以与之通信来在多个设备上显示图像的设备。无论设备与发起设备之间的距离如何，耦合到无线网络的手机或者其他移动电子设备是在这些实施例中与发起设备一起操作以在多个设备上显示图像的候选设备。当然，在某些时候必须使所标识的设备在物理上彼此接近并且与发起设备接近，以在全部设备上显示图像。
47.图6是根据本公开的一个实施例的、示出提供由多个移动电子设备的多个单独屏幕形成的拼接屏幕600的方法的功能框图。在图6的实施例中，多个移动电子设备实现该方法，其中每个移动电子设备被指定为主代理602、生产者代理604或者消费者代理606a
‑
f中的一个，这取决于移动电子设备在实现该方法时提供的功能。多个移动电子设备中的每一个可以是任何合适类型的这种移动电子设备，例如，智能手机、平板计算机等。该方法利用一起形成拼接屏幕600的一个主代理602、一个生产者代理604(其可以是与主代理相同的移动电子设备)、以及多个消费者代理606a
‑
f。多个消费者代理606a
‑
f中的每一个显示整个拼接屏幕600的一部分，其中由特定消费者代理显示的整个拼接屏幕的一部分在以下描述中
被称为子屏幕或者子拼接。主代理602、生产者代理603以及消费者代理606中的每一个可以被认为是具有对应功能的对应移动电子设备，或者是对应的电路，其可以包括移动电子设备的硬件、软件、固件或者其任何组合。
48.图6中的虚线表示在方法的设置部分过程期间主代理602、生产者代理604以及消费者代理606a
‑
f之间的通信，而实线610表示在该方法的生产者内容分配过程部分期间生产者代理和消费者代理之间的通信，其将在下面更详细的描述。代理602、604、606在合适的无线网络(例如，wi
‑
fi网络)上彼此通信，并且利用合适的协议来实现该方法的设置过程以及生产者内容分配过程部分。
49.在图6的示例中，拼接屏幕600由六个消费者代理606a
‑
f形成，这六个消费者代理如图所示被布置成三行以及两列。消费者代理606a
‑
f的这种数目和布置仅以示例的形式来提供本公开普遍实施例的理解。考虑到本说明书中提供的教导和定义，本领域技术人员将理解包括以替代方式布置以形成拼接屏幕600的更少的或者更多的消费者代理606的实施例，并且因此，尽管本文并未明确描述，但是这些实施例在本发明的范围内。另外，注意，在本说明书中，当总体引用消费者代理606a
‑
f中任一个或者全部时，使用引用“606”；而当引用消费者代理中的特定一个时，将使用数字和字母标号两者(例如，606d)。
50.主代理602管理会话的全部操作，包括会话建立或者启动到会话的终止，该会话被创建以在由多个消费者代理606a
‑
f形成的拼接屏幕600上显示由生产者代理604提供的内容。首先，主代理602实施如上所述方法的设置过程部分，其中此设置过程部分在以下描述中被简称为设置过程或者子过程。在设置过程期间，主代理602标识或者检测包含将在拼接屏幕600上显示的内容的生产者代理604，并且还标识或者检测邻近于主代理和生产者代理的消费者代理606，该消费者代理可以因此被选择来提供拼接屏幕。这是由主代理602执行的拼接合成算法的一部分，该拼接合成算法收集关于将在拼接屏幕600上显示的生产者代理604的内容的信息，以及关于消费者代理606中的每个的屏幕尺寸、分辨率、显示速率(例如、帧每秒)等的信息。
51.利用从邻近的消费者代理600收集的信息以及关于从生产者代理604收集的内容的信息，主代理602执行拼接合成算法以选择消费者代理来提供拼接屏幕，并且通知未被选择的任何邻近的消费者代理，使这些未被选择的消费者代理可以参与由邻近该消费者代理的另一个主代理提供的另一个拼接屏幕的形成。每个消费者代理606只可以参与到与对应的主代理602的单个会话中。拼接合成算法还确定被选择来形成该拼接屏幕600的消费者代理606的布置或者相对定位，以及要在每个消费者代理上显示的拼接屏幕上显示的整个图像的子拼接或者一部分，并且将此信息传送到每个消费者代理。如上所述，主代理602管理被建立来在拼接屏幕600上显示内容的会话，包括在生产代理604提供的期望内容已经被观察之后(或者由于其他原因)的会话终止，以下将对此进行更详细的描述。
52.如上所述，生产者代理604在设置过程期间，与主代理602进行关于将在拼接屏幕600上显示的内容的信息的通信。此内容可以对应于单个图像(例如，照片)、将在拼接屏幕600上显示的视频图像流、或者对应于正在主代理602的屏幕或显示器上显示的内容的图像(使得拼接屏幕镜像主代理的显示)。一旦主代理602已设置了会话，生产者代理604管理由生产者代理提供的内容的分配，该内容将在拼接屏幕600上显示。此内容分配包括建立生产者代理604与每个消费者代理606a
‑
f之间的通信信道，以及定义用于向消费者代理发送内
容的帧的协议以及相关的内容分配或者帧缓存参数，以供每个消费者代理显示由拼接屏幕600显示的整个图像的正确部分或者子拼接。生产者代理604还可以实施同步协议，消费者代理606a
‑
f使用该同步协议来同步由多个消费者代理提供的整个图像的子拼接，以避免或者至少最小化在拼接屏幕600上显示的整个图像中的抖动影响，如果整个图像的全部部分或者子拼接的显示不同步，则将发生该抖动。在由生产者代理604提供的内容包括音频数据的情况下，多个消费者代理中的每一个都可以播放该内容的此音频部分。备选地，主代理602或生产者代理604可以选择全部消费者代理606的子集来播放该音频数据，而全部消费者代理用于显示内容的可视数据的对应部分。
53.消费者代理606中的每一个与主代理602和生产者代理606组合操作，以提供拼接屏幕600的对应部分。更具体地，每个消费者代理606通过相关的无线网络进行通信以使其存在是已知的。这使主代理602能够在设置过程期间检测邻近该主代理的消费者代理606。消费者代理606向主代理602提供关于消费者代理的信息，主代理随后在选择消费者代理时以及在布置消费者代理时使用该消息来形成拼接屏幕600。该消费者代理606的“布置”指每个消费者代理在拼接屏幕600中的位置，以在给定全部所选消费者代理的特性的情况下在拼接屏幕上最佳地显示期望图像，以下将进行更详细描述。每个消费者代理606从主代理602接收是否该消费者代理已被选择的指示，并且，如果被选择，则接收在形成拼接屏幕600中定义消费者代理的操作的参数。这些由每个消费者代理606从主代理602接收的参数包括将在拼接屏幕600上显示的帧缓存或者图像的部分，使得消费者代理在从生产者代理接收将被显示的帧缓存或者图像时，可以显示该图像的正确部分以形成拼接屏幕600，以下将进行更详细的描述。
54.如上所述，由生产者代理604提供的内容的类型可以是单个图像、视频、或者主代理602屏幕的镜像。在设置过程期间，主代理602利用内容的类型来选择和定义消费者代理606的布置，以形成拼接屏幕600。所提供的内容的类型可以由不同内容参数来定义，包括内容的分辨率和帧速率(例如，帧每秒)。主代理602在合适的无线网络(例如，如前文提到的wi
‑
fi网络)上与生产者代理604和消费者代理606进行通信，并且使用与将显示的内容的类型相关的这些内容参数与从消费者代理接收的显示参数结合来形成或者配置拼接屏幕600。主代理602从消费者代理606接收的显示参数涉及用于显示可视化内容的消费者代理的规范，例如消费者代理的帧速率、消费者代理的屏幕尺寸、分辨率、消费者代理的像素格式(例如，色深和色彩空间(rgb,ypbpr，ycbcr等))，以及任何其他这种有关参数。这种在主代理602和生产者代理604和消费者代理606之间的通过无线网络的参数的通信可以使用合适的现有数据交换协议来完成，例如，如本领域技术人员所理解的javascript object notation(json)或者google’s protocol buffers。
55.图7a和7b是根据本公开的实施例的、更详细地示出由图6的主代理602和生产者代理604实施的设置过程以及生产者内容分配过程的流程图。在图7a中，该过程开始于步骤700，并且进行到步骤702，在步骤702中每个消费者代理606声明其耦合到无线网络，其中主代理602和生产者代理604也耦合到该无线网络。每个消费者代理606的“声明”指示该消费者代理被耦合到或者存在于该无线网络上，并且在会话中可以被使用以形成拼接屏幕600(图6)。由每个候选消费者代理606提供的声明还包括提供消费者代理的屏幕或者显示器的规范的消费者代理显示参数。在此实施例中，消费者代理606通过无线网络以合适数据分组
的形式向主代理602提供对应的声明，该合适的数据分组通过无线网络发送并且由主代理602接收。在其他实施例中，耦合到无线网络的消费者代理606可以首先侦听来自主代理602的传输请求，其请求可用的消费者代理进行响应，并且此后响应于接收到这种传输请求而宣告其存在。
56.过程从步骤702进行至步骤704，并且主代理602创建了已经声明其存在于无线网络上并且可用于会话来形成拼接屏幕600的所有可用的消费者代理606的注册表。在本说明书中，这些可用的消费者代理606可以被称为候选消费者代理。作为候选消费者代理606的注册的一部分，主代理602还从每个候选消费者代理接收提供了消费者代理的屏幕或者显示器的规范的显示参数。主代理602还在注册表中存储每个候选消费者代理606的这些显示参数，其中该显示参数包括消费者代理的帧速率、消费者代理的屏幕尺寸、以及消费者代理的像素格式(例如，如前文所述的色深和色彩空间)。在步骤704中已经创建该注册表之后，过程进行到步骤706。
57.在步骤706中，主代理602响应于从候选消费者代理606接收到声明以及在步骤704中生成注册表，生成或者发布正在被配置以形成拼接屏幕600的会话的会话号。然后，该过程进行到步骤708，并且主代理602向在注册表中的候选消费者代理的每一个分配唯一的标识符(id)。然后，过程从步骤708进行至步骤710，并且主代理602与生产者代理604(图6)进行通信，以获得由生产者代理604提供并且在拼接屏幕600上显示的内容的内容参数。这些内容参数包括定义了将由消费者代理606提供的内容的特性的参数，例如如前文所述将提供的内容的分辨率和帧速率。在生产者代理604位于与主代理602分离的移动电子设备上的情况下，步骤710包括标识该生产者代理并且与生产者代理通信以获得内容参数。
58.一旦主代理602在步骤710中已从生产者代理604获得内容参数，则过程进行至步骤712，并且主代理执行拼接合成算法以配置拼接屏幕600，并且确定内容分配或者帧缓存的参数，该内容分配或者帧缓存的参数控制由生产者代理604所提供的内容在多个消费者代理606上的显示以形成拼接屏幕。在配置拼接屏幕600中，主代理602在拼接屏幕600的像素和特性方面确定整体屏幕尺寸。主代理602还执行从注册表中的候选消费者代理中选择消费者代理606以及排除消费者代理606的处理。此处理的细节可以变化，但是作为过程的一部分，主代理602使用存储在注册表中的候选消费者代理606的显示参数来选择这些候选消费者代理中的一些，以将其包括在提供拼接屏幕600的会话中。回顾前文，这些显示参数通常包括屏幕尺寸、分辨率、帧速率以及消费者代理606的屏幕的像素格式。主代理602可以基于在注册表中的消费者代理的屏幕尺寸、分辨率、帧速率、色深以及色彩空间来选择候选消费者代理606，并且相反地可以基于这些相同的参数从会话中排除消费者代理。例如，如果一个或者若干个消费者代理具有与注册表中的大多数其他消费者代理不同的帧速率或者色彩空间，则主代理602可以在形成拼接屏幕600的会话中排除这一个或者若干个消费者代理的使用。主代理602还使用消费者代理606的显示参数来确定每个消费者代理的子拼接，其中的子拼接是在由消费者代理显示的拼接屏幕600上显示的整个图像的一部分。总之，在步骤712中，主代理602执行了拼接合成算法，以通过确定要被提供的拼接屏幕600的尺寸和特性来配置拼接屏幕600，从在注册表中的候选消费者代理之中选择消费者代理606，定义拼接映射以指示每个选择的消费者代理将显示的整个图像的部分(即，将被显示的子拼接)，以及向每个选择的消费者代理分配子拼接坐标来定义消费者代理在拼接屏幕
(由全部选择的消费者代理形成)内的物理位置。
59.过程从步骤712进行至步骤714，并且生成包含的或者选择的消费者代理606的列表，以及随后进行到步骤716，并且生成排除的或者未选择的消费者代理的列表。过程从步骤716进行至步骤718，并且主代理602终止与未选择的消费者代理606的当前会话。这些未选择的消费者代理606，在步骤718中与主代理的当前会话终止之后，随后可以参与到与耦合到该无线网络的其他主代理的其他会话中。在步骤718之后，过程随后进行至步骤720，并且主代理602向生产者代理604发送由拼接合成算法计算的内容分配或者帧缓存参数。此后，生产者代理604将在向选择的消费者代理606分配内容时，使用这些内容分配或者帧缓存参数以形成拼接屏幕600。更具体地，在对于由每个选择的消费者代理606正确显示内容的部分是必要的情况下，生产者代理604将基于帧缓存参数来编码将在拼接屏幕600上显示的内容。
60.在步骤720之后，过程进行至步骤722，并且主代理602向每个选择的消费者代理606发送包含子拼接坐标的内容分配参数。这些内容分配参数针对每个所选消费者代理606标识在拼接屏幕600上显示的整个图像将由该消费者代理显示的部分。每个选择的消费者代理606的内容分配参数将在下文中参考图8进行详细描述。然后，过程进行至步骤724，并且每个选择的消费者代理606确认从主代理602接收到内容分配参数，指示消费者代理准备好开始显示从生产者代理604接收的内容的正确部分。
61.过程从步骤724进行至步骤726，并且执行过程以物理地布置选择的消费者代理606以形成图6的拼接屏幕600。此物理布置当然取决于注册表中候选消费者代理606的数目(步骤704)以及这些候选消费者代理的特性。在图6的示例中，主代理602选择六个消费者代理606a
‑
f以形成拼接屏幕600。所选择的消费者代理606a
‑
f中的每一个必须相对于其他所选择消费者代理物理地定位，使得当每个消费者代理显示对应的内容时，拼接屏幕600的正确的整个图像被形成。如上所述，由主代理602针对每个所选择的消费者代理606a
‑
f计算的子拼接坐标针对每个消费者代理606标识在拼接屏幕600上显示的整个图像中将由该消费者代理显示的部分，并且还指示消费者代理相对于形成拼接屏幕的其他所选择的消费者代理的相对物理位置。
62.每个所选择的消费者代理606的这些子拼接坐标也在步骤726中执行的过程中使用，其中所选择的消费者代理被物理地布置成彼此相邻以形成拼接屏幕600。在步骤726中完成这一点的精确方式在本公开的不同实施例中有所变化，但是将在代理602
‑
606的一个或多个用户的协助下达成。例如，在一个实施例中，在步骤722中从主代理602接收到子拼接坐标时，每个选择的消费者代理606在该消费者代理的屏幕上提供指示消费者代理在拼接屏幕600内的正确位置的可视化指示符。针对消费者代理606的拥有者或者用户的指令也可以显示在每个消费者代理的屏幕上，告知用户如何安排消费者代理以形成拼接屏幕。在图6的示例中，在消费者代理606的屏幕上的可视化指示符可以仅仅是数字1
‑
6，其中也在每个消费者代理的屏幕上提供指令来布置消费者代理，以在三行消费者代理中按顺序显示1
‑
6，其中每行有两个消费者代理，并且其中数字1在拼接屏幕600的左下角，并且数字6在拼接屏幕600的右上角。备选地，消费者代理606中的每一个可以显示配置图像的一部分，其中消费者代理的用户然后正确地布置消费者代理，使得配置图像正确地显示在拼接屏幕600上，并且以此种方式正确地将消费者代理中的每一个定位在拼接屏幕内。在本公开的其他实施例
中，在步骤726中执行其他过程，以通过将消费者代理相对于彼此物理地布置以正确形成拼接屏幕600来正确配置消费者代理606。
63.在步骤726中已经正确地定位或者布置所选择消费者代理以形成拼接屏幕600之后，过程进行至步骤728，在步骤728中生产者代理604向所选择的消费者代理606提供内容。在步骤728中，生产者代理604管理通过无线网络到每个所选择消费者代理606的、将在拼接屏幕600上显示的内容的流传输。这包括通过无线网络使用合适的协议建立通信信道，以向所选择的消费者代理606传送内容。在本公开的实施例中，生产者代理604使用合适的媒体服务器流传输协议，例如实时流传输协议(rtsp)或者实时传输协议(rtp)和rtp控制协议(rtcp)，来向消费者代理606流传输将在拼接屏幕600上显示的内容。如上所述，如果对于在所选择的消费者代理606中的每一个上进行正确显示是必须的，则生产者代理604还对流传输的内容进行编码，其中该编码被确定为在步骤712中由主代理602执行的拼接合成算法的一部分。生产者代理604的这种编码还管理正在被提供的初始内容与拼接屏幕600之间的尺寸以及形状变化，以保持由生产者代理提供的初始内容与在拼接屏幕600上该内容的显示之间的形状比例。在流传输中，通过无线网络向消费者代理606提供除该内容之外的其他方式包括提供音频数据，其中该内容例如是视频。
64.在步骤728之后，过程进行至步骤730，并且接收了由生产者代理604流传输或者以其他方式提供的内容的所选消费者代理606共同呈现所接收的内容，从而在拼接屏幕600上提供期望的一个或者多个图像。在一个实施例中，每个消费者代理606包括媒体服务器客户端，该媒体服务器客户端从生产者代理604接收将在拼接屏幕600上显示的全部或者整个图像，并且此后基于消费者代理的子拼接坐标来呈现分配给该消费者代理的整个图像的正确部分。一旦由生产者代理604提供的期望内容已经在拼接屏幕600上进行呈现，则过程进行至步骤732，并且主代理602与生产者代理和消费者代理进行通信以终止会话。步骤732中的这个确定可以涉及所选择消费者代理606中的每一个在消费者代理的显示器上提供了某种可视化指示符，该可视化指示符向形成了拼接屏幕600的所选择的消费者代理的用户指示该会话已经终止，并且信号通知这样的用户中的每一个：他或者她应当取回其消费者代理。过程从步骤732进行至步骤734并且终止。
65.图8是以像素级别示出由图6中的多个消费者代理606a
‑
f形成的拼接屏幕600的像素的配置或者布置的图。在以下讨论中，消费者代理606a
‑
f可以替代地被称为子拼接或者子拼接屏幕606a
‑
f以简化图8的描述。拼接屏幕600是由m
×
n个子拼接屏幕形成的，其中m是子拼接屏幕的行的数目以及n是列的数目。因此，在图8的示例中，m＝3并且n＝2。拼接屏幕600包括总共k个屏幕，其中k＝m
×
n。如上述讨论，拼接屏幕600在像素方面的屏幕尺寸由主代理602计算。在图8的示例中，拼接屏幕600的尺寸是x像素乘以y像素，其中x像素沿着与图中x轴平行的水平方向，并且y像素沿着与y轴平行的垂直方向。该拼接屏幕是x
×
y像素的，其中在该屏幕左下角处的像素被指定为像素(0,0)。因此，在该屏幕左上角处的像素是像素(0,y
‑
1)，在该屏幕右下角处的像素是像素(x
‑
1,0)，在像素右上角处的像素是像素(x
‑
1,y
‑
1)，如图8中所有这些像素所示。因此，该拼接屏幕600包括沿着屏幕的水平方向的像素0至(x
‑
1)，以及沿着屏幕垂直方向的像素0至(y
‑
1)。
66.每个子拼接或则消费者代理606a
‑
f的屏幕由子拼接位置坐标(j,k)标识，其指示了拼接屏幕600中的消费者代理相对于其他消费者代理的位置。子拼接位置坐标j从0变化
至(n
‑
1)，并且子拼接位置坐标k从0变化至(m
‑
1)。子拼接位置坐标j指示给定的消费者代理606在m
×
n拼接屏幕600中所处的列，而子拼接位置坐标k指示消费者代理在m
×
n拼接屏幕中所处的行。在图8的示例中，其中m＝3并且n＝2，则j从0变化至1，并且k从0变化至2。消费者代理606a由子拼接位置坐标(0,0)标识，并且位于拼接屏幕600的左下角。消费者代理606b由子拼接位置坐标(n
‑
1,0)标识，其在图8的示例中是(1,0)，因为n＝2。类似地，其余消费者代理606c
‑
f的子拼接位置坐标在图8中示出，其中通过子拼接位置坐标(n
‑
1,m
‑
1)标识消费者代理606f被定位在拼接屏幕600的右上角。
67.现在将更详细的描述与每个消费者代理660a
‑
f相关联的像素。在图8的示例中，消费者代理606a
‑
f的子拼接屏幕被假设成全部是相同尺寸。此子拼接屏幕尺寸由子拼接屏幕坐标(x,y)定义，其中x＝x/n以及y＝y/m。图8示出了与消费者代理606b相邻的子拼接屏幕的垂直高度y＝y/m，以及与消费者代理606e相邻的子拼接屏幕的水平宽度x＝x/n。子拼接屏幕中的每一个由其在拼接屏幕600的子拼接位置坐标(j,k)以及子拼接屏幕的子拼接屏幕坐标来标识。更具体地，每个子拼接屏幕606a
‑
f的子拼接屏幕坐标标识子拼接屏幕的相对角部(左下和右上)中的像素。每个子拼接屏幕606a
‑
f的这些子拼接屏幕坐标的公式由以下通式给出：
68.[(x*j,y*k),(x*(j 1)
‑
1,y*(k 1)
‑
1]
ꢀꢀꢀ
(公式1)
[0069]
这些子拼接位置坐标(j,k)以及子拼接屏幕坐标标识拼接屏幕600中的每个子拼接屏幕606a
‑
f。例如，如图8所示，子拼接屏幕606a由子拼接位置坐标(j＝0,k＝0)以及由公式1给出的子拼接屏幕坐标[(0,0),(x
‑
1,y
‑
1)]来标识。每个子拼接屏幕606a
‑
f是x乘以y像素的，并且因此对于左下角像素指定在像素(0,0)处的子拼接屏幕606a，右上角中的像素位于(x
‑
1,y
‑
1)以定义子拼接屏幕坐标[(0,0),(x
‑
1,y
‑
1)]。类似地，对于子拼接屏幕606b，当左下角像素是像素(x,0)并且右上角中的像素是像素(x
‑
1,y
‑
1)的同时，由子拼接位置坐标(j＝1,k＝0)来标识子拼接屏幕606b。因此子拼接屏幕606b的子拼接屏幕坐标是[(x,0),(x
‑
1,y
‑
1)]，因为n＝2并且因此图8中所示的(n
‑
1)x变为x。消费者代理606a
‑
f中的每一个从生产者代理604接收将在拼接屏幕600上显示的整个图像，以及然后使用这些子拼接位置和屏幕坐标来呈现该整个图像的正确部分，使得消费者代理606a
‑
f共同呈现整个图像。对于每个消费者代理606(图6)，子拼接位置坐标(j,k)和由(公式1)给出的子拼接屏幕坐标对应于该消费者代理的内容分配或者帧缓存参数。每个消费者代理606使用这些内容分配或者帧缓存参数来呈现在拼接屏幕600上呈现的整个图像的正确部分。
[0070]
可以组合上述各种实施例以提供进一步的实施例。本说明书中参考和/或在申请数据表中列出的全部美国专利、美国专利申请、外国专利、外国专利申请和非专利出版物通过引用将其全部内容并入本文。如果需要，可以修改实施例的各方面以采用各种专利、申请和出版物的概念来提供其他实施例。
[0071]
根据以上详细描述，可以对实施例进行这些和其他改变。通常，在以下权利要求中，所使用的术语不应被解释为将权利要求限制于说明书和权利要求中公开的特定实施例，而是应该被解释为包括所有可能的实施例以及这些权利要求所赋予的等同物的全部范围。因此，权利要求不受本公开的限制。