单流中心凹显示传输的制作方法

单流中心凹显示传输


背景技术：

1.随着显示器的分辨率和刷新率增加，所显示的图像要求的传输带宽成为主要限制因素。对于虚拟现实(vr)和增强现实(ar)头戴式耳机或头戴式显示器(hmd)，这将成为甚至更大的问题，因为线缆的物理厚度因其妨碍了用户移动性而成问题，并且添加更多的导线来传输更高分辨率的图像是不可接受的解决方案。为了为用户创建沉浸式环境，vr和ar解决方案典型地具有高分辨率和高帧速率，这相当于高数据速率。在vr和ar显示器、特别是眼跟踪的情况下，就像现今通常做的那样，传输全分辨率图像是一种浪费。
附图说明
2.通过结合附图参考以下描述，可更好地理解本文描述的方法和机制的优点，在附图中：
3.图1是系统的一个实现方式的框图。
4.图2是发射器的一个实现方式的框图。
5.图3示出了根据一个实现方式的原始预缩放图像和缩放图像的示例。
6.图4是接收器的一个实现方式的框图。
7.图5是示出用于发射器生成具有等大小区域的缩放图像以传输到接收器的方法的一个实现方式的概括流程图。
8.图6是示出用于接收、解码和缩放要显示的图像的方法的一个实现方式的概括流程图。
具体实施方式
9.在以下描述中，阐述了众多具体细节以提供对本文呈现的方法和机制的透彻理解。然而，本领域普通技术人员应当认识到，可在没有这些具体细节的情况下实践各种实现方式。在一些情况下，未详细地示出所熟知的结构、部件、信号、计算机程序指令和技术，以免模糊本文中描述的方法。将了解，为了说明的简单和清楚起见，图中示出的元件不一定按比例绘制。例如，元件中的一些的尺寸可相对于其他元件被夸大。
10.本文公开了用于实现单流中心凹显示传输的各种系统、设备、方法和计算机可读介质。在一个实现方式中，一种系统包括发射器，该发射器通过显示传输将图像作为一系列等大小矩形发送到接收器。接收器然后使用适当的缩放因子将矩形缩放回它们的原始大小。结果是接收器然后驱动到显示器的多个可变大小矩形。矩形区域内的像素密度是均匀的，并且缩放因子可采用整数值或非整数值。图像的直线网格布置带来用于接收器的简化缩放操作。在另一种场景下，不是将图像作为一系列等大小矩形传输，而是将图像作为等大小的一组水平带传输。在每个带内，接收器将像素放大或缩小以匹配原始图像中的带的大小。另外，水平带中的每一者可被单独地细分为所传输的图像中的单行等大小矩形，该单行等大小矩形可被扩展为缩放矩形以匹配原始图像的区域。显示流包括可针对每个传输的图像进行调整的关于矩形区域的水平和/或竖直分布和缩放的嵌入信息。
11.现在参考图1，示出了系统100的一个实现方式的框图。在一个实现方式中，系统100包括发射器105、通道110、接收器115和头戴式显示器(hmd)120。应注意，发射器105和接收器115也可称为收发器或通信装置。在一个实现方式中，hmd 120包括右眼显示器125r和左眼显示器125l。在右显示器125r内有中心凹区域130r，该中心凹区域是用户右眼聚焦的右显示器125r的区域。类似地，在左显示器125l内部有中心凹区域130l，该中心凹区域是用户左眼看向的左显示器125l的部分。如本文所使用，术语“中心凹区域”被定义为每个眼睛正聚焦的按眼显示的半帧的部分。在一些情况下，至少部分地基于检测眼睛正看向的半帧内的位置的眼跟踪传感器来确定“中心凹区域”。另外地，术语“中心凹区域”也可称为“聚焦区域”。应注意，在其他实现方式中，系统100可包括其他部件，并且/或者系统100可包括图1示出的部件中的多于一个部件。例如，在另一个实现方式中，系统100包括具有多个hmd的多个接收器。
12.在一个实现方式中，通道110是发射器105与接收器115之间的有线连接。例如，在一个实现方式中，通道110是发射器105与接收器115之间的直接有线连接。在另一个实现方式中，通道110代表发射器105与接收器115之间的网络连接。取决于实现方式，可采用任何类型和数量的网络来提供发射器105与接收器115之间的连接。例如，在一个特定实现方式中，发射器105是云服务提供商的一部分。在另一个实现方式中，通道110代表发射器105与接收器115之间的无线连接。
13.在一个实现方式中，发射器105接收要编码并发送到接收器115的视频序列。在另一个实现方式中，发射器105包括渲染单元，该渲染单元渲染要编码并传输到接收器115的视频序列。为了简化在接收器115处的视频帧的缩放，在发射器105与接收器115之间传输单流中心凹式显示序列(例如，经由传输层)。显示序列的每个帧被缩放以创建被传输的等大小区域。当接收器115接收到每个帧时，接收器115使用不同的缩放因子来缩放等大小区域以创建具有可变大小区域的缩放帧。该缩放帧然后被驱动到hmd 120。在一个实现方式中，被传输的显示流含有关于矩形区域的水平和竖直缩放的嵌入信息，并且该信息可针对每个传输帧进行调整。在一个实现方式中，接收器115与hmd 120分离，并且接收器115使用有线或无线连接与hmd 120进行通信。在另一个实现方式中，接收器115集成在hmd 120内。
14.发射器105和接收器115代表任何类型的通信装置和/或计算装置。例如，在各种实现方式中，发射器105和/或接收器115可以是移动电话、平板电脑、计算机、服务器、hmd、电视机、另一种类型的显示器、路由器或其他类型的计算或通信装置。在一个实现方式中，系统100执行用于将渲染的虚拟环境的帧从发射器105无线地传输到接收器115的虚拟现实(vr)应用。在其他实现方式中，可通过利用本文描述的方法和机制的系统100来实现其他类型的应用(例如，增强现实(ar)应用)。
15.在显示在hmd 120上的每个图像内，显示在hmd 120的右侧125r的场景包括聚焦区域130r，而显示在hmd 120的左侧125l的场景包括聚焦区域130l。这些聚焦区域130r和130l分别由在hmd120的扩展的右侧125r和左侧125l内的圆圈指示。在一个实现方式中，基于hmd 120内的眼跟踪传感器来确定聚焦区域130r和130l各自在右半帧和左半帧内的位置。在该实现方式中，眼跟踪数据作为反馈提供给发射器105，并且可选地提供给vr视频的渲染源。在一些情况下，以高于vr视频帧速率的频率生成眼跟踪数据反馈，并且发射器105能够访问该反馈并且逐帧地更新编码视频流。在一些情况下，不在hmd 120上执行眼跟踪，而是将视
频和其他传感器数据发送回发射器105以进一步处理，从而确定眼睛的位置和移动。在另一个实现方式中，由vr应用基于用户预期看向的地方来指定聚焦区域130r和130l的位置。在另一个实现方式中，单独地基于光学系统的特性或结合眼跟踪来确定聚焦区域130r和130l的位置。应注意，聚焦区域130r和130l的大小可根据实现方式而变。而且，聚焦区域130r和130l的形状可根据实现方式而变，其中在另一个实现方式中，聚焦区域130r和130l被定义为椭圆形。在其他实现方式中，其他类型的形状也可用于聚焦区域130r和130l。
16.现在转到图2，示出了发射器200的一个实现方式的框图。在一个实现方式中，发射器200至少包括中心凹式渲染单元210、缩放单元220和编码器230。替代地，在另一个实现方式中，中心凹式渲染单元210耦合到发射器200，而不是集成在发射器200内。应注意，发射器200还可包括其他部件，这些部件未示出以免模糊附图。虽然中心凹式渲染单元210、缩放单元220和编码器230在图2中被示出为单独的单元，但是应注意，在其他实现方式中，这些单元中的任两者可组合在一起成为单个单元，或者所有三个单元可组合在一起成为单个单元。还需注意，在其他实现方式中，中心凹式渲染单元210、缩放单元220和编码器230中的任一者可被拆分为多个单独的单元以执行与对应的单元相关联的不同功能。使用硬件(例如，控制逻辑、处理单元)和/或软件(例如，可由处理器执行的程序指令)的任何合适的组合来实现渲染单元210、缩放单元220和编码器230中的每一者。
17.在一个实现方式中，中心凹式渲染单元210从图形信息(例如，原始图像数据)生成渲染图像215。在一个实现方式中，渲染图像215是视频序列的单个视频帧。需注意，术语“图像”、“帧”和“视频帧”在本文中可互换地使用。中心凹式渲染单元210接收指定在帧内的中心凹区域(例如，图1的中心凹区域130r和130l)的中心凹区域信息。在一个实现方式中，中心凹区域信息从hmd(例如，图1的hmd 120)中的一个或多个眼跟踪传感器提供给发射器200。中心凹式渲染单元210使用中心凹区域信息以比渲染图像215的其他区域相对更高的像素密度生成中心凹区域。
18.在一个实现方式中，渲染图像215被划分为多个可变大小区域(即，非等大小区域)。在一个实现方式中，多个区域中的每个区域是矩形。在另一个实现方式中，多个区域是水平带，所述水平带可进一步细分为矩形。在其他实现方式中，区域可具有其他类型的形状。多个区域包括单个中心凹区域和多个非中心凹区域。在一个实现方式中，中心凹区域是比非中心凹区域相对更小的区域。在一个实现方式中，区域缩放与人类视觉系统(hvs)的敏锐度匹配，并且每个区域内的缩放由敏锐度驱动。换句话说，缩放随着与中心凹区域的距离增大而增大。
19.缩放单元220接收渲染图像215以及中心凹区域信息。在一个实现方式中，缩放单元220通过使用不同的缩放因子来缩放渲染图像215中的不同的可变大小区域来将渲染图像215中的可变大小区域转换为缩放图像225中的等大小区域。例如，在一个实现方式中，缩放单元210维持渲染图像215的中心凹区域的原始像素密度，同时缩小渲染图像215的非中心凹区域。缩放单元210对非中心凹区域使用不同的缩放因子，其中基于非中心凹区域的具体大小来选择缩放因子。作为对不同区域使用不同缩放因子的结果，缩放单元220将渲染图像215的可变大小区域转换为缩放图像225的等大小区域。需注意，缩放图像225的等大小区域中的每一者都包括相同数量的像素。在一个实现方式中，缩放单元220将图像的大小除以区域的数量以计算每个等大小区域的目标大小。然后，在该实现方式中，缩放单元220将每
个区域缩放某一量，该量将致使缩放区域的大小达到目标大小。例如，如果图像的大小为1000
×
1000像素，并且图像中有五个水平分区和五个竖直分区，则每个等大小区域的目标大小为200
×
200像素。在其他实现方式中，对于其他大小的图像和/或其他数量的区域，可以类似的方式计算每个等大小区域的目标大小。
20.如果给定区域的原始大小大于目标大小，则给定区域将被缩小(即，下采样)，这将致使每个像素值与一个或多个相邻像素值组合以产生给定区域的缩放版本中的像素值。如果给定区域的原始大小小于目标大小，则给定区域将被放大(即，扩展)，这将致使每个像素值用于计算给定区域的缩放版本中的两个或更多个像素的值。
21.在缩放单元220生成缩放图像225之后，缩放图像225的等大小区域被提供给编码器230，该编码器将缩放图像225编码成编码图像235以传输到接收器(未示出)。在一个实现方式中，编码图像235包括识别编码图像235内的中心凹区域的大小和位置的元数据。编码图像235还包括指定应当用于将编码图像235的等大小区域转换回原始可变大小区域以重新创建原始图像的非失真版本的缩放因子的元数据。
22.需注意，在一个实现方式中，图2示出的每个图像实际上代表一对图像，其中hmd的每个眼睛视图有一个图像。例如，在该实现方式中，渲染图像215代表包括右眼的第一渲染图像和左眼的第二渲染图像的一对图像。类似地，缩放图像225代表hmd的右眼部分和左眼部分的一对图像，并且编码图像235代表右眼部分和左眼部分的一对图像。替代地，由图2中的电路生成的每个图像包括左眼部分和右眼部分，它们组合在一起成为单个图像。
23.现在参考图3，示出了根据一个实现方式的原始预缩放图像和缩放图像的示例。在图3的左侧示出的原始图像300是代表视频的帧的像素值的二维阵列。原始图像300代表图2的渲染图像215。出于该讨论的目的，假设中心矩形区域300e在其映射到原始图像300时对应于中心凹区域(即，高敏锐度区域)。在一个实现方式中，原始图像300的每个矩形区域内的像素密度是均匀的。因此，在该实现方式中，将原始图像300划分为区域300a至300j是基于每个区域在该区域内具有均匀的像素密度。
24.缩放图像310在图3的右侧示出，该缩放图像是原始图像300在缩放因子已经被应用于可变大小区域300a至300j以创建等大小区域310a至310j之后的缩放版本。虽然缩放图像310使原始图像300的内容失真，但是这种失真将在所得的未失真图像被驱动到显示器之前由接收器去除。需注意，缩放图像310代表根据一个实现方式的缩放图像225(图2)的一个示例。还需注意，缩放因子可采用整数值或非整数值。在一个实现方式中，缩放区域310由缩放单元(例如，图2的缩放单元220)应用基于原始图像300内的区域的大小而变的不同缩放因子生成。如图3所示，原始图像300的区域300e按比例保持，从而使缩放图像300的区域310e与区域300e相比保持不变。其他区域300a至300d和300f至300j要么按比例保持，要么以与它们的大小成比例的不同量缩小以分别创建区域310a至310d和310f至310j。
25.当发射器对缩放图像310进行编码并且然后将编码结果发送到接收器时，接收器对编码图像进行解码，并且然后反转缩放过程以将图像恢复回相对于原始图像300线性地缩放的版本。通过这种方案，在接收器侧上的缩放相对简单，并且可通过缓存少量先前的显示行来实现，即使跨不同缩放的区域也是如此。
26.应当理解，将原始图像300和缩放图像310划分为九个单独的矩形区域是为了说明目的。在实际实现方式中，原始图像300和缩放图像310可被划分为均匀像素密度的九个或
其他数量的区域。另外地，区域的形状也可根据实现方式而变。例如，在另一个实现方式中，原始图像300和缩放图像310被划分为水平带，或者水平带被进一步细分为矩形。
27.现在转到图4，示出了计算系统400的一个实现方式的框图。在一个实现方式中，接收器400集成在hmd(例如，图1的hmd 120)内。在另一个实现方式中，接收器400是与hmd分离的部件，并且接收器400通过有线或无线接口与hmd进行通信。在一个实现方式中，接收器400至少包括解码单元410、缩放单元420和显示控制器430。需注意，接收器400可包括其他单元，这些单元未示出以免模糊附图。在其他实现方式中，接收器400可包括其他单元，并且/或者接收器400可被构造为其他合适的布置。还需注意，在其他实现方式中，图4示出的单元中的两者或更多者可组合在一起成为单个单元。
28.在一个实现方式中，解码单元410接收由发射器(例如，图1的发射器105)发送到接收器400的编码图像。解码单元410对编码图像进行解码以产生被传送到缩放单元420的解码图像415。需注意，解码图像415包括多个等大小区域。解码单元410还从编码图像的元数据提取中心凹区域信息和缩放因子。缩放单元420从解码单元410接收解码图像415以及中心凹区域信息和缩放因子。取决于实现方式，可以不同方式指定缩放因子。在一个实现方式中，按区域或按区域的水平行和竖直列指定缩放因子。在另一个实现方式中，使用基于从中心凹区域的水平位移和竖直位移调整缩放量的公式来指定缩放因子。
29.缩放单元420通过对解码图像415的等大小区域执行指定的缩放来生成缩放图像425。在一个实现方式中，缩放图像425包括多个可变大小区域，其中中心凹区域是相对较小的区域，而非中心凹区域是相对较大的区域。显示控制器430以适合于特定目标显示器的方式处理缩放图像425，以便生成最终图像435。然后将最终图像435驱动到目标显示器(例如，hmd)(未示出)。需注意，最终图像435可在被驱动到目标显示器之前存储在帧缓冲器或其他位置中。
30.现在参考图5，示出了用于发射器生成具有等大小区域的缩放图像以传输到接收器的方法500的一个实现方式。出于讨论的目的，按顺序次序示出该实现方式中的步骤和图6的那些步骤。然而，应注意，在所描述的方法的各种实现方式中，同时执行、按与所示不同的次序执行、或者完全省略所描述的要素中的一个或多个。还在需要时执行其他附加的要素。本文描述的各种系统或设备中的任一者被配置为实现方法500。
31.发射器接收被划分为可变大小区域的中心凹式渲染vr或ar图像，其中每个区域具有均匀的像素密度(框505)。需注意，像素密度可在区域之间改变。在一个实现方式中，可变大小区域包括相对较小的中心凹区域和相对较大的非中心凹区域。在另一个实现方式中，发射器包括渲染单元，该渲染单元生成中心凹式渲染vr或ar图像。如本文所使用，术语“中心凹式渲染”被定义为用于渲染具有对应于用户的视线所指向的图像的部分的高分辨率区域的图像而以较低分辨率或较低保真度渲染其他区域的技术。在一些情况下，中心凹式渲染图像具有可变量的像素分辨率，该像素分辨率根据距图像的中心凹区域的距离而变，其中像素分辨率或保真度随着距中心凹区域的距离增大而降低。
32.发射器对中心凹式渲染图像的可变大小区域进行缩放以创建具有等大小区域的缩放图像(框510)。然后，发射器对缩放图像进行编码以创建编码图像(框515)。发射器可使用任何类型的合适的编码方案对缩放图像进行编码，其中编码方案的类型取决于实现方式而变。而且，发射器将元数据嵌入在编码图像中，该元数据指定中心凹区域、分区和用于对
图像进行缩放的缩放因子(框520)。在各种实现方式中，元数据指定中心凹区域的大小和位置、分区的数量、分区的形状、用于对分区进行缩放的缩放因子等。替代地，不是将元数据嵌入在编码图像中，而是将元数据单独地发送到接收器。接下来，发射器将编码图像传送到接收器以进行显示(框525)。在框525之后，方法500结束。
33.现在转到图6，示出了用于接收、解码和缩放要显示的图像的方法600的一个实现方式。接收器接收被划分为均匀像素密度的等大小区域的编码图像(框605)。接下来，接收器从编码图像提取元数据，其中元数据指定中心凹区域和缩放因子以应用于解码图像的区域(框610)。另外，接收器对编码图像进行解码以生成解码图像(框615)。接收器可以是任何类型的计算装置或设备。在一个实现方式中，接收器包括或耦合到头戴式显示器(hmd)。
34.然后，接收器将缩放因子应用于解码图像的等大小区域以创建可变大小区域的缩放图像(框620)。例如，在一个实现方式中，缩放因子包括应用于接收图像的区域的放大因子，其中区域缩放因子与发射器在缩小原始图像区域时使用的比例成反比。在一个实现方式中，中心凹区域信息用于控制缩放方法、图像锐化和其他图像处理。框620的结果是相对于原始图像线性地缩放的图像版本。接下来，将缩放图像提供给显示控制器(框625)。然后，显示控制器处理缩放图像并且将所得的图像驱动到显示器(框630)。在框630之后，方法600结束。
35.在各种实现方式中，使用软件应用的程序指令来实现本文描述的方法和/或机制。例如，设想可由通用处理器或专用处理器执行的程序指令。在各种实现方式中，此类程序指令可由高级编程语言表示。在其他实现方式中，程序指令可从高级编程语言编译成二进制形式、中间形式或其他形式。替代地，可写入描述硬件的行为或设计的程序指令。此类程序指令可由诸如c的高级编程语言表示。替代地，可使用诸如verilog的硬件设计语言(hdl)。在各种实现方式中，程序指令存储在多种非暂时性计算机可读存储介质中的任一种上。存储介质在使用期间可由计算系统访问以将程序指令提供到计算系统以用于程序执行。一般来讲，此类计算系统至少包括一个或多个存储器和被配置为执行程序指令的一个或多个处理器。
36.应当强调，上述实现方式仅仅是实现方式的非限制性示例。一旦充分地了解以上公开内容，众多变化和修改对于本领域技术人员将变得显而易见。所附权利要求旨在被解释为涵盖所有此类变化和修改。