自由视图视频解码的制作方法

自由视图视频解码
相关申请的交叉引用
1.本技术要求2021年5月20日提交的第17/325,496号美国专利申请的优先权，该专利申请要求于2020年8月24日提交的第63/069,371号美国临时申请的优先权，这些申请的全部内容通过引用方式并入本文。


背景技术：

2.本公开总体上涉及数据处理领域，尤其是视频编码、解码和视频流化。
3.沉浸式视频是同时记录多个方向上的视图的视频记录，使用全向相机或一组相机拍摄。在普通平面显示器上回放期间，观看者可以像全景图一样控制观看方向。沉浸式视频也可以在布置在球面或球面的某些部分上的显示器或投影仪上播放。对于支持3自由度(3dof)的沉浸式媒体的已编码表示，观看者的位置是静态的，但是其头部可以偏转、俯仰和翻滚。除3自由度方向之外，6自由度(6dof)允许在水平、垂直和深度方向上平移。支持平移实现交互式运动视差，能够向观看者提供对其视觉系统的自然提示，并且导致对观看者周围的体积的感知增强。


技术实现要素：

4.实施例涉及视频解码的方法、系统和计算机可读介质。根据一个方面，提供了一种视频解码的方法。该方法可以包括接收视频数据，所述视频数据包括一个或多个视图。基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。
5.根据另一方面，提供了一种视频解码的计算机系统。计算机系统可以包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储设备，以及存储在一个或多个存储设备中的至少一个上的程序指令，以供一个或多个处理器中的至少一个经由一个或多个存储器中的至少一个执行，由此计算机系统能够执行一种方法。该方法可以包括接收视频数据，所述视频数据包括一个或多个视图。基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。
6.根据另一方面，提供了一种视频解码的计算机可读介质。计算机可读介质可以包括一个或多个计算机可读存储设备和存储在一个或多个有形存储设备中的至少一个上的程序指令，这些程序指令可由处理器执行。程序指令可由处理器执行，以执行一个方法，所述方法相应地包括接收视频数据，所述视频数据包括一个或多个视图。基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。包括：接收代码，被配置为使所述一个或多个计算机处理器接收视频数据，所述视频数据包括一个或多个视图；生成代码，被配置为使所述一个或多个计算机处理器基于已
接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图；以及解码代码，被配置为使一个或多个计算机处理器基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。
附图说明
7.从下面结合附图阅读的示例性实施例的详细描述中，本技术上述的和其它目的、特征和优点将变得显而易见。附图的各种特征未按比例绘制，因为图示是为了清楚起见，以便于本领域技术人员结合详细描述对本技术技术方案进行理解。在附图中：图1示出了根据至少一个实施例的联网计算机环境；图2a是根据至少一个实施例的系统的框图；图2b-2i是根据至少一个实施例的沉浸式视频的拼接布局；图3a-3c是根据至少一个实施例的拼接布局说明表；图3d-3e是根据至少一个实施例的语法元素表；图4是根据至少一个实施例说明由视频解码程序执行的步骤的操作流程图，所述视频解码程序基于对来自多个相机的纹理和深度图像进行排列；图5是根据至少一个实施例的图1中所示的计算机和服务器的内部组件和外部组件的框图；图6是根据至少一个实施例的包括图1所示的计算机系统的示例性云计算环境的框图；以及图7是根据至少一个实施例的图6所示的示例性云计算环境的功能层的框图。
具体实施方式
8.本技术公开了所要求保护的结构和方法的具体实施例。然而，应当理解的是，所公开的实施例仅是可以以各种形式体现的所要求保护的结构和方法的示例。然而，这些结构和方法可以以许多不同的形式来体现，并且不应被解释为限于本技术所描述的示例性实施例。相反，提供这些示例性实施例是为了使本技术更加全面和完整，并且将范围完全传达给本领域技术人员。在说明书中，可以省略公知的特征和技术的细节，以避免不必要地混淆所呈现的实施例。
9.实施例总体上涉及数据处理领域，更具体地，涉及视频编码，解码和视频流化。以下描述的示例性实施例提供了一种视频解码的系统、方法和计算机程序，用于排列来自多个相机的纹理和深度图像等。因此，一些实施例具有通过允许改进的自由视点视频编码和解码来改进计算领域的能力。
10.如前所述，沉浸式视频是同时记录多个方向上的视图的视频记录，使用全向相机或一组相机拍摄。在普通平面显示器上回放期间，观看者可以像全景图一样控制观看方向。沉浸式视频也可以在布置在球面或球面的某些部分上的显示器或投影仪上播放。对于支持3自由度(3dof)的沉浸式媒体的已编码表示，观看者的位置是静态的，但是其头部可以偏转、俯仰和翻滚。除3自由度方向之外，6自由度(6dof)允许在水平、垂直和深度方向上平移。支持平移实现交互式运动视差，能够向观看者提供对其视觉系统的自然提示，并且导致对观看者周围的体积的感知增强。
11.然而，对于给定的瞬间，来自多个视口的纹理和深度图像被拼接在一起，形成一幅复合图片。复合图片将通过视频编码器进行压缩。然而，由于纹理图像和深度图像具有完全不同的特征，因此在对复合图像进行编解码时，由于纹理图像和深度图像之间的边界特征不同，编码效率会降低。此外，输入的深度图像仅包含y分量，并且可以使用yuv400采样格式的编码器进行编码，从而实现更快的编码/解码操作，因为不需要处理u和v分量。然而，由于拼接操作，深度图像必须转换为yuv420格式，因此禁止使用yuv400采样格式的编码器/解码器。因此，将来自多个相机的纹理和深度图像排列用于视频编解码以改进自由视图视频，可能是有利的。
12.参考各个实施例的方法、装置(系统)和计算机可读存储介质的流程图和/或框图来描述各个方面。应当理解，流程图和/或框图中的每个框、以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
13.以下描述的示例性实施例提供了一种去除视频数据的噪声的的系统、方法和计算机程序。图1是一种联网计算机环境的功能框图，其示出了基于增加的视频拼接布置进行视频编解码的视频编解码系统100(以下称为“系统”)。应当理解，图1仅提供了一种实施方式的图示，并不暗示对可以实现不同实施例的环境的任何限制。基于设计和实现要求，可以对所描述的环境进行各种修改。
14.系统100可以包括计算机102和服务器计算机114。计算机102可以经由通信网络110(以下称为“网络”)与服务器计算机114进行通信。计算机102可以包括处理器104和软件程序108，该软件程序108存储在数据存储设备106中，并且能够与用户接口并与服务器计算机114通信。如下面将参考图5所讨论的，计算机102可以分别包括内部组件800a和外部组件900a，服务器计算机114可以分别包括内部组件800b和外部组件900b。计算机102可以是，例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板计算机、台式计算机、或能够运行程序、访问网络、并访问数据库的任何类型的计算设备。
15.服务器计算机114还可以在云计算服务模型中运行，例如软件即服务(saas)、平台即服务(paas)或基础设施即服务(laas)，如下文参照图6和图7所讨论的。服务器计算机114还可以位于云计算部署模型中，例如私有云、社区云、公共云或混合云。
16.可用于视频编解码的服务器计算机114能够运行视频编解码程序116(以下称为“程序”)，该程序116可以与数据库112交互。下面参照图4更详细地解释视频编解码程序方法。在一个实施例中，计算机102可以作为包括用户界面的输入设备运行，而程序116可以主要在服务器计算机114上运行。在一可选的实施例中，程序116可以主要在一个或多个计算机102上运行，而服务器计算机114可以用于处理和存储程序116所使用的数据。应当注意，程序116可以是独立程序，或者可以集成到更大的视频编解码程序中。
17.然而，应当注意，在某些情况下，可以在计算机102和服务器计算机114之间以任何比率共享程序116的处理。在另一实施例中，程序116可以在一个以上的计算机、服务器计算机、或计算机和服务器计算机的某种组合上运行，例如，通过网络110与单个服务器计算机114进行通信的多个计算机102。在另一实施例中，例如，程序116可以在通过网络110与多个客户端计算机通信的多个服务器计算机114上运行。可选地，程序可以在通过网络与服务器和多个客户端计算机通信的网络服务器上运行。
18.网络110可以包括有线连接、无线连接、光纤连接或其某种组合。通常，网络110可
以是支持在计算机102与服务器计算机114之间进行通信的连接和协议的任何组合。网络110可以包括各种类型的网络，例如局域网(lan)、诸如因特网的广域网(wan)、诸如公共交换电话网(pstn)的电信网络、无线网络、公共交换网络、卫星网络、蜂窝网络(例如第五代(5g)网络、长期演进(lte)网络、第三代(3g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、城域网(man)、专用网、自组织网络、内联网、基于光纤的网络等，以及/或这些或其它类型网络的组合。
19.图1所示的设备和网络的数量和布置是作为示例来提供的。实际上，与图1所示的设备和网络相比，可以有更多的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络，或布置不同的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备中实现，或者图1所示的单个设备可以作为多个分布式设备实现。另外或可选地，系统100的一组设备(例如，一个或多个设备)可以执行描述为由系统100的另一组设备执行的一个或多个功能。
20.现在参考图2a，描绘了用于vru 6自由度视频的系统200a的框图。系统200a可以包括编码器/解码器202和视频合成器204等。对于给定时刻，来自多个视图(或多个相机)的相对应纹理图像206和深度图像208被拼接在一起以形成复合图片210。连续时刻的复合图片210可以被馈送到编码器/解码器202中，编码器/解码器202可以使用avs3、avs2等进行压缩。在传输之后，编码器/解码器202可以另外使用对应的解码器对视频进行解码，并且获得已解码的复合图片。从已解码的复合图片210中提取来自给定时刻的多视图纹理图片和多视图深度图片，并且可以进一步用于直接显示或用于由视频合成器204基于元数据212合成新视点的新视频。
21.现在参考图2b至图2d，分别描绘了拼接布局200b，拼接布局200c和拼接布局200d。使用8视口自由视图视频作为示例，对于给定时刻，分别基于six_dof_stitching_layout_type＝0、1和2，以不同的方式拼接8个纹理图像和8个深度图像。在拼接布局200d中，深度图像首先沿x和y维度上以1/2
×
1/2进行下采样，因此被称为1/4下采样深度图像。在拼接布局200b至200d中，nwidth和nheight表示复合图像的宽度和高度，并且将在码流中用信号表示nwidth和nheight。此外，纹理和深度图像尺寸以及six_dof_stitching_layout_type也在码流中用信号表示。利用全部信息，解码器能够为多个视口提取已解码的纹理和深度图像。此外，由于纹理图像是yuv420采样格式，而深度图像是yuv400采样格式，因此在拼接操作之前需要将深度图像转换为yuv420格式。该处理可以通过保持yuv400图像的y分量，并且向u和v分量添加诸如为128的常数值来执行。
22.现在参考图2e，描绘了拼接布局200e。在一个或多个实施例中，对于给定时刻，可以将来自多个视口的纹理图像组合在一起以形成一个复合纹理图像。可以使用视频编码器将多个连续复合纹理图像编码为six_dof_stitching_layout_type＝3。
23.现在参考图2f，描绘了拼接布局200f。在一个或多个实施例中，对于给定时刻，可以将来自多个视口的深度图像拼接在一起以形成一个复合深度图像。使用视频编码器将多个连续复合深度图像编码为six_dof_stitching_layout_type＝4。
24.现在参考图2g，描绘了拼接布局200g。在一个或多个实施例中，对于给定时刻，首先对深度图像进行下采样，并且将来自多个视口的下采样深度图像拼接在一起以形成一个复合下采样深度图像，如six_dof_stitching_layout_type＝5。使用视频编码器对多个连
续复合下采样深度图像进行编码。根据应用，下采样率可以是1/4、1/8或1/16等。
25.现在参考图2h，描绘了拼接布局200h。在一个或多个实施例中，对于给定时刻，将来自所有视口的纹理图像和/或深度图像拼接在一起。所得到的复合图片的分辨率非常大。在一些移动设备中，解码器不能处理这种大的复合图片。因此，在一个或多个实施例中，对于给定时刻，将来自所有视口的纹理图像和/或深度图像首先分成多个组。可以根据从1至5的six_dof_stitching_layout_type将每个组中的纹理图像和/或深度图像拼接在一起。使用six_dof_stitching_layout_type＝3作为示例，并且假设视口的总数为8，可以将视口划分成两组：视口1至4和视口5至8。对于从1至5的six_dof_stitching_layout_type以及利用组的拼接操作，复合图像的形状可以不同，这取决于所使用的纹理/深度图像的列数，该形状确定在给定用于拼接的图像的总数的情况下复合图像中有多少行纹理/深度图像。
26.现在参考图2i，描绘了拼接布局200i。拼接布局200i可以是拼接布局200h的变体。例如，拼接布局200i可以是具有2个组的six_dof_stitching_layout_type＝3的变体。另外，nwidth和nheight与视口纹理/深度图像分辨率一起可以允许导出复合图像中的图像的列和行的数目。
27.现在参考图3a，描绘了拼接布局的表300a。表300a可以对应于ieee vru中定义的三种不同拼接布局。
28.现在参考图3b，描绘了拼接布局描述的表300b。拼接布局描述可以对应于给定的拼接布局类型。
29.现在参考图3c，描绘了6自由度拼接布局描述的扩展的表300c。沿x和y维度的下采样率可以在码流中用信号表示或固定而不用信号表示。组的数目可以在码流中用信号表示或固定而不用信号表示。表300c定义了6自由度拼接布局的子集，并且将下采样比固定为1/4。
30.现在参考图3d，描绘了用于6自由度压缩视频内容表示的语法的表300d。表300d包括一个或多个语法元素的语义，包括：six_dof_stitching_layout：表示纹理和/或深度图像如何拼接成给定时刻的合成图片；marker_bit：值为1的二进制位，用于避免表中出现伪起始代码；padding_size：8位无符号整数，表示边框填充中使用的像素数，值从0到255；camera_number：8位无符号整数，值从0到255，表示6自由度视频捕获中使用的相机数量；camera_resolution_x：32位无符号整数，表示相机图像的x坐标尺寸；camera_resolution_y：32位无符号整数，表示相机图像的y坐标尺寸；camera_translation_matrix[3]：3*32位浮动向量，表示摄像机平移向量；camera_rotation_matrix[3][3]：9*32位浮动矩阵，表示摄像机旋转矩阵；camera_focal_length_x：32位浮点数，表示x方向的相机焦距；camera_focal_length_y：32位浮点数，表示y方向的相机焦距；camera_principle_point_x：32位浮点数，表示摄像机光学中心在图像坐标中的x方向偏移；camera_principle_point_y：32位浮点数，表示摄像机光学中心在图像坐标中的y
方向偏移；depth_range_near：32位浮点数，表示相对于光学中心的最小深度值，用于量化深度图像；以及depth_range_far：32位浮点数，表示相对于光学中心的最大深度值，用于量化深度图像。
[0031]
现在参考图3e，描述了语法元素的表300e。虽然图3d的表300d可以假设所有相机具有相同的参数集，但在大多数情况下这可能不成立。为了反映一般情况，每个相机可能都有自己的参数集。在一个实施例中，表300e可以包括语法元素：camera_translation_matrix[camidx][3]：3*32位浮动向量，表示第camidx相机的相机平移向量；camera_rotation_matrix[camidx][3][3]：9*32位浮动矩阵，表示第camidx相机的相机旋转矩阵；camera_focal_length_x[camidx]：32位浮点数，表示第camidx相机在x方向上的相机焦距；camera_focal_length_y[camidx]：32位浮点数，表示第camidx相机在y方向上的相机焦距；camera_principle_point_x[camidx]：32位浮点数，表示在第camidx相机的图像坐标中相机光学中心的x方向偏移；camera_principle_point_y[camidx]：32位浮点数，表示在第camidx相机的图像坐标中相机光学中心的y方向偏移；depth_range_near[camidx]：32位浮点数，表示相对于光学中心的最小深度值，用于量化第camidx相机的深度图像；以及depth_range_far[camidx]：32位浮点数，表示相对于光学中心的最大深度值，用于量化第camidx相机的深度图像。
[0032]
现在参考图4，描绘了图示由用于视频解码的程序执行的方法400的步骤的操作流程图。
[0033]
在402处，方法400可以包括接收视频数据，所述视频数据包括一个或多个视图。
[0034]
在404处，方法400可以包括基于已接收的所述视频数据，生成复合深度图像和复合纹理图像，所述复合深度图像和复合纹理图像对应于所述一个或多个视图。
[0035]
在406处，方法400可以包括基于已生成的所述复合深度图像和所述复合纹理图像，解码所述视频数据。
[0036]
应当理解，图4仅提供了一种实施方式的图示，并不暗示关于如何实现不同实施例的任何限制。基于设计和实现要求，可以对所描述的环境进行各种修改。
[0037]
图5是根据示例性实施例的图1中所描绘的计算机的内部组件和外部组件的框图500。应当理解，图5仅提供了一种实施方式的图示，并不暗示对可以实施不同实施例的环境的任何限制。基于设计和实现要求，可以对所描述的环境进行各种修改。
[0038]
计算机102(图1)和服务器计算机114(图1)可以包括图5所示的内部组件800a、800b和外部组件900a、900b的相应集合。每组内部组件800包括连接在一个或多个总线826上的一个或多个处理器820、一个或多个计算机可读随机存取存储器(ram)822和一个或多
个计算机可读只读存储器(rom)824，包括一个或多个操作系统828、以及一个或多个计算机可读有形存储设备830。
[0039]
处理器820以硬件、固件或硬件与软件的组合来实现。处理器820是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或其它类型的处理组件。在一些实施方式中，处理器820包括一个或多个能够被编程以执行功能的处理器。总线826包括允许在内部组件800a与800b之间进行通信的组件。
[0040]
一个或多个操作系统828、以及服务器计算机114(图1)上的软件程序108(图1)和视频编解码程序116(图1)都存储在一个或多个相应的计算机可读有形存储设备830上，用于由一个或多个相应的处理器820通过一个或多个相应的ram 822(其通常包括高速缓冲存储器)执行。在图5所示的实施例中，每个计算机可读有形存储设备830是内部硬盘驱动器的磁盘存储设备。可选地，每个计算机可读有形存储设备830是半导体存储设备，例如rom 824、可擦可编程只读存储器(eprom)、快闪存储器、光盘、磁光盘、固态盘、光碟(cd)、数字通用光盘(dvd)、软盘、盒式磁带、磁带，和/或能够存储计算机程序和数字信息的其它类型的非易失性计算机可读有形存储设备。
[0041]
每组内部组件800a、800b还包括读写(r/w)驱动器或接口832，以便从一个或多个便携式计算机可读有形存储设备936(例如cd-rom、dvd、记忆棒、磁带、磁盘、光盘或半导体存储设备)读取或向其写入。诸如软件程序108(图1)和视频编解码程序116(图1)的软件程序可以存储在一个或多个相应的便携式计算机可读有形存储设备936上，经由相应的r/w驱动器或接口832读取并加载到相应的硬盘驱动器830中。
[0042]
每组内部组件800a、800b还包括网络适配器或接口836，例如tcp/ip适配器卡、无线wi-fi接口卡、或3g、4g或5g无线接口卡或其它有线或无线通信链路。服务器计算机114(图1)上的软件程序108(图1)和视频编解码程序116(图1)可经由网络(例如，因特网、局域网或其它网络、广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。从网络适配器或接口836，将服务器计算机114上的软件程序108和视频编解码程序116加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
[0043]
每组外部组件900a、900b可以包括计算机显示器920、键盘930和计算机鼠标934。外部组件900a、900b还可以包括触摸屏、虚拟键盘、触摸板、定点设备和其它人机接口设备。每组内部组件800a、800b还包括设备驱动器840，以与计算机显示器920、键盘930和计算机鼠标934接口。设备驱动器840、r/w驱动器或接口832和网络适配器或接口836包括硬件和软件(存储在存储设备830和/或rom 824中)。
[0044]
应当理解的是，尽管本技术包括对云计算的详细描述，但是本文所列举的实施方式并不限于云计算环境。相反，某些实施例能够结合现在已知的或以后开发的任何其它类型的计算环境来实现。
[0045]
云计算是一种服务交付模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、内存、存储、应用程序、虚拟机和服务)共享池的方便、按需的网络访问，这些资源可以用最少的管理工作或与服务提供商的交互来快速配置和发布。云模型可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
[0046]
特征如下：按需自助服务(on-demand self-service)：云用户可以根据需要自动单方面提供计算功能，例如服务器时间和网络存储，而无需与服务提供商进行人工交互。广泛的网络接入(broad network access)：功能可以通过网络获得，并通过标准机制进行访问，这些机制可以促进异构的瘦或胖客户端平台(例如，移动电话、笔记本电脑和个人数字助理)的使用。资源池(resource pooling)：使用多租户模型(multi-tenant model)将提供商的计算资源汇集起来以服务多个用户，并根据需求动态地分配和重新分配不同的物理和虚拟资源。位置独立的意义在于，用户通常对所提供的资源的确切位置没有控制权或知识，但能够在更高的抽象级别(例如，国家、州或数据中心)上指定位置。快速弹性(rapid elasticity)：可以快速且弹性地进行配置的功能，在某些情况下可以自动配置以快速向外扩展，并快速释放以快速向内扩展。对于用户来说，可用于配置的功能通常看起来是无限的，并且可以在任何时间以任何数量购买。可计量的服务(measured service)：云系统通过在适于服务类型(例如，存储、处理、带宽和活跃用户帐户)的某种抽象级别上利用计量功能，自动控制和优化资源使用。可以监视、控制和报告资源使用情况，从而为所使用服务的提供商和用户提供透明度。
[0047]
服务模型如下：软件即服务(saas)：向用户提供的功能是使用在云基础设施上运行的提供商的应用程序。可以通过诸如网页浏览器(例如，基于网页的电子邮件)的瘦客户端接口从各种客户端设备访问应用程序。用户不管理或控制包括网络、服务器、操作系统、存储或甚至单个应用程序功能在内的底层云基础设施，但可能会限制用户特定的应用程序配置设置。平台即服务(paas)：提供给用户的功能是将用户创建或获取的应用程序部署到云基础设施上，该用户创建或获取的应用程序是使用提供商支持的编程语言和工具创建的。用户不管理或控制包括网络、服务器、操作系统或存储在内的底层云基础设施，而是控制所部署的应用程序和可能的应用程序托管环境配置。基础设施即服务(laas)：向用户提供的功能是提供处理、存储、网络和其他基本计算资源，其中用户能够部署和运行包括操作系统和应用程序在内的任意软件。用户不管理或控制底层云基础设施，而是控制操作系统、存储、部署的应用程序、以及可能对选择的网络组件(例如，主机防火墙)进行有限的控制。
[0048]
部署模型如下：私有云(private cloud)：云基础设施仅为组织运行。它可以由组织或第三方来管理，并且可以存在于内部或外部。社区云(community cloud)：云基础设施由多个组织共享，并且支持具有共享关注点(例如，任务、安全要求、策略和服从性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于内部或外部。公共云(public cloud)：云基础设施可供一般公众或大型工业集团使用，并由出售云服务的组织所拥有。混合云(hybrid cloud)：云基础设施是由两个或更多个云(私有、社区或公共)组成的，这些云保持唯一的实体，但是通过标准化或专有技术绑定在一起，从而实现数据和应
用程序的可移植性(例如，用于在云之间进行负载平衡的云爆发)。
[0049]
云计算环境是面向服务的，着重于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点的网络的基础设施。
[0050]
参照图6，其示出了示例性的云计算环境600。如图所示，云计算环境600包括一个或多个云计算节点10，云用户所使用的本地计算设备(例如个人数字助理(pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54n)可以与这些云计算节点10通信。云计算节点10之间可以彼此通信。可以在一个或多个网络中，例如上文所述的私有云、社区云、公共云、混合云、或其组合中，对它们进行物理或虚拟分组(未示出)。这允许云计算环境600提供基础设施、平台和/或软件作为服务，而云用户不需要在本地计算设备上为这些服务维护资源。应当理解，图6所示的计算设备54a-n的类型仅是示例性的，并且云计算节点10和云计算环境600可以通过任何类型的网络和/或网络可寻址连接(例如，使用网页浏览器)与任何类型的计算机设备通信。
[0051]
参照图7，其示出了由云计算环境600(图6)提供的一组功能抽象层600。应当理解的是，图7所示的组件、层和功能仅是示例性的，并且实施例不限于此。如图所示，提供了以下层和相应功能：
[0052]
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：主机61、基于risc(精简指令集计算机，reduced instruction set computer)架构的服务器62、服务器63、刀锋服务器(blade server)64、存储设备65、以及网络和网络组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
[0053]
虚拟层70提供抽象层，从该抽象层可以提供以下虚拟实体的示例：虚拟服务器71、虚拟存储器72、包括虚拟专用网络的虚拟网络73、虚拟应用程序和操作系统74、以及虚拟客户端75。
[0054]
在一个示例中，管理层80可以提供下述功能。资源供应81提供用于在云计算环境中执行任务的计算资源和其它资源的动态采购。当在云计算环境中利用资源时，计量和定价82提供成本跟踪，并为这些资源的消耗开具帐单或发票。在一个示例中，这些资源可包括应用软件许可证。安全性为云用户和任务提供身份验证，并为数据和其他资源提供保护。用户入口83为用户和系统管理员提供对云计算环境的访问。服务级别管理84提供云计算资源的分配和管理，从而满足所需的服务级别。服务水平协议(sla，service level agreement)计划和实现85为根据sla预期的未来需求的云计算资源提供预先安排和获取。
[0055]
工作负载层90提供可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：映射和导航91、软件开发和生命周期管理92、虚拟课堂教学实施93、数据分析处理94、交易处理95、以及视频编解码96。视频编解码96可以基于布置多个相机的纹理和深度图像对视频数据进行编解码。
[0056]
一些实施例可以涉及处于任何可能的技术细节集成水平的系统、方法和/或计算机可读介质。在本技术实施例，计算机可读介质可以包括非易失性计算机可读存储介质(或媒介)，其上存储有使处理器执行操作的计算机可读程序指令。
[0057]
计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是，例如，但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任任意适当组合。计算机可读存储介质的更具
体示例的非详尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字通用光盘(dvd)、记忆棒、软盘、机械编码装置(如其上记录有指令的穿孔卡(punch-card)或槽内凸起的结构)、以及上述的任意适当组合。本文所使用的计算机可读存储介质不应被解释为本身是易失信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过电线传输的电信号。
[0058]
本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。所述网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发所述计算机可读程序指令，以将其存储在相应计算/处理设备内的计算机可读存储介质中。
[0059]
用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(isa，instruction-set-architecture)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括诸如smalltalk、c 等的面向对象的编程语言、以及程序化程序语言(例如“c”编程语言)或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上执行而部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机上，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以使得电子电路个性化，从而执行方面或操作。
[0060]
可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，使得该指令经由计算机或其他可编程数据处理装置的处理器执行，以创建用于实现流程图和/或框图中的一个或多个框指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，所述计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式运行，从而使得其中存储有指令的计算机可读存储介质包含制品，所述制品包括实现流程图和/或框图中的一个或多个框指定的功能/动作的各方面的指令。
[0061]
计算机可读程序指令也可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框指定的功能/动作。
[0062]
附图中的流程图和框图示出了根据各种实施例的系统、方法和计算机可读介质的可能的实实施方式的架构、功能和操作。在这这一点而言，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。相比
于图中所描绘的，所述方法、计算机系统和计算机可读介质可以包括更多的块、更少的块、不同的块或不同布置的块。在一些可选实施方式中，框中标注的功能可以不按附图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以同时或基本上同时执行，或者所述框有时可以以相反的顺序执行。还应注意的是，框图和/或流程图的每个框以及框图和/或流程图的框的组合可以由执行指定功能或动作的或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实施。
[0063]
很明显，本文所述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不受这些实施方式的限制。因此，本文描述了这些系统和/或方法的操作和行为而没有参考具体的软件代码——应当理解，可以基于本文的描述来设计软件和硬件以实现这些系统和/或方法。
[0064]
除非明确说明，否则本文中使用的元件、动作或指令均不得解释为关键或必要的。另外，如本文所使用的，冠词“一(a)”和“一个(an)”旨在包括一个或多个项，并且可以与“一个或多个”互换使用。此外，如本文所使用的，术语“集合”旨在包括一个或多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或多个”互换使用。在仅希望一个项的情况下，则使用术语“一个”或类似语言。另外，如本文所使用的，术语“具有(has)”，“具有(have)”，“具有(having)”等旨在是开放式术语。进一步，短语“基于”旨在表示“至少部分地基于”，除非另外明确说明。
[0065]
已经出于说明的目的给出了各个方面和实施例的描述，但是并不旨在穷举或限于所公开的实施例。即使权利要求中叙述了特征的组合和/或说明书中公开了特征的组合，这些组合也不旨在限制可能的实施方式的公开。实际上，这些特征中的许多特征可以以权利要求中未具体描述和/或说明书中未公开的方式组合。虽然下文列出的每个从属权利要求可以直接从属于仅一个权利要求，但是可能的实施方式的公开包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择本文使用的术语是为了最好地解释本技术实施例的原理、对市场上发现的技术的实际应用或技术改进，或使本领域其他普通技术人员能够理解本文公开的实施例。