用于发信号通知输出子图像层集的方法与流程

用于发信号通知输出子图像层集的方法
1.相关申请的交叉引用
2.本技术要求于2019年9月27日提交的第62/907,352号美国临时专利申请和2020年9月2日提交的第17/010,028号美国专利申请的优先权，这两个申请的全部内容并入本文。


背景技术：

3.本公开总体上涉及计算领域，并且更具体地涉及视频编码。
4.最近提出的对jvet
‑
p0225的贡献包括用信号表示输出层集和ptl信息。具有配置文件层级(ptl)信息的输出层集提供了多层码流的操作点。


技术实现要素：

5.实施例涉及对视频序列进行编码的方法、系统和计算机可读介质。根据一个方面，提供了一种对视频序列进行编码的方法。该方法可以包括接收与图像内的一个或多个子图像对应的视频信息。将所述一个或多个子图像中的第一子图像标识为感兴趣区域。以高质量模式，对与所述感兴趣区域对应的所述第一子图像进行编码。以低质量模式，对所述一个或多个子图像中的一个或多个其它子图像进行编码。
6.用一个或多个输出层集，输出已编码的所述第一子图像和已编码的所述一个或多个其它子图像。
7.根据另一方面，提供了一种对视频序列进行编码的计算机系统。计算机系统可以包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储设备，以及存储在一个或多个存储设备中的至少一个上的程序指令，以供一个或多个处理器中的至少一个经由一个或多个存储器中的至少一个执行，由此计算机系统能够执行一种方法。该方法可以包括接收与图像内的一个或多个子图像对应的视频信息。将所述一个或多个子图像中的第一子图像标识为感兴趣区域。以高质量模式，对与所述感兴趣区域对应的所述第一子图像进行编码。以低质量模式，对所述一个或多个子图像中的一个或多个其它子图像进行编码。
8.用一个或多个输出层集，输出已编码的所述第一子图像和已编码的所述一个或多个其它子图像。
9.根据又一方面，提供了一种对视频序列进行编码的的计算机可读介质。计算机可读介质可以包括一个或多个计算机可读存储设备和存储在一个或多个有形存储设备中的至少一个上的程序指令，这些程序指令可由处理器执行。程序指令可由处理器执行，以执行一种方法。该方法相应地包括接收与图像内的一个或多个子图像对应的视频信息。将所述一个或多个子图像中的第一子图像标识为感兴趣区域。以高质量模式，对与所述感兴趣区域对应的所述第一子图像进行编码。以低质量模式，对所述一个或多个子图像中的一个或多个其它子图像进行编码。用一个或多个输出层集，输出已编码的所述第一子图像和已编码的所述一个或多个其它子图像。
附图说明
10.从下面结合附图对示例性实施例的详细描述中，本技术上述的和其它目的、特征和优点将变得显而易见。附图的各种特征未按比例绘制，因为图示是为了清楚起见，以便于本领域技术人员结合详细描述对本技术技术方案进行的理解。在附图中：
11.图1示出了根据至少一个实施例的联网计算机环境；
12.图2是根据至少一个实施例的示例性的一组语法元素；
13.图3是说明根据至少一个实施例的由程序执行的、用多个层集中子图像对视频进行编码的步骤的操作流程图；
14.图4是根据至少一个实施例的图1中所示的计算机和服务器的内部组件和外部组件的框图；
15.图5是根据至少一个实施例的包括图1所示的计算机系统的示例性云计算环境的框图；以及
16.图6是根据至少一个实施例的图5所示的示例性云计算环境的功能层的框图。
具体实施方式
17.本技术公开了所要求保护的结构和方法的具体实施例。然而，应当理解的是，所公开的实施例仅是可以以各种形式体现的所要求保护的结构和方法的示例。然而，这些结构和方法可以以许多不同的形式来体现，并且不应被解释为限于本技术所描述的示例性实施例。相反，提供这些示例性实施例是为了使本技术更加全面和完整，并且将范围完全传达给本领域技术人员。在说明书中，可以省略公知的特征和技术的细节，以避免不必要地混淆所呈现的实施例。
18.实施例总体上涉及计算领域，更具体地，涉及视频编码。此外，以下描述的示例性实施例提供了一种系统、方法和计算机程序，以利用多个层集中子图像对视频进行编码等。因此，通过允许在对视频数据内的子图像进行编码时使用不同质量的不同编码方案，一些实施例具有了改进计算领域的能力。
19.如前所述，最近对jvet
‑
p0225提出的贡献包括信令输出层集和ptl信息。带有配置文件层级(ptl)信息的输出层集提供了多层码流的操作点。但是，ptl信息不能定义与子图结合的操作点，因为在某些应用中每一层的每一个子图像可能存在，也可能不存在。例如，在画中画(pip)用例中，感兴趣区域(roi)可能作为增强层中的子图像，进行放大并以高质量进行编码。而基础层中的所有区域(即所有子图像)可能以低质量进行编码。在一种输出模式下，对增强层中的子图像进行解码输出。而以另一输出模式对基层的所有区域进行解码和输出。在特定的输出模式下，输出层集可以由来自基础层的一个或多个子图像和来自增强层的一个或多个子图像组成，以便在roi(如360视口相关处理)处显示增强的视觉质量。因此，包含用于标识多个子图像的编码的语法元素是有益的。所述多个子图像跨多个层包含在视频数据内。
20.参考各个实施例的方法、装置(系统)和计算机可读存储介质的流程图和/或框图来描述各个方面。应当理解，流程图和/或框图中的每个框、以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
21.以下描述的示例性实施例提供了用多个层集中子图像对视频进行编码的系统、方
法和计算机程序。图1是一种联网计算机环境的功能框图，其示出了用多个层集中子图像对视频进行编码的系统100(以下称为“系统”)。应当理解，图1仅提供了一种实施方式的图示，并不暗示对可以实现不同实施例的环境的任何限制。基于设计和实现要求，可以对所描述的环境进行各种修改。
22.系统100可以包括计算机102和服务器计算机114。计算机102可以经由通信网络110(以下称为“网络”)与服务器计算机114进行通信。计算机102可以包括处理器104和软件程序108，该软件程序108存储在数据存储设备106中，并且能够与用户接口并与服务器计算机114通信。如下面将参考图4所讨论的，计算机102可以分别包括内部组件800a和外部组件900a，服务器计算机114可以分别包括内部组件800b和外部组件900b。计算机102可以是，例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板计算机、台式计算机、或能够运行程序、访问网络、并访问数据库的任何类型的计算设备。
23.服务器计算机114还可以在云计算服务模型中运行，例如软件即服务(saas)、平台即服务(paas)或基础设施即服务(laas)，如下文参照图5和图6所讨论的。服务器计算机114还可以位于云计算部署模型中，例如私有云、社区云、公共云或混合云。
24.用多个层集中子图像对视频进行编码的服务器计算机114能够运行子图像编码程序116(以下称为“程序”)，该程序116可以与数据库112交互。下面参照图3更详细地解释子图像编码程序方法。在一个实施例中，计算机102可以作为包括用户界面的输入设备运行，而程序116可以主要在服务器计算机114上运行。在一可选的实施例中，程序116可以主要在一个或多个计算机102上运行，而服务器计算机114可以用于处理和存储程序116所使用的数据。应当注意，程序116可以是独立程序，或者可以集成到更大的子图像编码程序中。
25.然而，应当注意，在某些情况下，可以在计算机102和服务器计算机114之间以任何比率共享程序116的处理。在另一实施例中，程序116可以在一个以上的计算机、服务器计算机、或计算机和服务器计算机的某种组合上运行，例如，通过网络110与单个服务器计算机114进行通信的多个计算机102。在另一实施例中，例如，程序116可以在通过网络110与多个客户端计算机通信的多个服务器计算机114上运行。可选地，程序可以在通过网络与服务器和多个客户端计算机通信的网络服务器上运行。
26.网络110可以包括有线连接、无线连接、光纤连接或其某种组合。通常，网络110可以是支持在计算机102与服务器计算机114之间进行通信的连接和协议的任何组合。网络110可以包括各种类型的网络，例如局域网(lan)、诸如因特网的广域网(wan)、诸如公共交换电话网(pstn)的电信网络、无线网络、公共交换网络、卫星网络、蜂窝网络(例如第五代(5g)网络、长期演进(lte)网络、第三代(3g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、城域网(man)、专用网、自组织网络、内联网、基于光纤的网络等，以及/或这些或其它类型网络的组合。
27.图1所示的设备和网络的数量和布置是作为示例来提供的。实际上，与图1所示的设备和网络相比，可以有更多的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络，或布置不同的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备中实现，或者图1所示的单个设备可以作为多个分布式设备实现。另外或可选地，系统100的一组设备(例如，一个或多个设备)可以执行描述为由系统100的另一组设备执行的一个或多个功能。
28.现在参考图2，示出了根据一个或多个实施例的示例性语法元素200。除此之外，语法元素200可以包括：可以指示子图像分区是否可以跨层对准的标志，可以指示一个或多个子图像标识值是否存在于每一层中的标志，用于输出可以存在于每一输出层集的每一输出层中的子图像id的函数，以及用于与输出子图像结合的每一输出层集的ptl信息。假设将子图像id映射到图像的特定区域的语法元素可以呈现在参数集或其它地方。更具体地，语法元素200可以包括：
29.vps_subpics_present_flag等于1时，可以指定参考此vps的一个或多个sps的subpics_present_flag的值可以等于1。vps_subpics_present_flag等于0时，可以指定参考此vps的任何sps的subpics_present_flag的值可以等于0。
30.等于1的vps_subpic_aligned_across_layers_flag可以指定vps_max_subpics_minus1和vps_sub_pic_id_layer[j]可存在于vps中。当i大于0时，vps_max_subpics_minus1[i]可推断为等于vps_max_subpics_minus1，并且vps_sub_pic_id_layer[i][j]可推断为等于vps_sub_pic_id_layer[j]。等于0的vps_subpic_aligned_across_layers_flag可以指定当i在0至vps_max_layers_minus1(包含)的范围内时，可存在vps_max_subpics_minus1[i]和vps_sub_pic_id_layer[i][j]。
[0031]
vps_max_subpics_minus1[i]加1可以指定参考vps的cvs中第i层的子图像的最大数目。vps_max_subpics_minus1[i]可以等于sps的max_subpics_minus1，其中nuh_layer_id等于vps_layer_id[i]。
[0032]
vps_sub_pic_id_layer[i][j]可以指定层的第j个子图像的子图像id，其中nuh_layer_id等于vps_layer_id[i]。例如，
[0033][0034][0035]
num_output_layer_sets_minus1加1可以指定参考vps的已编码视频序列中的输出层集的数目。当不存在时，num_output_layer_sets_minus1的值可推断为等于0。
[0036]
num_profile_tile_levels_minus1加1可以指定参考vps的已编码视频序列中的配置文件/层/级别信息的数量。当不存在时，num_profile_tile_levels_minus1的值可推断为等于0。
[0037]
等于0的vps_output_layers_mode[i]可以指定在第i个输出层集中只能输出最高层。等于1的vps_output_layer_mode[i]可以指定可以在第i个输出层集中输出所有层。等于2的vps_output_layer_mode[i]可以指定输出的层可以是第i个输出层集中vps_output_layer_flag[i][j]等于1的层。vps_output_layers_mode[i]的值可以在0至2(包含)的范围内。
[0038]
等于1的vps_output_layer_flag[i][j]可以指定可输出第i输出层集的第j层。等于0的vps_output_layer_flag[i][j]可以指定可不输出第i输出层集的第j层。
[0039]
profile_tier_level_idx[i][j]可以在vps中profile_tier_level()语法结构列表中，指定适用于第i个输出层集的第j层的profile_tier_level()语法结构的索引。
[0040]
等于1的all_subpic_output_flag[i][j]可以指定可输出第i输出层集的第j层的所有子图像。等于0的all_subpic_output_flag[i][j]可以指定可输出第i输出层集的第j层的一个或多个子图像。
[0041]
num_output_subpic_layer_minus1[i][j]可以指定第i输出层集的第j层的输出子图像的数目。
[0042]
output_sub_pic_id_layer[i][j][k]可以指定第i输出层集的第j层的第k个子图像的子图像id。
[0043]
现在参考图3，示出了操作流程图300，其图示了用多个层集中的子图像对视频进行编码的程序所执行的步骤。可借助于图1和图2描述图3。如前所述，子图像编码程序116(图1)可以快速有效地用信号表示视频数据内的包含跨多层的多个子图像的编码。
[0044]
在302处，接收与图像内的一个或多个子图像对应的视频信息。视频信息可以包括多个层集，每个层集包含多个层和一个或多个子图像。子图像可以在每一层内对准和跨多个层集对准。在操作中，服务器计算机114(图1)上的子图像编码程序116(图1)可以接收视频数据。视频数据可以通过通信网络110(图1)从计算机102(图1)接收，或者可以从数据库112(图1)中检索。
[0045]
在304处，将一个或多个子图像中的第一子图像标识为感兴趣区域。第一子图像可以是视频数据中的画中画区域。第一子图像可以从基础层中提取以便以更高的质量输出。在操作中，子图像编码程序116(图1)使用一个或多个语法元素200(图2)将子图像标识为感兴趣区域。
[0046]
在306处，以高质量模式，对与感兴趣区域对应的第一子图像进行编码。感兴趣区域可以放大并以高质量模式编码为增强层中的子图像，而基础层中的剩余子图像以低质量编码，以节省带宽和处理能力。在操作中，子图像编码程序116(图1)可以高质量地编码所标识的感兴趣区域，并且可以经由通信网络110(图1)输出已编码的视频信息。
[0047]
应当理解，图3仅提供了一种实施方式的图示，并不暗示关于如何实现不同实施例的任何限制。基于设计和实现要求，可以对所描述的环境进行各种修改。
[0048]
图4是根据示例性实施例的图1中所描绘的计算机的内部组件和外部组件的框图400。应当理解，图4仅提供了一种实施方式的图示，并不暗示对可以实施不同实施例的环境的任何限制。基于设计和实现要求，可以对所描述的环境进行各种修改。
[0049]
计算机102(图1)和服务器计算机114(图1)可以包括图4所示的内部组件800a、800b和外部组件900a、900b的相应集合。每组内部组件800包括连接在一个或多个总线826上的一个或多个处理器820、一个或多个计算机可读随机存取存储器(ram)822和一个或多个计算机可读只读存储器(rom)824，包括一个或多个操作系统828、以及一个或多个计算机可读有形存储设备830。
[0050]
处理器820以硬件、固件或硬件与软件的组合来实现。处理器820是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器
(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或其它类型的处理组件。在一些实施方式中，处理器820包括一个或多个能够被编程以执行功能的处理器。总线826包括允许在内部组件800a与800b之间进行通信的组件。
[0051]
一个或多个操作系统828、以及服务器计算机114(图1)上的软件程序108(图1)和子图像编码程序116(图1)都存储在一个或多个相应的计算机可读有形存储设备830上，用于由一个或多个相应的处理器820通过一个或多个相应的ram 822(其通常包括高速缓冲存储器)执行。在图4所示的实施例中，每个计算机可读有形存储设备830是内部硬盘驱动器的磁盘存储设备。可选地，每个计算机可读有形存储设备830是半导体存储设备，例如rom 824、可擦可编程只读存储器(eprom)、快闪存储器、光盘、磁光盘、固态盘、光碟(cd)、数字通用光盘(dvd)、软盘、盒式磁带、磁带，和/或能够存储计算机程序和数字信息的其它类型的非易失性计算机可读有形存储设备。
[0052]
每组内部组件800a、800b还包括读写(r/w)驱动器或接口832，以便从一个或多个便携式计算机可读有形存储设备936(例如cd
‑
rom、dvd、记忆棒、磁带、磁盘、光盘或半导体存储设备)读取或向其写入。诸如软件程序108(图1)和子图像编码程序116(图1)的软件程序可以存储在一个或多个相应的便携式计算机可读有形存储设备936上，经由相应的r/w驱动器或接口832读取并加载到相应的硬盘驱动器830中。
[0053]
每组内部组件800a、800b还包括网络适配器或接口836，例如tcp/ip适配器卡、无线wi
‑
fi接口卡、或3g、4g或5g无线接口卡或其它有线或无线通信链路。服务器计算机114(图1)上的软件程序108(图1)和子图像编码程序116(图1)可经由网络(例如，因特网、局域网或其它网络、广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。从网络适配器或接口836，将服务器计算机114上的软件程序108和子图像编码程序116加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
[0054]
每组外部组件900a、900b可以包括计算机显示器920、键盘930和计算机鼠标934。外部组件900a、900b还可以包括触摸屏、虚拟键盘、触摸板、定点设备和其它人机接口设备。每组内部组件800a、800b还包括设备驱动器840，以与计算机显示器920、键盘930和计算机鼠标934接口。设备驱动器840、r/w驱动器或接口832和网络适配器或接口836包括硬件和软件(存储在存储设备830和/或rom 824中)。
[0055]
应当理解的是，尽管本技术包括对云计算的详细描述，但是本文所列举的实施方式并不限于云计算环境。相反，某些实施例能够结合现在已知的或以后开发的任何其它类型的计算环境来实现。
[0056]
云计算是一种服务交付模型，用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、内存、存储、应用程序、虚拟机和服务)共享池的方便、按需的网络访问，这些资源可以用最少的管理工作或与服务提供商的交互来快速配置和发布。云模型可以包括至少五个特征、至少三个服务模型和至少四个部署模型。
[0057]
特征如下：
[0058]
按需自助服务(on
‑
demand self
‑
service)：云用户可以根据需要自动单方面提供计算功能，例如服务器时间和网络存储，而无需与服务提供商进行人工交互。
[0059]
广泛的网络接入(broad network access)：功能可以通过网络获得，并通过标准
机制进行访问，这些机制可以促进异构的瘦或胖客户端平台(例如，移动电话、笔记本电脑和个人数字助理)的使用。
[0060]
资源池(resource pooling)：使用多租户模型(multi
‑
tenant model)将提供商的计算资源汇集起来以服务多个用户，并根据需求动态地分配和重新分配不同的物理和虚拟资源。位置独立的意义在于，用户通常对所提供的资源的确切位置没有控制权或知识，但能够在更高的抽象级别(例如，国家、州或数据中心)上指定位置。
[0061]
快速弹性(rapid elasticity)：可以快速且弹性地进行配置的功能，在某些情况下可以自动配置以快速向外扩展，并快速释放以快速向内扩展。对于用户来说，可用于配置的功能通常看起来是无限的，并且可以在任何时间以任何数量购买。
[0062]
可计量的服务(measured service)：云系统通过在适于服务类型(例如，存储、处理、带宽和活跃用户帐户)的某种抽象级别上利用计量功能，自动控制和优化资源使用。可以监视、控制和报告资源使用情况，从而为所使用服务的提供商和用户提供透明度。
[0063]
服务模型如下：
[0064]
软件即服务(saas)：向用户提供的功能是使用在云基础设施上运行的提供商的应用程序。可以通过诸如网页浏览器(例如，基于网页的电子邮件)的瘦客户端接口从各种客户端设备访问应用程序。用户不管理或控制包括网络、服务器、操作系统、存储或甚至单个应用程序功能在内的底层云基础设施，但可能会限制用户特定的应用程序配置设置。
[0065]
平台即服务(paas)：提供给用户的功能是将用户创建或获取的应用程序部署到云基础设施上，该用户创建或获取的应用程序是使用提供商支持的编程语言和工具创建的。用户不管理或控制包括网络、服务器、操作系统或存储在内的底层云基础设施，而是控制所部署的应用程序和可能的应用程序托管环境配置。
[0066]
基础设施即服务(laas)：向用户提供的功能是提供处理、存储、网络和其他基本计算资源，其中用户能够部署和运行包括操作系统和应用程序在内的任意软件。用户不管理或控制底层云基础设施，而是控制操作系统、存储、部署的应用程序、以及可能对选择的网络组件(例如，主机防火墙)进行有限的控制。
[0067]
部署模型如下：
[0068]
私有云(private cloud)：云基础设施仅为组织运行。它可以由组织或第三方来管理，并且可以存在于内部或外部。
[0069]
社区云(community cloud)：云基础设施由多个组织共享，并且支持具有共享关注点(例如，任务、安全要求、策略和服从性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于内部或外部。
[0070]
公共云(public cloud)：云基础设施可供一般公众或大型工业集团使用，并由出售云服务的组织所拥有。
[0071]
混合云(hybrid cloud)：云基础设施是由两个或更多个云(私有、社区或公共)组成的，这些云保持唯一的实体，但是通过标准化或专有技术绑定在一起，从而实现数据和应用程序的可移植性(例如，用于在云之间进行负载平衡的云爆发)。
[0072]
云计算环境是面向服务的，着重于无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点的网络的基础设施。
[0073]
参照图5，其示出了示例性的云计算环境500。如图所示，云计算环境500包括一个
或多个云计算节点10，云用户所使用的本地计算设备(例如个人数字助理(pda)或蜂窝电话54a、台式计算机54b、膝上型计算机54c和/或汽车计算机系统54n)可以与这些云计算节点10通信。云计算节点10之间可以彼此通信。可以在一个或多个网络中，例如上文所述的私有云、社区云、公共云、混合云、或其组合中，对它们进行物理或虚拟分组(未示出)。这允许云计算环境500提供基础设施、平台和/或软件作为服务，而云用户不需要在本地计算设备上为这些服务维护资源。应当理解，图5所示的计算设备54a
‑
n的类型仅是示例性的，并且云计算节点10和云计算环境500可以通过任何类型的网络和/或网络可寻址连接(例如，使用网页浏览器)与任何类型的计算机设备通信。
[0074]
参照图6，其示出了由云计算环境500(图5)提供的一组功能抽象层600。应当理解的是，图6所示的组件、层和功能仅是示例性的，并且实施例不限于此。如图所示，提供了以下层和相应功能：
[0075]
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：主机61、基于risc(精简指令集计算机，reduced instruction set computer)架构的服务器62、服务器63、刀锋服务器(blade server)64、存储设备65、以及网络和网络组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
[0076]
虚拟层70提供抽象层，从该抽象层可以提供以下虚拟实体的示例：虚拟服务器71、虚拟存储器72、包括虚拟专用网络的虚拟网络73、虚拟应用程序和操作系统74、以及虚拟客户端75。
[0077]
在一个示例中，管理层80可以提供下述功能。资源供应81提供用于在云计算环境中执行任务的计算资源和其它资源的动态采购。当在云计算环境中利用资源时，计量和定价82提供成本跟踪，并为这些资源的消耗开具帐单或发票。在一个示例中，这些资源可包括应用软件许可证。安全性为云用户和任务提供身份验证，并为数据和其他资源提供保护。用户入口83为用户和系统管理员提供对云计算环境的访问。服务级别管理84提供云计算资源的分配和管理，从而满足所需的服务级别。服务水平协议(sla，service level agreement)计划和实现85为根据sla预期的未来需求的云计算资源提供预先安排和获取。工作负载层90提供可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：映射和导航91、软件开发和生命周期管理92、虚拟课堂教学实施93、数据分析处理94、交易处理95、以及子图像编码96。子图像编码96可以用多个层集中子图像对视频进行编码。
[0078]
一些实施例可以涉及处于任何可能的技术细节集成水平的系统、方法和/或计算机可读介质。计算机可读介质可以包括非易失性计算机可读存储介质(或媒介)，其上存储有使处理器执行操作的计算机可读程序指令。
[0079]
计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是，例如，但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任任意适当组合。计算机可读存储介质的更具体示例的非详尽列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd
‑
rom)、数字通用光盘(dvd)、记忆棒、软盘、机械编码装置(如其上记录有指令的穿孔卡(punch
‑
card)或槽内凸起的结构)、以及上述的任意适当组合。本文所使用的计算机可读存储介质不应被解释为本身是易失信号，例如无线电波或其他自由传播
的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过电线传输的电信号。
[0080]
本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。所述网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发所述计算机可读程序指令，以将其存储在相应计算/处理设备内的计算机可读存储介质中。
[0081]
用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(isa，instruction
‑
set
‑
architecture)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括诸如smalltalk、c 等的面向对象的编程语言、以及程序化程序语言(例如“c”编程语言)或类似的编程语言。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上执行而部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机上，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以使得电子电路个性化，从而执行方面或操作。
[0082]
可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，使得该指令经由计算机或其他可编程数据处理装置的处理器执行，以创建用于实现流程图和/或框图中的一个或多个框指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，所述计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式运行，从而使得其中存储有指令的计算机可读存储介质包含制品，所述制品包括实现流程图和/或框图中的一个或多个框指定的功能/动作的各方面的指令。
[0083]
计算机可读程序指令也可以加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框指定的功能/动作。
[0084]
附图中的流程图和框图示出了根据各种实施例的系统、方法和计算机可读介质的可能的实实施方式的架构、功能和操作。在这这一点而言，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。相比于图中所描绘的，所述方法、计算机系统和计算机可读介质可以包括更多的块、更少的块、不同的块或不同布置的块。在一些可选实施方式中，框中标注的功能可以不按附图中标注的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以同时或基本上同时执行，或者所述框有时可以以相反的顺序执行。还应注意的是，框图和/或流程图的每个框以及框图和/或流程图的框的组合可以由执行指定功能或动作的或者执行专用硬件和计算
机指令的组合的基于专用硬件的系统来实施。
[0085]
很明显，本文所述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不受这些实施方式的限制。因此，本文描述了这些系统和/或方法的操作和行为而没有参考具体的软件代码——应当理解，可以基于本文的描述来设计软件和硬件以实现这些系统和/或方法。
[0086]
除非明确说明，否则本文中使用的元件、动作或指令均不得解释为关键或必要的。另外，如本文所使用的，冠词“一(a)”和“一个(an)”旨在包括一个或多个项，并且可以与“一个或多个”互换使用。此外，如本文所使用的，术语“集合”旨在包括一个或多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或多个”互换使用。在仅希望一个项的情况下，则使用术语“一个”或类似语言。另外，如本文所使用的，术语“具有(has)”，“具有(have)”，“具有(having)”等旨在是开放式术语。进一步，短语“基于”旨在表示“至少部分地基于”，除非另外明确说明。
[0087]
已经出于说明的目的给出了各个方面和实施例的描述，但是并不旨在穷举或限于所公开的实施例。即使权利要求中叙述了特征的组合和/或说明书中公开了特征的组合，这些组合也不旨在限制可能的实施方式的公开。实际上，这些特征中的许多特征可以以权利要求中未具体描述和/或说明书中未公开的方式组合。虽然下文列出的每个从属权利要求可以直接从属于仅一个权利要求，但是可能的实施方式的公开包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说将是显而易见的。选择本文使用的术语是为了最好地解释本技术实施例的原理、对市场上发现的技术的实际应用或技术改进，或使本领域其他普通技术人员能够理解本文公开的实施例。