处理体数据的制作方法

1.本发明的至少一个实施例一般涉及编码/解码体视频。


背景技术：

2.本部分旨在向读者介绍可能与下面描述和/或要求保护的本发明的实施例中的至少一个的各方面相关的技术的各方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解至少一个实施例的各个方面。
3.随着近来与改进的屏幕分辨率、视场以及帧速率相关联的消费者头戴式显示器(oculus、htc vive等)的出现，虚拟现实确实在迅速发展。这种现象尤其打开了在包括游戏、教育/培训以及多媒体的许多领域中的新型应用的大门。在后一领域中，尤其出现了包括所谓的360
°
视频的新类型的视频内容。这种视频允许用户通过围绕固定视点的纯旋转来观看他自己的周围。
4.即使纯旋转对于第一全向视频体验是足够的，对于预期更自由的观看者它们也可能迅速变得沮丧。更重要的是，它也可能引起眩晕，因为头部旋转包括头部的小平移，这种小平移不能通过这种体验再现。
5.这些360
°
内容的替代被称为体视频或6自由度(6dof)视频。当观看这样的视频时，除了旋转之外，用户还可以在观看的内容内平移他的头部并且体验视差。这种视频显著地增加了沉浸感和场景深度的感知，而且通过在头部平移期间提供一致的视觉反馈来防止眩晕。基本上通过专用传感器的方式创建相关内容，该专用传感器允许同时记录感兴趣场景的颜色和深度。使用与摄影测量技术结合的彩色相机装备是进行这种记录的常见方式。虽然360
°
视频简单地归结为由球形纹理的去映射产生的特定图像的时间连续(例如，宽长/等矩形图像)，但是6dof视频“帧”更复杂，因为它们应当嵌入来自若干视点的信息。它们可以被看作由上述3d捕捉产生的时间序列的彩色点云。
6.可以根据观看条件考虑两种不同类型的体视频。更许可的是，一个允许在视频内容内进行完全自由的导航，而第二个(我们在这里考虑的)将用户观看空间限制到有限的体积。后一种情况是坐在扶手椅上的观众成员的自由导航和被动观看条件之间的自然折衷。此外，可以想到，在比自由视点情况更短的条件中，获取内容需要更少的努力(由于可视化框的限制)，并且当前在标准组织中以3dof 的名称被考虑在用于沉浸式视频(miv)的标准mpeg-i部分7/元数据(用于沉浸式媒体(视频)的元数据n18464和w18470的iso/iec jtc 1/sc29/wg11工作草案1)中。
7.3dof 内容(体视频)通常在一段时间内作为多视图 深度(mvd)帧的集合来提供，即作为mvd帧的集合。在该时间段的时刻，mvd帧将体视频的颜色和深度表示为多个视图对。每对视图包括用于颜色的视图和用于深度的一个视图。体视频可以来自真实的捕获，或者可以通过专用(可能是真实感的)渲染从现有的计算机图形内容中生成。
8.最近，已经提出了基于视频的框架来编码/解码体视频。
9.粗略地说，体视频作为封装在颜色和深度图册(altas)中的颜色和深度补片的对
来传送，颜色和深度图册然后利用常规视频编解码器(通常是hevc)来编码。每对颜色和深度补片表示场景的子部分在该时间段上的2d(典型地为球形)投影，即捕获一对视图的子部分在该时间段上的颜色和深度，并且所有颜色和深度补片对的集合在编码阶段被设计为表示整个场景的2d投影，同时尽可能不冗余。换言之，体视频被定义为由一组相机(用于自然内容的真实相机或用于计算机生成的内容的虚拟相机)捕捉并表示场景的一组视图(颜色 深度)。这些视图通常是冗余的。补片是足以完全表示场景的视图的子部分，子部分不冗余或几乎不冗余。
10.使用基于视频的译码器对颜色和深度图册进行编码利用了使用帧内的静态位置的颜色和深度补片的优点来在每个时间段进行编码。这使得视频编码时间预测实际上更容易和有效。
11.因此，每一对颜色和深度区补片应在给定时间段(通常为mvd帧持续时间的倍数)上具有静态性质。在所述时间段上，所述补片被称为定义的(有效的)。至于一对颜色和深度补片中的颜色或深度补片的内容，其可以在所述时间段内随时间变化。
12.在解码阶段，首先使用基于视频的解码器(通常为hevc)来解码颜色和深度图册，且在视图合成过程中不投影颜色和深度补片以恢复与期望观看位置相关联的视口。除了颜色和深度图册之外，描述补片布置的特定元数据连同颜色和深度图册一起被用信号发送以用于适当解码。特别地，所述元数据可以列出用于颜色和深度图册创建的2d/球形投影(也称为照相机)以及补片属性(位置、大小，
…
)。


技术实现要素：

13.以下呈现了本发明的实施例中的至少一者的简化概述，以便提供对本发明的一些方面的基本理解。本概述不是对实施例的广泛综述。其不旨在标识实施例的关键或重要元素。以下概述仅以简化形式呈现了本发明的实施例中的至少一者的一些方面，作为在本文档中的其它地方提供的更详细描述的序言。
14.根据至少一个实施例的一般方面，提供了一种对表示场景的体视频进行编码的方法，所述编码基于表示场景的子部分的2d投影的颜色和深度的补片，其中，所述第一补片在给定时间间隔内被打包在所述第二补片中，所述给定时间间隔小于或等于当所述第一补片能够在所述时间间隔内被打包到所述第二补片中时定义第二补片所沿的时间段。
15.在一个实施例中，所述方法进一步包括发送定义所述时间间隔的信息。
16.根据至少一个实施例的另一个一般方面，提供了一种对表示场景的体视频进行解码的方法，所述解码基于表示场景的子部分的2d投影的颜色和深度的补片，其中，当所述第一补片在小于或等于定义第二补片所沿的时间段的给定时间间隔内被打包到第二补片中时，所述方法包括在所述时间间隔上从所述第二补片中解包出所述第一补片。
17.在一个实施例中，当接收到定义所述时间间隔的信息时，在所述时间间隔内将第一补片打包到第二补片中。
18.根据至少一个实施例的一般方面，提供了一种设备，包括用于对表示场景的体视频进行编码的装置，所述编码基于表示场景的子部分的2d投影的颜色和深度的补片，其中，所述第一补片在给定时间间隔内被打包在所述第二补片中，所述给定时间间隔小于或等于当所述第一补片能够在所述时间间隔内被打包到所述第二补片中时定义第二补片所沿的
时间段。
19.在一个实施例中，所述设备进一步包括用于发送定义所述时间间隔的信息的装置。
20.根据至少一个实施例的一般方面，提供了一种设备，包括用于对表示场景的体视频进行解码的装置，所述解码基于表示场景的子部分的2d投影的颜色和深度的补片，其中，当所述第一补片在小于或等于定义第二补片所沿的时间段的给定时间间隔内被打包到第二补片中时，所述方法包括在所述时间间隔内从所述第二补片中解包出所述第一补片。
21.在一个实施例中，当接收到定义所述时间间隔的信息时，在所述时间间隔内将第一补片打包到第二补片中。
22.根据至少一个实施例的一般方面，提供了一种包括表示场景的体视频的比特流，所述体视频是使用基于表示场景的子部分的2d投影的颜色和深度的补片的编码来编码的，其中，所述比特流进一步包括定义时间间隔的信息，所述时间间隔指示在所述时间间隔上第一补片被打包到第二补片中。
23.在一个实施例中，所述用信号发送的信息指示补片的有序列表的第一和第二索引。
24.在一个实施例中，所述时间段被分成多个时间间隔，定义所述时间间隔的所述信息是指示所述时间间隔之一的比特。
25.至少一个实施例中的一个或多个实施例还提供了一种计算机程序产品和非暂态计算机可读介质。
26.根据结合附图进行的以下实例描述，本发明实施例中的至少一者的特定性质以及本发明实施例中的所述至少一者的其它目的、优点、特征和用途将变得显而易见。
附图说明
27.在附图中，示出了若干实施例的示例。附图示出：
[0028]-图1示出了根据现有技术的基于图册的体视频编码/解码的示例的示意性框图；
[0029]-图2示出了根据现有技术的补片的示例；
[0030]-图3示出了根据至少一个本实施例的用于对体视频进行编码的方法的流程图；
[0031]-图3a示出了根据至少一个本实施例的用于解码体视频的方法的流程图；
[0032]-图4-4d示出了图3的方法的示例；
[0033]-图5示出了根据至少一个实施例的语法元素的示例；以及
[0034]-图6示出了其中实现了各个方面和实施例的系统的示例的示意性框图。
具体实施方式
[0035]
在下文中参考附图更全面地描述至少一个本发明实施例，其中示出了至少一个本发明实施例的示例。然而，实施例可以以许多替代形式来体现，并且不应被解释为限于本文阐述的示例。因此，应当理解，不旨在将实施例限于所公开的特定形式。相反，本公开旨在覆盖落入本技术的精神和范围内的所有修改、等同物和替代物。
[0036]
当附图被呈现为流程图时，应当理解，它还提供了对应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
[0037]
图中相似或相同的元件用相同的参考数字表示。
[0038]
一些图表示在标准规范中广泛使用的语法表，用于定义符合那些标准规范的比特流的结构。在这些语法表中，术语
‘…
'表示相对于在v-pcc中给出的原始定义的语法的未改变部分，并且在图中被去除以便于阅读。图中的粗体项指示该项的值是通过解析比特流获得的。语法表的右列指示用于编码语法元素的数据的比特数。例如，u(4)指示4比特用于编码数据，u(8)指示8比特，ae(v)指示上下文自适应算术熵译码的语法元素。
[0039]
下面描述和预期的方面可以以许多不同的形式来实现。图1-6在以下提供了一些实施例，但是可以构想其他实施例，并且对图1-6的讨论不限制实现的广度。
[0040]
至少一个方面一般涉及体视频编码和解码，并且至少一个其它方面一般涉及传送生成的或编码的比特流。
[0041]
此外，本发明的方面不限于例如mpeg-i部分7等mpeg标准，且可应用于(例如)其它标准和建议(无论是预先存在的还是将来开发的)，以及任何此类标准和建议的扩展。除非另外指出或在技术上排除，否则本技术中描述的方面可以单独或组合使用。
[0042]
基于图册的体视频编码/解码的基础自然是创建颜色和深度图册的颜色和深度补片以使其充分非冗余和互补的方式。
[0043]
图1示出了根据现有技术(miv)的基于图册的体视频编码/解码的示例的示意性框图。
[0044]
实质上，基于图册的体视频编码器包括视图优化器、图册构造器、视频编码器、和元数据构成器。类似地，基于图册的体视频解码器包括视频解码器、元数据解析器、图册补片占用映射生成器、和渲染器。
[0045]
视图优化器将与给定时间段t内的mvd帧相关联的视图对分割成所谓的“基本”视图对和“附加”视图对。
[0046]
可能地，合成视图被创建为“基本”或“附加”视图对的视图。合成视图不在要编码的视图的初始输入集中。
[0047]“基本”视图对旨在以所谓的“大”补片(每个“基本”视图对一对颜色和深度补片)来完全传送，而“附加”视图对旨在被“修剪”，即，如下所述，这些“附加”视图对的颜色和深度的仅一些子部分可以在相关联的颜色和深度补片对中被编码和传达。
[0048]
图册构造器构建表示体视频的颜色和深度补片图册。
[0049]
首先，对于每个mvd帧，一个接一个地迭代修剪相关联的“附加”视图对：丢弃已经包含在“基本”视图对中或任何先前修剪的“附加”视图对中的场景的每个部分。然后，为时间段t的每个mdv帧的每个修剪得到的“附加”视图对建立二进制掩码。
[0050]
接下来，如果来自的二进制掩码之一在给定空间位置处具有有效值，则将与时间段t内的修剪的“附加”视图对相关联的二进制掩码合并成一个唯一的聚合二进制掩码，该聚合二进制掩码然后包含该空间位置处的有效值(指示“附加”视图对的一些颜色和深度必须由颜色和深度补片来传达)。
[0051]
接下来，对与每个“附加”视图对相关联的聚合二进制掩码进行聚类。簇是对具有有效值的聚合二进制掩码的连接像素进行分组的矩形区域。这些簇中的每一个簇表示在时间段t内应当在一对颜色和深度图片中传达的一个“附加”视图对的区域。
[0052]
然后，对于每个“附加”视图对，通过利用专用算法(例如，“maxrect”)在颜色和深
度图册(大帧)中将簇打包在一起来获得至少一对颜色和深度补片。如果需要，一些簇可以被分开和/或旋转以适合所述打包文件。一些补片的空区域也可以用于打包另一“附加”视图对的簇(补片中的所谓“空间”补片)以节省空间。如前所述，“基本”视图对还产生“大”补片，其也在相同过程之后被打包在颜色和深度图册中。注意，打包过程仅在于寻找补片属性(位置、大小、
…
)，而不是在于有效地产生颜色和深度图册。
[0053]
最后，一旦补片列表已经被整形，对于时间段t上的每个mvd帧，生成相应的颜色和深度图册。更准确地说，在颜色和深度图册的对应空间位置处复制(如果需要，则利用可能的旋转)与每对颜色和深度补片对应的“基本”和“附加”视图对的颜色和深度部分。在一天结束时，为时间段t的每个mvd帧产生一对颜色和深度图册，并且为整个时间段t产生一个唯一的元数据列表(包括“基本”和“附加”视图对属性以及补片列表属性)。
[0054]
图册构造器的一个重要问题发生在时间段t期间场景中发生重要运动(由于运动对象或由于相机运动)时。在这种情况下，聚合可以产生由时间段t期间补片内的场景的一部分的“滑动”引起的非常大的补片。这在图2中示出，其中圆形在时间段t内从补片的底部移动到顶部，补片实例(即，补片)实际上单独地几乎是空的(它们包含很少的材料)，但是滑动内容引起聚合二进制掩码的部分p是准完整的，并且因此“大”簇(“大”补片)被打包在颜色和深度图册中。
[0055]
此外，在这种情况下，试图利用这些补片实例的稀疏性，利用补片中的“空间”补片是不可能的，因为即使在某一时间它是空的，在时间段t的剩余部分期间补片实例的给定部分也可能被覆盖。
[0056]
作为直接的解决方案，时间段t可适应性地缩短以减小运动的影响，但在所述情况下，不受此问题影响的补片实例将有用地扩展(因为缩短时间段意味着添加扩展的经帧内译码mvd帧)。
[0057]
因此，图1的基于图册的体视频编码/解码需要更大的图册，以在出现导致可能不期望的高像素率的大运动时打包所有场景内容。像素速率是视频传输的每时间单位(通常为一秒)要传输的像素量。通常，像素率由w*h*fps定义，其中，w和f是要传输的视频的图片的行和列的数量，fps是每时间单位的帧数。在本文中，像素率取决于颜色和深度图册的大小。
[0058]
一般而言，本实施例当所述第一补片可在小于或等于时间段t的时间间隔内打包到第二补片中时，将第一补片在所述时间间隔内打包到第二补片中。
[0059]
基本思想是利用补片中的空区域来降低像素率。
[0060]
图3示出了根据至少一个本实施例的用于对体视频进行编码的方法的流程图。
[0061]
在步骤310中，可以从颜色或深度图册获得第一补片和第二补片。第二补片在时间段t上定义，并且第一补片可在小于或等于时间段t的时间段上定义。
[0062]
或者，第一补片可以是意图被打包在颜色和深度图册中的簇。
[0063]
在步骤320中，检查第一补片是否可以在小于或等于时间段t的时间间隔内被打包到第二补片中。
[0064]
在步骤330中，当可在所述时间间隔内将第一补片打包到第二补片中时，在所述时间间隔内将第一补片打包到第二补片中。
[0065]
图4示出了图3的方法的非限制性和说明性示例。考虑时间段tm内的第一补片m和
时间段t内的第二补片p。清楚地，由于补片m的所有实例的内容不与补片p的实例的内容重叠，因此补片m可被打包在补片p中。这里，当补片m被打包在补片m的上部时，补片实例p1和m1的内容，相应地，p2和m2的内容，不重叠。换句话说，第一补片m的所有实例m1和m2的内容可被记录(嵌入、打包)在第二补片的补片实例p1和p2的空的空间中(图4a)。
[0066]
该说明性示例可以扩展到任何第一和第二补片。而且，多个第一补片也可以被打包在相同的第二补片中。此外，可以将一段时间内的第一补片打包到同一段时间内的第二补片中(tm＝t)。
[0067]
图4b示出了图3的方法的另一个非限制性和说明性示例。考虑了在时间段t内的第一补片m和在时间段t内的第二补片p。清楚地，补片m不能被打包在补片p中，因为如果补片m被打包在补片p的上部，那么补片实例m3和m4的内容与补片实例p3和p4的内容重叠，并且如果补片m被打包在补片p的下部，那么补片实例m1和m2的内容与补片实例p1和p2的内容重叠。在这种情况下，根据图3的方法，从补片m(图4b)获得两个第一补片n和o(图4c)。第一个补片n在小于时间段t的时间间隔t1上定义，第一个补片o在小于时间段t的时间间隔t2上定义。显然，可将补片n打包在补片p的上部，因为补片n的所有实例的内容不与补片p的实例的内容重叠。在此，补片实例p1和n1、相应的p2和n2的内容不重叠。同样，补片o可被打包在补片p的下部，因为补片o的所有实例的内容不与补片p的实例的内容重叠，在此，补片实例p3和o1、相应的p4和o2的内容不重叠。
[0068]
在一个实施例中，可以定义时间间隔(t1、t2、
…
)以便最小化将补片(m)打包在第二补片(p)中所需的时间间隔的数量。
[0069]
在变型中，时间间隔是通过有规律地分割时间段t来定义的。在图4c的示例中，时间段t被分成两个相同的时间间隔t1和t2，但是允许任何其它值。
[0070]
显然，补片n(图4c)可被打包在补片p的上部，因为补片实例n1和p1、相应的n2和p2的内容不重叠。补片o也可以被打包在补片p的下部，因为补片实例o1和p3、相应的o2和p4的内容不重叠(图4d)。
[0071]
图3a示出了根据至少一个本实施例的用于解码体视频的方法的流程图。
[0072]
在步骤350中，可以从颜色或深度图册获得时间段t内的第二补片。
[0073]
在步骤360中，检查第一补片是否在小于或等于时间段t的时间间隔内被打包到第二补片中。
[0074]
在步骤370中，当第一补片在所述时间间隔内被打包到第二补片中时，在所述时间间隔内从第二补片解包出第一补片。
[0075]
在图3和3a的方法的变型中，可能从比特流中用信号通知定义时间间隔的信息inf，该信息inf由编码器传送并由解码器接收。
[0076]
然后，图3的方法包括传送信息inf的步骤340，在步骤360的一个实施例中，当可能从比特流接收到定义所述时间间隔的信息时，在所述时间间隔上将第一补片打包到第二补片中。
[0077]
在一个实施例中，所述用信号通知的信息inf指示补片的有序列表的第一和第二索引。
[0078]
例如，在32-长度的时间段的情况下，4比特的字段可以被考虑来存储这些索引中的每一个索引。
[0079]
在实施例中，所述时间段被分成多个时间间隔，所述用信号通知的信息inf是指示所述时间间隔之一的比特。
[0080]
例如，时间段t可以被分成n个规则的时间间隔(例如，对于32长度的时间段t，8帧的4个时间间隔)，并且用信号通知的信息可以是n比特的字段。如果在时间段t的第i个时间间隔期间补片“存在”，则第i个比特被设置为1。
[0081]
图5示出了相对于颜色和深度图册的参数的语法元素“altas_params”的实例，所述颜色和深度图册包括表示所述用信号通知的信息inf的语法元素“patch-lifetime”。索引“a”可以指补片索引，而索引“i”可以指时间间隔索引。
[0082]
图6示出了其中实现了各个方面和实施例的系统的示例的示意性框图。
[0083]
系统6000可以被实现为包括下面描述的各种组件的一个或多个设备，并且被配置为执行本文中描述的一个或多个方面。可以形成系统6000的全部或部分的设备的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、连接的车辆及其相关联的处理系统、头戴式显示设备(hmd、透视眼镜)、投影仪(投影机)、“cave”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒、以及用于处理点云、视频或图像的任何其他设备或其他通信设备。系统6000的元件可以单独地或组合地实现在单个集成电路、多个ic和/或分立组件中。例如，在至少一个实施例中，系统6000的处理和编码器/解码器元件可以分布在多个ic和/或分立组件上。在各种实施例中，系统6000可以例如经由通信总线或通过专用输入和/或输出端口通信地耦合到其它类似系统或其它电子设备。在各种实施例中，系统6000可以被配置为实现本文档中描述的一个或多个方面。
[0084]
系统6000可以包括至少一个处理器6010，其被配置成执行加载在其中的指令，以便实现例如本文中描述的各个方面。处理器6010可以包括嵌入式存储器、输入输出接口以及本领域已知的各种其它电路。系统6000可以包括至少一个存储器6020(例如，易失性存储器设备和/或非易失性存储器设备)。系统6000可以包括存储设备6040，其可以包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备6040可以包括内部存储设备、附加存储设备、和/或网络可访问存储设备。
[0085]
系统6000可以包括编码器/解码器模块6030，其被配置为例如处理数据以提供编码数据或解码数据，并且编码器/解码器模块6030可以包括其自己的处理器和存储器。编码器/解码器模块6030可表示可包括在设备中以执行编码和/或解码功能的模块(一个或多个)。如已知的，设备可以包括编码和解码模块中的一者或两者。另外，编码器/解码器模块6030可以实现为系统6000的单独元件，或者可以作为本领域技术人员公知的硬件和软件的组合结合在处理器6010内。
[0086]
要加载到处理器6010或编码器/解码器6030上以执行本文档中描述的各个方面的程序代码可以存储在存储设备6040中，并且随后加载到存储器6020上以由处理器6010执行。根据各种实施例，处理器6010、存储器6020、存储设备6040和编码器/解码器模块6030中的一者或多者可以在执行本文中描述的过程期间存储各种项中的一者或多者。这样的存储
项目可以包括但不限于点云帧、编码/解码的几何/纹理视频/图像或编码/解码的几何/纹理视频/图像的部分、比特流、矩阵、变量以及来自等式、公式、运算和运算逻辑的处理的中间或最终结果。
[0087]
在若干实施例中，处理器6010和/或编码器/解码器模块6030内部的存储器可用于存储指令，并提供用于可在编码或解码期间执行的处理的工作存储器。
[0088]
然而，在其它实施例中，处理设备(例如，处理设备可以是处理器6010或编码器/解码器模块6030)外部的存储器可以用于这些功能中的一者或多者。外部存储器可以是存储器6020和/或存储设备6040，例如，动态易失性存储器和/或非易失性闪存。在若干实施例中，外部非易失性闪存可用于存储电视的操作系统。在至少一个实施例中，诸如ram的快速外部动态易失性存储器可以用作视频编码和解码操作的工作存储器，诸如用于mpeg-2部分2(也称为itu-t建议h.262和iso/iec 13818-2，也称为mpeg-2视频)、hevc(高效视频译码)或vvc(通用视频译码)。
[0089]
如框6130中所示，可以通过各种输入设备来提供对系统6000的元件的输入。这样的输入设备包括但不限于(i)rf部分，其可以接收例如由广播公司通过空中传输的rf信号，(ii)复合输入端子，(iii)usb输入端子，和/或(iv)hdmi输入端子。
[0090]
在各种实施例中，框6130的输入设备可以具有本领域已知的相关联的相应输入处理元件。例如，rf部分可以与以下处理必要的元件相关联：(i)选择期望的频率(也称为选择信号，或者将信号频带限制到频带)，(ii)将所选择的信号下变频，(iii)再次频带限制到较窄的频带，以选择(例如)在某些实施例中可以称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用，以选择期望的数据分组流。各种实施例的rf部分可以包括一个或多个元件以执行这些功能，例如，频率选择器、信号选择器、限带器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可以包括执行各种这些功能的调谐器，这些功能包括例如将接收的信号下变频到较低频率(例如，中频或近基带频率)或基带。
[0091]
在一个机顶盒实施例中，rf部分及其相关的输入处理元件可以接收通过有线(例如，电缆)介质发送的rf信号。然后，rf部分可以通过滤波、下变频以及再次滤波到期望的频带来执行频率选择。
[0092]
各种实施例重新安排上述(和其它)元件的顺序，移除这些元件中的一些，和/或添加执行类似或不同功能的其它元件。
[0093]
添加元件可以包括在现有元件之间插入元件，例如插入放大器和模数转换器。在各种实施例中，rf部分可以包括天线。
[0094]
另外，usb和/或hdmi端子可以包括用于通过usb和/或hdmi连接将系统6000连接到其它电子设备的相应接口处理器。应当理解，输入处理的各个方面，例如reed-solomon纠错，可以根据需要在例如单独的输入处理ic内或处理器6010内实现。类似地，usb或hdmi接口处理的方面可根据需要在单独的接口ic内或处理器6010内实现。可以将解调、纠错和解复用的流提供给各种处理元件，包括例如处理器6010和编码器/解码器6030，它们与存储器和存储元件结合操作以便根据需要处理数据流以便呈现在输出设备上。
[0095]
系统6000的各种元件可以设置在集成壳体内。在集成壳体内，各种元件可以使用合适的连接布置6140(例如，本领域已知的内部总线，包括i2c总线、布线和印刷电路板)互
连，并在其间传输数据。
[0096]
系统6000可以包括使得能够经由通信信道6060与其它设备通信的通信接口6050。通信接口6050可以包括但不限于被配置成通过通信信道6060发送和接收数据的收发器。通信接口6050可以包括但不限于调制解调器或网卡，并且通信信道6060可以例如在有线和/或无线介质内实现。
[0097]
在各种实施例中，可以使用诸如ieee 802.11的wi-fi网络将数据流式传输到系统6000。这些实施例的wi-fi信号可通过适用于wi-fi通信的通信信道6060和通信接口6050来接收。这些实施例的通信信道6060通常可连接到接入点或路由器，所述接入点或路由器提供对包括因特网的外部网络的接入以允许流式应用和其它过顶通信。
[0098]
其它实施例可以使用通过输入框6130的hdmi连接递送数据的机顶盒来向系统6000提供流式数据。
[0099]
其他实施例可以使用输入框6130的rf连接向系统6000提供流式数据。
[0100]
应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等可以用于将信息用信号通知给对应的解码器。
[0101]
系统6000可以向包括显示器6100、扬声器6110和其他外围设备6120的各种输出设备提供输出信号。在实施例的各种示例中，其他外围设备6120可以包括独立的dvr、盘播放器、立体声系统、照明系统和基于系统3000的输出提供功能的其他设备中的一者或多者。
[0102]
在各种实施例中，可以使用诸如av.链路(音频/视频链路)、cec(消费电子控制)、或使得能够在有或没有用户干预的情况下进行设备到设备控制的其他通信协议的信令在系统6000与显示器6100、扬声器6110或其它外围设备6120之间传送控制信号。
[0103]
输出设备可以通过各自的接口6070、6080和6090经由专用连接通信地耦合到系统6000。
[0104]
或者，输出设备可以使用通信信道6060经由通信接口6050连接到系统6000。显示器6100和扬声器6110可以与系统6000的其它组件一起集成在诸如电视机之类的电子设备中的单个单元中。
[0105]
在各种实施例中，显示接口6070可包括显示驱动器，例如定时控制器(t con)芯片。
[0106]
例如，如果输入6130的rf部分是单独的机顶盒的一部分，则显示器6100和扬声器6110可以备选地与其他组件中的一者或多者分离。在显示器6100和扬声器6110可以是外部组件的各种实施例中，输出信号可经由专用输出连接提供，包括例如hdmi端口、usb端口、或comp输出。
[0107]
在图1-6中，本文描述了各种方法，并且每种方法包括用于实现所描述的方法的一个或多个步骤或动作。除非方法的正确操作需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或使用。
[0108]
一些示例是关于框图和操作流程图来描述的。每个框表示电路元件、模块或代码部分，其包括用于实现指定逻辑功能(一个或多个)的一个或多个可执行指令。还应当注意，在其它实现中，框中所标注的功能(一个或多个)可以不按所指明的顺序发生。例如，取决于所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。
[0109]
本文描述的实现方式和方面可以在例如方法或过程、装置、计算机程序、数据流、比特流或信号中实现。即使仅在单一形式的实现的上下文中讨论(例如，仅作为方法讨论)，所讨论的特征的实现也可以以其他形式(例如，装置或计算机程序)来实现。
[0110]
所述方法可以在例如处理器中实现，所述处理器通常指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备。
[0111]
另外，所述方法可由处理器执行的指令实施，且此类指令(和/或由实施方案产生的数据值)可存储在计算机可读存储媒体上。计算机可读存储介质可以采取计算机可读程序产品的形式，该计算机可读程序产品包含在一个或多个计算机可读介质(一个或多个)中，并且具有包含在其上的计算机可读程序代码，该计算机可读程序代码可由计算机执行。如本文所使用的计算机可读存储介质可以被认为是非暂时性存储介质，其具有在其中存储信息的固有能力以及提供从其中检索信息的固有能力。计算机可读存储介质可以是，例如，但不限于，电、磁、光、电磁、红外或半导体系统、装置或设备，或前述的任何合适的组合。应当理解，尽管提供了可以应用本实施例的计算机可读存储介质的更具体的示例，但是以下仅是说明性的而不是如本领域普通技术人员容易理解的穷举列表：便携式计算机磁盘；硬盘；只读存储器(rom)；可擦除可编程只读存储器(eprom或闪存)；便携式光盘只读存储器(cd-rom)；光学存储设备；磁存储设备；或前述的任何合适的组合。
[0112]
指令可以形成有形地体现在处理器可读介质上的应用程序。
[0113]
指令可以是例如硬件、固件、软件或其组合。指令可以在例如操作系统、单独的应用程序或两者的组合中找到。因此，处理器可以被表征为例如被配置为执行过程的设备和包括具有用于执行过程的指令的处理器可读介质(诸如存储设备)的设备。此外，处理器可读介质可以存储由实现方式产生的数据值，作为指令的补充或替代。
[0114]
例如，可以以适当的硬件、软件和固件来实现装置。这样的装置的示例包括个人计算机、膝上型计算机、智能电话、平板计算机、数字多媒体机顶盒、数字电视接收机、个人视频记录系统、连接的家用电器、头戴式显示设备(hmd、透视眼镜)、投影仪(投影机)、“caves”(包括多个显示器的系统)、服务器、视频编码器、视频解码器、处理来自视频解码器的输出的后处理器、向视频编码器提供输入的预处理器、web服务器、机顶盒、以及用于处理点云、视频或图像的任何其他设备或其他通信设备。应当清楚，该设备可以是移动的，甚至可以安装在移动车辆中。
[0115]
计算机软件可以由处理器6010或由硬件实现，或者由硬件和软件的组合实现。作为非限制性示例，实施例还可以由一个或多个集成电路实现。存储器6020可以是适合于技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，作为非限制性示例，诸如光存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。处理器6010可以是适合于技术环境的任何类型，并且可以包含作为非限制性示例的以下一者或多者：微处理器、通用计算机、专用计算机、和基于多核架构的处理器。
[0116]
如对于本领域普通技术人员将显而易见的，实现可以产生被格式化以携带例如可以被存储或发送的信息的各种信号。该信息可以包括例如用于执行方法的指令，或者由所描述的实现之一产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信
息。如已知的，信号可以通过各种不同的有线或无线链路来传输。该信号可以存储在处理器可读介质上。
[0117]
本文所用的术语仅是为了描述特定实施例的目的，而不是旨在进行限制。如本文所用，单数形式“一”、“一个”和“该”也可旨在包括复数形式，除非上下文另有明确指示。还应当理解，术语“包括/包含”和/或“包括/包含”在本说明书中使用时可以指定所述的例如特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。此外，当元件被称为“响应”或“连接”到另一元件时，其可以直接响应或连接到另一元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其它元件时，不存在中间元件。
[0118]
应当理解，符号/术语“/”、“和/或”和“至少一者”中的任一个的使用，例如在“a/b”、“a和/或b”和“a和b中的至少一者”的情况下，可以旨在仅包括第一列出的选项(a)的选择，或仅包括第二列出的选项(b)的选择，或包括两个选项(a和b)的选择。作为进一步的例子，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，这样的措词旨在包括仅选择第一个列出的选项(a)，或者仅选择第二个列出的选项(b)，或者仅选择第三个列出的选项(c)，或者仅选择第一个和第二个列出的选项(a和b)，或者仅选择第一个和第三个列出的选项(a和c)，或者仅选择第二个和第三个列出的选项(b和c)，或者选择所有三个选项(a和b和c)。如本领域和相关领域的普通技术人员所清楚的，这可以扩展到所列的多个项目。
[0119]
在本技术中可以使用各种数值。具体值可以是例如目的，并且所描述的方面不限于这些具体值。
[0120]
应当理解，尽管术语第一、第二等可以在这里用来描述各种元件，但是这些元件不受这些术语的限制。这些术语仅用于将一个元件与另一个元件区分。例如，在不脱离本技术的教导的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。在第一元件和第二元件之间不暗示顺序。
[0121]
对“一个实施例”或“实施例”或“一个实现”或“实现”及其它变型的引用经常用于表达特定特征、结构、特性等(结合实施例/实现描述)包括在至少一个实施例/实现中。因此，在本技术中的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现中”或“在实现中”以及任何其他变型的出现不一定都指同一实施例。
[0122]
类似地，本文中对“根据实施例/示例/实现”或“在实施例/示例/实现中”及其它变型的引用经常用于传达特定特征、结构或特性(结合实施例/示例/实现描述)可以包括在至少一个实施例/示例/实现中。因此，在说明书中的各个地方出现的表述“根据实施例/示例/实现”或“在实施例/示例/实现中”不一定全部指代相同的实施例/示例/实现，也不一定是与其他实施例/示例/实现相互排斥的单独的或替代的实施例/示例/实现。
[0123]
权利要求中出现的附图标记仅作为说明，并且不应对权利要求的范围具有限制作用。尽管没有明确描述，但是本发明的实施例/示例和变型可以以任何组合或子组合来采用。
[0124]
当附图被呈现为流程图，但是应当理解，它还提供了相应装置的框图。类似地，当附图被呈现为框图时，应当理解，它还提供了对应的方法/过程的流程图。
[0125]
尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是应当理解，通信可以在与所描绘的箭头相反的方向上发生。
[0126]
各种实现方式涉及解码。如本技术中所使用的，“解码”可以包括例如对接收到的点云帧(可能包括对一个或多个点云帧进行编码的接收到的比特流)执行的全部或部分过程，以便产生适合于显示或适合于在重构的点云域中进一步处理的最终输出。在各种实施例中，此类过程包括通常由基于图像的解码器执行的过程中的一者或多者。
[0127]
作为进一步的示例，在一个实施例中，“解码”可以仅指熵解码，在另一个实施例中，“解码”可以仅指差分解码，并且在另一个实施例中，“解码”可以指熵解码和差分解码的组合。短语“解码过程”是否可以旨在具体地指代操作的子集或一般地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
[0128]
各种实现涉及编码。以与以上关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可以包括例如对输入点云帧执行的以便产生编码的比特流的过程的全部或部分。在各种实施例中，此类过程包括通常由基于图像的解码器执行的过程中的一者或多者。
[0129]
作为进一步的示例，在一个实施例中，“编码”可以仅指熵编码，在另一个实施例中，“编码”可以仅指差分编码，并且在另一个实施例中，“编码”可以指差分编码和熵编码的组合。短语“编码过程”是否可以旨在具体地指代操作的子集或一般地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且相信是本领域技术人员所充分理解的。
[0130]
注意，这里使用的语法元素是描述性术语。因此，它们不排除使用其它语法元素名称。
[0131]
各种实施例涉及率失真优化。特别地，在编码过程期间，通常考虑速率和失真之间的平衡或折衷，通常给出计算复杂度的约束。率失真优化通常可以被公式化为最小化率失真函数，该函数是率和失真的加权和。存在不同的方法来解决率失真优化问题。例如，这些方法可以基于对所有编码选项的广泛测试，包括所有考虑的模式或编码参数值，在译码和解码之后对它们的编码成本和重构信号的相关失真进行完整评估。还可以使用更快的方法来节省编码复杂度，特别是基于预测或预测残差信号而不是重构信号来计算近似失真。也可以使用这两种方法的混合，例如通过仅对一些可能的编码选项使用近似失真，而对其它编码选项使用完全失真。其它方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中的任何一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
[0132]
另外，本技术可以涉及“确定”各种信息。确定信息可以包括例如以下一者或多者：估计信息、计算信息、预测信息、或从存储器检索信息。
[0133]
此外，本技术可以涉及“访问”各种信息。访问信息可以包括例如以下一者或多者：接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息、或估计信息。
[0134]
另外，本技术可以指“接收”各种信息。如同“访问”一样，接收旨在是广义的术语。接收信息可以包括例如以下一者或多者：访问信息或(例如从存储器)检索信息。此外，在诸如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，通常以一种方式或另一种方式涉及“接收”。
[0135]
此外，如本文所使用的，词语“信号/用信号通知”尤其是指向对应的解码器指示某物。这样，在实施例中，可以在编码器侧和解码器侧使用相同的参数。因此，例如，编码器可以向解码器发送(显式信令)特定参数，使得解码器可以使用相同的特定参数。相反，如果解
码器已经具有特定参数以及其它参数，则可以使用信令而不进行发送(隐式信令)，以简单地允许解码器知道并选择特定参数。通过避免任何实际功能的传输，在各种实施例中实现了比特节省。应当理解，可以以各种方式来实现信令。例如，在各种实施例中，一个或多个语法元素、标志等被用于将信息用信号通知给对应的解码器。虽然前述内容涉及词语“信号/用信号通知”的动词形式，但是词语“信号/用信号通知”在本文中也可以用作名词。
[0136]
已经描述了一数量的实现。然而，应当理解，可以进行各种修改。例如，不同实现的元素可以被组合、补充、修改或移除以产生其他实现。另外，本领域技术人员将理解，其他结构和过程可以替代所公开的那些，并且所得到的实现将以至少基本上相同的方式执行至少基本上相同的功能，以实现与所公开的实现至少基本上相同的结果(一个或多个)。因此，本技术考虑了这些和其他实现。