点云全局方块打包的制作方法

点云全局方块打包
1.相关申请的交叉引用
2.本技术在35u.s.c.
§
119(e)下要求2019年3月18日提交的标题为“point cloud global tetris packing(点云全局方块打包)”的美国临时专利申请序列号62/819,856的优先权，该申请出于所有目的通过引用的方式被全文合并在本文中。
技术领域
3.本发明涉及三维图形。更具体来说，本发明涉及三维图形的编码。


背景技术：

4.点云被考虑作为用于3d数据的传输的候选格式，该3d数据由3d扫描仪、lidar传感器捕获，或者被使用在比如虚拟现实/增强现实(vr/ar)之类的受欢迎的应用中。点云是3d空间中的点集合。除了空间位置(x,y,z)之外，每一个点通常具有相关联的属性，比如颜色(r,g,b)或者甚至反射率和时间标记(例如在lidar图像中)。为了获得目标3d对象的高保真表示，设备捕获大约数以千计或百万计的点的点云。此外，对于使用在vr/ar应用中的动态3d场景，每一帧常常具有独有的稠密点云，从而导致每秒传输几百万个点云。对于这样大的数据量的可行传输，常常应用压缩。
5.在2017年，mpeg发出了针对点云压缩的提议征集(cfp)。在评估了几项提议之后，mpeg对于点云压缩正在考虑两种不同的技术：3d原生编码技术(基于八叉树和类似的编码方法)，或者3d到2d投影，随后是传统的视频编码。在动态3d场景的情况下，mpeg正在使用基于贴片表面建模的测试模型软件(tmc2)，从3d到2d图像的贴片投影，以及利用比如hevc之类的视频编码器对2d图像进行编码。该方法已被证明比原生3d编码更加高效，并且能够以可接受的质量实现具有竞争力的比特率。
6.在对点云进行编码时，tmc2对贴片投影的相关辅助信息进行编码，比如2d画布图像中的贴片位置和边框尺寸。对于辅助信息的时间编码，来自当前点云的贴片与来自即刻解码的点云的贴片之间的贴片匹配被用于预测。该规程被限制到紧接的邻域，并且包括对于序列中的所有帧实施增量编码。


技术实现要素：

7.本文中描述了一种将3d点云数据映射到2d表面中以用于进一步的高效时间编码的方法。点云全局方块打包利用3d表面贴片来表示点云，并且实施3d贴片表面数据到2d画布图像中的时间一致全局映射。
8.在一个方面中，一种被编程在设备的非瞬时性存储器中的方法包括：实施贴片匹配以确定匹配贴片，生成与匹配贴片的双向链表，以及根据匹配贴片计算累积占位图和每一个贴片的权重。实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。该双向链表表明是否存在与前向贴片和/或后向贴片的匹配。计算累积占位图是通过对匹配贴片进行取或而生成。计算累积占位图包括对准贴片的边框。计算每一
个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。该方法还包括基于贴片排序算法对包括匹配贴片的贴片进行排序。贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。
9.在另一方面中，一种装置包括：用于存储应用的非瞬时性存储器，该应用用于实施贴片匹配以确定匹配贴片、生成与匹配贴片的双向链表以及根据匹配贴片计算累积占位图和每一个贴片的权重；以及耦合到该存储器的处理器，该处理器被配置来处理该应用。实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。该双向链表表明是否存在与前向贴片和/或后向贴片的匹配。计算累积占位图是通过对匹配贴片进行取或而生成。计算累积占位图包括对准贴片的边框。计算每一个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。该应用还用于基于贴片排序算法对包括匹配贴片的贴片进行排序。贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。
10.在另一方面中，一种系统包括用于获取三维内容的一个或多个摄影机，以及用于通过如下操作对三维内容进行编码的编码器：实施贴片匹配以确定匹配贴片，生成与匹配贴片的双向链表，以及根据匹配贴片计算累积占位图和每一个贴片的权重。实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。该双向链表表明是否存在与前向贴片和/或后向贴片的匹配。计算累积占位图是通过对匹配贴片进行取或而生成。计算累积占位图包括对准贴片的边框。计算每一个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。该系统还包括基于贴片排序算法对包括匹配贴片的贴片进行排序。贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。
附图说明
11.图1a和1b示出了根据一些实施例的点云贴片和结果。
12.图2示出了根据一些实施例的确认权重和生成累积占位图的图示。
13.图3示出了根据一些实施例的累积占位图的图示。
14.图4示出了根据一些实施例的贴片排序算法的图示。
15.图5示出了根据一些实施例的实施点云全局方块打包的方法的流程图。
16.图6示出了根据一些实施例的被配置来实施点云全局方块打包的示例性计算设备的方框图。
具体实施方式
17.本文中描述了一种将3d点云数据映射到2d表面中以用于进一步的高效时间编码的方法。点云全局方块打包利用3d表面贴片来表示点云，并且实施3d贴片表面数据到2d画布图像中的时间一致全局映射。
18.在使用视频编码器的3d点云编码中，从3d到2d的投影被用来生成将表示点云的视频。生成这些视频的最高效的方式是使用3d贴片，其中将对象的表面进行分段并且使用正交投影生成分段深度图像，所述分段深度图像被集束在一起并且被用作视频编码器的输入。在当前的点云标准中，根据其在第一帧中的尺寸并且随后根据后续帧中的匹配贴片，将
贴片放置在2d画布中。该方法并不确保时间一致的贴片分配，从而降低了压缩效率。
19.本文中描述了一种实施贴片的时间匹配以及随后对贴片进行排序并且将其放置在2d画布中的方法，其中确保匹配贴片之间的时间一致性。该方法通过新颖的权重计算识别出匹配贴片的更长游程，并且对这样的贴片的分配进行优先级排序。此外，贴片被排列成能够甚至跨越各帧相对于其匹配贴片保持一致的3d位置。
20.图1a和1b示出了根据一些实施例的点云贴片和结果。举例来说，点云的贴片(或片段)被映射到2d表面。
21.当对点云进行分段时，随着时间过去，许多贴片彼此相似，并且当贴片相似时，它们被视为匹配贴片。在一个或多个后续帧中搜索一个或多个贴片。按照时间上一致的方式将贴片放置在2d画布上。因此，如果贴片是相同的(例如找到匹配)，则应当将该贴片放置在相同的位置，从而使得在下一帧中该贴片处于相同的位置。举例来说，在戴头盔的士兵的视频中，头盔随着时间经过是恒定的，因此头盔能够被放置在2d画布中的相同位置。
22.以任何方式识别匹配贴片，比如使用对图像进行比较以确定图像的相似程度的图像处理。举例来说，如果两幅图像的95％的像素在相同的位置具有相同的颜色，则图像是匹配的。在另一个示例中，实施其他编码和/或定位匹配来确定是否检测到匹配。贴片表示3d表面，即对象表面的片段，并且当这些表面在3d空间中或者在2d投影空间中重叠时发生匹配。为了使得匹配发生，边框应当具有相似的尺寸并且尽可能重叠。在一些实施例中，在这样的情况下仅考虑几何信息，并且不考虑颜色信息。在一些实施例中，几何信息和颜色信息都被考虑。
23.双向链表(或其他数据结构)被生成并且用来存储匹配贴片(前向和后向)。如果存在时间上向前的匹配，则添加第一箭头(链接)，如果存在时间上向后的匹配，则添加第二箭头(链接)。当完成时，双向链表表明哪些贴片在时间上匹配。
24.根据匹配贴片计算累积占位图和每一个贴片的权重。
25.图2示出了根据一些实施例的确定权重和生成累积占位图的图示。在帧3的图像中，占位图表明哪些像素是有效的。在帧2的图像中，贴片略有不同(例如手发生了移动)。在帧3的占位图与帧2的占位图之间实施“取或(or)”操作，从而得到占位图。如果来自任一个占位图的像素为1，则取或操作导致像素被填充。随着占位图被取或在一起，占位图变为被填充。所得到占位图被用来放置贴片，并且该区域的全部都将被贴片占据。
26.对于权重，从后向前，如果贴片具有后向匹配贴片，则用权重1初始化最后一帧；否则将权重初始化为0。对于其他帧实施相同的初始化，并且添加1 前向匹配贴片的权重。
27.对于第一帧，根据权重排序出列表，并且放置贴片。对于后续帧，首先使用与先前帧相同的顺序放置匹配贴片(对于block2patch)，随后根据其对应的权重对其余贴片进行排序。边框不必具有相同的u0、v0。放置算法可以是任何算法(例如锚点、灵活指向、方块打包)。
28.图3示出了根据一些实施例的累积占位图的图示。基于3d坐标(u1,v1)对准边框，随后通过生长总体受影响区域来估计累积占位图。
29.图4示出了根据一些实施例的贴片排序算法的图示。在一些实施例中，排序算法为如下：
30.1)通过更长的游程进行排序
31.2)通过尺寸进行排序
32.3)对于匹配贴片遵循与先前帧相同的顺序。
33.举例来说，3个小贴片的游程或链条排在2个大贴片的游程之前，2个大贴片的游程排在2个小贴片的游程之前。在时域内匹配的贴片链条被首先放置在2d画布中，其他贴片不被允许与之冲突/干扰。在一些实施例中，排序算法是不同的(例如首先通过尺寸进行排序)。
34.图5示出了根据一些实施例的实施点云全局方块打包的方法的流程图。在步骤500中，实施贴片匹配以确定匹配贴片。以任何方式实施贴片匹配，比如使用对图像进行比较以确定图像的相似程度的图像处理。举例来说，如果两幅图像的95％的像素在相同的位置具有相同的颜色，则图像是匹配的。在另一个示例中，实施其他编码和/或定位匹配来确定是否检测到匹配。能够使用任何图像比较/匹配处理来确定匹配贴片。在步骤502中，生成与匹配贴片的双向链表(或其他类似的数据结构)。双向链表包括匹配的帧之间的指针(链接)。举例来说，如果帧3中的贴片与帧2中的贴片匹配，则在两帧中的贴片之间存在链接，如果帧2中的贴片与帧1中的贴片匹配，则在帧2和帧1中的贴片之间存在链接，如果帧1中的贴片与帧0匹配，则在帧1和帧0中的贴片之间存在链接。在步骤504中，根据匹配贴片计算累积占位图和每一个贴片的权重。通过将贴片取或在一起来计算累积占位图。为了清楚起见，取或意味着：
35.0取或0＝0，
36.0取或1＝1，
37.1取或0＝1，
38.1取或1＝1。
39.举例来说，如果对来自帧3和帧2的匹配贴片进行取或，则对来自帧3的贴片的第一个像素(例如最左上像素)与相应的像素(例如最左上像素)进行取或，并且处理对于贴片继续直到最后一个像素(例如最右下像素)。继续该示例，帧3的贴片中的最左上像素是0并且帧2的贴片中的相应像素是0，因此累积占位图的最左上像素为0，但是下一个像素在帧3中是1并且在帧2中是0，因此累积占位图的下一个像素为1，后面以此类推。取决于实现方式，对下一个匹配贴片(例如假设有4个匹配贴片)与占位图取或，从而使得最终的占位图是被取或的贴片(例如4个贴片)的组合。
40.在一些实施例中，累积占位图还基于在给定3d坐标(u1,v1)的情况下对准贴片的边框，并且通过生长总体受影响区域来估计累积占位图。
41.确定如何对贴片进行组织/排序是基于本文中所描述的贴片排序算法的(例如通过更长的游程进行排序，通过尺寸进行排序，以及对于匹配贴片遵循与先前帧相同的顺序)。
42.从后向前计算每一个贴片的权重，其中如果最后一帧贴片具有后向匹配贴片，则该贴片的权重为1；否则该贴片的权重为0，随后对于其他帧贴片实施相同的初始化，并且添加1 前向匹配贴片的权重。举例来说，帧3的贴片(其中来自帧0到3的贴片是匹配的)具有后向匹配贴片，因此其权重为1。随后，帧2具有到帧1的后向匹配贴片，因此其权重为1 (1 1)＝3。帧1具有到帧0的后向匹配贴片，因此其权重为1 (1 3)＝5。帧0不具有后向匹配贴片，因此其权重为0 (1 5)＝6。在一些实施例中，实施更少的或附加的步骤。在一些实施例中，
修改各步骤的顺序。
43.图6示出了根据一些实施例的被配置来实施点云全局方块打包的示例性计算设备的方框图。计算设备600能够被用来获取、存储、计算、处理、通信和/或显示信息，比如包括3d内容的图像和视频。计算设备600能够实施点云全局方块打包的任何方面。一般来说，适于实施计算设备600的硬件结构包括网络接口602、存储器604、处理器606、(一个或多个)i/o设备608、总线610和存储设备612。处理器的选择并非关键，只要选择具有足够速度的适当处理器即可。存储器604可以是本领域内已知的任何传统的计算机存储器。存储设备612可以包括硬盘驱动器、cdrom、cdrw、dvd、dvdrw、高清晰度盘/驱动器、超高清晰度驱动器、闪存卡或者任何其他存储设备。计算设备600可以包括一个或多个网络接口602。网络接口的一个示例包括连接到以太网或其他类型的lan的网卡。(一个或多个)i/o设备608可以包括以下各项当中的一项或多项：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其他设备。被用来实施点云全局方块打包的(一个或多个)点云全局方块打包应用630可以被存储在存储设备612和存储器604中，并且按照应用通常被处理的那样被处理。在计算设备600中可以包括比图6中所示的更多或更少的组件。在一些实施例中包括点云全局方块打包硬件620。虽然图6中的计算设备600包括用于点云全局方块打包的应用630和硬件620，但是点云全局方块打包可以通过硬件、固件、软件或者其任何组合被实施在计算设备上。举例来说，在一些实施例中，点云全局方块打包应用630被编程在存储器中并且使用处理器来执行。在另一个示例中，在一些实施例中，点云全局方块打包硬件620是包括专门被设计为实施点云全局方块打包的门的编程硬件逻辑。
44.在一些实施例中，(一个或多个)点云全局方块打包应用630包括几个应用和/或模块。在一些实施例中，模块还包括一个或多个子模块。在一些实施例中，可以包括更少的或附加的模块。
45.在一些实施例中，点云全局方块打包硬件620包括摄影机组件，比如镜头、图像传感器和/或任何其他摄影机组件。
46.适当的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏机、数字摄影机、数字摄录一体机、摄影机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频盘写入器/播放器(例如dvd写入器/播放器、高清晰度盘写入器/播放器、超高清晰度盘写入器/播放器)、电视、家庭娱乐系统、增强现实设备、虚拟现实设备、智能首饰(例如智能手表)、车辆(例如自动驾驶车辆)或者任何其他适当的计算设备。
47.为了利用点云全局方块打包方法，设备获取或接收3d内容，并且以优化的方式处理和/或发送该内容，从而允许正确、高效地显示3d内容。点云全局方块打包可以在用户的帮助下实施，或者在没有用户干预的情况下自动实施。
48.在操作中，点云全局方块打包在编码方面更加高效。效率的改进是通过将贴片放置在2d画布中、通过查看在编码器侧生成的链表执行空间一致性并且通过利用更大的占位图(几个单个占位贴片的取或结果)而实现的，从而保留画布中的用于贴片分配的空间并且避免贴片冲突。
49.点云全局方块打包的一些实施例
50.1、一种被编程在设备的非瞬时性存储器中的方法，包括：
51.实施贴片匹配以确定匹配贴片；
52.生成与匹配贴片的双向链表；以及
53.根据匹配贴片计算累积占位图和每一个贴片的权重。
54.2、第1条的方法，其中，实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。
55.3、第1条的方法，其中，双向链表表明是否存在与前向贴片和/或后向贴片的匹配。
56.4、第1条的方法，其中，计算累积占位图是通过对匹配贴片进行取或而生成。
57.5、第1条的方法，其中，计算累积占位图包括对准贴片的边框。
58.6、第1条的方法，其中，计算每一个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。
59.7、第1条的方法，还包括基于贴片排序算法对包括匹配贴片的贴片进行排序。
60.8、第7条的方法，其中，贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。
61.9、一种装置，包括：
62.用于存储应用的非瞬时性存储器，该应用用于：
63.实施贴片匹配以确定匹配贴片；
64.生成与匹配贴片的双向链表；以及
65.根据匹配贴片计算累积占位图和每一个贴片的权重；以及
66.耦合到该存储器的处理器，该处理器被配置来处理该应用。
67.10、第9条的装置，其中，实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。
68.11、第9条的装置，其中，双向链表表明是否存在与前向贴片和/或后向贴片的匹配。
69.12、第9条的装置，其中，计算累积占位图是通过对匹配贴片进行取或而生成。
70.13、第9条的装置，其中，计算累积占位图包括对准贴片的边框。
71.14、第9条的装置，其中，计算每一个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。
72.15、第9条的装置，其中，该应用还用于基于贴片排序算法对包括匹配贴片的贴片进行排序。
73.16、第15条的装置，其中，贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。
74.17、一种系统，包括：
75.用于获取三维内容的一个或多个摄影机；以及
76.用于通过如下操作对三维内容进行编码的编码器：
77.实施贴片匹配以确定匹配贴片；
78.生成与匹配贴片的双向链表；以及
79.根据匹配贴片计算累积占位图和每一个贴片的权重。
80.18、第17条的系统，其中，实施贴片匹配包括对贴片进行比较并且确定贴片是否具有高于阈值的相似度的图像处理。
81.19、第17条的系统，其中，双向链表表明是否存在与前向贴片和/或后向贴片的匹配。
82.20、第17条的系统，其中，计算累积占位图是通过对匹配贴片进行取或而生成。
83.21、第17条的系统，其中，计算累积占位图包括对准贴片的边框。
84.22、第17条的系统，其中，计算每一个贴片的权重是基于是否存在后向匹配贴片和前向匹配贴片的权重。
85.23、第17条的系统，还包括基于贴片排序算法对包括匹配贴片的贴片进行排序。
86.24、第23条的系统，其中，贴片排序算法是基于游程长度、贴片尺寸以及对于匹配贴片使用先前帧的顺序。
87.前面通过具体实施例描述了本发明，在具体实施例中合并有细节以促进与本发明的构造和操作原理的理解。本文中所提及的具体实施例和细节不意图限制所附权利要求的范围。本领域技术人员将很容易认识到，在不背离由权利要求限定的本发明的精神和范围的情况下，在被选择用来进行说明的实施例中可以做出其他各种修改。