基于用户视角的点云投影处理方法、系统及接收处理方法与流程

1.本发明涉及点云技术领域，具体地，涉及一种基于用户视角的点云投影处理方法、系统接及收处理方法。


背景技术：

2.近些年来，媒体传输技术快速发展和完善，图像和视频信息的传输成本不断降低的同时精确度得到提高，这进一步促进了相关应用领域的成熟。三维点云数据是一种新型的图像媒体数据，可以为用户提供更加精确化，更加生动的图像信息，带来逼真度更高，交互性更强的通信体验。
3.点云数据是通过扫描得到的物体表面信息，包括三维坐标数据、深度信息、颜色信息等。3d扫描技术的成熟和系统架构的完善，提高了点云数据的精确度，同时也使得点云的数据量大大提升。其中针对静态、动态点云数据，及机器感知、人眼感知等不同类型的点云数据，有不同的点云数据压缩算法。例如，针对动态人眼感知点云数据，典型的点云压缩算法是将3d的点云数据转换为2d的图像数据，然后再进行数据处理，其中一种就是基于视频的点云压缩(video-based point cloud compression，vpcc)算法。这种压缩方法首先将3d点云投影到2d平面，得到占用图信息、几何信息、属性信息以及辅助信息，属性信息通常包括纹理信息和色彩信息，因此，压缩后的信息通常也分为四类数据进行传输。通过这种方法实现了对于点云序列的整体压缩传输。
4.但是在实际的应用场景下，用户并不能观察到一个点云对象的全部内容。例如，当用户从正面观察点云对象的时候，用户无法看到点云背面的媒体内容。此外，用户对于各个侧面的关注度也有差异，例如，在用户从正面观看点云媒体的场景，基于用户视角的方向，用户对点云对象的正面内容的关注度会高于对点云对象的左右侧面及上下底面的关注度，关注度高的侧面的视觉质量对用户的观感影响较大。当前的点云投影处理过程中，投影设计、点云压缩方案并没有针对用户观看点云对象时的关注度特点进行优化调整，如何能在不影响压缩率和点云客观质量的情况下优化点云的视觉质量，成为需要研究解决的问题。
5.在现有的投影处理方式中，由于未考虑用户视角，当然更没有考虑边缘片段与主片段之间的空间联系上的远近关系，点云对象假如仅仅只按照多个标准向量分为多个点云片段，就会出现这样的状况：
6.同一标准向量对应的点云片段，其所包含的点的空间距离有可能是很大的，这样的简单粗分操作，与用户视角无关，并且同一标准向量对应的点云片段因几何空间上关联不大而显得零碎。换言之，点云对象中空间距离很近的关联点却因为标准向量的不同，而被分割投影到不同标准向量中。
7.专利文献cn109565579a(申请号：201780048234.5)公开了用于结合图像投影和表面扫描的设备。通常，本发明的设备和方法利用至少一个激光源来产生激光束，以及将激光束反射成扫描线图案的扫描镜。控制光源以在扫描线图案的第一部分期间选择性地生成投影图像像素，并且在扫描线图案的第二部分期间选择性地生成深度映射脉冲。投影图像像
素生成投影图像，而深度映射脉冲被从表面反射、接收并且用来生成描述每个点处测量的表面深度的三维点云。


技术实现要素：

8.针对现有技术中的缺陷，本发明的目的是提供一种基于用户视角的点云投影处理方法、系统及接收处理方法。
9.根据本发明提供的基于用户视角的点云投影处理方法，包括：
10.步骤1：根据用户视角区分出点云对象的主片段和多个边缘片段；
11.步骤2：根据边缘片段和主片段之间的空间联系，对边缘片段的投影向量进行保持或基于用户视角进行变更；
12.步骤3：根据调整后的投影向量进行投影，得到可压缩的二维图像并进行点云处理。
13.优选的，所述步骤1包括：
14.基于多个标准法向量将点云对象划分为多个一级点云片段；
15.将同一一级点云片段中，同一法向量且距离小于阈值的点再划分为二级点云片段作为待处理云片段；
16.根据用户视角在标准法向量中确定主向量；
17.基于主向量，将待处理云片段区分得到主片段以及多个边缘片段。
18.优选的，所述步骤2包括：
19.依据用户视角在标准法向量中确定主向量；
20.将主片段的三维边缘盒沿着主向量方向投影得到主二维投影图；将边缘片段的三维边缘盒沿着主向量方向投影得到边缘二维投影图；
21.基于每个边缘二维投影图，分别与各个主二维投影图计算得到交并比；
22.多个交并比与预设门限值进行比较作为空间联系的判断依据。
23.优选的，预设门限值取决于点云对象的表面特性，区分物体点云对象的表面特性和人物点云对象的表面特性，门限值依据实验结果进行调整确定；
24.若多个交并比中存在大于预设门限值的情况下，将边缘片段的投影向量变更为主向量；若多个交并比中均不存在大于预设门限值的情况下，保持该边缘片段的投影向量。
25.优选的，根据用户观看点云对象时所处的位置，用一个从点云指向用户观察点的向量表示用户的观察视角，称为视角向量；计算视角向量与六个标准法向量的距离，与视角向量距离最近的标准法向量称为该观察视角下的主向量。
26.优选的，根据用户视角还区分出点云对象的无关片段；
27.将与用户视角距离最接近的标准法向量确定为主向量；
28.将多个标准法向量中与该主向量相同的待处理点云片段确定为主片段；
29.将多个标准法向量中与该主向量相反的待处理点云片段确定为无关片段；
30.将多个标准法向量中与该主向量相关联的待处理点云片段确定为边缘片段；
31.所述多个标准法向量与三维边缘盒的多个面是一一对应的关系，标准法向量垂直于其对应的面；
32.无关片段的投影向量为该无关片段的法向量；
33.包围点云对象的三维边缘盒，包含：主片段聚集的一个主片段投影聚集面，边缘片段聚集的五个边缘片段投影聚集面，以及无关片段聚集的一个无关片段投影聚集面。
34.优选的，所述步骤3包括：
35.对主片段和经过投影处理的边缘片段以及无关片段，分别依据其处理调整后的投影向量进行投影生成可压缩的二维图像，进一步处理得到二维视频序列，使用视频编解码器对二维视频序列进行压缩。
36.优选的，在投影后进行后续点云处理中，利用投影关系标识字段标识出，点云对象中的点经过处理调整后的投影向量，包含投影向量值和对应的索引值。
37.根据本发明提供的基于用户视角的点云投影处理系统，包括：
38.片段划分模块：根据用户视角区分出点云对象的主片段和多个边缘片段；
39.投影向量调整模块：根据边缘片段和主片段之间的空间联系，对边缘片段的投影向量进行保持或基于用户视角进行变更；
40.投影模块：对三维的点云对象中的点依照经过投影调整的投影向量进行投影得到可压缩的二维图像；
41.码流处理模块：接收点云码流处理得到二维图像；
42.逆投影模块：利用投影关系标识字段进行逆投影处理，对二维图像恢复到三维的点云对象；
43.其中，投影关系标识字段指示出：发送端的经过处理调整后的投影向量，包含投影向量值和相对应的索引值。
44.根据本发明提供的基于用户视角的点云接收处理方法，包括：
45.接收点云码流处理得到二维图像，利用投影关系标识字段进行逆投影处理，将二维点云片段恢复到三维的点云对象；
46.投影关系标识字段指示出：发送端的经过处理调整后的投影向量，包含投影坐标值和相对应的索引值。
47.与现有技术相比，本发明具有如下的有益效果：
48.1、本发明在现有点云序列编码传输方案上改进，在三维点云压缩为二维图像的过程中引入用户的观察视角来对点云的投影处理过程进行优化调整，从而提升压缩性能；
49.2、本发明优化调整投影方向，避免出现分散零碎状况，也克服了点云对象中空间距离很近的关联点因为标准向量的不同，而被分割投影到不同标准向量中的缺陷；
50.3、本发明对点云片段的优化调整投影由于兼顾用户视角和与主向量的空间关联性，结合了用户从特定视角观察点云时的特性，优化点云的投影向量，更加向用户关注度较高的方向予以集中，提升了解压缩后呈现时的视觉效果。
附图说明
51.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
52.附图1为本发明实施例中点云对象的三维边缘盒的立体示意图；
53.附图2为本发明实施例中不同点云片段的类型的法向量与主向量的关系对应图；
54.附图3为本发明实施例中主片段的三维边缘盒和边缘片段的三维边缘盒用于根据
主向量方向投影调整的相对位置示意图；
55.附图4为附图3中主片段和边缘片段的三维边缘盒投影到二维平面后得到的二维投影示意图；
56.附图5为本发明实施例中基于用户视角的点云投影处理方法的流程示意图；
57.附图6为本发明实施例中基于用户视角的点云接收处理方法的流程示意图；
58.附图7为本发明实施例中基于用户视角的点云投影处理系统的示意框图；
59.附图8为本发明实施例中基于用户视角的点云接收处理系统的示意框图。
具体实施方式
60.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
61.实施例：
62.现有技术方案中，点云序列编码方法的处理步骤，包含：根据法向量划分点云对象为多个点云片段，根据点云片段的连接关系进行片段细划分，将细划分后的点云片段按法向量投影，对投影平面进行空白填充，对投影获得的视频序列使用例如hevc的二维编码工具来进行压缩编码。
63.本发明的实施例中，是在现有点云序列编码传输方案上改进实现的，在三维点云压缩为二维图像的过程中引入用户的观察视角来对点云的投影处理过程进行优化调整，从而提升压缩性能。
64.根据本发明的基于用户视角的点云投影处理方法、接收处理方法及系统，将点云对象按照多个标准向量分为多个点云片段时，引入用户视角的因素将多个点云片段进行区分，区分为一个主片段和多个边缘片段。其中，用户对点云对象的正面内容的关注度较高，那么，该主片段是基于用户视角被确定的，另外，对与主片段相关联的边缘片段，例如左右侧面及上下底面的这样的点云片段作为边缘片段，这些边缘片段的投影方向，进一步考虑了这些边缘片段与主片段之间的空间联系上的远近关系，对该边缘片段中的点的投影向量进行必要地调整优化，假如当空间联系大时，则对该边缘片段中的点的投影向量基于用户视角进行变更，使其按照主片段一致的主向量方向进行投影，另外，假如当空间联系小时，则保持该边缘片段中点的投影向量。完成了上述投影向量的优化调整，再依据优化调整后的投影向量，对点云对象的多个点云片段即包含主片段和多个边缘片段分别执行投影操作，和后续点云压缩、编码传输处理等。
65.上述对边缘片段的优化调整投影方向由于兼顾用户视角和与主向量的空间关联性，使得边缘片段中与主片段空间关联大的那些点，按照主片段的主向量进行变更投影，更加向用户关注度较高的方向予以集中，且被调整集中的这些点在与关注度较高的主片段在空间上本来也就是高关联、距离近的，避免出现分散零碎状况，也克服了点云对象中空间距离很近的关联点却因为标准向量的不同，而被分割投影到不同标准向量中这一缺陷。
66.综合考量用户的观察视角和片段的法向量两个因素来选择点云片段的投影向量，本实施例提供了一种基于用户视角的点云投影处理方法，包括：依据用户视角区分出点云
对象的主片段和多个边缘片段；考虑到边缘片段和主片段之间的空间联系，对边缘片段的投影向量进行保持或基于用户视角进行变更；投影后进行后续点云处理。
67.附图1为本发明实施例中点云对象的三维边缘盒的立体示意图。
68.本发明所提出的从特定方向如用户视角方向观察点云对象时，图1所示，利用点云对象三维边缘盒(bounding box)对点云对象进行投影，将点云对象包含其中。通常点云对象三维边缘盒(bounding box)为具体点云对象情况而设定的矩形立方体，具体大小和造型不受本实施例的限制。
69.图中未显示的，以点云对象作为原点(0，0，0)，首先定义了对应点云对象的6个投影面的标准法向量(x，y，z)：(1，0，0)，(-1，0，0)，(0，1，0)，(0，-1，0)，(0，0，1)，(0，0，-1)。
70.根据用户观看点云对象时所处的位置，用一个从点云指向用户观察点的向量表示用户的观察的用户视角，称为视角向量。然后计算视角向量与6个标准法向量的距离，与视角向量距离最近的标准法向量称为该观察视角下的主向量。
71.通常用6个不同的index索引值来指示6个不同的法向量，表1是索引参数值和投影向量值的对应关系表。
72.本实施例中，利用0指代第一标准法向量的方向，垂直于该(1，0，0)面、利用1指代第六标准法向量的方向，垂直于该(-1，0，0)面、利用2指代第二标准法向量的方向，垂直于该(0，1，0)面、利用3指代第三标准法向量的方向，垂直于该(0，-1，0)面、利用4指代第四标准法向量的方向，垂直于该(0，0，1)面、利用5指代第五标准法向量的方向，垂直于该(0，0，-1)面。
73.本实施例中，主向量是第一标准法向量(1，0，0)。
74.可知，六个标准法向量与三维边缘盒的六个面是一一对应的关系，标准法向量垂直于其对应的面。
75.索引参数值(index)投影向量面normal0(1，0，0)1(-1，0，0)2(0，1，0)3(0，-1，0)4(0，0，1)5(0，0，-1)
76.表1
77.结合点云对象的邻居点信息计算出各点的法向量，然后计算各点的法向量与上述第一标准法向量至第六标准法向量之间的距离，距离最近的标准法向量即为该点对应的标准法向量。通过这一步骤，所有点云对象中的点被划分为6个一级点云片段，通过一级划分，标准法向量相同的点属于同一个一级点云片段。对于6个一级点云片段进行细分，属于同一个一级点云片段且距离较近的点被划分到一个二级点云片段，计算点之间距离的方法可根据具体情况进行选择，通常选用欧式距离。按此方法进行6个一级点云片段的细分，细分后得到的二级点云片段的法向量均与上述6个标准法向量中的一个相对应。
78.本实施例中，将二级点云片段作为待处理云片段继续处理，依据视角向量的方向，将位于六个标准法向量面上的待处理云片段做进一步区分。计算出二级点云片段的法向
量。然后根据用户的观察视角确定投影的主要方向，根据二级点云片段的法向量与主要方向的关系，将二级点云片段分为主片段，边缘片段，无关片段。
79.附图2为本发明实施例中不同点云片段的类型的法向量与主向量的关系对应表；附图2给出了不同片段类型的区分标准。
80.其中如图2所示，将法向量与主向量相同的二级点云片段定义为主片段，该些主片段也称之为第1标准片段，这些主片段形成主片段集合，第1标准片段集合(即主片段集合)聚集在点云三维边缘盒的主片段投影聚集面上。
81.将法向量与主向量相反的二级点云片段定义为无关片段，该些无关片段也称之为第6标准片段，这些无关片段形成无关片段集合，第六标准片段集合(即无关点云片段集合)聚集在点云三维边缘盒的无关片段投影聚集面上。
82.将法向量与主向量相垂直的二级点云片段定义为边缘片段，该些边缘片段分布在与主向量相垂直的四个边缘片段投影聚集面上，图1中仅明示了四个边缘片段投影聚集面上中的一个面，其他三个面省略标记。
83.其中，位于第一边缘片段投影聚集面上的这些二级点云片段，即这些边缘片段形成第一边缘片段的集合，第一边缘片段由第2标准片段而来。以此类推，位于其他三个边缘片段聚集面的这些二级点云片段，分别称之为第2边缘片段的集合、第3边缘片段的集合、第4边缘片段的集合，分别再其聚集面上形成集合，由第3至5标准片段而来。
84.接下来，主片段的投影向量是以其标准法向量、即主向量进行投影。无关片段的投影向量是以其标准法向量、即与主向量相反进行投影。
85.本实施例中与现有技术的重点区别在于，考虑到边缘片段和主片段之间的空间联系，来考量是否需要对上述边缘片段的投影向量做进一步调整优化。
86.简言之，空间联系的大小，通过对每个边缘片段依次计算其与各个主片段的交并比(iou)来判断。若存在iou大于门限值则说明该边缘点云片段与主点云片段空间联系较大，选择主向量作为该边缘点云片段的投影向量；若不存在iou大于门限值则说明该边缘点云片段与主点云片段空间联系较小，选择边缘点云片段的法向量作为其投影向量。
87.结合图3和图4，对其中一个边缘片段与各个主片段中某一个主片段的交并比(iou)判断过程，进行具体阐述。
88.附图3为本发明实施例中主片段的三维边缘盒和边缘片段的三维边缘盒用于根据主向量方向进行投影调整的相对位置示意图。
89.实线所示的三维边缘盒(称为边缘盒1)对应主片段，虚线所示三维边缘盒(称为边缘盒2)对应边缘片段。
90.图3和图4仅是某一个主片段和某一个边缘片段的三维边缘盒的简要列举说明，表明三维盒之间的投影方位和二维投影图的交叠状况。针对该某一个边缘片段与其他主片段、或者其他边缘片段与其他主片段之间的一一交叠计算空间关联的情况，不再一一罗列展示，图3和图4仅做示例。
91.附图4为主片段和边缘片段的三维边缘盒投影到二维平面后得到的矩形的二维投影图。
92.将主片段的三维边缘盒沿着主向量方向投影得到主二维投影图，将边缘片段的三维边缘盒沿着主向量方向投影得到边缘二维投影图。图4中，纹格填充部分为主片段的边缘
盒1沿主向量方向投影所得(称为矩形区域1)，点填充部分为边缘片段边缘盒2沿主向量方向投影所得(称为矩形区域2)，格点填充部分为矩形区域1和矩形区域2相交叠的公共部分(称为矩形区域3)。
93.对每个边缘片段，依次计算其与各个主片段的交并比(intersection over union，iou)。具体的计算方式，结合附图1和附图2进行说明。计算公式如下：
[0094][0095]
s1＝(y
i1-y
i0
)
×
(z
i1-z
i0
)
ꢀꢀ
(2)
[0096]
s2＝(y
j1-y
j0
)
×
(z
j1-z
j0
)
ꢀꢀ
(3)
[0097]
s3＝(y
i1-y
j0
)
×
(z
i1-z
j0
)
ꢀꢀ
(4)
[0098]
s3对应附图4中矩形区域3的面积，即主二维投影图和边缘二维投影图的相交叠的公共部分；
[0099]
s1对应附图4中主二维投影图排除掉公共部分的面积；
[0100]
s2对应附图4中边缘二维投影图排除掉公共部分的面积。
[0101]
如附图3的实线三维边缘框(边缘框1)所示，ai和bi分别是主片段的三维边缘盒即边缘框1上距离原点0最近和最远的顶点；如附图3的虚线三维边缘框(边缘框2)所示，aj和bj分别是边缘片段的三维边缘盒即边缘框2上距离原点o最近和最远的顶点。
[0102]
如附图4所示，a
′i，a
′j，b
′i，b
′j分别是ai，aj，bi，bj沿主向量方向投影所得的点。它们在以o为原点的xyz坐标系下的坐标分别为：ai(x
i0
，y
i0
，z
i0
)，bi(x
i1
，y
i1
，z
i1
)，aj(x
j0
，y
j0
，z
j0
)，bj(x
j1
，y
j1
，z
j1
)，a
′i(y
i0
，z
i0
)，b
′i(y
i1
，z
i1
)，a
′j(y
j0
，z
j0
)，b
′j(y
j1
，z
j1
)。
[0103]
基于二维投影图，针对每个边缘片段，与多个主片段计算得到多个iou，iou的个数等于主片段的个数。
[0104]
对于一个边缘片段，将它的各个iou与一个交并比门限值比较，若存在iou大于交并比门限值则说明该边缘片段与主片段空间联系较大，为了优化主向量方向的点云视觉质量，改变该边缘片段的投影方向，选择主向量作为该边缘片段的投影向量；若不存在iou大于交并比门限值则说明该边缘片段与主片段空间联系较小，则保持该边缘片段的法向量作为其投影向量。
[0105]
可知，边缘片段的最终投影向量由边缘片段的法向量，边缘片段与主片段的空间位置关系共同决定。
[0106]
其中，交并比门限值的选择取决于待处理的点云对象的表面特性，例如，物体点云对象和人物点云对象的表面特性不同，那么进行比较时选择的交并比门限值就不同。对于常见的人物点云对象，一般选取门限值为0.2-0.3，进一步可选地，门限值的确定主要通过实验结果的进行调整和选择。
[0107]
通过上述过程，对第一个边缘片段完成了投影向量的调整优化或保持，利用上述过程相同的处理，针对每一个边缘片段逐一进行判别调整，直至第2边缘片段的集合、第3边缘片段的集合、第4边缘片段的集合中所有边缘片段均已完成处理。
[0108]
对于主片段，其投影向量为主向量；对于无关片段，其投影向量为该无关片段的法向量。
[0109]
经过上述过程，所有二级点云片段即待处理云片段的投影向量均已完成优化调
整。在投影后进行后续点云处理中，利用投影关系标识字段标识出：点云对象中的点经过处理调整后的投影向量，包含优化调整后的投影向量坐标值和相一一对应的索引参数值。
[0110]
基于表1对表2说明变更过程，表2是多个边缘片段的投影向量进行调整优化前后的对应关系示例表。
[0111]
例如表2中，对于第一边缘片段而言，未经过投影调整优化之前，其自身原本的标准法向量：索引参数值2、(0，1，0)，经过上述优化调整后，投影方向变更为主向量，即索引参数值0、(1，0，0)。其他边缘片段的变动与否视每个边缘片段与主片段的空间关联大小而具体决定。简言之，对于第1～k边缘片段，要么调整优化为0，要么保持。
[0112]
主片段即：索引参数值0、标准法向量坐标值为(1，0，0)不做优化调整处理，保持主向量进行投影。无关边缘片段即：索引参数值1、标准法向量坐标值为(-1，0，0)不做优化调整处理，保持其原本的标准法向量的方向进行投影。
[0113][0114][0115]
表2
[0116]
继续完成后续投影处理，包含：
[0117]
对主片段和经过投影处理的边缘片段、以及无关片段，分别依据其处理调整后的投影向量进行投影生成可压缩的二维图像，进一步处理得到二维视频序列，使用视频编解码器对二维视频序列进行压缩。
[0118]
附图5为本发明实施例中基于用户视角的点云投影处理方法的流程示意图；
[0119]
基于用户视角的点云投影处理方法的步骤，包含：
[0120]
输入点云对象；
[0121]
生成点云片段，依次计算各点的法向量；
[0122]
对各点初步划分，点云对象被划分生成一级点云片段，此时，一级点云片段初步按照六个标准向量的不同而被初步划分；
[0123]
生成二级点云片段，其中，对一级点云片段再做进一步细分，由于同一标准向量的一级点云片段之间向量是相同的，再进一步依据点之间位置远近将一级点云片段中的点再做进一步聚集划分。值得说明的是，这样由一级点云片段生成二级点云片段的处理过程采用已有点云投影步骤中通常技术手段即可完成，二级点云片段作为待处理云片段进行以下步骤。本发明中，获取待处理云片段不限于上述步骤一级点云片段、二级点云片段的这样限制，现有技术中任意点云片段的预处理步骤，均在本发明的包含范围之内。
[0124]
根据用户的观察视角计算主向量，将标准向量中与视角向量最接近的作为主向量；
[0125]
对待处理云片段进行区分，根据二级点云片段的法向量与主向量的关系，将二级点云片段分为主片段、边缘片段、无关片段，其中，法向量与主向量相同的为主片段、法向量与主向量相反的为无关片段、法向量与主向量垂直的为边缘片段；
[0126]
二级点云片段投影方向计算，对二级点云片段中的边缘片段的投影方向进行优化调整，具体优化调整过程如上述所述；
[0127]
投影二级点云片段，对优化调整后的二级点云片段，即主片段、边缘片段、无关片段按照调整后的投影方向进行投影；
[0128]
投影后，生成可压缩的二维图像；
[0129]
生成二维视频序列；
[0130]
对二维视频序列进行压缩；以及
[0131]
最终，将压缩后的二维视频进行码流输出。
[0132]
附图6为本发明实施例中基于用户视角的点云接收处理方法的流程示意图；
[0133]
本实施例中基于用户视角的点云接收处理方法是上述的基于用户视角的点云投影处理方法的相逆过程，接收端一侧的解压缩为发送端一侧压缩的逆过程。
[0134]
附图6所示，首先输入压缩后的码流；
[0135]
解压缩后生成二维视频序列；
[0136]
进而获取二维图像(通常包含三类：几何图，属性图，占用图)；
[0137]
利用二维图像信息生成二级点云片段；
[0138]
然后利用二级点云片段生成一级点云片段；
[0139]
由一级点云片段结合辅助信息恢复生成点云对象，利用上述投影关系标识字段进行逆投影处理，将二维点云片段恢复到三维的点云对象；
[0140]
最后经过处理，获得完整的点云对象进行输出。
[0141]
另外，本实施例中位于发射端一侧，还提供了一种基于用户视角的点云投影处理系统，附图7为本发明实施例中基于用户视角的点云投影处理系统的示意框图。
[0142]
如图7所示，基于用户视角的点云投影处理系统包含点云输入模块、片段生成模块、片段划分模块、投影向量调整模块、投影模块以及压缩模块、以及码流输出模块。
[0143]
点云输入模块，用于输入点云对象；
[0144]
片段生成模块，用于将点云对象依照预定规则生成待处理云片段，进行后续的投影优化调整；
[0145]
片段划分模块，用于将待处理云片段划分为主片段、边缘片段以及无关片段；
[0146]
投影向量调整模块，用于考虑到边缘片段和主片段之间的空间联系，按照上述投影向量调整规则对边缘片段的投影向量进行保持或基于用户视角进行变更；
[0147]
投影模块，用于对完成投影调整的主片段、边缘片段以及无关片段进行投影；
[0148]
压缩模块，以及码流输出模块，用于对投影后二维图像进行压缩；以及后续码流输出。
[0149]
在发送端一侧，投影模块利用优化调整后的投影向量进行投影，通过投影关系标识字段进行标识，该投影关系标识字段包含优化调整后的投影向量的索引参数值，及相对应的投影向量值。
[0150]
另外，本实施例中位于接收端一侧，还提供了一种基于用户视角的点云接收处理系统，附图8为本发明实施例中基于用户视角的点云接收处理系统的示意框图。
[0151]
如图8所示，基于用户视角的点云接收处理系统包括：码流处理模块和逆投影模块，码流处理模块，用于码流的输入接收；
[0152]
逆投影模块，用于对二维点云片段进行逆投影，依照投影关系标识字段的指示将二维点云片段恢复为点云对象。投影关系标识字段包含优化调整后的投影向量的索引参数值，及相对应的投影向量值。
[0153]
本发明中，基于用户视角的点云投影处理系统、基于用户视角的点云接收处理系统中各个模块所具有的的功能，与上述基于用户视角的点云投影处理方法、基于用户视角的点云接收处理方法中的优化调整过程相对应，可予以类推，那么装置中所具有的结构和技术要素可由生成方法、接收方法相应转换形成，在此省略重复描述，不再赘述。
[0154]
本实施例的作用和效果
[0155]
上述对点云片段的优化调整投影由于兼顾用户视角和与主向量的空间关联性，结合了用户从特定视角观察点云时的特性，优化点云的投影向量，更加向用户关注度较高的方向予以集中，提升了解压缩后呈现时的视觉效果。
[0156]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0157]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0158]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相
互组合。