用于处理包括堆栈在具有填充的基于立方体的投影布局中的投影面的基于投影的帧的方法与流程

用于处理包括堆栈在具有填充的基于立方体的投影布局中的投影面的基于投影的帧的方法
1.相关引用
2.本发明主张递交于2018年3月2日，号码为62/637,425以及递交于2018年7月31日，号码为62/712,290的美国临时专利申请案的优先权，上述列出的申请案的全部内容，包括美国临时专利申请案62/637,425和62/712,290，以引用方式并入本文。
技术领域
3.本发明涉及处理全向图像/视频内容，更具体地，涉及一种用于处理基于投影的帧的方法，所述基于投影的帧包括堆栈在具有填充的基于立方体的投影布局中的多个投影面。


背景技术：

4.具有头戴式显示器(head-mounted display，简称hmd)的虚拟现实(virtual reality，简称vr)与各种应用相关。向用户显示较宽区域的观看内容的能力可以用于提供身临其境的视觉体验。必须在所有方向获取现实世界环境，得到对应于球体的全向图像/视频内容。随着摄像机设备和hmd的发展，由于呈现这种360度图像/视频内容所需的高比特率，所以vr内容的传送可能很快变成瓶颈。当全向视频的分辨率是4k或者更高时，数据压缩/编码对降低比特率是至关重要的。
5.通常，对应于球体的全向视频内容被变换为图像序列，每个图像是具有由排列在360度虚拟现实(360vr)中的一个或多个投影面所表示的360度图像内容的基于投影的帧，然后基于投影的帧序列被编码成比特流以用于传输。基于投影的帧可以在布局边界和/或面边缘处具有图像内容不连续性。如此一来，压缩之后的布局边界和/或面边缘周围的图像质量可能较差。此外，通过解码的基于投影的帧的投影布局转换可能引入伪影，从而导致转换的基于投影的帧的图像质量劣化。


技术实现要素：

6.本发明的目的之一是提供一种用于处理基于投影的帧的方法，所述基于投影的帧包括堆栈在具有填充的基于立方体的投影布局中的投影面。
7.根据本发明的第一方面，公开了一种示例性视频处理方法。所述示例性视频处理方法包括：根据基于立方体的投影从球体的全向内容获得多个正方形投影面；分别缩放所述多个正方形投影面以生成多个缩放投影面；通过填充电路生成至少一个填充区域；通过在所述基于立方体的投影的投影布局中堆栈所述多个缩放投影面和所述至少一个填充区域来生成基于投影的帧；并对所述基于投影的帧进行编码以生成比特流的一部分。
8.根据本发明的第二方面，公开了一种示例性视频处理方法。所述示例性视频处理方法包括：接收比特流的一部分，并对所述比特流的一部分进行解码，以生成解码的基于投影的帧，其具有堆栈在基于立方体的投影的投影布局中的多个投影面和至少一个填充区
域。解码所述比特流的一部分的步骤包括：通过混合针对第一像素获得的解码像素值和针对第二像素获得的解码像素值来重构第一像素，以生成所述第一像素的更新的像素值。所述混合步骤包括：通过混合电路将第一加权因子应用于针对所述第一像素获得的所述解码像素值，并且通过所述混合电路将第二加权因子应用于针对所述第二像素获得的所述解码像素值，其中，所述第一像素和所述第二像素中的其中一个包括在所述多个投影面中的一个里，所述第一像素和所述第二像素中的另一个包括在所述至少一个填充区域中，以及所述第一加权因子和所述第二加权因子的设置与所述至少一个填充区域的填充尺寸不相关。
9.在结合下面附图阅读本发明的推荐实施例的如下详细描述后，本发明的内容对于所属技术领域的技术人员而言无疑将是显而易见的。
附图说明
10.图1是示出根据本发明的实施例的360度虚拟现实(360vr)系统的示意图。
11.图2是示出根据本发明的实施例的基于立方体的投影的示意图。
12.图3是示出根据本发明的实施例的具有填充的基于立方体的投影布局的示意图。
13.图4是示出根据本发明的实施例的第一种具有填充和面缩放(face scaling)的基于立方体的投影布局的示意图。
14.图5是示出根据本发明的实施例的为每个正方形投影面定义的u轴和v轴的示意图。
15.图6是示出根据本发明的实施例的第二种具有填充和面缩放的基于立方体的投影布局的示意图。
16.图7是示出根据本发明的实施例的第三种具有填充和面缩放的基于立方体的投影布局的示意图。
17.图8是示出根据本发明的实施例的为面像素找到对应的填充像素的过程的示意图。
18.图9是示出根据本发明的实施例的用于生成面像素的更新的像素值的混合方法的流程图。
19.图10是示出根据本发明的实施例的为填充像素找到对应的面像素的过程的示意图。
20.图11是示出根据本发明的实施例的用于生成填充像素的更新的像素值的混合方法的流程图。
21.图12是图示根据本发明的实施例的第一种解码器侧混合操作的示意图。
22.图13是图示根据本发明的实施例的第二种解码器侧混合操作的示意图。
23.图14是图示根据本发明的实施例的第三种解码器侧混合操作的示意图。
24.图15是示出检查对应像素的位置以选择性地启用用于更新目标像素的像素值的解码器侧混合计算的示例的示意图。
具体实施方式
25.以下说明及权利要求书的叙述中，使用到的部分词汇将用来指涉某个具体的组件。如同所属技术领域的技术人员所熟知地，电子设备制造者可能使用不同的名称来指涉
同一个组件。此份文档无意区别那些在名称上有所差别、但在功能上并无差异的组件。在以下说明及权利要求书的叙述中，「包含」、「包括」等词汇系用来做为开放性的叙述，故皆应被解读为「包含，但不限于
……
」的意思。此外，在本文中「耦合」一词有意被用于指涉直接或是间接的电子连接。据此而言，如果将一装置耦接至另一装置，其之间的连接可能是透过一直接的电子连接，或者是透过其他装置及链接间接进行连接。
26.图1是示出根据本发明的实施例的360度虚拟现实(360vr)系统的示意图。360vr系统100包括两个视频处理装置(例如，源电子设备102和目标电子设备104)。源电子设备102包括视频捕获设备112，转换电路114和视频编码器116。例如，视频捕获设备112可以是摄像机的集合，其用于提供对应于球体的全向图像内容(例如，覆盖整个周围环境的多个图像)s_in。转换电路114耦接于视频捕获设备112与视频编码器116之间。转换电路114根据全向图像内容s_in，生成具有360度虚拟现实(360vr)投影布局l_vr的基于投影的帧img。例如，基于投影的帧img可以是包括在从转换电路114生成的基于投影的帧序列中的一个帧。视频编码器116是编码电路，其用于编码/压缩基于投影的帧img，以生成比特流bs的一部分。另外，视频编码器116透过传输装置103将比特流bs输出到目标电子设备104。例如，基于投影的帧序列可以被编码到比特流bs中，并且传输装置103可以是有线/无线通信链路或者存储介质。
27.目标电子设备104可以是头戴式显示器(head-mounted display，hmd)设备。如图1所示，目标电子设备104包括视频解码器122，图形呈现电路124和显示设备126。视频解码器122是解码电路，用于从传输装置103(例如，有线/无线通信链路或存储介质)接收比特流bs，并对接收的比特流bs的一部分进行解码，以生成解码的帧img'。例如，视频解码器122通过对接收的比特流bs进行解码来生成解码的帧序列，其中解码的帧img'是包括在解码的帧序列中的一个帧。在所述实施例中，由编码器侧的视频编码器116编码的基于投影的帧img具有360vr投影布局l_vr。因此，在解码器侧，视频解码器122对比特流bs的一部分进行解码之后，解码的帧img'是具有相同360vr投影布局l_vr的解码的基于投影的帧。图形呈现电路124耦接在视频解码器122和显示设备126之间。图形呈现电路124根据解码的帧img'在显示设备126上呈现并显示输出图像数据。例如，与由解码的帧img'承载的360度图像内容的一部分相关的视端口区域可以经由图形呈现电路124显示在显示设备126上。
28.如上所述，转换电路114根据360vr投影布局l_vr和全向图像内容s_in生成基于投影的帧img。在360vr投影布局l_vr是基于立方体的投影布局的情况下，球体上的全向图像内容s_in投影至基于立方体的投影面上，从立方体的不同投影面导出六个正方形投影面。图2是示出根据本发明的实施例的基于立方体的投影的示意图。球体200上的360度图像内容被投影到立方体201的六个面上，包括顶面，底面，左面，正面，右面和背面。具体地，球体200的北极区域的图像内容被投影到立方体201的顶面上，球体200的南极区域的图像内容被投影到立方体201的底面上，并且球体200的赤道区域的图像内容被投影到立方体201的左面，正面，右面和背面上。
29.堆栈在基于立方体的投影布局中的正方形投影面是从立方体201的六个面导出的。例如，二维(two dimensional,简称2d)平面上的正方形投影面(标记为“顶”)是从三维(three dimensional，简称3d)空间中的立方体201的顶面导出的，2d平面上的正方形投影面(标记为“背”)是从3d空间中的立方体201的背面导出的，2d平面上的正方形投影面(标记
为“底”)是从3d空间中的立方体201的底面导出的，2d平面上的正方形投影面(标记为“右”)是从在3d空间中的立方体201的右面导出的，2d平面上的正方形投影面(标记为“正”)是从3d空间中的立方体201的正面导出的，以及2d平面上的正方形投影面(标记为“左”)是从3d空间中的立方体201的左面导出的。每个正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”具有相同的面宽度fw和相同的面高度fh，其中fw＝fh。因此，正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”具有相同的尺寸fw*fh。
30.当360vr投影布局l_vr由图2中所示的立方体投影(cubemap projection，简称cmp)布局202来设置时，正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”被堆栈在对应于展开的立方体的cmp布局202中。然而，要编码的基于投影的帧img必须是矩形的。如果cmp布局202直接用于创建基于投影的帧img，则基于投影的帧img必须填充有虚拟区域(例如，黑色区域，灰色区域或白色区域)以形成用于编码的矩形帧。或者，基于投影的帧img可以具有以紧凑投影布局布置的投影图像数据，以避免使用虚拟区域(例如，黑色区域，灰色区域或白色区域)。如图2所示，正方形投影面“顶”，“背”和“底”被旋转，然后被堆栈在紧凑cmp布局204中。标记“右”，“正”，“左”，“顶”，“背”和“底”的方向表示投影图像内容的方向。因此，正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”布置在紧凑cmp布局204中，其是3
×
2立方体布局。以这种方式，可以提高编码效率。
31.紧凑cmp布局204是紧凑的基于立方体的投影布局，其不具有填充。因此，正方形投影面的堆栈可能导致相邻正方形投影面之间的图像内容产生不连续边缘(image content discontinuity edge)。关于由紧凑cmp布局204中水平地堆栈的正方形投影面“右”，“正”和“左”组成的一个3
×
1投影面行(face row)，在正方形投影面“右”的右边与正方形投影“正”的左侧之间存在图像内容连续性边缘(image content continuity edge)，在正方形投影面“正”的右边和正方形投影面“左”的左侧之间存在图像内容连续性边缘。关于由紧凑cmp布局204中水平堆栈的正方形投影面“底”，“背”和“顶”组成的另一个3
×
1投影面行，在正方形投影面“底”的右边与正方形投影面“背”的左侧之间存在图像内容连续性边缘，在正方形投影面“背”的右边和正方形投影面“顶”的左侧之间存在图像内容连续性边缘。
32.此外，紧凑cmp布局204具有顶部不连续边界(其由正方形投影面“右”，“正”和“左”的顶边组成)，底部不连续边界(其由正方形投影面“底”，“背”和“顶”的底边组成)，左侧不连续边界(其由正方形投影面“右”和“底”的左边组成)和右边不连续边界(其由正方形投影面“左”和“顶”右边组成)。
33.如果通过紧凑cmp布局204设置360vr投影布局l_vr，则图像内容不连续边缘和/或不连续布局边界附近的图像质量压缩后可能较差。更具体地，编码之后的基于投影的帧img可能由于紧凑cmp布局204的不连续布局边界和/或紧凑cmp布局204的不连续边缘而具有伪影。
34.在不连续的布局边界和/或不连续的面边缘周围，可插入像素填充以减少伪影。图3是示出根据本发明的实施例的具有填充的基于立方体的投影布局的示意图。具有填充的紧凑cmp布局300能够改善压缩后的不连续布局边界处和不连续面边缘的图像质量。例如，转换电路114从视频捕获设备112接收球体200的全向图像内容，并从球体200的全向图像内容的基于立方体的投影中获得多个正方形投影面“顶”，“背”，“底”，“右”，“正”，和“左”。如图1所示，转换电路114具有填充电路118，其用于生成至少一个填充区域。当通过具有填充
的紧凑cmp布局300来设置360vr投影布局l_vr时，填充电路118被启用。转换电路114通过在具有填充的紧凑cmp布局300中堆栈正方形投影面和填充区域来创建基于投影的帧img。正方形投影面“顶”，“背，“底，“右”，“正”和“左”被分为第一组和第二组。第一组包括正方形投影面“右”，“正”和“左”，并且表示其内容是连续的第一矩形分段。第二组包括正方形投影面“顶”，“背”和“底”，并且表示其内容是连续的第二矩形分段。
35.填充电路118是电子电路。在一个示例性设计中，填充电路118可以由专用硬件来实现，用于处理填充功能。在另一示例性设计中，填充电路118可以由执行用于处理填充功能的程序代码的处理器来实现。然而，这些仅用于说明目的，并不意味着是对本发明的限制。
36.根据具有填充的紧凑cmp布局300，填充电路118创建第一矩形分段的顶部填充区域pr11(其包括从正方形投影面“右”的顶边延伸的一个填充区域，从正方形投影面“正”的顶边延伸的一个填充区域，以及从正方形投影面“左”的顶边延伸的一个填充区域)，左填充区域pr12(其包括从正方形投影面“右”的左边延伸的一个填充区域)，底部填充区域pr13(其包括从正方形投影面“右”的底边延伸的一个填充区域，从正方形投影面“正”的底边延伸的一个填充区域，以及从正方形投影面“左”的底边延伸的一个填充区域)，和右填充区域pr14(包括从正方形投影面“左”的右边延伸的一个填充区域)，并且创建第二矩形分段的顶部填充区域pr21(其包括从正方形投影面“底”的顶边延伸的一个填充区域，从正方形投影面“背”的顶边延伸的一个填充区域，和从正方形投影面“顶”的顶边延伸的一个填充区域)，左填充区域pr22(其包括从正方形投影面“底”的左边延伸的一个填充区域)，底部填充区域pr23(其包括从正方形投影面“底”的底边延伸的一个填充区域，从正方形投影面“背”的底边延伸的一个填充区域，以及从正方形投影面“顶”的底边延伸的一个填充区域)，和右填充区域pr24(其包括从正方形投影面“顶”的右边延伸的一个填充区域)，其中每个填充区域具有相同的填充尺寸p(例如，p＝4)。
37.在一个示例性填充实现中，填充电路118将几何填充应用于正方形投影面，以确定包括在至少与正方形投影面连接的填充区域中的像素的像素值。例如，采用具有填充的紧凑cmp布局300为例，顶部填充区域pr11包括左几何映像区域，中间几何映像区域和右几何映像区域。顶部填充区域pr11的左几何映像区域是通过将球体200上的区域的图像内容映像到左几何映像区域而获得的，其中球体200上的所述区域与获得正方形投影面“右”的区域相邻。因此，在正方形投影面“右”和从正方形投影面“右”延伸的左几何映像区域之间存在图像内容连续性(即，图像内容在正方形投影面“右”和左几何映像区域中是连续表示的)。类似地，顶部填充区域pr11的中间几何映像区域是通过将球体200上的区域的图像内容映像到中间几何图形区域而获得的，其中球体200上的所述区域与获得正方形投影面“正”的区域相邻。因此，在正方形投影面“正”和从正方形投影面“正”延伸的中间几何映像区域之间存在图像内容连续性(即，图像内容在正方形投影面“正”和中间几何映像区域中是连续表示的)。另外，顶部填充区域pr11的右几何映像区域是通过将球体200上的区域的图像内容映像到右几何映像区域而获得的，其中球体200上的所述区域与获得正方形投影面“左”的区域相邻。因此，在正方形投影面“左”和从正方形投影面“左”延伸的右几何映像区域之间存在图像内容连续性(即，图像内容在正方形投影面“左”和右几何映像区域中是连续表示的)。
38.在另一示例性填充实现中，填充电路118通过复制包括在与填充区域连接的正方形投影面中的特定像素的像素值来设置填充区域中包括的像素的像素值。例如，采用具有填充的紧凑cmp布局300为例，顶部填充区域pr11包括左复制区域，中间复制区域和右复制区域。关于顶部填充区域pr11的左复制区域的生成，正方形投影面“右”的顶边处的边缘像素被复制以创建从正方形投影面“右”的顶边延伸的填充像素。关于顶部填充区域pr11的中间复制区域的生成，正方形投影面“正”的顶边处的边缘像素被复制以创建从正方形投影面“正”的顶边延伸的填充像素。关于顶部填充区域pr11的右复制区域的生成，正方形投影面“左”的顶边处的边缘像素被复制以创建从正方形投影面“left”的顶边延伸的填充像素。
39.在又一示例性填充实现中，填充电路118通过复制包括在第二正方形投影面中的特定像素的像素值来设置包括在从第一正方形投影面的一边延伸的填充区域中的像素的像素值。例如，第一正方形投影面是从球体上的第一区域的图像内容获得的，第二正方形投影面是从球体上的第二区域的图像内容获得的，其中球体上的第二区域与第一区域相邻。从第一正方形投影面的一边延伸的填充区域可以通过复制第二正方形投影面的部分区域来获得。例如，采用具有填充的紧凑cmp布局300为例，顶部填充区域pr11包括左复制区域，中间复制区域和右复制区域。通过复制正方形投影面“顶”的第一部分区域来设置顶部填充区域pr11的左复制区域。通过复制正方形投影面“顶”的第二部分区域来设置顶部填充区域pr11的中间复制区域。通过复制正方形投影面“顶”的第三部分区域来设置顶部填充区域pr11的右复制区域。
40.当基于投影的帧img为具有如图2中所示的紧凑cmp布局204时，基于投影的帧img具有帧宽度w＝3*fw和帧高度h＝2*fh。然而，当基于投影的帧img为如图3中所示的具有填充的紧凑cmp布局300时，基于投影的帧img具有帧宽度w'＝3*fw 2*p和帧高度h'＝2*fh 4*p，其中w'》w且h'》h。由于基于投影的帧img的尺寸由于填充区域pr11-pr14和pr21-pr24的插入而增加，所以视频编码器116的编码负担和视频解码器122的解码负担不可避免地增加。
41.为了解决所述问题，本发明提出了一种具有填充和面缩放的基于立方体的投影布局。图4是示出根据本发明的实施例的第一种具有填充和面缩放的基于立方体的投影布局的示意图。与具有填充的紧凑cmp布局300一样，具有填充和面缩放的紧凑cmp布局400也能够在压缩后的不连续的布局边界和不连续面边缘处改善图像质量。与具有填充的紧凑cmp布局300相比，具有填充和面缩放的紧凑cmp布局400具有更小的尺寸。例如，具有填充和面缩放的紧凑cmp布局400的尺寸与不具有填充的紧凑cmp布局(例如，图2中所示的紧凑cmp布局204)的尺寸相同。
42.当通过具有填充和面缩放的紧凑cmp布局400来设置360vr投影布局l_vr时，在转换电路114中实现的缩放电路117和填充电路118都被启用。例如，转换电路114从视频捕获设备112接收球体200的全向图像内容，并从球体200的全向图像内容的基于立方体的投影中获得多个正方形投影面“顶”，“背”，“底”，“右”，“正”，以及“左”，其中正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”具有相同的面宽度fw和相同的面高度fh。缩放电路117被用于缩放正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”以生成多个缩放投影面(分别标记为“t”，“bk”，“b”，“r”，“f”和“l”)。标记“t”，“bk”，“b”，“r”，“f”和“l”的方向表示投影图像内容的方向。另外，填充电路118用于生成至少一个填充区域。转换电路114通过在具有填充和
面缩放的紧凑cmp布局400中堆栈缩放投影面和填充区域来创建基于投影的帧img。
43.缩放电路117是电子电路。在一个示例性设计中，缩放电路117可以由专用硬件来实现，用于处理缩放功能。在另一示例性设计中，缩放电路117可以由执行用于处理缩放功能的程序代码的处理器来实现。然而，这些仅用于说明目的，并不意味着是对本发明的限制。
44.缩放投影面“t”，“bk”，“b”，“r”，“f”和“l”被分类为第一组和第二组。第一组包括缩放投影面“r”，“f”和“l”，并且表示其内容是连续的第一矩形分段。第二组包括缩放投影面“t”，“bk”和“b”，并且表示其内容是连续的第二矩形分段。根据具有填充和面缩放的紧凑cmp布局400，填充电路118创建第一矩形分段的顶部填充区域pr31(其包括从缩放投影面“r”的顶边延伸的一个填充区域，从缩放投影面“f”的顶边延伸的一个填充区域和从缩放投影面“l”的顶边延伸的一个填充区域)，左填充区域pr32(其包括从缩放投影面“r”的左边延伸的一个填充区域)，底部填充区域pr33(其包括从缩放投影面“r”的底边延伸的一个填充区域，从缩放投影面“f”的底边延伸的一个填充区域，以及从缩放投影面“l”的底边延伸的一个填充区域)，以及右填充区域pr34(其包括从缩放投影面“l”的右边延伸的一个填充区域)，并且创建第二矩形分段的顶部填充区域pr41(其包括从缩放投影面“b”的顶边延伸的一个填充区域，从缩放投影面“bk”的顶边延伸的一个填充区域，以及从缩放投影面“t”的顶边延伸的一个填充区域)，左填充区域pr42(其包括从缩放投影面“b”的左侧延伸的一个填充区域)，底部填充区域pr43(其包括从缩放投影面“b”的底边延伸的一个填充区域，从缩放投影面“bk”的底边延伸的一个填充区域，以及从缩放投影面“t”的底边延伸的一个填充区域)，以及右填充区域pr44(其包括从缩放投影面“t”的右边延伸的一个填充区域)，其中每个填充区域具有相同的填充尺寸p(例如，p＝4)。
45.如图4所示，顶部填充区域pr31形成具有填充和面缩放的紧凑cmp布局400的顶部边界的至少一部分，左填充区域pr32/pr42形成具有填充和面缩放的紧凑cmp布局400的左边界的至少一部分，底部填充区域pr43形成具有填充和面缩放的紧凑cmp布局400的底部边界的至少一部分，并且右填充区域pr34/pr44形成具有填充和面缩放的紧凑cmp布局400的右边界的至少一部分。
46.如果缩放投影面“r”的底边与缩放投影面“b”的顶边连接，则在缩放投影面“r”的底边与缩放投影面“b”的顶边之间存在图像内容不连续边缘。如果缩放投影面“f”的底边与缩放投影面“bk”的顶边连接，则在缩放投影面“f”的底边与缩放投影面“bk”的顶边之间存在图像内容不连续边缘。如果缩放投影面“l”的底边与缩放投影面“t”的顶边连接，则在缩放投影面“l”的底边与缩放投影面“t”的顶边之间存在图像内容不连续边缘。底部填充区域pr33和顶部填充区域pr41在投影布局的中间形成水平填充区域，其中水平填充区域与缩放投影面“r”的底边和缩放投影面“b”的顶边连接，以将缩放投影面“r”的底边与缩放投影面“b”的顶边隔离开来；水平填充区域与缩放投影面“f”的底边和缩放投影面“bk”的顶边连接，以将缩放投影面“bk”的顶边与缩放投影面“f”的底边隔离开来；并且水平填充区域与缩放投影面“l”的底边和缩放投影面“t”的顶边连接，以将缩放投影面“t”的顶边与缩放投影面“l”的底边隔离开来。
47.在所述实施例中，所有缩放投影面“t”，“bk”，“b”，“r”，“f”和“l”不具有相同的尺寸。更具体地，基于与从正方形投影面获得的缩放投影面相关的填充区域分布来配置正方
形投影面的缩放操作。请结合图4和图5。图5是示出根据本发明的实施例的为每个正方形投影面定义的u轴和v轴的示意图。缩放投影面“f”是通过将缩放因子1应用于正方形投影面“正”的u轴并将缩放因子s2应用于正方形投影面“正”的v轴而生成的，其中缩放投影面“bk”是通过将缩放因子s2应用于正方形投影面“back”的u轴并将缩放因子1应用于正方形投影面“背”的v轴来生成的。缩放投影面“r”是通过将缩放因子s1应用于正方形投影面“右”的u轴并将缩放因子s2应用于正方形投影面“右”的v轴而生成的，其中缩放投影面“l”是通过将缩放因子s1应用于正方形投影面“左”的u轴并将缩放因子s2应用于正方形投影面“左”的v轴来生成的。缩放投影面“t”是通过将缩放因子s1应用于正方形投影面“顶”的u轴并将缩放因子s2应用于正方形投影面“顶”的v轴来生成的。缩放投影面“b”是通过将缩放因子s1应用于正方形投影面“底”的u轴并将缩放因子s2应用于正方形投影面“底”的v轴来生成。下表列出了不同正方形投影面的缩放因子的设置。
[0048][0049]
如图4所示，缩放投影面“f”和“bk”的尺寸为fw*(fh-2*p)，并且缩放投影面“r”，“l”，“b”和“t”的尺寸为(fw-p)*(fh-2*p)。当基于投影的帧img为具有填充和面缩放的紧凑cmp布局400时，基于投影的帧img的帧宽度w＝3*fw和帧高度h＝2*fh。因此，使用具有填充和面缩放的紧凑cmp布局400的基于投影的帧的尺寸保持与使用不具有填充的紧凑cmp布局的基于投影的帧的尺寸相同(例如，紧凑cmp布局204)。
[0050]
如图4所示，在两个3
×
1投影面行周围应用填充。然而，这仅用于说明目的，并不意味着是对本发明的限制。在一种替代设计中，填充可以仅应用于帧的中间以分离两个不连续的3
×
1投影面行。图6是示出根据本发明的实施例的第二种具有填充和面缩放的基于立方体的投影布局的示意图。具有填充和面缩放的紧凑cmp布局600能够在压缩后改善不连续面边缘处的图像质量。与具有填充的紧凑cmp布局300相比，具有填充和面缩放的紧凑cmp布局600具有更小的尺寸。例如，具有填充和面缩放的紧凑cmp布局600的尺寸与不具有填充的紧凑cmp布局(例如，图2中所示的紧凑cmp布局204)的尺寸相同。
[0051]
当通过具有填充和面缩放的紧凑cmp布局600来设置360vr投影布局l_vr时，在转换电路114中实现的缩放电路117和填充电路118都被启用。例如，转换电路114从视频捕获设备112接收球体200的全向图像内容，并从含有球体200的全向图像内容的基于立方体的投影中获得多个正方形投影面“顶”，“背”，“底”，“右”，“正”，以及“左”，其中正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”具有相同的面宽度fw和相同面高度fh。缩放电路117被用于缩放正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”以生成多个缩放投影面(分别标记为“t”，“bk”，“b”，“r”，“f”和“l”)。标记“t”，“bk”，“b”，“r”，“f”和“l”的方向表示投影图像内容的方向。另外，填充电路118用于生成至少一个填充区域。转换电路114通过在具有填充和面缩放的紧凑cmp布局600中堆栈缩放投影面“t”，“bk”，“b”，“r”，“f”和“l”以及至少一个填充区域来创建基于投影的帧img。
[0052]
缩放投影面“t”，“bk”，“b”，“r”，“f”和“l”被分类为第一组和第二组。第一组包括缩放投影面“r”，“f”和“l”，并且表示其内容是连续的第一矩形分段。第二组包括正方形投影面“t”，“bk”和“b”，并且表示其内容是连续的第二矩形分段。根据具有填充和面缩放的紧凑cmp布局600，填充电路118为第一矩形分段创建底部填充区域pr51，并为第二矩形分段创建顶部填充区域pr61，其中每个填充区域具有相同的填充尺寸p(例如，p＝4)。
[0053]
如果缩放投影面“r”的底边与缩放投影面“b”的顶边连接，则在缩放投影面“r”的底边与缩放投影面“b”的顶边之间存在图像内容不连续边缘。如果缩放投影面“f”的底边与缩放投影面“bk”的顶边连接，则在缩放投影面“f”的底边与缩放投影面“bk”的顶边之间存在图像内容不连续边缘。如果缩放投影面“l”的底边与缩放投影面“t”的顶边连接，则在缩放投影面“l”的底边与缩放投影面“t”的顶边之间存在图像内容不连续边缘。底部填充区域pr51和顶部填充区域pr61在投影布局的中间形成水平填充区域，其中水平填充区域与缩放投影面“r”的底边和缩放投影面“b”的顶边连接，以将缩放投影面“b”的顶边与缩放投影面“r”的底边隔离开来；水平填充区域与缩放投影面“f”的底边和缩放投影面“bk”的顶边连接，以将缩放投影面“bk”的顶边与缩放投影面“f”的底边隔离开来；以及水平填充区域与缩放投影面“l”的底边和缩放投影面“t”的顶边连接，以将缩放投影面“t”的顶边与缩放投影面“l”的底边隔离开来。
[0054]
在所述实施例中，所有缩放投影面“t”，“bk”，“b”，“r”，“f”和“l”具有相同的尺寸。更具体地，基于与从正方形投影面获得的缩放投影面相关的填充区域分布来配置正方形投影面的缩放操作。请结合参考图6和图5。通过将缩放因子1应用于正方形投影面“正”的u轴并将缩放因子s应用于正方形投影面“front”的v轴来生成缩放投影面“f”，其中，通过将缩放因子s应用于正方形投影面“背”的u轴并将缩放因子1应用于正方形投影面“背”的v轴来生成缩放投影面“bk”。通过将缩放因子1应用于正方形投影面“右”的u轴并将缩放因子s应用于正方形投影面“右”的v轴来生成缩放投影面“r”。通过将缩放因子1应用于正方形投影面“左”的u轴并将缩放因子s应用于正方形投影面“左”的v轴来生成缩放投影面“l”。通过将缩放因子1应用于正方形投影面“顶”的u轴并将缩放因子s应用于正方形投影面“顶”的v轴来生成缩放投影面“t”。通过将缩放因子1应用于正方形投影面“底”的u轴并将缩放因子s应用于正方形投影面“底”的v轴来生成缩放投影面“b”。下表列出了不同正方形投影面的缩放因子的设置。
[0055][0056][0057]
在图6中，每个缩放投影面“r”，“f”，“l”，“b”，“bk”和“t”的尺寸为fw*(fh-p)。当基于投影的帧img为具有填充和面缩放的紧凑cmp布局600时，基于投影的帧img具有帧宽度w＝3*fw和帧高度h＝2*fh。因此，使用具有填充和面缩放的紧凑cmp布局600的基于投影的帧的尺寸保持与使用不具有填充的紧凑cmp布局的基于投影的帧的尺寸相同(例如，图2中所示的紧凑cmp布局204)。
[0058]
在另一替代设计中，可以在每个面周围应用填充。在本发明的一些实施例中，可以在目标电子设备104处执行投影布局转换，以将具有一个投影布局的解码图像转换为具有不同投影布局的转换图像。可以对解码图像的整数像素的像素值执行插值，以确定分配给转换图像的整数像素的像素值。为了减少由投影布局转换引入的伪影，也可以将填充应用于相邻投影面之间的图像内容连续性边缘。
[0059]
图7是示出根据本发明的实施例的第三种具有填充和面缩放的基于立方体的投影布局的示意图。与具有填充的紧凑cmp布局300一样，具有填充和面缩放的紧凑cmp布局700能够在压缩后的不连续布局边界和不连续面边缘处改善图像质量。另外，根据具有填充和面缩放的紧凑cmp布局700，将填充应用于连续面边缘。与具有填充的紧凑cmp布局300相比，具有填充和面缩放的紧凑cmp布局700具有更小的尺寸。例如，具有填充和面缩放的紧凑cmp布局700的尺寸与不具有填充的紧凑cmp布局(例如，图2中所示的紧凑cmp布局204)的尺寸相同。
[0060]
当通过具有填充和面缩放的紧凑cmp布局700来设置360vr投影布局l_vr时，在转换电路114中实现的缩放电路117和填充电路118都被启用。例如，转换电路114从视频捕获设备112接收球体200的全向图像内容，并从球体200的全向图像内容的基于立方体的投影获得多个正方形投影面“顶”，“背”，“底”，“右”，“正”，以及“左”，其中正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”具有相同的面宽度fw和相同的面高度fh。缩放电路117被用于缩放正方形投影面“顶”，“背”，“底”，“右”，“正”和“左”以生成多个缩放投影面(分别标记为“t”，“bk”，“b”，“r”，“f”和“l”)。标记“t”，“bk”，“b”，“r”，“f”和“l”的方向表示投影图像内容的方向。另外，填充电路118用于生成至少一个填充区域。转换电路114通过在具有填充和面缩放的cmp布局700中堆栈缩放投影面和填充区域来创建基于投影的帧img。
[0061]
根据具有填充和面缩放的紧凑cmp布局700，填充电路118为每个缩放投影面创建
顶部填充区域，左填充区域，底部填充区域和右填充区域，其中每个填充区域具有相同的填充尺寸p(例如，p＝4)。以缩放投影面“r”为例，它被顶部填充区域pr71，左填充区域pr72，底部填充区域pr73和右填充区域pr74包围。
[0062]
与具有填充和面缩放的紧凑cmp布局400相比，具有填充和面缩放的紧凑cmp布局700还包括应用于连续面边缘的填充。如果缩放投影面“r”的右边与缩放投影面“f”的左边连接，则在缩放投影面“r”的右边和缩放投影面“f”的左边之间存在图像内容连续性边缘。如果缩放投影面“f”的右边与缩放投影面“l”的左边连接，则在缩放投影面“f”的右边和缩放投影面“l”的左边之间存在图像内容连续性边缘。如果缩放投影面“b”的右边与缩放投影面“bk”的左边连接，则在缩放投影面“b”的右边和缩放投影面“bk”的左边之间存在图像内容连续性边缘。如果缩放投影面“bk”的右边与缩放投影面“t”的左边连接，则在缩放投影面“bk”的右边和缩放投影面“t”的左边之间存在图像内容连续性边缘。从缩放投影面“r”的右边延伸的右填充区域和从缩放投影面“f”的左边延伸的左填充区域形成一个垂直填充区域的一部分，以将缩放投影面“f”的左边与缩放投影面“r”的右边隔离开来。从缩放投影面“f”的右边延伸的右填充区域和从缩放投影面“l”的左边延伸的左填充区域形成一个垂直填充区域的一部分，以将缩放投影面“f”的右边与缩放投影面“l”的左边隔离开来。从缩放投影面“b”的右边延伸的右填充区域和从缩放投影面“bk”的左边延伸的左填充区域形成一个垂直填充区域的一部分，以将缩放投影面“b”的右边和缩放投影面“bk”的左边隔离开来。从缩放投影面“bk”的右边延伸的右填充区域和从缩放投影面“t”的左边延伸的左填充区域形成一个垂直填充区域的一部分，以将缩放投影面“t”的左边与缩放投影面“bk”的右边隔离开来。
[0063]
在所述实施例中，所有缩放投影面“t”，“bk”，“b”，“r”，“f”和“l”具有相同的尺寸。更具体地，基于与从正方形投影面获得的缩放投影面相关的填充区域分布来配置正方形投影面的缩放操作。请结合参考图7和图5。缩放投影面“f”是通过将缩放因子s'应用于正方形投影面“正”的u轴和v轴两者而生成的，其中，缩放投影面“bk”是通过将缩放因子s'应用于正方形投影面“背”的u轴和v轴两者来生成的。缩放投影面“r”是通过将缩放因子s'应用于正方形投影面“右”的u轴和v轴两者来生成的。缩放投影面“l”是通过将缩放因子s'应用于正方形投影面“左”的u轴和v轴两者来生成的。缩放投影面“t”是通过将缩放因子s'应用于正方形投影面“顶”的u轴和v轴两者来生成的。缩放投影面“b”是通过将缩放因子s'应用于正方形投影面“底”的u轴和v轴两者来生成的。
[0064]
下表列出了不同正方形投影面的缩放因子设置。
[0065]
[0066][0067]
如图7所示，每个缩放投影面“r”，“f”，“l”，“b”，“bk”和“t”的尺寸为(fw-2*p)*(fh-2*p)。当基于投影的帧img为具有填充和面缩放的紧凑cmp布局700时，基于投影的帧img具有帧宽度w＝3*fw和帧高度h＝2*fh。因此，使用具有填充和面缩放的紧凑cmp布局700的基于投影的帧的尺寸保持与使用不具有填充的紧凑cmp布局的基于投影的帧的尺寸相同(例如，图2中所示的紧凑cmp布局204)。
[0068]
在一个示例性填充实现中，填充电路118将几何填充应用于缩放投影面，以确定包括在至少与缩放投影面连接的填充区域中的像素的像素值。例如，采用具有填充和面缩放的紧凑cmp布局400，顶部填充区域pr31包括左几何映像区域，中间几何映像区域和右几何映像区域。顶部填充区域pr31的左几何映像区域是通过将球体200上的区域的图像内容映像到左几何映像区域而获得的，其中球体200上的所述区域与获得缩放投影面“r”的区域相邻。因此，在缩放投影面“r”和从缩放投影面“r”延伸的左几何映像区域之间存在图像内容连续性(即，图像内容在缩放投影面“r”和左几何映像区域中是连续表示的)。类似地，顶部填充区域pr31的中间几何映像区域是通过将球体200上的区域的图像内容映像到中间几何映像区域而获得的，其中球体200上的所述区域与获得缩放投影面“f”的区域相邻。因此，在缩放投影面“f”和从缩放投影面“f”延伸的中间几何映像区域之间存在图像内容连续性(即，图像内容在缩放投影面“f”和中间几何映像区域中是连续表示的)。另外，顶部填充区域pr31的右几何映像区域是通过将球体200上的区域的图像内容映像到右几何映像区域而获得的，其中球体200上的所述区域与获得缩放投影面“l”的区域相邻。因此，在缩放投影面“l”和从缩放投影面“l”延伸的右几何映像区域之间存在图像内容连续性(即，图像内容在缩放投影面“l”和右几何映像区域中是连续表示的)。
[0069]
在另一示例性填充实现中，填充电路118通过复制包括在与填充区域连接的缩放投影面中的特定像素的像素值来设置填充区域中包括的像素的像素值。例如，采用具有填充和面缩放的紧凑cmp布局400为例，顶部填充区域pr31包括左复制区域，中间复制区域和右复制区域。关于顶部填充区域pr31的左复制区域的生成，缩放投影面“r”的顶边的边缘像素被复制以创建从缩放投影面“r”的顶边延伸的填充像素。关于顶部填充区域pr31的中间复制区域的生成，缩放投影面“f”的顶边处的边缘像素被复制以创建从缩放投影面“f”的顶边延伸的填充像素。关于顶部填充区域pr31的右复制区域的生成，缩放投影面“l”的顶边处的边缘像素被复制以创建从缩放投影面“l”的顶边延伸的填充像素。
[0070]
在又一示例性填充实现中，填充电路118通过复制包括在第二缩放投影面中的特定像素的像素值来设置包括在从第一缩放投影面的一边延伸的填充区域中的像素的像素值。例如，从球体上的第一区域的图像内容获得第一缩放投影面，并且从球体上的第二区域的图像内容获得第二缩放投影面，其中第二区域与第一区域相邻。从第一缩放投影面的一边延伸的填充区域可以通过复制第二缩放投影面的部分区域来获得。例如，采用具有填充
和面缩放的紧凑cmp布局400为例，顶部填充区域pr31包括左复制区域，中间复制区域和右复制区域。通过复制缩放投影面“t”的第一部分区域来设置顶部填充区域pr31的左复制区域。通过复制缩放投影面“t”的第二部分区域来设置顶部填充区域pr31的中间复制区域。通过复制缩放投影面“t”的第三部分区域来设置顶部填充区域pr31的右复制区域。
[0071]
如上所述，目标电子设备104的视频解码器122从发送装置103接收比特流bs，并执行视频解码功能，用于解码接收的比特流bs的一部分以生成解码的帧img'，解码的帧img'是解码的基于投影的帧，其具有由源电子设备102的转换电路114采用的相同的360vr投影布局l_vr。在360vr投影布局l_vr由具有填充的基于立方体的投影布局设置的情况下(例如，具有填充的紧凑cmp布局300或具有填充和面缩放的紧凑cmp布局400/600/700)，解码的帧img'具有位于投影布局的不连续布局边界，不连续面边缘和/或连续面边缘的填充区域。在一个实施例中，视频解码器122可以裁剪填充区域，使得仅重构非填充区域(例如，最初从基于立方体的投影获得的正方形投影面，或者从最初从基于立方体的投影获得的缩放正方形投影面导出的缩放投影面)。在替代设计中，视频解码器122可启用混合电路127，其用于在编码之后执行混合。混合电路127执行混合功能，所述混合功能是基于填充区域中的填充像素和投影面中的面像素(即，非填充像素)。因此，在生成解码的帧img'的解码过程期间，视频解码器122通过混合针对第一像素获得的解码像素值和针对第二像素获得的解码像素值来重构第一像素，以生成第一像素的更新的像素值，其中第一像素和第二像素中的一个包括在投影面中，并且第一像素和第二像素中的另一个包括在填充区域中。
[0072]
混合电路127是电子电路。在一个示例性设计中，混合电路127可以由专用硬件来实现，用于处理混合功能。在另一示例性设计中，混合电路127可以由执行用于处理混合功能的程序代码的处理器来实现。然而，这些仅用于说明目的，并不意味着是对本发明的限制。
[0073]
例如，可以通过将面像素的原始解码像素值与填充区域中的对应填充像素的解码像素值混合来更新投影面(非填充区域)中的面像素(非填充像素)的像素值。在编码器侧的填充电路118采用几何映像的情况下，需要从面像素到其对应的填充像素的映像。图8是示出根据本发明的实施例的为面像素找到对应的填充像素的过程的示意图。首先将面像素t映像到球体200上的3d点s。接着，通过基于立方体的投影将球体200上的3d点s投影到第二最近面，以找到对应的填充像素t'。在填充区域中找到的对应填充像素t'可以不在整数位置。如果对应的填充像素t'的u轴坐标u和v轴坐标v中的至少一个是非整数位置，则视频解码器122中的插值滤波器(未示出)(具体地，混合电路127)可以应用于对应填充像素t'周围的整数像素的解码像素值，以导出对应填充像素t'的解码像素值。
[0074]
图9是示出根据本发明的实施例的用于生成面像素的更新的像素值的混合方法的流程图。在步骤902，混合电路127从堆栈在基于立方体的投影布局(例如，具有填充的紧凑cmp布局300或具有填充和面缩放的紧凑cmp布局400/600/700)中的一个投影面中选择面像素。在步骤904，混合电路127应用映像函数以找到对应的像素，其中要更新的面像素和对应的像素被映像到3d空间中的球体上的相同3d点。在步骤906，混合电路127检查对应的像素是否在基于立方体的投影布局中堆栈的填充区域内。也就是说，混合电路127检查对应的像素是否是填充像素。如果对应的像素不是填充像素，则流程进行到步骤908。在步骤908，中止当前选择面像素的混合处理，并且混合电路127从堆栈在基于立方体的投影布局中的一
个投影面中选择将要更新的下一个面像素。
[0075]
如果对应像素是填充像素，则流程前进到步骤910。在步骤910，混合电路127检查在填充区域中找到的对应填充像素是否是非整数点。如果在填充区域中找到的对应填充像素是整数点，则流程前进到步骤914。如果在填充区域中找到的对应填充像素是非整数点，则混合电路127通过插值重新采样对应的填充像素(步骤912)。也就是说，混合电路127中的插值滤波器(未示出)用于将插值应用于对应的填充像素(其是非整数像素)周围的整数像素的解码像素值，以导出对应的填充像素的解码像素值。在步骤914，混合电路127将面像素的解码像素值与对应填充像素的解码像素值混合，以生成面像素的更新的像素值。在本发明的一些实施例中，混合电路127可以采用基于距离的加权方案。
[0076]
作为另一示例，可以通过将填充区域中的填充像素的原始解码像素值与在投影面(非填充区域)中的对应面像素(非填充像素)的像素值进行混合，来更新填充区域中的填充像素的像素值。在编码器侧的填充电路118采用几何映像的情况下，需要从填充像素到其对应的面像素的映像。图10是示出根据本发明的实施例的为填充像素找到对应的面像素的过程的示意图。填充像素t'首先被映像到球体200上的3d点s。接下来，球体200上的3d点s被投影到最近的面以找到对应的面像素t。在投影面中找到的对应的面像素t可能不在整数位置。如果对应的面像素t的u轴坐标u和v轴坐标v中的至少一个是非整数位置，则视频解码器122中的插值滤波器(未示出)(具体地，混合电路127)可以应用于对应的面像素t周围的整数像素的解码像素值，以导出对应的面像素t的解码像素值。
[0077]
图11是示出根据本发明的实施例的用于生成填充像素的更新的像素值的混合方法的流程图。在步骤1102，混合电路127从堆栈在基于立方体的投影布局(例如，具有填充的紧凑cmp布局300或具有填充和面缩放的紧凑cmp布局400/600/700)中的一个填充区域中选择填充像素。在步骤1104，混合电路127应用映像函数以找到对应的面像素，其中要更新的填充像素和对应的面像素被映像到3d空间中的球体上的相同3d点。在步骤1106，混合电路127检查在投影面中找到的对应面像素是否是非整数点。如果在投影面中找到的对应面像素是整数点，则流程进行到步骤1110。如果在投影面中找到的对应面像素是非整数点，则混合电路127通过插值重新采样对应的面像素(步骤1108)。也就是说，混合电路127中的插值滤波器(未示出)用于将插值应用于对应的面像素(其是非整数像素)周围的整数像素的解码像素值，以导出对应的面像素的解码像素值。在步骤1110，混合电路127将填充像素的解码像素值与对应面像素的解码像素值混合，以生成填充像素的更新的像素值。在本发明的一些实施例中，混合电路127可以采用基于距离的加权方案。
[0078]
图12是图示根据本发明的实施例的第一种解码器侧混合操作的示意图。如图12所示，在3x1投影面行周围应用填充。例如，填充电路118可以采用图3/图4中所示的示例性填充设计。因此，3
×
1投影面行可以包括从立方体的右面，正面和左面获得的投影面，或者可以包括从立方体的底面，背面和顶面获得的投影面。在3
×
1投影面行的右上角处的部分区域1202被放大以示出由混合电路127采用的第一混合方法。在编码之后，可以应用如下所示的基于距离的加权函数的混合，通过与由映像函数找到的对应像素进行混合来更新目标像素。
[0079]
[0080]
在上面的公式(1)中，a表示针对目标像素获得的解码像素值，a
update
表示目标像素的更新的像素值，a'表示针对对应像素获得的解码像素值，d表示会被混合的像素的宽度，d表示从目标像素到填充边界的距离。例如，参数d可以由从目标像素的中心到填充边界计数的非整数值来设置。
[0081]
混合电路127将第一加权因子应用于针对目标像素获得的解码像素值a，并将第二加权因子应用于针对对应像素获得的解码像素值a'，其中第一加权因子和第二加权因子的设置都取决于将要更新的目标像素的位置，并且与填充区域的填充尺寸无关。
[0082]
假设需要通过混合来更新同一像素列(pixel column)中的面像素(非填充像素)y1和y2以及填充像素y3，y4，y5。参数d可以设置为5。当将要更新的目标像素是面像素y1时，参数d可以设置为4.5。当将要更新的目标像素是面像素y2时，参数d可以设置为3.5。当将要更新的目标像素是填充像素y3时，参数d可以设置为2.5。当将要更新的目标像素是填充像素y4时，参数d可以设置为1.5。当将要更新的目标像素是填充像素y5时，参数d可以设置为0.5。
[0083]
图13是图示根据本发明的实施例的第二种解码器侧混合操作的示意图。如图13所示，在两个3
×
1投影面行周围应用填充。一个3x1投影面行(face row)包括右面(标记为“4”)，正面(标记为“0”)和左面(标记为“5”)。另一个3
×
1投影面行包括底面(标记为“3”)，背面(标记为“1”)和顶面(标记为“2”)。标记“0
”‑“
5”的方向表示投影图像内容的方向。例如，填充电路118可以采用图3/4中所示的示例性填充设计。可以通过使用以下公式计算的更新的像素值来设置投影面中的目标像素(其是面像素)的重构像素值。
[0084][0085]
在上面的公式(2)中，a表示针对目标像素(其是面像素)获得的解码像素值，a
update
表示目标像素的更新的像素值，a'表示针对对应像素(其是通过映像函数找到的填充像素)获得的解码像素值，pad表示填充区域的填充尺寸，d表示对应像素与投影面(非填充区域)的一边之间的距离。具体地，混合电路127将第一加权因子应用于针对对应像素(其为填充像素)获得的解码像素值a'，并将第二加权因子应用于针对目标像素(其为面像素)获得的解码像素值a，其中第一加权因子和第二加权因子的设置都取决于对应像素的位置和填充区域的填充尺寸。
[0086]
图14是图示根据本发明的实施例的第三种解码器侧混合操作的示意图。如图14所示，在两个3
×
1投影面行周围应用填充。一个3x1投影面行包括右面(标记为“4”)，正面(标记为“0”)和左面(标记为“5”)。另一个3
×
1投影面行包括底面(标记为“3”)，背面(标记为“1”)和顶面(标记为“2”)。标记“0
”‑“
5”的方向表示投影图像内容的方向。例如，填充电路118可以采用图3/4中所示的示例性填充设计。填充区域中的目标像素(其为填充像素)的重构像素值可以通过使用以下公式计算的更新的像素值。
[0087][0088]
在上面的公式(3)中，a表示针对目标像素(其为填充像素)获得的解码像素值，a
update
表示目标像素的更新的像素值，a'表示针对对应像素(其是通过映像函数找到的面像素)获得的解码像素值，pad表示填充区域的填充尺寸，d表示目标像素与投影面(其为非填充区域)的一边之间的距离。具体地，混合电路127将第一加权因子应用于针对对应像素(其为面像素)获得的解码像素值a'，并将第二加权因子应用于针对目标像素(其为填充像素)获得的解码像素值a，其中第一加权因子和第二加权因子的设置都取决于目标像素的位置和填充区域的填充尺寸。
[0089]
关于具有填充和/或面缩放的基于立方体的投影布局(例如，具有填充的紧凑cmp布局300或具有填充和面缩放的紧凑cmp布局400/600/700)，在从不同的投影面延伸的两个相邻填充区域之间存在不连续边缘。当视频编码器116采用基于区块的编码方案时，靠近不连续边缘并位于不连续边缘的一边的像素的解码像素值可能受到靠近不连续边缘并位于不连续边缘的另一边的像素的影响。如上所述，将混合应用于目标像素的解码像素值和对应像素的解码像素值，以更新目标像素的解码像素。如果对应像素在不连续边缘附近，则编码之后的对应像素的解码像素值可能大大偏离在编码之前的对应像素的原始像素值。如此一来，通过混合更新的目标像素可能导致图像质量下降。为了解决所述问题，本发明提出了部分跳过的混合方案。根据部分跳过的混合方案，混合电路127将图像内容不连续边缘和针对将要更新的目标像素找到的对应像素之间的距离与预定阈值进行比较。在距离超过预定阈值的条件下，执行针对目标像素获得的解码像素值和针对对应像素获得的解码像素值的混合。换句话说，当距离小于预定阈值时，跳过针对目标像素获得的解码像素值和针对对应像素获得的解码像素值的混合。
[0090]
图15是示出检查对应像素的位置以选择性地启用用于更新目标像素的像素值的解码器侧混合计算的示例的示意图。在此示例中，填充仅应用于帧的中间以分隔两个不连续的3x1投影面行。因此，一个水平填充区域pr_b包括从堆栈在具有填充和/或面缩放的基于立方体的投影布局中的右面(标记为“4”)，正面(标记为“0”)和左面(标记为“5”)的底边延伸的填充区域，以及另一个水平填充区域pr_t包括从堆栈在具有填充和/或面缩放的基于立方体的投影布局中的底面(标记为“3”)，背面(标记为“1”)和顶面(标记为“2”)的顶边延伸的填充区域。在水平填充区域pr_b和pr_t之间存在不连续的边缘eg_d。假设采用几何填充来设置水平填充区域pr_b和pr_t中的填充像素。当将要更新的目标像素是面像素a时，通过映像函数在水平填充区域pr_b中找到对应的填充像素a'。混合电路127将对应的填充像素a'和不连续边缘eg_d之间的距离与预定阈值th进行比较。由于对应的填充像素a'与不连续边缘eg_d之间的距离小于预定阈值th，因此意味着对应的填充像素a'在不连续边缘eg_d附近。因此，混合电路127跳过更新面像素a的解码像素值的混合处理。更具体地，当对应像素位于由预定阈值th限定的区域r_psb内时，跳过目标像素的混合。
[0091]
可以通过比特流bs从源电子设备102向目标电子设备104发信控制信息。例如，标
识fl1-fl5中的至少一个包括在从源电子设备102发送到目标电子设备104的比特流bs中。
[0092]
在本发明的一些实施例中，可以选择性地启用缩放电路117。当360vr投影布局l_vr由具有填充的基于立方体的投影布局(例如，具有填充的紧凑cmp布局300)设置时，缩放电路117被禁用。当360vr投影布局l_vr由具有填充和面缩放的基于立方体的投影布局(例如，具有填充和面缩放的紧凑cmp布局400/600/700)设置时，缩放电路117被启用。标识fl1可以被添加到比特流bs中，其中发信的标识fl1指示在投影布局中堆栈的投影面是否被缩放。
[0093]
在本发明的一些实施例中，填充电路118可以支持多个填充布置，包括“围绕两个3
×
1投影面行的填充”，“仅应用于帧的中间的填充”，“围绕每个面的填充”，和“禁用填充”。标识fl2和标识fl3中的一个或两个可以被添加到比特流bs中，其中发信的标识fl2指示在投影布局中堆栈的填充区域的填充布置，并且发信的标识fl3指示堆栈在投影布局中的每个填充区域的填充尺寸。
[0094]
在本发明的一些实施例中，可以选择性地启用混合电路127。另外，混合电路127可以支持不同的混合方法，包括“混合方法1(其采用上述公式(1))”，“混合方法2(其采用上述公式(2)和(3))”，和“完全跳过混合”。可以将标识fl4添加到比特流bs中，其中，发信的标识fl4指示将被分配给混合电路127的混合方法。例如，视频解码器122从比特流bs导出发信的标识fl4，并且，然后混合电路127参考由发信的标识fl4指示的混合方法，以计算目标像素的更新的像素值，其中目标像素可以是包括在一个投影面中的面像素或包括在一个填充区域中的填充像素。
[0095]
此外，混合电路127可以支持“部分跳过混合”的混合方法。可以将标识fl5添加到比特流bs中，其中发信的标识fl5指示是否应所述启用混合方法“部分跳过混合”。例如，视频解码器122从比特流bs导出发信的标识fl5，然后混合电路127参考发信的标识fl5以确定是否启用混合方法“部分跳过混合”，以计算目标像素的更新的像素值，其中目标像素可以是包括在一个投影面中的面像素或包括在一个填充区域中的填充像素。
[0096]
所属技术领域的技术人员可轻易观察到在维持本发明的教导的同时，仍可对于此装置及方法进行各种修改及变更。据此，上述揭露的内容应被解释为仅受所附的权利要求书的界限的限制。