双目全景视频压缩编码方法和电子设备与流程

本申请涉及全景视频编码，特别涉及一种双目全景视频压缩编码方法和电子设备。

背景技术：

1、扩展现实（extended reality，xr）中的双目全景视频通常由左右眼两路全景图像构成立体视觉内容，并常采用等距柱状投影（equi-rectangular projection，erp）将360°球面场景展开为二维画面，以便采用h.265/h.266等视频编码标准进行压缩、存储和传输。随着5k/8k分辨率视频在头戴式显示、沉浸式展示等场景中的应用，如何在有限码率下兼顾压缩效率与观看质量成为重要问题。

2、现有编码方式大多沿用平面视频的处理思路，对erp展开画面各区域采用近似一致的失真评价和码率分配，未充分考虑二维投影位置与球面实际采样特性之间的差异；同时，双目视频通常分别进行编码，左右眼对应区域的压缩失真可能缺乏协调。此外，用户实际观看区域会随头部运动发生变化，固定或静态的区域优先方式难以及时适应该变化。因此，在较高压缩倍率下，容易出现码率利用不均、局部画质下降及双目观看不适等问题。

技术实现思路

1、本申请实施方式的目的在于提供一种双目全景视频压缩编码方法和电子设备，旨在提高编码资源分配合理性和压缩效率、降低用户可感知的双目失真差异及由此产生的观看不适，并在控制整体码率的同时维持用户关注区域编码质量。

2、为解决上述技术问题，本申请提供了一种双目全景视频压缩编码方法，包括：获取待编码的双目全景视频以及对应的注视方向信息，其中，所述双目全景视频包括左眼视频和右眼视频；针对所述双目全景视频中的空间单元，根据所述空间单元对应的球面方向确定球面采样权重，根据所述空间单元对应的球面方向和所述注视方向信息确定注视权重，并基于所述球面采样权重和所述注视权重确定所述空间单元的联合权重；根据所述联合权重分别确定所述左眼视频的所述空间单元和所述右眼视频的所述空间单元的基础量化参数，基于所述基础量化参数对所述左眼视频和所述右眼视频分别进行编码，并根据所述左眼视频的所述空间单元和所述右眼视频的所述空间单元的编码重建结果，确定所述左眼视频的所述空间单元的压缩失真、所述右眼视频的所述空间单元的压缩失真以及二者之间的跨眼失真差；确定与所述左眼视频的所述空间单元、所述右眼视频的所述空间单元对应的恰可觉察差异阈值，并根据所述跨眼失真差与所述恰可觉察差异阈值的比较结果确定所述左眼视频的所述空间单元和所述右眼视频的所述空间单元的当前量化参数；对根据所述当前量化参数编码得到的编码结果执行约束校验，所述约束校验包括：基于所述球面采样权重确定的球面全局失真约束、针对相互对应的左眼视频的所述空间单元和右眼视频的所述空间单元的跨眼一致性约束以及基于所述注视方向信息确定的注视区域失真约束；在至少一个所述约束不满足对应约束条件时，根据不满足的约束调整对应所述空间单元的量化参数，并基于调整后的量化参数再次进行编码。

3、本申请还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的双目全景视频压缩编码方法。

4、针对现有双目全景视频编码过程中未充分考虑二维投影区域与球面实际采样特性之间的差异，容易造成不同区域码率分配与用户实际感知需求不匹配，同时左右眼视频分别编码时对应区域的压缩失真缺乏协调，以及用户实际观看区域随注视方向变化而使固定或静态的区域优先编码方式难以兼顾关注区域画质与整体压缩效率等的问题，本申请基于获取待编码的双目全景视频及对应的注视方向信息，并针对各空间单元分别确定球面采样权重和注视权重、进而形成联合权重的技术手段，通过根据联合权重确定左、右眼视频的所述空间单元的基础量化参数，对左、右眼视频分别进行编码，并根据编码重建结果确定左右眼对应空间单元的压缩失真及跨眼失真差，同时确定相应的恰可觉察差异阈值，根据跨眼失真差与该阈值的比较结果确定左右眼视频的所述空间单元的当前量化参数，从而对左右眼对应区域的编码质量进行协调；此外，本申请还通过对编码结果执行球面全局失真约束、跨眼一致性约束以及注视区域失真约束的校验，并在至少一个约束不满足对应条件时调整相应空间单元的量化参数并再次编码的方式，解决或至少部分解决了球面空间下码率分配不合理、左右眼对应区域失真差异过大以及注视区域画质难以得到兼顾的问题，从而至少部分提高编码资源分配合理性和压缩效率、降低用户可感知的双目失真差异及由此产生的观看不适，并在控制整体码率的同时维持用户关注区域编码质量。

1.一种双目全景视频压缩编码方法，其特征在于，包括：

2.根据权利要求1所述的双目全景视频压缩编码方法，其特征在于，所述根据所述空间单元对应的球面方向确定球面采样权重，包括：

3.根据权利要求2所述的双目全景视频压缩编码方法，其特征在于，所述双目全景视频采用等距柱状投影；

4.根据权利要求1所述的双目全景视频压缩编码方法，其特征在于，所述注视方向信息通过以下方式获取：

5.根据权利要求4所述的双目全景视频压缩编码方法，其特征在于，所述注视权重按照下式确定：

6.根据权利要求5所述的双目全景视频压缩编码方法，其特征在于，所述根据所述联合权重分别确定所述左眼视频的空间单元和所述右眼视频的空间单元的基础量化参数，包括：

7.根据权利要求1所述的双目全景视频压缩编码方法，其特征在于，所述左眼视频的所述空间单元和所述右眼视频的所述空间单元通过以下方式确定：

8.根据权利要求1所述的双目全景视频压缩编码方法，其特征在于，所述根据所述跨眼失真差与所述恰可觉察差异阈值的比较结果确定所述左眼视频的所述空间单元和所述右眼视频的所述空间单元的当前量化参数，包括：

9.根据权利要求1所述的双目全景视频压缩编码方法，其特征在于，所述约束校验以图像组为处理单位；

10.一种电子设备，其特征在于，包括：