扩展现实(XR)内容的增强层处理的制作方法

本公开涉及扩展现实(xr)内容的增强层处理。

背景技术：

1、图像可被编码以提供基础层编码和增强层编码。信号（例如，作为非限制性示例，图像、视频、立体视频、深度图、点云等）可被编码以提供基础层编码和增强层编码，该基础层编码对应于该信号的处于第二质量级别的呈现，该增强层编码提供数据以与基础层编码一起处理，以便以第一（更高）质量级别重建信号。基础层编码可被解码和显示，无需通过增强层进行增强。替代性地，增强层编码可被解码并用于增强经解码的基础层的视觉质量。

2、增强的视觉质量在xr情景中尤其相关（但并非仅限于此），xr包括增强现实(ar)和虚拟现实(vr)。具体地，xr内容通常在距离观看者非常近的屏幕（通常是高分辨率屏幕）上观看。低视觉质量会显著减损观看者的体验。

3、然而，除了视觉质量之外，其他因素也可能对xr情景中的性能和观看者体验产生显著影响。

4、例如，可用于xr像素流式传输的无线通信技术具有有限带宽。例如，带宽可为30兆比特每秒(mbps)。例如，可用于xr像素流式传输（例如，其中xr显示器接收由远程设备基于观看者的运动和动作实时生成的视频）的无线通信技术具有有限带宽。此外，即使有更多带宽可用，端到端延迟和丢包（两者都会减损体验质量）也会随带宽不成比例地增加。例如，在实际的wi-fi和/或5g场景中，用以保证可靠低延迟传输的带宽限制可能低至30至40兆比特每秒(mbps)。然而，xr头显的显示分辨率增长速度远超无线通信技术带宽。这些无线通信技术局限性意味着，在xr像素流式传输过程中仍需使用低比特率，即使显示分辨率不断增长。最先进的视频编码方法无法在无线带宽的实际限制下保证高质量、超低延迟的8k视频传输。

技术实现思路

1、本公开的各个方面在所附权利要求书中阐述。

2、进一步的特征和优点将从以下参考附图仅以示例方式给出的对优选实施例的描述中变得显而易见。

1.一种处理图像的方法，所述图像包括扩展现实xr内容并且用于xr显示设备，所述方法包括：

2.根据权利要求1所述的方法，其中所述第一图像区域和所述第二图像区域的位置与所述图像的像素的像素值无关。

3.根据权利要求1或2所述的方法，其包括：

4.根据权利要求1至3中任一项所述的方法，其包括：

5.根据权利要求1至3中任一项所述的方法，其包括：

6.根据权利要求5所述的方法，其包括：

7.根据权利要求1至6中任一项所述的方法，其中所述第一图像区域具有矩形形状，并且其中所述第一图像区域的所述矩形形状的高度小于所述矩形形状的宽度。

8.根据权利要求7所述的方法，其中所述第一图像区域具有横向取向。

9.根据权利要求1至8中任一项所述的方法，其中执行所述第二增强层处理包括：

10.根据权利要求9所述的方法，其中获取所述第一图像区域的所述增强层编码包括：

11.根据权利要求1至8中任一项所述的方法，其中执行所述第二增强层处理包括：

12.根据权利要求1至11中任一项所述的方法，其中获取所述第二图像区域的所述增强层编码包括：

13.根据权利要求1至11中任一项所述的方法，其中获取所述第一图像区域的所述增强层编码包括：

14.根据权利要求13所述的方法，其中：

15.根据权利要求1至14中任一项所述的方法，其中所述第二图像区域围绕所述第一图像区域。

16.根据权利要求1至15中任一项所述的方法，其中所述第一图像区域对应于所述xr显示设备的用户的预期的视场。

17.根据权利要求1至16中任一项所述的方法，其中所述图像是具有左侧图像部分和右侧图像部分的立体图像。

18.根据权利要求17所述的方法，其中所述第二图像区域包括所述左侧图像部分与所述右侧图像部分之间的边界。

19.根据权利要求17或18所述的方法，其中所述第一图像区域包括第一子区域和第二子区域，并且其中所述第一子区域和所述第二子区域是不重叠的。

20.根据权利要求19所述的方法，其中所述第一子区域在所述左侧图像部分和所述右侧图像部分中的一者的中央，并且其中所述第二子区域在所述左侧图像部分和所述右侧图像部分中的另一者的中央。

21.根据权利要求19或20所述的方法，其中所述第一子区域和/或所述第二子区域具有矩形形状，并且其中所述第一子区域和/或所述第二子区域的所述矩形形状的高度小于所述第一子区域和/或所述第二子区域的所述矩形形状的宽度。

22.根据权利要求1至21中任一项所述的方法，其中抑制获取所述第二图像区域的所述增强层编码包括：

23.根据权利要求1至22中任一项所述的方法，其中所述第二图像区域包括所述图像的边缘的至少一部分。

24.根据权利要求1至23中任一项所述的方法，其包括：

25.根据权利要求24所述的方法，其中所述第三图像区域在所述第一图像区域与所述第二图像区域之间，并且所述第三编码优先级在所述第一编码优先级与所述第二编码优先级之间。

26.根据权利要求1至25中任一项所述的方法，其中所述增强层包括由上采样器-下采样器不对称性产生的残差和/或由编码器-解码器误差产生的残差。

27.根据权利要求1至26中任一项所述的方法，其中所述图像的所述基础层编码包括：

28.根据权利要求1至27中任一项所述的方法，其中所述xr内容包括xr像素流式传输内容。

29.根据权利要求1至28中任一项所述的方法，其中所述第一图像区域的所述增强层编码和/或所述第二图像区域的所述增强层编码是导出自多层可分级编解码器的增强层编码。

30.根据权利要求1至29中任一项所述的方法，其包括：

31.根据权利要求30所述的方法，其中所述图像的所述一个或多个区域不同于所述图像的所述第一图像区域和/或所述第二图像区域。

32.根据权利要求30或31所述的方法，其中所述一个或多个后处理操作包括去振铃后处理操作。

33.根据权利要求1至32中任一项所述的方法，其包括

34.根据权利要求33所述的方法，其中所述深度图的所述第一区域对应于所述图像的所述第一图像区域。

35.一种处理图像的方法，所述图像包括扩展现实xr内容并且用于xr显示设备，所述方法包括：

36.根据权利要求35所述的方法，其中所述方法在视频游戏流式传输期间执行。

37.根据权利要求35所述的方法，其中所述方法在具有预渲染视野区域的六自由度6dof叙事期间执行。

38.根据权利要求35所述的方法，其中所述方法在数字孪生和/或数字替身的设计审查期间执行。

39.一种配置成执行根据权利要求1至38中任一项所述的方法的装置。

40.一种比特流，其包括：