具有辅助性分块的体积视频的制作方法
本发明原理总体涉及三维(3d)场景和体积视频内容的域。还在编码、格式化和解码表示3d场景的纹理和几何结构的数据的上下文中理解本文档,以在诸如移动设备或头戴式显示器(hmd)的最终用户设备上渲染体积内容。
背景技术:
1、本部分旨在向读者介绍本领域的各个方面,这些方面可能与下文描述和/或要求保护的本发明原理的各个方面有关。据信该讨论有助于为读者提供背景信息,以促进更好地理解本发明原理的各个方面。因此,应当理解,这些陈述应当从这个角度来解读,而不是承认现有技术。
2、最近,可用的大视场内容(高达360°)有所增长。观看沉浸式显示设备(诸如头戴式显示器、智能眼镜、pc屏幕、平板电脑、智能电话等)上的内容的用户可能无法完全看到此类内容。这意味着在给定的时刻,用户只能观看一部分内容。然而,用户通常可通过例如头部移动、鼠标移动、触摸屏、语音以及类似物的各种手段在内容内导航。通常希望对该内容进行编码和解码。
3、沉浸式视频(也称为360°平面视频)允许用户通过围绕静止视点旋转其头部来观看自己周围的一切。旋转仅允许3自由度(3dof)体验。即使3dof视频足以满足第一次全向视频体验(例如,使用头戴式显示器(hmd设备))的要求,但3dof视频对于期望更多自由(例如,通过体验视差)的观看者可能很快变得令人沮丧。此外,3dof还可能导致眩晕,因为用户永远不会只旋转其头部,而是还向三个方向平移头部,这些平移不会在3dof视频体验中再现。
4、其中,大视场内容可以是三维计算机图形图像场景(3d cgi场景)、点云或沉浸式视频。许多术语可用于设计此类沉浸式视频:例如,虚拟现实(vr)、360、全景、4π球面度、沉浸式、全向或大视场。
5、体积视频(也称为6自由度(6dof)视频)是3dof视频的替代方案。在观看6dof视频时,除了旋转之外,用户还可以在观看的内容中平移其头部,甚至其身体,并且体验视差甚至体积。这种视频显著增加了沉浸感和对场景深度的感知,并通过在头部平移期间提供一致的视觉反馈来防止眩晕。内容是通过专用传感器创建的,允许同时记录感兴趣场景的颜色和深度。即使仍然存在技术困难,使用结合摄影测量技术的彩色相机装备也是执行这种记录的一种方式。
6、虽然3dof视频包括由纹理图像的解映射产生的图像序列(例如,根据纬度/经度投影映射或等角投影映射编码的球面图像),但6dof视频帧嵌入了来自多个视点的信息。它们可被视为由三维捕获产生的点云的时间序列。根据观看条件可以考虑两种体积视频。第一种(即完整的6dof)允许在视频内容内完全自由导航,而第二种(又名3dof+)将用户观看空间限制到称为观看边界框的有限体积,从而允许有限的头部平移和视差体验。该第二种情况是在自由导航和就座观众的被动观看条件之间的有价值的折衷。
7、在3dof+场景中,一种方法包括仅发送从观看边界框的任何点观察3d场景所需的信息。另一种方法考虑发送附加几何结构信息和/或颜色信息,从观看边界框不可见,但用于在解码器侧执行其它过程,如重新照明、碰撞检测或触觉交互。这种附加信息可采用与可见点相同的格式输送。然而,需要一种用于向解码器指示信息的一部分将用于渲染并且信息的另一部分将用于其他处理的格式和方法。
技术实现思路
1、以下呈现本发明原理的简化概述,以便提供对本发明原理的一些方面的基本理解。本 技术实现要素: 不是本发明原理的广泛概述。不旨在识别本发明原理的关键或重要元素。以下发明内容仅以简化形式呈现本发明原理的一些方面,作为下面提供的更详细描述的前言。
2、本发明原理涉及一种用于在数据流中对表示3d场景的数据进行编码的方法。该方法包括:
3、-依据为渲染3d场景而获取的第一多视图加深度(mvd)内容生成一组第一分块。从3d场景的第一区域获取第一mvd。分块是mvd内容的视图中的一个视图的一部分。
4、-依据为了预处理或后处理用途而获取的第二mvd内容生成一组第二分块;从3d场景的第二区域获取第二mvd。第二区域可与第一区域重叠或隔开。
5、-使用第一分块和第二分块生成图集。图集是根据图集布局的图像打包分块并且与元数据相关联,该元数据针对图集的分块指示该分块是第一分块还是第二分块;以及
6、-将所述图集编码在所述数据流中。
7、本发明原理还涉及一种用于从数据流解码表示3d场景的数据的方法。该方法包括:
8、-解码数据流以检索图集和相关联的元数据。图集是根据图集布局打包分块的图像。分块是从3d场景的区域获取的mvd内容的一个视图的一部分。元数据包括针对图集的分块指示该分块是第一分块还是第二分块的数据;第一分块是从3d场景的第一区域获取的mvd内容的一部分,并且第二分块是从3d场景的第二区域获取的mvd的一部分。第一区域和第二区域可重叠或隔开。
9、-通过使用在元数据中被指示为第一分块的分块,从3d场景内的视点渲染视口图像;以及
10、-使用在元数据中被指示为第二分块的分块对所述视口图像进行预处理和/或后处理。
11、本发明原理还涉及一种包括被配置为实现上述编码方法的处理器的设备,以及涉及一种包括被配置为实现上述解码方法的处理器的设备。
12、本发明原理还涉及数据流和/或携带表示3d场景的数据的非暂时性介质。数据流或非暂时性介质包括:
13、-根据图集布局打包第一分块和第二分块的图集图像,第一分块是为渲染3d场景而获取的mvd内容的一个视图的一部分,第二分块是为了预处理或后处理用途而获取的mvd内容的一个视图的一部分,以及
14、-与所述图集相关联的元数据,该元数据包括针对图集的分块指示该分块是第一分块还是第二分块的数据。
1.一种用于从数据流解码3d场景的方法,所述方法包括:
2.根据权利要求1所述的方法,其中,所述辅助性分块是不用于渲染所述视口图像的分块。
3.根据权利要求1或2所述的方法,其中,所述辅助性分块用于碰撞检测、场景重新照明和所述3d场景的对象背面的几何结构中的至少一者。
4.根据权利要求3所述的方法,所述方法包括:当所述标志指示所述至少一个第一分块是辅助性分块时,在渲染所述3d场景时,将所述至少一个第一分块用于碰撞检测和场景重新照明中的至少一者。
5.根据权利要求1或2所述的方法,其中,当所述标志指示所述至少一个第一分块是辅助性分块时,在渲染所述视口图像期间跳过所述至少一个第一分块。
6.根据权利要求1所述的方法,所述方法包括解码至少一个第二分块,其中所述至少一个第一分块和所述至少一个第二分块被打包在所述至少一个图集中,所述至少一个图集与元数据相关联,所述元数据针对所述至少一个图集的每个分块指示该分块是否为辅助性分块。
7.根据权利要求1或2所述的方法,其中,发信号通知元数据以指示解码器的哪些模块能够使用辅助性分块。
8.一种用于从数据流解码3d场景的设备,所述设备包括一个或多个处理器,所述一个或多个处理器被配置用于执行:
9.根据权利要求8所述的设备,其中,所述辅助性分块是不用于渲染所述视口图像的分块。
10.根据权利要求8或9所述的设备,其中,所述辅助性分块用于碰撞检测、场景重新照明和所述3d场景的对象背面的几何结构中的至少一者。
11.根据权利要求10所述的设备,其中,所述一个或多个处理器被配置用于当所述标志指示所述至少一个第一分块是辅助性分块时,在渲染所述3d场景时,将所述至少一个第一分块用于碰撞检测、交互和场景重新照明中的至少一者。
12.根据权利要求8或9所述的设备,其中,当所述标志指示所述至少一个第一分块是辅助性分块时,在渲染所述视口图像期间跳过所述至少一个第一分块。
13.根据权利要求8所述的设备,其中,所述一个或多个处理器被配置用于解码至少一个第二分块,其中所述至少一个第一分块和所述至少一个第二分块被打包在所述至少一个图集中,所述至少一个图集与元数据相关联,所述元数据针对所述至少一个图集的每个分块指示该分块是否为辅助性分块。
14.根据权利要求8或9所述的设备,其中,发信号通知元数据以指示解码器的哪些模块能够使用辅助性分块。
15. 一种用于在数据流中编码3d场景的方法,所述方法包括:
16.根据权利要求15所述的方法,其中,所述辅助性分块用于碰撞检测、场景重新照明或所述3d场景的对象背面的几何结构中的至少一者。
17.根据权利要求15所述的方法,所述方法包括编码至少一个第二分块,其中所述至少一个第一分块和所述至少一个第二分块被打包在所述至少一个图集中,所述至少一个图集与元数据相关联,所述元数据针对所述至少一个图集的每个分块指示该分块是否为辅助性分块。
18.根据权利要求15或16所述的方法,其中,发信号通知元数据以指示解码器的哪些模块能够使用辅助性分块。
19. 一种用于在数据流中编码3d场景的设备,所述设备包括一个或多个处理器,所述一个或多个处理器被配置用于执行:
20.根据权利要求19所述的设备,其中,所述辅助性分块用于碰撞检测、场景重新照明和所述3d场景的对象背面的几何结构中的至少一者。
21.根据权利要求19所述的设备,其中,所述一个或多个处理器被配置用于编码至少一个第二分块,其中所述至少一个第一分块和所述至少一个第二分块被打包在所述至少一个图集中,所述至少一个图集与元数据相关联,所述元数据针对所述至少一个图集的每个分块指示该分块是否为辅助性分块。
22.根据权利要求19或20所述的设备,其中,发信号通知元数据以指示解码器的哪些模块能够使用辅助性分块。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com