图像数据信号的制作方法
本发明涉及图像数据信号及其生成和/或处理,尤其但非排他地涉及包括针对同一场景的多个视点的图像数据的图像数据信号的生成和/或处理。
背景技术:
1、近年来,随着利用和消费视频的新服务和方式不断开发和引入,图像和视频应用的种类和范围大幅增加。
2、例如,一种日益流行的服务是以如下方式提供图像序列:观看者能够主动且动态地与系统交互,以改变渲染的参数。在许多应用中,一个非常有吸引力的特性是能够改变观看者的有效观看位置和观看方向,例如允许观看者在所呈现的场景中移动并“环顾”四周。
3、这样的特性尤其能够允许向用户提供扩展现实(xr)/虚拟现实(vr)/增强现实(ar)体验。这可以使用户例如在虚拟环境中(相对)自由地移动,并动态改变其位置以及其看向何处。通常,此类虚拟现实应用基于场景的三维模型,该模型被动态评估以提供所具体请求的视图。这种方法例如在用于计算机和游戏主机的游戏应用(如第一人称射击类游戏)中是众所周知的。
4、特别是对于扩展现实应用而言,还期望所呈现的图像是三维图像。实际上,为了优化观看者的沉浸感,通常优选让用户将所呈现的场景体验为三维场景。实际上,虚拟现实体验应优选允许用户选择其自身位置、相机视点和相对于虚拟世界的时刻。
5、大量虚拟现实应用固有地受到限制,因为它们基于场景的预定模型的存在,并且通常基于虚拟世界的人工模型,例如用于游戏应用。
6、然而,期望能够提供允许用户体验真实世界捕获的扩展现实体验。此类应用包括例如允许用户在真实世界场景的表示中自由改变位置和观看方向的应用。然而,支持这种自由的要求在许多情况下难以满足,尤其是在真实世界场景还是动态变化的、特别是实时场景的情况下。例如,为对应于例如体育赛事的现场实时广播的场景提供足够数据以允许用户自由移动和改变观看方向,通常是不实际或不可行的。因此,用户在移动和/或观看方向上的自由受到限制的应用和体验正受到越来越多的关注。例如,可以广播体育赛事,其中用户可以在180°范围内自由旋转其头部,但只能相对小幅度地移动其头部。这种受限移动可以大幅降低所需量提供数据的要求。
7、对于大多数允许对场景不同视点的图像进行本地渲染的应用而言,一个关键问题是如何表示这样的场景,尤其是如何有效地生成、分发和处理表示真实世界场景的数据,使得终端用户设备被提供足够的数据以本地生成真实世界场景(并且通常是实时场景)的视图图像。生成真实世界场景的模型通常是不可行或不实际的,尤其是当服务支持动态变化的场景(如实时事件)时。
8、在许多系统中,场景可以由已由合适捕获设备(例如相机)捕获的图像来表示。例如,相机可以被布置在给定配置中,例如排成一行,每个相机从给定捕获位姿捕获场景。来自不同位置的图像可以提供场景不同部分的表示。例如,背景对象可能从某些捕获位置被前景对象遮挡,而从其他捕获位置则不被遮挡,因此与背景对象相关的信息可能存在于一些捕获图像中,而不存在于其他捕获图像中。场景的多视图图像可被视为场景的3d图像。
9、在许多实际系统中,所捕获图像可以通过深度信息来补充,例如为相关联深度图中的每个像素提供z值或视差值。这种图像+深度表示可被视为3d图像。使用为一系列视点提供的图像+深度信息可以具有许多应用,并且对许多场景提供有利的场景表示,从而允许本地生成视图图像。图像+深度信息可以被传输到渲染设备,该渲染设备可以针对用户的当前观看位置和观看方向动态生成视图图像。
10、然而,尽管包括来自不同捕获位置的多个图像(并且在一些情况下还附加深度数据)的场景图像表示在许多实施例中可提供期望的性能和操作,但它也倾向于需要高数据速率来将图像表示传送到渲染设备。实际上,直接分发所有捕获的视图图像通常是不可行的,因为像素速率、因此数据速率太高。直接传输所有图像也是浪费的,因为它包括传输大量冗余数据。例如,前景对象的正面可以从多个捕获位置可见,因此该对象的视觉信息将包括在要传输的多个捕获图像中。
11、然而,如何降低所需数据速率的问题是一个难以解决的复杂问题。已经提出识别并省略一些冗余数据,然后生成不包含这些冗余数据的图像数据信号。然而,尽管这可以降低数据速率,但如何具体实现这一点,以便尽可能优化图像质量、数据速率、复杂性、资源需求等,仍是一项艰巨的挑战。
12、因此,一种改进的方法将是有利的。特别地,一种用于生成和/或处理图像数据信号的方法将是有利的,该方法允许改进的操作、增加的灵活性、改进的扩展现实体验、降低的数据速率、增加的效率、便于分发、降低的复杂性、便于实现、提高的图像质量、改进的数据速率与图像质量折衷和/或处理需求、和/或改进的性能和/或操作。
技术实现思路
1、因此,本发明试图优选地单独或以任何组合来减轻、缓解或消除上述缺点中的一个或多个。
2、根据本发明的第一方面,提供了一种用于生成用于/表示场景的图像数据信号的装置,所述装置包括:接收器,其被布置为接收所述场景的多个图像,所述多个图像中的至少一些图像针对所述场景的不同观看位姿;分割器,其被布置为确定所述多个图像中的对象图像分段集合,所述对象图像分段集合中的每个对象图像分段(是被估计/确定为)表示所述场景的对象;选择器,其被布置为从所述对象图像分段集合中选择对象图像分段子集;生成器,其被布置为生成所述图像数据信号以包括所述对象图像分段子集;其中,所述装置还包括:遮挡确定器,其被布置为确定针对所述对象图像分段集合中的对象图像分段的遮挡度量,针对一对象图像分段的所述遮挡度量指示由所述对象图像分段表示的对象的遮挡程度(从所述图像分段的视点来看的遮挡);并且其中,所述选择器被布置为根据针对所述对象图像分段集合的所述遮挡度量来选择用于所述子集的对象图像分段。
3、本发明可以提供场景的改进表示。在许多实施例中,可以提供场景的更高效表示,例如允许通过降低的数据速率实现给定的渲染质量。
4、该方法在许多实施例中可以提供改进的图像数据信号,其具有适合于灵活、高效且高性能地本地生成针对不同观看位置/位姿的视图图像的场景表示。在许多实施例中,它可以允许改进的感知图像质量和/或降低的数据速率。
5、该方法在许多实施例和场景中可以允许特别高效和/或低复杂度地生成图像数据信号。
6、所述生成器可以被布置为从图像数据信号中排除未包括在所述子集中的对象图像分段。针对一对象图像分段的遮挡度量可以指示从该对象图像分段的视点来看由该对象图像分段表示的对象的遮挡程度。针对一对象图像分段的遮挡度量可以指示由该对象图像分段表示的对象在该对象图像分段中的遮挡程度(从该对象图像分段的视点来看)。
7、所述图像可以是包括深度信息的3d图像,例如特别是带有相关联深度图像/深度图的2d图像或纹理图。所述场景的多个图像可以是多视图图像(并且特别是可以是场景的具有深度的多视图图像(mvd)表示)。
8、所述图像数据信号可以是视频数据信号。所述多个图像可以是来自同一帧时间的图像,或者可以跨越视频输入信号的多个帧时间。
9、根据本发明的可选特征,所述选择器被布置为使对对象图像分段的选择偏向于所述遮挡度量指示减少的遮挡的对象图像分段。
10、这在许多场景和实施例中可能特别有利。它可以允许生成改进的图像数据信号,这可以在图像数据信号的数据速率、渲染质量和/或处理复杂度之间提供改进的折衷。
11、根据本发明的可选特征,所述选择器被布置为:在所述遮挡度量满足标准时选择用于所述子集的对象图像分段;并且在所述遮挡度量不满足所述标准时排除所述对象图像分段;对于指示遮挡程度小于阈值的遮挡度量,满足所述标准。
12、这在许多场景和实施例中可能特别有利。它可以允许生成改进的图像数据信号,这可以在图像数据信号的数据速率、渲染质量和/或处理复杂度之间提供改进的折衷。在一些实施例中,所述阈值可以是固定阈值,或者在许多实施例中可以是依赖于其他参数的可变阈值,例如依赖于一个或多个其他对象图像分段的遮挡度量。
13、根据本发明的可选特征,所述选择器被布置为选择遮挡度量指示无遮挡的对象图像分段,而不是遮挡度量指示有遮挡的对象图像分段。
14、这在许多场景和实施例中可能特别有利。
15、在一些实施例中,所述选择器被布置为选择遮挡度量指示无遮挡的对象图像分段,而不是遮挡度量指示遮挡超过给定阈值(该阈值可以是可变阈值)的对象图像分段。
16、根据本发明的可选特征,所述选择器被布置为针对至少一个对象选择多个对象图像分段,所述选择依赖于所述对象图像分段的图像的观看位姿。
17、这可以允许生成改进的图像数据信号,这可以在图像数据信号的数据速率、渲染质量和/或处理复杂度/资源使用之间提供改进的折衷。所述选择器可以被布置为选择对象图像分段以提供从不同方向对对象的改进表示。
18、根据本发明的可选特征,所述选择器被布置为针对场景的每个所识别的象选择至少一个对象图像段。
19、这在许多场景和实施例中可能特别有利。它可以允许从图像数据信号更准确和完整地渲染场景。
20、根据本发明的可选特征,所述选择器被布置为对于所述对象图像分段集合包括遮挡度量指示有部分遮挡的多个对象图像分段的对象,从所述对象的对象图像分段的子集中排除所述对象图像分段集合中的至少一个对象图像分段。
21、这在许多场景和实施例中可能特别有利。它可以允许生成改进的图像数据信号,这可以在图像数据信号的数据速率、渲染质量和/或处理复杂度之间提供改进的折衷。它尤其可以经常允许降低数据速率,而不会显著降低从图像数据信号渲染的图像的感知渲染质量。
22、根据本发明的可选特征,所述生成器被布置为图集将所述对象图像分段子集的多个对象图像分段包括在图像图集中,并且使用图像编码操作对所述图像图集进行编码。
23、这在许多场景和实施例中可能特别有利。它可以允许生成改进的图像数据信号,这可以在图像数据信号的数据速率、渲染质量和/或处理复杂度/资源之间提供改进的折衷。该方法可以允许对图像图集进行非常高效的图像编码,从而提供降低的数据速率。
24、根据本发明的可选特征,所述图像数据信号是包括针对多个时间帧的图像数据的视频信号,并且所述多个图像针对所述时间帧中的同一时间帧。
25、该方法可以提供用于生成表示场景的视频信号的高度有利且高效的方法。所述图像数据信号可以是视频数据信号。
26、在一些实施例中,所述图像数据信号是包括针对多个时间帧的图像数据的视频信号,并且所述多个图像中的至少一些图像针对所述时间帧中的不同时间帧。
27、根据本发明的可选特征,所述选择器被布置为在多个时间帧上保持相同的选择。
28、这通常可以允许更高效的编码和图像数据信号,和/或可以提供改进的渲染。
29、这在许多场景和实施例中可能特别有利。它可以允许生成改进的图像数据信号,这可以在图像数据信号的数据速率、渲染质量和/或处理复杂度之间提供改进的折衷。
30、根据本发明的可选特征,所述遮挡确定器被布置为根据以下中的至少一项来确定第一对象图像分段的遮挡度量:由所述第一对象图像分段表示的对象的对象检测可靠性度量;所述第一对象图像分段的尺寸属性;所述第一对象图像分段的形状属性;由所述第一对象图像分段表示的对象与所述场景的另一对象的接近度;以及所述第一对象图像分段与(其他视图图像或另一时间帧的)另一对象图像分段之间的相似性度量。
31、这在许多场景和实施例中可能特别有利。
32、根据本发明的可选特征,所述生成器还被布置为生成所述场景的背景图像并且将所述背景图像包括在所述图像数据信号中。
33、这在许多场景和实施例中可能特别有利,并且可以提供场景的高效表示。它通常可以降低复杂性并允许改进的渲染质量。
34、根据本发明的可选特征,所述生成器被布置为在所述图像数据信号中包括针对至少一个对象图像分段的所述遮挡度量的指示。
35、在许多实施例和场景中,这可以允许从图像数据信号改进对场景的视图图像的渲染。
36、根据本发明的可选特征,所述生成器被布置为在图像数据信号中包括至少一些对象图像分段的对象标识,第一对象图像分段的对象标识指示由所述第一对象图像分段表示的对象。
37、在许多实施例和场景中,这可以允许从图像数据信号改进对场景的视图图像的渲染。
38、根据本发明的另一方面,提供了一种用于生成场景的图像数据信号的方法,所述方法包括:接收所述场景的多个图像,所述多个图像中的至少一些图像针对所述场景的不同观看位姿;确定所述多个图像中的对象图像分段集合,所述对象图像分段集合中的每个对象图像分段表示所述场景的对象;从所述对象图像分段集合中选择对象图像分段子集;生成所述图像数据信号以包括所述对象图像分段子集;其中,所述方法还包括:确定针对所述对象图像分段集合中的对象图像分段的遮挡度量,针对一对象图像分段的所述遮挡度量指示由所述对象图像分段表示的对象的遮挡程度;并且其中,所述选择包括根据针对所述对象图像分段集合的所述遮挡度量来选择用于所述子集的对象图像分段。
39、根据本发明的另一方面,提供一种用于产生图像的装置,所述装置包括:接收器,其被布置为接收包括描述场景的图像数据的图像数据信号,所述图像数据包括:对象图像分段集合,每个对象图像分段提供来自一观看位姿的所述场景的场景对象的图像数据,至少一些对象图像分段提供来自/针对不同观看位姿的图像数据;并且所述图像数据信号还包括:针对所述组对象图像分段中的至少一个对象图像分段的至少一个遮挡度量,所述遮挡度量指示由所述至少一个对象图像分段表示的对象的遮挡程度;以及渲染器,其被布置为从所接收的对象图像分段生成表示来自一观看位姿的所述场景的视图的图像,所述图像的生成依赖于所述至少一个遮挡度量。
40、根据本发明的另一方面,提供了一种生成图像的方法,该方法包括:接收包括描述场景的图像数据的图像数据信号,所述图像数据包括:对象图像分段集合,每个对象图像分段提供来自一观看位姿的所述场景的场景对象的图像数据,至少一些对象图像分段提供来自/针对不同观看位姿的图像数据;并且所述图像数据信号还包括:针对所述对象图像分段集合中的至少一个对象图像分段的至少一个遮挡度量,所述遮挡度量指示由至少一个对象图像分段表示的对象的遮挡程度;并且从所接收的对象图像分段生成表示来自一观看位姿的所述场景的视图的图像,所述图像的生成依赖于所述至少一个遮挡度量。
41、根据本发明的另一方面,提供了一种包括描述场景的图像数据的图像数据信号,所述图像数据包括:对象图像分段集合,所述对象图像分段集合中的每个对象图像分段提供来自一观看位姿的所述场景的场景对象的图像数据,至少一些对象图像分段提供来自不同观看位姿的图像数据;并且所述图像数据信号还包括:针对所述对象图像分段集合中的至少一个对象图像分段的至少一个遮挡度量,所述遮挡度量指示由所述至少一个对象图像分段表示的对象的遮挡程度。
42、本发明的这些和其他方面、特征和优点将从下文描述的实施例中变得显而易见,并参考下文描述的实施例进行说明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com