用于计算机生成现实的媒体合成器的制作方法

技术特征：
1.一种方法，包括：在具有处理器的设备处：获得包括渲染帧的第一数据流，所述渲染帧表示针对至少两个不同视点而在用户体验期间渲染的真实内容和虚拟内容；获得第二数据流，所述第二数据流包括与所述用户体验相关的附加数据；确定另一视点，所述另一视点是与在所述用户体验期间渲染的所述至少两个不同视点不同的视点；以及针对所述另一视点和在所述用户体验期间渲染的所述至少两个不同视点，基于使所述第一数据流和所述第二数据流对齐，来生成合成流。2.根据权利要求1所述的方法，其中所述第二数据流包括裁切的帧以及与用户视点相关联的所述用户体验的二维(2d)视图的帧流，所述裁切的帧各自通过识别所述用户体验的左眼视图和右眼视图的公共部分来形成。3.根据权利要求1所述的方法，其中所述合成流包括合成帧，所述合成帧各自包括对应于单个时间点的时间戳n维图像。4.根据权利要求1所述的方法，其中所述合成流使所述渲染帧内容与所述附加数据对齐，以记录多个时间点的内容。5.根据权利要求1所述的方法，其中所述第二数据流是基于所述至少两个不同视点而获得的。6.根据权利要求1所述的方法，还包括通过在非暂态计算机可读介质上记录所述合成流来记录所述用户体验。7.根据权利要求1所述的方法，还包括通过根据预先确定的实时流式传输格式对所述合成流进行编码来实时流式传输所述用户体验。8.根据权利要求1所述的方法，其中所述合成流包括表示所述虚拟内容或所述真实内容的三维(3d)几何形状的3d模型。9.根据权利要求1所述的方法，还包括识别在所述用户体验期间产生音频的真实或虚拟音频源，其中所述合成流识别所述真实或虚拟音频源。10.根据权利要求1所述的方法，其中所述附加数据包括与多个时间点中的单个时间点相关联的元数据。11.根据权利要求10所述的方法，其中所述元数据识别所述用户体验的真实物理特性。12.根据权利要求10所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的人。13.根据权利要求10所述的方法，其中所述元数据识别经由计算机实现的对象检测而检测到的用户的身体部位。14.根据权利要求1所述的方法，其中所述附加数据包括来自与所述设备分开的第二设备的所述用户体验的第二渲染内容。15.根据权利要求1所述的方法，其中所述虚拟内容由在提供所述用户体验的框架内执行的应用程序提供，其中所述应用程序具有所述框架的资源的独占使用。16.根据权利要求1所述的方法，其中所述虚拟内容由在提供所述用户体验的框架内执
行的应用程序提供，其中所述应用程序将所述框架的资源的使用与其他应用程序共享。17.根据权利要求1所述的方法，还包括对所述渲染帧中的展开的中间凹图像施加逆变换以产生非中间凹图像，其中所述合成流包括所述非中间凹图像。18.根据权利要求1所述的方法，其中所述设备为头戴式设备hmd、在与所述hmd相同的物理环境中通信地耦接到所述hmd的控制器、或在与所述hmd分开的物理环境中通信地耦接到所述hmd的服务器。19.一种系统，包括：非暂态计算机可读存储介质；以及一个或多个处理器，所述一个或多个处理器耦接到所述非暂态计算机可读存储介质，其中所述非暂态计算机可读存储介质包括程序指令，所述程序指令在所述一个或多个处理器上执行时，使所述系统执行包括以下操作的操作：获得包括渲染帧的第一数据流，所述渲染帧表示针对至少两个不同视点而在用户体验期间渲染的真实内容和虚拟内容；获得第二数据流，所述第二数据流包括与所述用户体验相关的附加数据；确定另一视点，所述另一视点是与在所述用户体验期间渲染的所述至少两个不同视点不同的视点；以及针对所述另一视点和在所述用户体验期间渲染的所述至少两个不同视点，基于使所述第一数据流和所述第二数据流对齐，来生成合成流。20.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在计算机上执行以执行操作的程序指令，所述操作包括：获得包括渲染帧的第一数据流，所述渲染帧表示针对至少两个不同视点而在用户体验期间渲染的真实内容和虚拟内容；获得第二数据流，所述第二数据流包括与所述用户体验相关的附加数据；确定另一视点，所述另一视点是与在所述用户体验期间渲染的所述至少两个不同视点不同的视点；以及针对所述另一视点和在所述用户体验期间渲染的所述至少两个不同视点，基于使所述第一数据流和所述第二数据流对齐，来生成合成流。

技术总结
一种具体实施使用与计算机生成的现实(CGR)体验相关的多个数据流来形成CGR内容的合成流以有利于记录或流式传输。媒体合成器获取渲染帧的第一数据流和附加数据的第二数据流。渲染帧内容(例如，3D模型)表示在多个时间点处的CGR体验期间呈现的真实内容和虚拟内容。第二数据流的附加数据涉及CGR体验，例如，与音频、音频源、识别CGR体验的检测到的属性的元数据、图像数据、来自涉及CGR体验的其他设备的数据等有关。媒体合成器形成合成流，该合成流使所述渲染帧内容与多个时间点的附加数据对齐，例如，通过形成对应于单个时间点的时间戳n维数据集(例如，图像)。图像)。图像)。


技术研发人员：A
受保护的技术使用者：苹果公司
技术研发日：2019.07.30
技术公布日：2022/6/10