全局音频定位系统的制作方法

摘要: 本文所描述的各方面涉及沉浸式媒体制作,更具体地涉及音频对象的再空间化。背景技术:1、近年来,对沉浸式媒体制作的需求显著增长,反映出消费者对互动式和空间化体验的偏...
全局音频定位系统的制作方法

本文所描述的各方面涉及沉浸式媒体制作,更具体地涉及音频对象的再空间化。

背景技术:

1、近年来,对沉浸式媒体制作的需求显著增长,反映出消费者对互动式和空间化体验的偏好越来越高于传统被动内容。响应于该需求,娱乐行业已将更多的沉浸式元素集成到其制作中,许多工作室现在都将360°视频、空间音频和互动式组件并入主流内容中。此外,其他领域诸如教育、医疗保健、工业应用等也正在采用沉浸式媒体,以实现培训、可视化和远程协作等益处。

技术实现思路

1、描述了全局音频定位系统和方法。在一方面,全局音频定位系统(“系统”)接收由物理空间中的多个捕获节点(例如,数字摄像机)捕获的视频数据,并且接收由同一物理空间中的多个麦克风捕获的音频数据。系统可从视频数据提取捕获节点位置,并且从音频数据提取音频对象(和音频对象场景位置),其中此类位置可从物理空间中的物理原点测量。此外,系统可基于捕获节点的相应捕获节点位置来将捕获节点映射到虚拟空间,并且可基于音频对象的相应音频对象场景位置来将音频对象映射到同一虚拟空间,其中此类位置可从虚拟空间中的虚拟原点测量。在此类实例中,虚拟空间和物理空间使用共同的坐标系来维持这些空间之间的准确空间关系。在选择所选择的捕获节点以呈现给用户时,系统可确定每个音频对象的音频对象呈现位置,其中音频对象呈现位置可从所选择的捕获节点的捕获节点位置(而不是从虚拟原点)测量。基于音频对象和针对每个音频对象确定的音频对象呈现位置,系统可生成空间音频,其中来自所选择的捕获节点的空间音频和视频数据可被同步并被发送到沉浸式设备(例如,头戴式设备等)。

1.一种用于音频对象的再空间化的方法,所述方法包括:

2.根据权利要求1所述的方法,其中所述多个捕获节点包括位于所述物理空间中的数字摄像机。

3.根据权利要求1所述的方法,其中所述多个捕获节点各自包括唯一标识符,以从所述多个捕获节点中标识所选择的捕获节点。

4.根据权利要求1所述的方法,其中确定所述虚拟空间中的所述音频对象中的每个音频对象的音频对象呈现位置在选择所选择的捕获节点之前针对所述多个捕获节点中的所有捕获节点同时发生。

5.根据权利要求1所述的方法,其中生成所述空间音频包括创建呈现声场,所述呈现声场包括高阶音频(hoa)声场。

6.根据权利要求1所述的方法,其中生成所述空间音频包括确定方位角参数,以将所述空间音频的听觉视角与所选择的捕获节点的所述视频数据的视觉视角对准。

7.根据权利要求1所述的方法,所述方法还包括:将所述空间音频与所选择的捕获节点的所述视频数据同步;以及将所同步的空间音频和视频数据发送到沉浸式设备,所述沉浸式设备是头戴式设备。

8.一种处理设备,所述处理设备包括:

9.根据权利要求8所述的处理设备,其中所述多个捕获节点包括位于所述物理空间中的数字摄像机。

10.根据权利要求8所述的处理设备,其中所述多个捕获节点各自包括唯一标识符,以从所述多个捕获节点中标识所选择的捕获节点。

11.根据权利要求8所述的处理设备,其中所述处理电路执行所述指令集合以在选择所选择的捕获节点之前,针对所述多个捕获节点中的所有捕获节点同时确定所述虚拟空间中的所述音频对象中的每个音频对象的音频对象呈现位置。

12.根据权利要求8所述的处理设备,其中所述处理电路执行所述指令集合以通过创建呈现声场来生成所述空间音频,所述呈现声场包括高阶音频(hoa)声场。

13.根据权利要求8所述的处理设备,其中所述处理电路执行所述指令集合以通过确定方位角参数以将所述空间音频的听觉视角与所选择的捕获节点的所述视频数据的视觉视角对准来生成所述空间音频。

14.根据权利要求8所述的处理设备,其中所述处理电路执行所述指令集合以:将所述空间音频与所选择的捕获节点的所述视频数据同步;以及将所同步的空间音频和视频数据发送到沉浸式设备,所述沉浸式设备是头戴式设备。

15.一种沉浸式设备,所述沉浸式设备包括:

16.根据权利要求15所述的沉浸式设备,其中所述空间音频包括音频对象和针对所述音频对象中的每个音频对象确定的音频对象呈现位置,所述音频对象呈现位置是从虚拟空间中的所选择的捕获节点的捕获节点位置测量的。

17.根据权利要求16所述的沉浸式设备,其中基于由多个麦克风捕获的每个声源的音频对象场景位置来确定所述音频对象呈现位置,所述音频对象场景位置是从所述虚拟空间中的虚拟原点测量的。

18.根据权利要求17所述的沉浸式设备,其中所述音频对象场景位置和所述捕获节点位置是从物理空间中的物理原点测量的。

19.根据权利要求16所述的沉浸式设备,其中所述虚拟空间对应于物理空间,所述物理空间和所述虚拟空间具有共同的坐标系。

20.根据权利要求15所述的沉浸式设备,其中所述沉浸式设备是头戴式设备。