用于音频渲染的预渲染信号的方法、设备和系统与流程

技术特征：
1.一种由解码器从位流解码音频场景内容的方法，所述解码器包含具有一或多个渲染工具的音频渲染器，所述方法包括：接收所述位流；解码来自所述位流的对音频场景的描述，所述音频场景包括声学环境，其中所述声学环境包括描述要渲染的所述音频场景的声学特性的元数据；从对所述音频场景的所述描述中确定一或多个有效音频元素，其中所述一或多个有效音频元素封装所述声学环境的影响并且对应于表示所述音频场景的一或多个虚拟音频对象；从对所述音频场景的所述描述中确定指示所述一或多个有效音频元素的有效音频元素位置的有效音频元素信息，其中所述有效音频元素信息包括指示所述一或多个有效音频元素的相应声辐射方向图的信息；解码来自所述位流的渲染模式指示，其中所述渲染模式指示指示所述一或多个有效音频元素是否表示从预渲染音频元素获得的声场并且是否应使用预定渲染模式来进行渲染；以及响应于所述渲染模式指示指示所述一或多个有效音频元素表示从预渲染音频元素获得的声场并且应使用所述预定渲染模式来渲染，使用所述预定渲染模式来渲染所述一或多个有效音频元素，其中使用所述预定渲染模式来渲染所述一或多个有效音频元素考虑了所述有效音频元素信息，并且所述信息指示所述一或多个有效音频元素的所述相应声辐射方向图，并且其中所述预定渲染模式限定用于控制所述音频场景的所述声学环境对渲染输出的影响的所述渲染工具的预定配置，其中使用所述预定渲染模式将所述一或多个有效音频元素渲染到参考位置能够产生感知上等同于所述参考位置处的声场的声场。2.根据权利要求1所述的方法，其进一步包括：获得指示听者头部在所述声学环境中的位置的听者位置信息和/或指示所述听者头部在所述声学环境中的朝向的听者朝向信息，其中使用所述预定渲染模式来渲染所述一或多个有效音频元素进一步考虑了所述听者位置信息和/或听者朝向信息。3.根据权利要求1或2所述的方法，其中使用所述预定渲染模式来渲染所述一或多个有效音频元素根据听者位置与所述一或多个有效音频元素的所述有效音频元素位置之间的相应距离来应用声衰减建模。4.根据权利要求1或2所述的方法，其中至少两个有效音频元素是从对所述音频场景的所述描述中确定的；其中所述渲染模式指示指示所述至少两个有效音频元素中的每一个有效音频元素的相应预定渲染模式；其中所述方法包括使用所述至少两个有效音频元素的相应预定渲染模式来渲染所述至少两个有效音频元素；并且其中使用所述至少两个有效音频元素的相应预定渲染模式来渲染每个有效音频元素考虑了用于所述有效音频元素的所述有效音频元素信息，并且其中用于所述有效音频元素
的所述渲染模式限定用于控制所述音频场景的所述声学环境对用于所述有效音频元素的渲染输出的所述影响的所述渲染工具的相应预定配置。5.根据权利要求1或2所述的方法，其进一步包括：从对所述音频场景的所述描述中确定一或多个音频元素；从对所述音频场景的所述描述中确定指示所述一或多个音频元素的音频元素位置的音频元素信息；以及使用用于所述一或多个音频元素的渲染模式来渲染所述一或多个音频元素，所述渲染模式不同于用于所述一或多个有效音频元素的所述预定渲染模式，其中使用用于所述一或多个音频元素的所述渲染模式来渲染所述一或多个音频元素考虑了所述音频元素信息。6.根据权利要求1或2所述的方法，其进一步包括：获得指示所述预定渲染模式应当使用的听者位置区域的听者位置区域信息。7.根据权利要求6所述的方法，其中由所述渲染模式指示所指示的所述预定渲染模式取决于所述听者位置；并且其中所述方法包括使用所述听者位置区域信息指示的所述听者位置区域的所述渲染模式指示所指示的所述预定渲染模式来渲染所述一或多个有效音频元素。8.一种生成音频场景内容的方法，所述方法包括：从音频场景中获得表示所捕获信号的一或多个音频元素，所述音频场景包括声学环境，其中所述声学环境包括描述要渲染的所述音频场景的声学特性的元数据；获得指示要生成的一或多个有效音频元素的有效音频元素位置的有效音频元素信息，其中所述一或多个有效音频元素封装所述声学环境的影响并且对应于表示所述音频场景的一或多个虚拟音频对象，并且其中所述有效音频元素信息包括指示所述一或多个有效音频元素的相应声辐射方向图的信息；获得渲染模式指示，所述渲染模式指示指示所述一或多个有效音频元素表示从预渲染音频元素获得的声场并且应使用预定渲染模式来进行渲染，其中使用所述预定渲染模式将所述一或多个有效音频元素渲染到参考位置能够产生感知上等同于所述参考位置处的声场的声场；以及根据已经捕获到所述所捕获信号的位置与所述一或多个有效音频元素的所述有效音频元素位置之间的距离，通过应用声衰减建模，从表示所述所捕获信号的所述一或多个音频元素中确定所述一或多个有效音频元素。9.一种将音频场景内容编码到位流中的方法，所述方法包括：接收对音频场景的描述，所述音频场景包括声学环境和位于相应音频元素位置处的一或多个音频元素，其中所述声学环境包括描述要渲染的所述音频场景的声学特性的元数据；从所述一或多个音频元素中确定在相应有效音频元素位置处的一或多个有效音频元素，其中所述一或多个音频元素对应于一或多个原始音频对象，并且其中所述一或多个有效音频元素封装所述声学环境的影响并且对应于表示所述音频场景的一或多个虚拟音频对象；生成指示所述一或多个有效音频元素的所述有效音频元素位置的有效音频元素信息，
其中所述有效音频元素信息被生成以包括指示所述一或多个有效音频元素的相应声辐射方向图的信息；生成渲染模式指示，所述渲染模式指示指示所述一或多个有效音频元素表示从预渲染音频元素获得的声场并且应使用预定渲染模式来进行渲染，所述预定渲染模式限定用于控制所述声学环境对解码器处的所述渲染输出的影响的所述解码器的渲染工具的预定配置；以及将所述一或多个音频元素、所述音频元素位置、所述一或多个有效音频元素、所述有效音频元素信息和所述渲染模式指示编码到所述位流中，其中使用所述预定渲染模式将所述一或多个有效音频元素渲染到参考位置能够产生感知上等同于所述参考位置处的声场的声场。10.根据权利要求9所述的方法，其进一步包括：获得指示听者头部在所述声学环境中的位置的听者位置信息和/或指示所述听者头部在所述声学环境中的朝向的听者朝向信息；以及将所述听者位置信息和/或听者朝向信息编码到所述位流中。

技术总结
本申请涉及用于音频渲染的预渲染信号的方法、设备和系统。本公开涉及一种由解码器从位流解码音频场景内容的方法，所述解码器包含具有一或多个渲染工具的音频渲染器。所述方法包括：接收所述位流；解码来自所述位流的对音频场景的描述；从对所述音频场景的所述描述中确定一或多个有效音频元素；从对所述音频场景的所述描述中确定指示所述一或多个有效音频元素的有效音频元素位置的有效音频元素信息；解码来自所述位流的渲染模式指示；以及响应于所述渲染模式指示指示所述一或多个有效音频元素表示从预渲染音频元素获得的声场并且应使用预定渲染模式来渲染，使用所述预定渲染模式来渲染所述一或多个有效音频元素。式来渲染所述一或多个有效音频元素。式来渲染所述一或多个有效音频元素。


技术研发人员：利昂
受保护的技术使用者：杜比国际公司
技术研发日：2019.04.08
技术公布日：2022/11/15