空间音频流的渲染的制作方法

本技术涉及用于空间音频流的渲染，但不限于用于组合格式参数化空间流交互式音频渲染中的增益因子的装置和方法。

背景技术：

1、正在实现沉浸式音频编解码器，从而支持范围从低比特率操作到透明度的大量操作点。这种编解码器的示例是3gpp沉浸式语音和音频服务（ivas）编解码器，其被设计为适于在诸如4g/5g网络之类的通信网络上使用，包括在这样的沉浸式服务中使用，例如，用于虚拟现实（vr）的沉浸式语音和音频。这种音频编解码器处理语音、音乐和通用音频的编码、解码和渲染。它支持多种输入格式，诸如基于通道的音频、基于对象的音频和基于场景的音频输入，包括有关声场和声源的空间信息，以及masa（元数据辅助空间音频）输入。ivas以低延迟操作以实现会话服务，以及在各种传输条件下支持高误差鲁棒性。ivas编解码器在从非常低（13.4 kb/s）到相对较高的比特率（512 kb/s）的宽范围比特率下操作。

2、输入信号可以以多种所支持的格式之一（以及一些所允许的格式组合）呈现给ivas编码器。例如，可以使用增强语音服务（evs）编码器对单声道音频信号（没有元数据）进行编码。其他输入格式使用新的ivas编码工具。针对ivas提出的一种输入格式是元数据辅助空间音频（masa）格式，其中，编码器可以利用例如单声道和立体声编码工具与元数据编码工具的组合来高效传输该格式。

3、“音频对象”或具有元数据的独立流（ism）的使用是针对ivas提出的输入格式的另一个示例。在这种输入格式中，场景由多个（1到

n）音频对象定义（其中，

n是例如4）。每个对象具有单独的音频信号和一些描述其（空间）特征的元数据。该元数据可以是音频对象的参数化表示，并且可以包括诸如音频对象方向（例如，方位角和仰角）之类的参数。

4、此外，ivas支持采用组合格式的输入，例如，音频对象和masa流的组合格式输入。这种组合被称为omasa。这种输入的示例是从房间中的会议麦克风获得masa格式流，捕获空间中的所有内容，并且可以使用讲话者的翻领麦克风获得对象格式流。这两个输入流的组合编码允许提高编码的质量。

5、当采用ivas编解码器时，能够与解码器侧的一个或多个对象交互可以是一个期望的特征。例如，收听者a可能想要改变与音频对象相关的增益，而收听者b可能想要改变与同一音频对象相关的增益。此外，收听者b可能想要改变与音频对象不同的主增益，或者任一对象相对于其他音频对象的增益。此外，在组合格式示例中，收听者可能想要调整masa分量的增益，该masa分量可以表示信号背景（并且其可以与对象增益相关）。因此，实现如上述编解码器的渲染系统应该能够在解码器/渲染器内执行交互，以便每个收听者可以具有单独的体验。

技术实现思路

1、根据第一方面，提供了一种用于基于空间音频流来渲染空间音频信号的装置，所述空间音频流包括：至少一个音频信号；以及与所述至少一个音频信号相关联的元数据，所述装置包括被配置为执行以下操作的部件：获得所述空间音频流，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；获得增益控制信息；基于以下项，确定增益处理信息：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号。

2、所述增益控制信息可以包括用于以下中的至少一项的至少一个增益：所述至少一个音频对象部分；以及所述至少一个其他空间音频部分。

3、用于所述至少一个音频对象信号的所述至少一个增益可以基于与所述至少一个音频对象部分的至少一个音频对象相关联的距离参数。

4、被配置为基于所述增益控制信息和所述至少一个音频对象部分能量比例，确定所述增益处理信息的部件可以被配置为：基于所述至少一个音频信号和所述至少一个音频对象部分能量比例，确定至少一个第一增益值。

5、所述部件可以进一步被配置为：向以下中的一项应用所述至少一个第一增益值：所述至少一个音频对象部分；以及所述至少一个其他空间音频部分。

6、被配置为确定增益处理信息的所述部件可以进一步被配置为：基于所述至少一个音频对象部分位置，确定增益处理信息。

7、所述至少一个其他空间音频部分可以包括至少两个传输音频信号。

8、被配置为获得所述空间音频流的部件可以被配置为执行以下中的至少一项：接收定义所述至少一个音频对象部分位置和所述至少一个音频对象部分能量比例的信息；以及接收定义与所述至少一个对象相关联的所述至少一个音频对象部分位置和所述至少一个音频对象部分能量比例的至少一个参数值。

9、所述部件可以进一步被配置为：基于所述增益控制信息，处理与所述至少一个音频信号相关联的所述元数据。

10、被配置为基于所述增益控制信息，处理与所述至少一个音频信号相关联的所述元数据的所述部件可以被配置为执行以下中的至少一项：处理与所述至少一个音频信号的所述至少一个音频对象部分相关联的元数据；以及处理与所述至少一个音频信号的所述至少其他空间音频部分相关联的元数据。

11、所述至少一个音频对象部分和所述至少一个其他空间音频部分可以是所述至少一个音频信号内的混合体。

12、根据第二方面，提供了一种用于基于空间音频流来渲染空间音频信号的装置的方法，所述空间音频流包括：至少一个音频信号；以及与所述至少一个音频信号相关联的元数据，所述方法包括：获得所述空间音频流，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；获得增益控制信息；基于以下项，确定增益处理信息：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号。

13、所述增益控制信息可以包括用于以下中的至少一项的至少一个增益：所述至少一个音频对象部分；以及所述至少一个其他空间音频部分。

14、用于所述至少一个音频对象信号的所述至少一个增益可以基于与所述至少一个音频对象部分的至少一个音频对象相关联的距离参数。

15、基于所述增益控制信息和所述至少一个音频对象部分能量比例，确定所述增益处理信息可以包括：基于所述至少一个音频信号和所述至少一个音频对象部分能量比例，确定至少一个第一增益值。

16、所述方法可以进一步包括：向以下中的一项应用所述至少一个第一增益值：所述至少一个音频对象部分；以及所述至少一个其他空间音频部分。

17、确定增益处理信息可以进一步包括：基于所述至少一个音频对象部分位置，确定增益处理信息。

18、所述至少一个其他空间音频部分可以包括至少两个传输音频信号。

19、获得所述空间音频流可以包括以下中的至少一项：接收定义所述至少一个音频对象部分位置和所述至少一个音频对象部分能量比例的信息；以及接收定义与所述至少一个对象相关联的所述至少一个音频对象部分位置和所述至少一个音频对象部分能量比例的至少一个参数值。

20、所述方法可以进一步包括：基于所述增益控制信息，处理与所述至少一个音频信号相关联的所述元数据。

21、基于所述增益控制信息，处理与所述至少一个音频信号相关联的所述元数据可以包括以下中的至少一项：处理与所述至少一个音频信号的所述至少一个音频对象部分相关联的元数据；以及处理与所述至少一个音频信号的所述至少其他空间音频部分相关联的元数据。

22、所述至少一个音频对象部分和所述至少一个其他空间音频部分可以是所述至少一个音频信号内的混合体。

23、根据第三方面，提供了一种用于基于空间音频流来渲染空间音频信号的装置，所述装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：获得所述空间音频流，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；获得增益控制信息；基于以下项，确定增益处理信息：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号。

24、所述增益控制信息可以包括用于以下中的至少一项的至少一个增益：所述至少一个音频对象部分；以及所述至少一个其他空间音频部分。

25、用于所述至少一个音频对象信号的所述至少一个增益可以基于与所述至少一个音频对象部分的至少一个音频对象相关联的距离参数。

26、被使得执行基于所述增益控制信息和所述至少一个音频对象部分能量比例，确定所述增益处理信息的所述装置可以被使得执行：基于所述至少一个音频信号和所述至少一个音频对象部分能量比例，确定至少一个第一增益值。

27、所述装置可以进一步被使得执行：向以下中的一项应用所述至少一个第一增益值：所述至少一个音频对象部分；以及所述至少一个其他空间音频部分。

28、被使得执行确定增益处理信息的所述装置可以进一步被使得执行：基于所述至少一个音频对象部分位置，确定增益处理信息。

29、所述至少一个其他空间音频部分可以包括至少两个传输音频信号。

30、被使得执行获得所述空间音频流的所述装置可以被使得执行以下中的至少一项：接收定义所述至少一个音频对象部分位置和所述至少一个音频对象部分能量比例的信息；以及接收定义与所述至少一个对象相关联的所述至少一个音频对象部分位置和所述至少一个音频对象部分能量比例的至少一个参数值。

31、所述装置可以进一步被使得执行：基于所述增益控制信息，处理与所述至少一个音频信号相关联的所述元数据。

32、被使得执行基于所述增益控制信息，处理与所述至少一个音频信号相关联的所述元数据的所述装置可以被使得执行以下中的至少一项：处理与所述至少一个音频信号的所述至少一个音频对象部分相关联的元数据；以及处理与所述至少一个音频信号的所述至少其他空间音频部分相关联的元数据。

33、所述至少一个音频对象部分和所述至少一个其他空间音频部分可以是所述至少一个音频信号内的混合体。

34、根据第四方面，提供了一种用于基于空间音频流来渲染空间音频信号的装置，所述空间音频流包括：至少一个音频信号；以及与所述至少一个音频信号相关联的元数据，所述装置包括：用于获得所述空间音频流的部件，其中，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；用于获得增益控制信息的部件；用于基于以下项，确定增益处理信息的部件：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及用于基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号的部件。

35、根据第五方面，提供了一种包括指令的计算机程序[或者包括程序指令的计算机可读介质]，所述指令/程序指令用于使用于基于空间音频流来渲染空间音频信号的装置至少执行以下操作：获得所述空间音频流，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；获得增益控制信息；基于以下项，确定增益处理信息：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号。

36、根据第六方面，提供了一种包括程序指令的暂时性计算机可读介质，所述程序指令用于使用于基于空间音频流来渲染空间音频信号的装置至少执行以下操作：获得所述空间音频流，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；获得增益控制信息；基于以下项，确定增益处理信息：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号。

37、根据第七方面，提供了一种用于基于空间音频流来渲染空间音频信号的装置，所述装置包括：获得电路，被配置为获得所述空间音频流，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；获得电路，被配置为获得增益控制信息；确定电路，被配置为基于以下项，确定增益处理信息：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及渲染电路，被配置为基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号。

38、根据第八方面，提供了一种包括程序指令的计算机可读介质，所述程序指令用于使用于基于空间音频流来渲染空间音频信号的装置至少执行以下操作：获得所述空间音频流，所述空间音频流包括：所述至少一个音频信号；以及与所述至少一个音频信号相关联的所述元数据，其中，所述至少一个音频信号包括至少一个音频对象部分和至少一个其他空间音频部分，并且相关联的所述元数据至少被配置为定义至少一个音频对象部分位置和至少一个音频对象部分能量比例；获得增益控制信息；基于以下项，确定增益处理信息：所述增益控制信息；以及所述至少一个音频对象部分能量比例；以及基于所述增益处理信息、所述至少一个音频信号、以及与所述至少一个音频信号相关联的所述元数据，渲染所述空间音频信号。

39、一种装置，包括用于执行如上所述的方法的动作的部件。

40、一种装置，被配置为执行如上所述的方法的动作。

41、一种包括程序指令的计算机程序，所述程序指令用于使计算机执行如上所述的方法。

42、一种存储在介质上的计算机程序产品可以使装置执行如本文所述的方法。

43、一种电子设备可以包括如本文所述的装置。

44、一种芯片组可以包括如本文所述的装置。

45、本技术的实施例旨在解决与现有技术相关的问题。