混响的空间渲染的制作方法

摘要: 本技术涉及用于将声学环境与声学空间连接信息(定义声学门户)相关联,但不限于用于在增强现实和/或虚拟现实装置中将声学环境与声学空间连接信息相关联的装置和方法。背景...
混响的空间渲染的制作方法

本技术涉及用于将声学环境与声学空间连接信息(定义声学门户)相关联,但不限于用于在增强现实和/或虚拟现实装置中将声学环境与声学空间连接信息相关联的装置和方法。

背景技术:

1、后期后期后期混响是指在实际声源已停止之后,声音在空间中的持续存在。不同的空间由不同的混响特性表征。为了传达环境的空间印象,在感知上准确地再现混响很重要。房间声学通常用单独合成的早期反射部分和用于扩散后期混响的统计模型来建模。图1描绘了示出时间103上的幅度101的合成的房间脉冲响应的示例,其中,直接声音105之后是具有到达方向(doa)的离散早期反射107和也可以具有到达方向或者在没有任何特定到达方向的情况下合成的扩散后期混响109。

2、换句话说,在直接声音之后,收听者将会听到定向早期反射。在某个点之后,无法再感知到单独的反射,但收听者会听到后期扩散混响。后期扩散混响的开始时间可以被称为预延迟、扩散开始或混合时间。

3、可以例如使用具有适合的延迟线长度的调谐的反馈延迟网络(fdn)混响器来渲染混响。fdn使得能够单独控制混响时间(rt60)和不同频带的能量。因此,它可用于基于房间的特性来渲染混响。混响时间和不同频率的能量受房间的频率相关吸收特性影响。

4、混响频谱或水平可以使用扩散对直接比率来控制,该比率描述了混响声能的能量(或水平)与直接声音能量(或声源的总发射能量)的比率。例如在n0182 mpeg-i沉浸式音频编码器输入格式中已经定义了编码器的输入被提供为扩散对源能量比率(dsr)值,该值指示扩散(混响)声能对声源的总发射能量的比率。另一个众所周知的度量是rdr,它是指混响对直接比率,并且可以从脉冲响应测量。rdr值与dsr值之间的关系如n0083_mpeg-i沉浸式音频cfp补充信息、建议和说明第1版所述,并且可以被表示为:

5、10log10(rdr) = 10log10(dsr) – 41 db。

6、参考图1,rdr可以通过以下操作计算:

7、对后期扩散混响部分105的样本值的平方求和;

8、对直接声音部分101的样本值的平方求和;以及

9、计算这两个和的比率以给出rdr。

10、对数rdr可以被获得为10log10(rdr)。混响比率可以指rdr或dsr或直接与扩散/混响能量或信号电平之间的其他合适比率。

11、在虚拟现实(vr)的虚拟环境或增强现实(ar)的真实物理环境中,可以存在若干声学环境,每个声学环境具有其自己的混响参数,这些混响参数在不同的声学环境中可以不同。这种环境可以用并行运行的多个混响器来渲染,从而混响器实例可以在每个声学环境中运行。当收听者在环境中移动时,当前环境混响被渲染为用户周围的包络空间声音,并且来自附近声学空间的混响经由所谓的声学门户来渲染。声学门户或窗口是两个空间之间的连接。

技术实现思路

1、根据第一方面,提供了一种用于混响的空间渲染的装置的方法,所述方法包括:获得虚拟场景的比特流,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;获得至少一个第二声学环境和相关联的位置数据;基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联;基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理;以及基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号。

2、所述至少一个第二声学环境可以是收听者空间声学信息,并且所述相关联的位置数据包括锚位置数据。

3、所述至少一个声学空间连接信息可以用于指示所述第一声学环境的至少一部分可用于耦合到至少一个其他声学环境。

4、与所述第一声学环境相关联的所述至少一个声学空间连接信息可以定义与所述第一声学环境相关联的至少一个门户。

5、基于所述相关联的位置数据和所述至少一个声学空间连接信息,将所述第二声学环境与所述第一声学环境相关联可以包括确定所述至少一个门户是仅相对于所述第一声学环境定义的。

6、与收听者空间声学环境相关联的收听者空间信息可以包括由锚标识符和/或锚位置定义的锚元素。

7、基于所述收听者空间信息和所述至少一个声学空间连接信息,将所述第二声学环境与所述第一声学环境相关联可以包括:确定至少一个门户范围是在由所述锚标识符标识的所述锚元素内;以及基于所述收听者空间信息和所述至少一个声学空间连接信息,确定所述第二声学环境与所述第一声学环境之间的门户连接信息。

8、确定所述门户范围是在由所述至少一个锚标识符标识的所述锚元素内可以进一步包括:确定所述至少一个门户是在由所述至少一个锚标识符标识的所述锚元素的范围的接近距离阈值内。

9、与第一声学环境相关联的所述至少一个混响参数可以包括以下中的一项或多项:混响时间值;混响比率值;与所述至少第一声学环境相关联的维度值。

10、基于所述第二声学环境与所述第一声学环境之间的所述关联,确定所述至少第一混响处理可以包括:将所述第一声学环境内的音频源确定为所述第二声学环境的外部源,并将来自所述外部源的音频信号输入到由至少一个混响参数控制的至少一个第二声学环境混响器。

11、基于所述第二声学环境与所述第一声学环境之间的所述关联,确定所述至少第一混响处理可以包括:确定将来自所述第一声学环境的至少一个混响音频信号泄漏到由至少一个混响参数控制的至少一个第二声学环境混响器。

12、所述方法可以进一步包括:确定与所述第二声学环境相关联的第二混响参数,以及修改所述第二混响参数以获得修改后的第二声学参数,以使得修改后的第二声学参数与所述第一声学参数基本不相似。

13、根据第二方面,提供了一种用于混响的空间渲染的装置,所述装置包括至少一个处理器和存储指令的至少一个存储器,所述指令当由所述至少一个处理器执行时使所述系统至少执行:获得虚拟场景的比特流,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;获得至少一个第二声学环境和相关联的位置数据;基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联;基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理;以及基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号。

14、所述至少一个第二声学环境是收听者空间声学信息,并且所述相关联的位置数据可以包括锚位置数据。

15、所述至少一个声学空间连接信息可以用于指示所述第一声学环境的至少一部分可用于耦合到至少一个其他声学环境。

16、与所述第一声学环境相关联的所述至少一个声学空间连接信息可以定义与所述第一声学环境相关联的至少一个门户。

17、被使得执行基于所述相关联的位置数据和所述至少一个声学空间连接信息,将所述第二声学环境与所述第一声学环境相关联的所述装置可以进一步被使得执行:确定所述至少一个门户是仅相对于所述第一声学环境定义的。

18、与收听者空间声学环境相关联的所述收听者空间信息可以包括由锚标识符和/或锚位置定义的锚元素。

19、被使得执行基于所述收听者空间信息和所述至少一个声学空间连接信息,将所述第二声学环境与所述第一声学环境相关联的所述装置可以进一步被使得执行:确定至少一个门户范围是在由所述锚标识符标识的所述锚元素内;以及基于所述收听者空间信息和所述至少一个声学空间连接信息,确定所述第二声学环境与所述第一声学环境之间的门户连接信息。

20、被使得执行确定所述门户范围是在由所述至少一个锚标识符标识的所述锚元素内的所述装置可以进一步被使得执行:确定所述至少一个门户是在由所述至少一个锚标识符标识的所述锚元素的范围的接近距离阈值内。

21、与第一声学环境相关联的所述至少一个混响参数可以包括以下中的一项或多项:混响时间值;混响比率值;与所述至少第一声学环境相关联的维度值。

22、被使得执行基于所述第二声学环境与所述第一声学环境之间的所述关联,确定所述至少第一混响处理的所述装置可以被使得执行:将所述第一声学环境内的音频源确定为所述第二声学环境的外部源,并将来自所述外部源的音频信号输入到由至少一个混响参数控制的至少一个第二声学环境混响器。

23、被使得执行基于所述第二声学环境与所述第一声学环境之间的所述关联,确定所述至少第一混响处理的所述装置可以被使得执行:确定将来自所述第一声学环境的至少一个混响音频信号泄漏到由至少一个混响参数控制的至少一个第二声学环境混响器。

24、所述装置可以进一步被使得执行:确定与所述第二声学环境相关联的第二混响参数,以及修改所述第二混响参数以获得修改后的第二声学参数,以使得修改后的第二声学参数与所述第一声学参数基本不相似。

25、根据第三方面,提供了一种用于混响的空间渲染的装置,所述装置包括被配置为执行以下操作的部件:获得虚拟场景的比特流,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;获得至少一个第二声学环境和相关联的位置数据;基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联;基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理;以及基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号。

26、所述至少一个第二声学环境是收听者空间声学信息,并且所述相关联的位置数据可以包括锚位置数据。

27、所述至少一个声学空间连接信息可以用于指示所述第一声学环境的至少一部分可用于耦合到至少一个其他声学环境。

28、与所述第一声学环境相关联的所述至少一个声学空间连接信息可以定义与所述第一声学环境相关联的至少一个门户。

29、被配置为基于所述相关联的位置数据和所述至少一个声学空间连接信息,将所述第二声学环境与所述第一声学环境相关联的部件可以进一步被配置为:确定所述至少一个门户是仅相对于所述第一声学环境定义的。

30、与收听者空间声学环境相关联的所述收听者空间信息可以包括由锚标识符和/或锚位置定义的锚元素。

31、被配置为基于所述收听者空间信息和所述至少一个声学空间连接信息将所述第二声学环境与所述第一声学环境相关联的部件可以进一步被配置为:确定至少一个门户范围是在由所述锚标识符标识的所述锚元素内;以及基于所述收听者空间信息和所述至少一个声学空间连接信息,确定所述第二声学环境与所述第一声学环境之间的门户连接信息。

32、被配置为确定所述门户范围是在由所述至少一个锚标识符标识的所述锚元素内的部件可以进一步被配置为:确定所述至少一个门户是在由所述至少一个锚标识符标识的所述锚元素的范围的接近距离阈值内。

33、与第一声学环境相关联的所述至少一个混响参数可以包括以下中的一项或多项:混响时间值;混响比率值;与所述至少第一声学环境相关联的维度值。

34、被配置为基于所述第二声学环境与所述第一声学环境之间的所述关联,确定所述至少第一混响处理的部件可以被配置为:将所述第一声学环境内的音频源确定为所述第二声学环境的外部源,并将来自所述外部源的音频信号输入到由至少一个混响参数控制的至少一个第二声学环境混响器。

35、被配置为基于所述第二声学环境与所述第一声学环境之间的所述关联,确定所述至少第一混响处理的部件可以被配置为:确定将来自所述第一声学环境的至少一个混响音频信号泄漏到由至少一个混响参数控制的至少一个第二声学环境混响器。

36、所述部件可以进一步被配置为:确定与所述第二声学环境相关联的第二混响参数,以及修改所述第二混响参数以获得修改后的第二声学参数,以使得修改后的第二声学参数与所述第一声学参数基本不相似。

37、根据第四方面,提供了一种用于混响的空间渲染的装置,所述装置包括:获得电路,被配置为获得虚拟场景的比特流,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;获得电路,被配置为获得至少一个第二声学环境和相关联的位置数据;关联电路,被配置为基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联;确定电路,被配置为基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理;以及生成电路,被配置为基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号。

38、根据第五方面,提供了一种包括指令的计算机程序[或者包括指令的计算机可读介质],所述指令用于使用于混响的空间渲染的装置至少执行以下操作:获得虚拟场景的比特流,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;获得至少一个第二声学环境和相关联的位置数据;基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联;基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理;以及基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号。

39、根据第六方面,提供了一种包括程序指令的非暂时性计算机可读介质,所述程序指令用于使用于混响的空间渲染的装置至少执行以下操作:获得虚拟场景的比特流,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;获得至少一个第二声学环境和相关联的位置数据;基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联;基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理;以及基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号。

40、根据第七方面,提供了一种用于混响的空间渲染的装置,被使得至少执行以下操作的所述装置包括:用于获得虚拟场景的比特流的部件,其中,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;用于获得至少一个第二声学环境和相关联的位置数据的部件;用于基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联的部件;用于基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理的部件;以及用于基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号的部件。

41、根据第八方面,提供了一种包括指令的计算机可读介质,所述指令用于使用于混响的空间渲染的装置至少执行以下操作:获得虚拟场景的比特流,所述虚拟场景的所述比特流包括与第一声学环境相关联的至少一个混响参数和与所述第一声学环境相关联的至少一个声学空间连接信息;获得至少一个第二声学环境和相关联的位置数据;基于所述相关联的位置数据和所述至少一个声学空间连接信息中的至少一者,将所述第二声学环境与所述第一声学环境相关联;基于所述第二声学环境与所述第一声学环境之间的关联,确定至少第一混响处理;以及基于所述至少一个混响参数和所述至少第一混响处理被应用于至少一个声源音频信号,生成混响音频信号。

42、一种装置,包括用于执行如上所述的方法的动作的部件。

43、一种装置,被配置为执行如上所述的方法的动作。

44、一种计算机程序,包括用于使计算机执行如上所述的方法的指令。

45、一种被存储在介质上的计算机程序产品可以使装置执行本文所述的方法。

46、一种电子设备可以包括如本文所述的装置。

47、一种芯片组可以包括如本文所述的装置。

48、本技术的实施例旨在解决与现有技术相关联的问题。