一种音频渲染方法、装置及电子设备与流程

本技术涉及音频处理，特别是一种音频渲染方法、装置及电子设备。

背景技术：

1、近年来，随着虚拟现实、增强现实、电子游戏、远程会议以及高级音频制作技术的飞速发展，用户对听觉体验的追求已发生根本性转变。用户不再满足于听清声音内容，而是日益追求具备空间真实感与临场感的沉浸式听觉体验。

2、营造沉浸式听觉体验的关键在于：通过音频渲染技术，模拟声音在真实空间内的反射、衰减和混响等物理传播过程。传统的声学仿真方法虽然能够精准模拟上述物理传播过程，但是计算复杂度极高，容易出现听觉卡顿、失真和延迟等问题，难以在实时交互场景下运行。

3、为满足实时性要求，目前多采用离线声学仿真方法，也即预先计算空间对应的脉冲响应，利用预计算的脉冲响应对音频信号进行卷积处理，得到符合该空间声学特性的音频信号。但在空间状态发生变化（例如游戏场景切换或人员移动）时，预计算的脉冲响应无法适配当前空间，导致听觉体验与视觉场景割裂，破坏沉浸感。

4、因此，需要提供一种音频渲染方法，能够兼顾实时性、物理准确性以及对空间变化的自适应能力，从而满足用户对沉浸式听觉体验的追求。

技术实现思路

1、有鉴于此，本技术提供一种音频渲染方法，所述方法包括：

2、获取当前空间的空间状态信息；

3、基于所述空间状态信息，通过对所述当前空间内的早期反射声进行声线追踪，生成与声源输出的原始音频信号所对应的目标早期反射声；

4、基于所述空间状态信息，通过预先训练好的神经网络模型，生成所述原始音频信号对应的目标后期混响声；

5、将所述原始音频信号、所述目标早期反射声以及所述目标后期混响声进行空间音频合成，得到与所述原始音频信号对应的目标空间音频信号。

6、可选的，基于所述空间状态信息，通过对所述当前空间内的早期反射声进行声线追踪，生成与声源输出的原始音频信号所对应的目标早期反射声，包括：

7、基于所述空间状态信息，对所述当前空间内的早期反射声进行声线追踪，得到所述早期反射声的传播参数；

8、基于所述传播参数，合成早期脉冲响应；其中，所述早期脉冲响应用于表征所述当前空间的早期反射声学特性；

9、利用所述早期脉冲响应，对所述原始音频信号进行渲染，得到所述目标早期反射声。

10、可选的，基于所述空间状态信息，对所述当前空间内的早期反射声进行声线追踪，得到所述早期反射声的传播参数，包括：

11、基于所述空间状态信息，构建所述当前空间的三维几何模型；其中，所述空间状态信息至少包括所述当前空间的几何结构信息、材质声学属性、所述声源的位置信息和听者的位置信息；

12、以声线追踪的追踪参数在对应的预设参数范围内为追踪条件，基于所述三维几何模型执行声线追踪，得到所述早期反射声的传播参数；其中，所述追踪参数包括最大追踪时长和最高反射阶数中的至少一项。

13、可选的，利用所述早期脉冲响应，对所述原始音频信号进行渲染，包括：

14、若所述声源为一个，则利用所述早期脉冲响应，渲染所述原始音频信号；

15、若所述声源为多个，则针对每一所述原始音频信号执行如下步骤：

16、获取所述原始音频信号的重要性评估参数；其中，所述重要性评估参数包括频谱、响度、运动状态以及对应声源的用途类型中的至少一项；基于所述重要性评估参数，确定所述原始音频信号的渲染精度等级；

17、按照所述渲染精度等级，对所述早期脉冲响应执行对应的简化处理；其中，所述简化处理为降低所述早期脉冲响应的数据量的处理；所述渲染精度等级越低时，简化处理后的早期脉冲响应的数据量越低；

18、利用简化处理后的早期脉冲响应，渲染所述原始音频信号。

19、可选的，所述渲染精度等级至少包括高精度等级和低精度等级；对应的，按照所述渲染精度等级，对所述早期脉冲响应执行对应的简化处理，包括：

20、若所述渲染精度等级为所述高精度等级，则直接利用所述早期脉冲响应，渲染所述原始音频信号；

21、若所述渲染精度等级为所述低精度等级，则对所述早期脉冲响应执行时域截断、高频分量滤除以及采样频率降低中的至少一项简化处理。

22、可选的，利用所述早期脉冲响应，对所述原始音频信号进行渲染，包括：

23、基于当前系统的计算资源占用率，确定所述当前系统的算力是否过载；

24、若未过载，则直接利用所述早期脉冲响应，渲染所述原始音频信号；

25、若过载，则执行如下步骤：

26、根据所述当前系统在预设时长内的累计过载次数，确定渲染精度等级；其中，所述累计过载次数越大时，所述渲染精度等级越低；

27、基于所述渲染精度等级，对所述早期脉冲响应进行对应的简化处理；其中，所述简化处理为降低所述早期脉冲响应的数据量的处理；所述渲染精度等级越低时，简化处理后的早期脉冲响应的数据量越低；

28、利用简化处理后的脉冲响应，渲染所述原始音频信号。

29、可选的，在获取当前空间的空间状态信息之后，还包括：

30、获取预先存储的渲染数据对；其中，所述渲染数据对用于存储历史空间状态信息与对应的历史早期脉冲响应；

31、确定所述空间状态信息与指定空间状态信息是否一致；其中，所述指定空间状态信息为所述渲染数据对中最新的历史空间状态信息；

32、若一致，则从所述渲染数据对中，提取与所述指定空间状态信息对应的指定早期脉冲响应，作为所述早期脉冲响应；并进入利用所述早期脉冲响应，对所述原始音频信号进行渲染的步骤；

33、若不一致，则确定所述当前空间中空间状态改变的局部空间区域；通过对所述局部空间区域的早期反射声进行声线追踪，更新所述指定早期脉冲响应，得到所述早期脉冲响应；并进入利用所述早期脉冲响应，对所述原始音频信号进行渲染的步骤。

34、可选的，在得到与所述原始音频信号对应的目标空间音频信号之后，还包括：

35、通过对比所述空间状态信息，与所述当前空间最新的历史空间状态信息，确定是否满足声场切换触发条件；

36、若不满足，则直接将所述目标空间音频信号输出；

37、若满足，则对所述目标空间音频信号与历史空间音频信号执行平滑处理，生成并输出最终的空间音频信号；其中，所述历史空间音频信号为基于所述历史空间状态信息，对所述原始音频信号进行渲染后得到的音频信号。

38、可选的，对所述目标空间音频信号与历史空间音频信号执行平滑处理，生成并输出最终的空间音频信号，包括：

39、在预设过渡时间窗口内，对所述历史空间音频信号施加增益值递减的淡出增益序列，得到第一空间音频信号；

40、在所述预设过渡时间窗口内，对所述目标空间音频信号施加增益值递增的淡入增益序列，得到第二空间音频信号；

41、将所述第一空间音频信号与所述第二空间音频信号进行叠加，生成并输出最终的空间音频信号。

42、可选的，所述当前空间为车辆的座舱；对应的，将所述原始音频信号、所述目标早期反射声以及所述目标后期混响声进行空间音频合成，得到与所述原始音频信号对应的目标空间音频信号，包括：

43、获取所述车辆的运行状态数据；

44、根据所述运行状态数据，确定空间音频合成参数；

45、按照所述空间音频合成参数，对所述原始音频信号、所述目标早期反射声以及所述目标后期混响声进行空间音频合成，得到所述目标空间音频信号。

46、可选的，所述运行状态数据包括车速、发动机转速和油门踏板开度；对应的，根据所述运行状态数据，确定空间音频合成参数，包括：

47、根据所述车速，确定所述空间音频合成参数中的干湿信号比、混响时长和空间尺寸；其中，所述干湿信号比、所述混响时长和所述空间尺寸均与所述车速呈正相关；

48、根据所述发动机转速，确定所述空间音频合成参数中的预延迟时长；其中，所述预延迟时长与所述发动机转速呈负相关；

49、根据所述油门踏板开度，确定所述空间音频合成参数中的立体声宽度和输出增益；其中，所述立体声宽度与所述油门踏板开度呈正相关，所述输出增益与所述油门踏板开度呈负相关。

50、可选的，在得到与所述原始音频信号对应的目标空间音频信号之后，还包括：

51、获取个性化混响渲染参数；其中，所述个性化混响渲染参数包括用户通过交互界面输入的显式混响渲染参数、根据当前场景确定的隐式混响渲染参数以及根据用户的生理特征确定的补偿混响渲染参数中的至少一项；所述当前场景为根据用户行为，从各预定义场景中筛选出的场景；

52、根据所述个性化混响渲染参数，调整所述目标空间音频信号，得到并输出最终的空间音频信号。

53、本技术还提供了一种音频渲染装置，所述装置包括：

54、空间信息获取模块，用于获取当前空间的空间状态信息；

55、早期反射声生成模块，用于基于所述空间状态信息，通过对所述当前空间内的早期反射声进行声线追踪，为声源输出的原始音频信号生成对应的目标早期反射声；

56、后期混响声生成模块，用于基于所述空间状态信息，通过预先训练好的神经网络模型，生成所述原始音频信号对应的目标后期混响声；

57、空间音频合成模块，用于将所述原始音频信号、所述目标早期反射声以及所述目标后期混响声进行空间音频合成，得到与所述原始音频信号对应的目标空间音频信号。

58、本技术还提供了一种电子设备，包括：

59、存储器，用于存储计算机程序；

60、处理器，用于执行所述计算机程序时实现上述任一项音频渲染方法的步骤。

61、综上，本技术提供了一种音频渲染方法、装置及电子设备。基于当前空间的空间状态信息，仅对当前空间内的早期反射声进行声线追踪，确定空间的早期反射声学特性，并据此渲染原始音频信号得到目标早期反射声。仅追踪对听觉贡献大的早期反射声，保证空间定位感和清晰度的同时，减少计算量。基于空间状态信息，通过预先训练好的神经网络模型，生成目标后期混响声；保证听觉氛围感的同时，减少计算量。将原始音频信号、目标早期反射声和目标后期混响声进行合成，得到目标空间音频信号。整体计算量低，满足实时性要求，能及时跟随空间状态的变化而变化；且提供了从物理准确的早期反射声到自然平滑的后期混响声的高保真听觉体验，满足用户对沉浸式听觉体验的追求。