一种音频上混方法、装置、设备、介质及产品与流程

本技术涉及音频处理，特别涉及一种音频上混方法、装置、设备、介质及产品。

背景技术：

1、在音频重放场景，如全景声家庭影院、基于对象的数字音频工作站、电视及车载音响系统中，将传统的双声道立体声平滑、自然地转换为沉浸式多声道音频是一项核心诉求。现有的立体声上混方案通常停留在简单的信号分配层面，将特征提取、目标方向映射和解映射矩阵作为孤立的三个步骤来处理，这种割裂导致物理建模在时频域上极不连贯，导致声场不均衡，影响音质。

2、因此，如何提升上混后多声道音频信号的音质，是本领域技术人员需要解决的技术问题。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种音频上混方法、装置、设备、介质及产品，能够提升多声道音频信号的音质。其具体方案如下：

2、第一方面，本技术提供了一种音频上混方法，包括：

3、对输入的双声道立体声音频信号进行短时傅里叶变换，得到时频域信号；

4、针对所述时频域信号的每个时频处理单元，提取包括横向偏置、通道相关度和扩展适配度的空间状态参数；

5、创建统一空间辐射物理模型，其中，所述统一空间辐射物理模型中将所述时频域信号分解为定向直达状态分量和弥散环境状态分量；

6、基于所述空间状态参数以及目标重放布局确定三维目标声场坐标；

7、基于所述三维目标声场坐标与目标重放布局，分别生成直达声在所述目标重放布局的增益分布以及环境声在所述目标重放布局的分布，组合构建目标多声道声场；

8、基于统一空间辐射物理模型以及所述目标多声道声场构建多声道映射优化目标函数，并基于所述多声道映射优化目标函数确定每个时频处理单元的多声道分配权重矩阵；

9、基于所述多声道分配权重矩阵对时频域信号进行多声道渲染，经短时傅里叶逆变换合成多声道时域音频信号。

10、可选的，所述横向偏置基于左右声道间的差异度量得到，用于表征声像的横向偏移程度；

11、所述通道相关度基于左右声道间的相似度量得到，用于表征声像趋于集中或扩散的程度；

12、所述扩展适配度基于当前时频处理单元的频率和所述通道相关度确定，用于表征该时频处理单元向高度声道扩展的适配程度。

13、可选的，对当前时频处理单元的协方差矩阵进行特征值分解，确定在最大特征值方向的定向直达状态分量，以及在次大特征值方向的弥散环境状态分量。

14、可选的，在所述统一空间辐射物理模型中，基于所述空间状态参数确定所述定向直达状态分量在左、右声道上的辐射权重，以及所述弥散环境状态分量在左、右声道上的辐射权重。

15、可选的，基于所述空间状态参数以及目标重放布局确定三维目标声场坐标，包括：

16、基于所述空间状态参数以及目标重放布局的三维物理边界约束生成横向投影量和竖向投影量；

17、通过方向余弦映射将所述横向投影量和所述竖向投影量嵌入单位球面，得到三维目标声场坐标。

18、可选的，所述多声道映射优化目标函数包含重构误差项、时间连续性惩罚项和频率连续性惩罚项；

19、其中，所述重构误差项用于度量目标多声道声场与映射后多声道输出之间的偏差；所述时间连续性惩罚项用于对所述多声道分配权重矩阵在相邻时间帧之间的变化量施加惩罚；所述频率连续性惩罚项用于对所述多声道分配权重矩阵在相邻频带之间的变化量施加惩罚。

20、第二方面，本技术提供了一种音频上混装置，包括：

21、信号变换模块，用于对输入的双声道立体声音频信号进行短时傅里叶变换，得到时频域信号；

22、参数提取模块，用于针对所述时频域信号的每个时频处理单元，提取包括横向偏置、通道相关度和扩展适配度的空间状态参数；

23、模型创建模块，用于创建统一空间辐射物理模型，其中，所述统一空间辐射物理模型中将所述时频域信号分解为定向直达状态分量和弥散环境状态分量；

24、坐标确定模块，用于基于所述空间状态参数以及目标重放布局确定三维目标声场坐标；

25、声场构建模块，用于基于所述三维目标声场坐标与目标重放布局，分别生成直达声在所述目标重放布局的增益分布以及环境声在所述目标重放布局的分布，组合构建目标多声道声场；

26、权重确定模块，用于基于统一空间辐射物理模型以及所述目标多声道声场构建多声道映射优化目标函数，并基于所述多声道映射优化目标函数确定每个时频处理单元的多声道分配权重矩阵；

27、时域信号确定模块，用于基于所述多声道分配权重矩阵对时频域信号进行多声道渲染，经短时傅里叶逆变换合成多声道时域音频信号。

28、第三方面，本技术提供了一种电子设备，包括存储器和处理器，其中：

29、所述存储器，用于保存计算机程序；

30、所述处理器，用于执行所述计算机程序，以实现前述的音频上混方法。

31、第四方面，本技术提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的音频上混方法。

32、第五方面，本技术提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现前述的音频上混方法。

33、通过以上方案可知，本发明提供了一种音频上混方法，包括：对输入的双声道立体声音频信号进行短时傅里叶变换，得到时频域信号；针对所述时频域信号的每个时频处理单元，提取包括横向偏置、通道相关度和扩展适配度的空间状态参数；创建统一空间辐射物理模型，其中，所述统一空间辐射物理模型中将所述时频域信号分解为定向直达状态分量和弥散环境状态分量；基于所述空间状态参数以及目标重放布局确定三维目标声场坐标；基于所述三维目标声场坐标与目标重放布局，分别生成直达声在所述目标重放布局的增益分布以及环境声在所述目标重放布局的分布，组合构建目标多声道声场；基于统一空间辐射物理模型以及所述目标多声道声场构建多声道映射优化目标函数，并基于所述多声道映射优化目标函数确定每个时频处理单元的多声道分配权重矩阵；基于所述多声道分配权重矩阵对时频域信号进行多声道渲染，经短时傅里叶逆变换合成多声道时域音频信号。

34、可见，本技术的有益效果为：本技术提取时频域信号的空间状态参数，并创建统一空间辐射物理模型，将时频域信号分解为定向直达状态分量和弥散环境状态分量，基于空间状态参数以及目标重放布局确定三维目标声场坐标，进而构建目标多声道声场，基于统一空间辐射物理模型以及目标多声道声场构建多声道映射优化目标函数，确定多声道分配权重矩阵。这样，创建统一空间辐射物理模型，将空间状态参数提取、信号分解、声场构建和多通道分配矩阵整合进同一最优化求解框架，消除了流程割裂导致的声场不均衡；在统一模型下将信号分解为定向直达状态分量和弥散环境状态分量并分别生成增益分布，兼顾了主声像的清晰稳定与环绕声场的无缝包围感；基于统一空间辐射物理模型以及目标多声道声场构建多声道映射优化目标函数，通过全局优化确定各时频处理单元的多声道分配权重矩阵，引入时间连续性与频率连续性约束，抑制了声像漂移，提升多声道音频信号的音质。

35、相应地，本技术提供的一种音频上混装置、设备、可读存储介质及产品，也同样具有上述技术效果。