一种多通道语音增强方法、系统及介质

本技术涉及多通道语音增强领域，尤其涉及一种多通道语音增强方法、系统及介质。

背景技术：

1、传统语音增强主要依赖单通道信号处理技术，通过维纳滤波、谱减法等方法利用频域噪声的统计特性实现降噪。但受限于单通道无法区分不同空间位置声源信号这一核心缺陷，这类方法在强噪声、非平稳噪声或多源干扰场景下的性能会急剧下降。近年来，麦克风阵列的广泛应用推动研究重心转向多通道语音增强——该技术利用声源的空间差异实现目标语音与噪声的分离，已成为当前语音增强领域的研究热点。将基于波束形成的空间滤波技术与深度学习的精细频域建模能力相结合，可使多通道方法突破单通道方案的性能上限，实现更优的降噪效果。

2、尽管多通道语音增强技术已取得一定进展，但该领域仍存在两大关键难题亟待解决。其一，当前性能最优的深度模型——深度复数卷积循环网络（dccrn）在单通道频域重构中表现优异，但将其拓展至多通道场景时，极少嵌入专用的空间滤波机制，导致麦克风阵列蕴含的空间信息未被充分挖掘和利用。其二，主流空间滤波技术——经典最小方差无失真响应（mvdr）波束形成器，需严格满足“信号首尾帧仅含噪声”的前提才能准确估计噪声协方差矩阵。而在实际场景中，噪声多呈现非平稳特性（如瞬态噪声、时变噪声），上述假设难以成立，进而会产生错误的协方差估计，严重削弱波束形成器的空间滤波性能。

技术实现思路

1、本技术实施例的目的在于提供一种多通道语音增强方法、系统及介质，将数据驱动的频域细化增强与模型驱动的空间滤波紧密结合，有效解决了传统多通道语音增强中空间信息利用不充分、噪声协方差矩阵估计不可靠的难题。

2、为实现上述目的，本技术提供如下技术方案：

3、第一方面，本技术实施例提供一种多通道语音增强方法，包括以下步骤：

4、改进最小方差无失真响应mvdr波束形成器，得到单通道增强语音信号，完成整个空间滤波流程；

5、设计深度复数卷积循环网络dccrn，提出双维度适配机制，重新设计频域重构链路提升网络的灵活性、鲁棒性与部署效率；

6、提出以信号失真比sdr与感知多尺度谱质心误差pmsqe加权融合为核心的感知导向损失函数组，通过动态切换机制突破固定单损失训练的局限。

7、所述改进最小方差无失真响应mvdr波束形成器，得到单通道增强语音信号，完成整个空间滤波流程具体为，

8、系统输入多通道含噪语音与空间几何信息，包括麦克风阵列三维位置、声源方位角与俯仰角；

9、采用改进方法鲁棒估计噪声协方差矩阵 ，并计算三维空间导向矢量；

10、通过最小方差无失真响应mvdr波束形成器核心公式求解频域权值向量w(f)，并加入小正则项避免矩阵求逆过程中出现奇异值问题；

11、通过短时傅里叶变换stft将多通道含噪信号转换至时频域，将复数谱图与权值向量w(f)相乘完成空间滤波；

12、经逆短时傅里叶变换istft将滤波后的复数谱转换回时域，得到单通道增强语音信号，完成整个空间滤波流程。

13、最小方差无失真响应mvdr波束形成器核心目标是寻找频域权值向量w(f)，在对期望信号保持无失真响应的同时，最小化输出噪声功率，其计算公式如下：

14、其中， 为导向矢量，由频率f、方位角θ、俯仰角ϕ共同决定； 为噪声协方差矩阵ncm，是决定波束形成性能的核心参数； 表示共轭转置运算；

15、提出基于单帧能量统计的动态帧选择准则，彻底摒弃传统的固定帧选取范式，具体实现流程如下：将多通道信号进行分帧处理，每帧 512 采样点，重叠率 50%，步长 256采样点；

16、对每一帧计算所有通道的均方值，得到该帧的标量能量指标；

17、设定能量百分位数阈值，阈值百分位设为 20，将能量低于 20% 分位的帧判定为以噪声为主的帧，依托低能量段多为噪声的先验知识实现噪声帧的自适应筛选；

18、这种数据驱动的选择方式可动态跟踪噪声的时域变化，噪声协方差矩阵仅由筛选后的噪声主导帧估计得到，其计算公式为：

19、其中，k 为筛选得到的噪声主导帧数量，为第k帧的多通道复数短时傅里叶变换stft向量；

20、将导向矢量模型拓展至三维空间，实现对任意方位角θ、俯仰角ϕ声源的精准定位与增强，具体步骤为，

21、首先，将角度从度转换为弧度，消除后续计算中的单位差异，声源方向向量d的计算公式如下：

22、，

23、其中，、 分别为弧度制的俯仰角与方位角，基于麦克风三维位置 ，与声源方向向量d，计算入射信号在各麦克风的相位迟：，其中c=340 m/s 为声速，据此构建导向矢量，其第m个元素由上述相位延迟定义，并对全矢量进行归一化处理，消除幅度差异对波束形成权值计算的干扰。

24、所述设计深度复数卷积循环网络dccrn，提出双维度适配机制，重新设计频域重构链路提升网络的灵活性、鲁棒性与部署效率，具体步骤为：

25、提出双维度适配机制，具体如下：

26、时域主干可重构：通过运行时标志切换复数/实数 lstm，网络层数与隐藏单元数均设为外部超参，根据实际噪声场景灵活调整；

27、掩蔽生成多样化：解码器可输出三类掩蔽——能量掩蔽、复数掩蔽、实数掩蔽，通过门控参数灵活选择，其中，能量掩蔽采用 tanh 输出非线性将幅度限制在[0,1]区间，有效避免了传统 crm 常见的数值溢出失真问题；

28、重新设计频域重构链路，具体优化如下：

29、含噪相位补偿算子：在复数掩蔽解码器中嵌入相位补偿机制，计算公式如下：

30、

31、该机制将原始含噪相位与掩蔽修正量进行融合，而非直接替换原始相位，有效保留了语音的时域连续性；

32、幅度限幅层：将重构波形硬限制在[−1,1]区间，消除数值溢出导致的削波失真，同时保障 dccrn 输出与 mvdr 波束形成器的幅度统计特性一致，大幅减少“空间-频域”级联链路中的尺度失配伪影；

33、标准化输入输出接口：dccrn 可直接接收波束形成输出的单通道增强信号，无需人工设计空间特征融合模块，形成可端到端优化的完整链路。

34、所述提出以信号失真比sdr与感知多尺度谱质心误差pmsqe加权融合为核心的感知导向损失函数组，通过动态切换机制突破固定单损失训练的局限，具体步骤为：

35、信号失真比sdr用于衡量增强信号相对于纯净参考信号的保真度，其计算公式如下：

36、

37、其中，正则项 ε 用于避免低能量帧（出现除零错误，保障训练全程的数值稳定，由于模型优化目标为最小化损失，定义 ，并通过加权融合构建复合损失函数，计算公式如下：

38、

39、式中，权重 、 通过验证集网格搜索确定，感知驱动的 pmsqe 被分配更高权重，使优化器侧重提升语音的主观感知质量；sdr 则用于保障整体信号的保真度，避免过度追求感知效果而产生可听伪影。

40、第二方面，本技术实施例一种多通道语音增强系统，包括存储器及处理器，所述存储器中包括一种多通道语音增强方法的程序，所述一种多通道语音增强方法的程序被所述处理器执行时实现如上所述的多通道语音增强方法的步骤。

41、第三方面，本技术实施例一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码被处理器执行时，实现如上所述的多通道语音增强方法的步骤。

42、与现有技术相比，本发明的有益效果是：提出一种融合 mvdr 波束形成的 dccrn架构，将数据驱动的频域细化增强与模型驱动的空间滤波紧密结合，有效解决了传统多通道语音增强中空间信息利用不充分、噪声协方差矩阵估计不可靠的难题。通过以能量百分位数自适应选择器替代启发式“首尾帧”噪声估计器，并将导向矢量建模拓展至全方位-俯仰球面，改进型 mvdr 前端在强非平稳噪声场景下仍能提供可靠的空间线索。将该空间线索融入重构后的 dccrn（具备可切换 lstm 类型、多模式掩蔽、相位补偿重构、感知对齐复合损失等特性），所提模型在 dns 2023 语音增强任务的各项客观指标上实现了持续提升，同时保持了适合实时应用的计算效率。