一种基于自适应空间特征压缩的多通道语音增强方法及系统与流程

本发明属于语音增强，尤其涉及一种基于自适应空间特征压缩的多通道语音增强方法及系统，特别适用于解决传统方法对声源距离的依赖、多通道输入计算量膨胀以及代价函数与听感不匹配等技术难题。

背景技术：

1、在实际语音通信和语音交互场景中，环境噪声严重干扰语音质量和可懂度。利用传声器阵列进行多通道语音增强，可以利用空间信息形成指向性，有效抑制干扰噪声。传统方法中，线性约束最小方差（lcmv）波束形成是常用的空间滤波手段，但其性能高度依赖于精确的导向矢量。通常导向矢量需通过离线测量声源到传声器的传递函数获得，这不仅将应用场景限定在“近场”和声源位置固定的假设下，而且对环境变化极为敏感，一旦传声器或声源位置发生变动，预置的导向矢量即告失效，导致增强性能急剧下降。

2、近年来，深度神经网络被引入语音增强领域，其强大的非线性映射能力能有效处理非平稳噪声。然而，在构建波束形成与神经网络的级联系统时，常见的做法是将波束形成输出与所有原始通道的频谱一并堆叠作为网络输入。当传声器数量增大时，输入特征的通道数线性膨胀，造成网络计算量爆炸，且堆叠的特征无序，网络难以直接利用其中的空间结构信息，必须消耗大量算力隐式学习空间关系。

3、此外，网络训练中常用的均方误差（mse）代价函数，其数值大小与人的主观听觉感知并不一致。一些对听觉至关重要的细微语音成分的微小误差容易被淹没在大量无感区域的平均中，导致降噪后仍可感知到残留噪声或语音损伤。虽然有部分方法引入固定参数的听觉感知代价函数，但其固定权重无法适应复杂多变的噪声环境，缺乏真正的自适应性。

4、因此，亟需一种基于自适应空间特征压缩的多通道语音增强方法及系统解决方案。

技术实现思路

1、本发明的主要目的在于提供了一种基于自适应空间特征压缩的多通道语音增强方法及系统，旨在解决传统方法对声源距离的依赖、多通道输入计算量膨胀以及代价函数与听感不匹配等技术难题。

2、为实现上述目的，本发明提供了一种基于自适应空间特征压缩的多通道语音增强方法，包括以下步骤：

3、步骤s1.针对接收的原始多通道语音信号，利用轻量级导向矢量估计网络实时生成导向矢量，并结合线性约束最小方差算法，生成初步增强的单通道增强信号；

4、步骤s2.将所述单通道增强信号的复数谱作为查询，将所述原始多通道语音信号的复数谱作为键和值，通过多头空间注意力压缩层进行处理，生成固定维度的空间上下文特征图；

5、步骤s3.构建后端听觉感知神经网络，并将所述空间上下文特征图输入所述后端听觉感知神经网络；以及，设计用于训练所述后端听觉感知神经网络的动态听觉感知代价函数，所述动态听觉感知代价函数基于一个信噪比估计子网络实时输出的感知权重系数动态加权幅度谱误差；

6、步骤s4.为所述后端听觉感知神经网络引入一个全局宽度乘数，通过调整所述全局宽度乘数的值，统一缩放网络各层的通道数，以适应不同算力的部署平台；

7、步骤s5.将所述轻量级导向矢量估计网络、所述多头空间注意力压缩层、所述信噪比估计子网络与所述后端听觉感知神经网络进行端到端联合训练，优化后的模型接收多通道带噪语音，输出增强后的干净单通道语音信号。

8、进一步的，步骤s1具体包括：

9、对所述接收的原始多通道语音信号进行短时傅里叶变换，得到时频域信号，并从所述时频域信号的所有通道中提取归一化相位差特征；将所述归一化相位差特征输入所述轻量级导向矢量估计网络，所述轻量级导向矢量估计网络由两层全连接层和中间的elu激活函数构成，实时生成该时频点的导向矢量估计，输出维度等于传声器数量m；由当前帧的估计导向矢量构成在线更新的约束矩阵，结合由输入信号计算的协方差矩阵和全1的期望响应向量，计算出线性约束最小方差波束形成的滤波权向量: ；将所述时频域信号与所述滤波权向量进行加权处理，经逆短时傅里叶变换恢复到时域，得到所述初步增强的单通道增强信号。

10、进一步的，步骤s2中所述多头空间注意力压缩层用于将任意数量m个麦克风的观测结果压缩成固定数量k个空间上下文向量，k为一个在4到16之间的预设常数，与麦克风数量m无关。

11、进一步的，步骤s2具体包括：将步骤s1得到所述增强信号的复数谱作为查询q；

12、将所有原始通道的复数谱作为键和“值”；对于第h个注意力头，通过可学习的线性投影矩阵和将查询和键映射到公共空间，计算相关性得分，其中为投影后的维度；用所述相关性得分对经线性投影矩阵映射后的值进行加权求和，生成该头的空间上下文向量；并行使用h个注意力头（h=k），将输出拼接后经一个线性层融合，生成总空间上下文特征图c，维度固定为，与m彻底无关。

13、进一步的，步骤s3中所述动态听觉感知代价函数的设计具体包括：引入一个由几层卷积层构成的信噪比估计子网络，输入为波束形成增强信号的幅度谱和经步骤s2压缩后的空间上下文特征图c，输出为实时信噪比估计图；通过单调递减的可微函数，将所述信噪比估计图映射为感知权重系数:，其中和为可学习参数；将幅度谱损失函数构建为；将复数谱均方误差和所述动态加权的幅度谱误差按比例组合，得到总体代价函数。

14、进一步的，步骤s4中所述全局宽度乘数ω的取值范围为 (0,1]，网络各层的通道数均由基础通道数乘以ω并取整得到；当ω=1 时，编码模块五层的基础卷积通道数为{16, 32, 64, 128, 256}，此时为最大算力版本；当ω取小于1的值时，通道数同比例缩减，gru的隐藏节点数也同比例缩减，而整个网络的卷积核大小、步长、层数、自注意力头数均保持不变。

15、进一步的，步骤s5具体包括：在训练阶段，将所述轻量级导向矢量估计网络、所述多头空间注意力压缩层中的注意力投影矩阵、所述信噪比估计子网络以及所述后端听觉感知神经网络的所有参数统一纳入一个计算图，使用同一个复合代价函数进行反向传播和梯度更新；在推理阶段，接收任意长度的多通道带噪语音片段，依次流过自适应波束形成、空间特征压缩、可伸缩增强网络，最终输出干净语音的复数谱实部和虚部，利用逆短时傅里叶变换和重叠相加法重建出时域的增强语音信号。

16、进一步的，本发明还相应的提出了一种基于自适应空间特征压缩的多通道语音增强系统，用于实现上述内容任一一项方法，包括：通用自适应波束形成模块，用于利用轻量级导向矢量估计网络实时生成导向矢量，并结合线性约束最小方差算法，将接收的原始多通道语音信号生成初步增强的单通道增强信号；多头空间注意力压缩模块，用于将所述单通道增强信号的复数谱作为查询，将所述原始多通道语音信号的复数谱作为键和值，通过多头注意力机制生成固定维度的空间上下文特征图；听觉感知神经网络模块，用于接收所述空间上下文特征图，并输出干净语音的复数谱实部和虚部，训练的代价函数包括基于信噪比估计子网络实时输出的感知权重系数动态加权的幅度谱误差，且网络宽度可通过一个全局宽度乘数进行统一缩放以适应不同算力平台；端到端训练与输出模块，用于将所有网络模块联合训练，并在推理时输出最终增强后的干净单通道语音信号。