基于残差建模与时频感知约束的神经声码器训练方法及系统

本发明涉及语音编码、神经声码器及语音合成，尤其涉及一种基于残差建模与时频感知约束的神经声码器训练方法及系统。

背景技术：

1、在低码率语音通信场景中，如卫星通信、应急通信及窄带物联网，带宽资源极度受限，通常要求语音编码的目标码率在1 kbps甚至更低。为在此类极端条件下实现可懂且自然的语音重建，现有声码器技术普遍采用以线性预测编码为核心的递归生成式架构。该类方法首先从语音帧中提取巴克频率倒谱系数（bfcc）、基音周期、基音相关性等低码率声学特征，进而恢复线性预测系数并计算线性预测值以逼近当前采样点，同时利用神经网络对线性预测残差（即激励信号）进行逐采样点概率建模，通过交叉熵损失训练网络输出激励类别分布，最终将预测激励与线性预测值相加以重建时域波形。这一技术路线因能够在极低码率下保持基本的语音可懂度，已成为低码率声码器领域的主流方案。

2、然而，上述主流训练框架在低码率量化特征输入条件下暴露出显著的音质瓶颈。该类方法的核心监督信号为逐采样点激励类别的交叉熵损失，其优化目标本质上追求的是每一个采样点的残差符号和幅度等级准确，但逐采样点的精确并不必然保证合成语音在频域上的整体形态与真实语音一致，多个采样点的微小误差可能在频域累积为显著的谱失真，这一时域准确不等于频域准确的矛盾在低码率条件下被进一步放大。深层原因在于，bfcc等声学特征经低码率量化后，量化误差并非均匀分布在所有频段，而是在共振峰频段和中高频过渡区被显著放大，导致量化后的线性预测系数偏离真实值，合成语音的频谱包络出现结构性偏差；同时，量化造成的残差信号动态范围压缩使得交叉熵损失在训练后期容易出现梯度饱和，网络参数更新幅度减小，频谱包络的细微结构无法通过残差预测的间接途径得到充分优化。上述因素共同导致现有方法在低码率输入下普遍存在合成语音频谱包络与真实语音不一致、过渡帧高频能量下压、谐波结构失真等质量问题，在频域上表现为共振峰偏移或展宽、谱谷填充不足以及高频谐波衰减，在时域上则体现为波形包络的帧间不连续和瞬态响应模糊，最终合成语音呈现明显的机械感与人工痕迹，客观损失值下降但主观音质提升极为有限。

3、针对这一问题，已有部分研究尝试在声码器训练中引入频谱类损失函数以直接约束合成语音的频域特性。例如，在非lpc结构的生成式声码器训练中，多分辨率短时傅里叶变换损失已被广泛采用并证明能够有效提升合成音质。然而，直接将该类损失迁移至以线性预测残差建模为核心的递归生成式声码器时，面临两方面固有局限。其一，常规短时傅里叶变换受海森堡不确定性原理制约，时频谱能量在时频平面上呈弥散分布，对于低码率量化特征输入下产生的非线性失真分量，其能量被扩散至较宽的频带范围，导致损失函数对这类失真的敏感度不足，难以提供有效的梯度监督。其二，频谱损失与原有交叉熵损失在训练初期的梯度方向可能不一致，若简单叠加会导致训练震荡甚至发散，而现有方案中缺乏针对两类损失协同优化的有效调节机制。此外，上述尝试多聚焦于时频谱层面的约束，对语音全局谱包络和共振峰结构的长时段一致性缺乏专门监督，导致整段语音的音色自然度仍有欠缺。

技术实现思路

1、鉴于此，本发明实施例提供了一种基于残差建模与时频感知约束的神经声码器训练方法及系统，以解决现有技术存在的低码率量化条件下合成语音频谱包络与共振峰结构失真、过渡帧高频谐波衰减与时频形态不连续、以及常规频谱损失对非线性失真敏感度不足导致训练监督失效的问题。

2、一方面，本发明提供了一种基于残差建模与时频感知约束的神经声码器训练方法，所述方法包括：

3、接收当前时刻的真实语音采样值及当前语音帧的线性预测系数，根据所述线性预测系数及历史采样值计算线性预测值；对所述真实语音采样值与所述线性预测值的差值进行μ-律映射，得到真实激励类别；将当前时刻的语音帧特征输入神经声码器网络，获得关于当前激励类别的概率分布；根据所述概率分布对各激励类别对应的μ-律逆映射值进行加权求和，得到预测激励；将所述预测激励与所述线性预测值相加，得到可微的预测波形；

4、基于所述可微的预测波形与所述真实语音采样值构成的真实波形，联合优化三类互补约束，所述三类互补约束包括：作用于逐采样点的激励预测交叉熵损失、基于同步压缩变换的时频感知损失、以及低阶倒谱包络损失；其中，所述基于同步压缩变换的时频感知损失通过以下方式计算：对所述预测波形和所述真实波形分别进行短时傅里叶变换，获得各自的短时傅里叶变换系数；根据所述短时傅里叶变换系数计算瞬时频率估计；将时频系数从原始位置同步压缩至以所述瞬时频率估计确定的新位置，得到同步压缩变换后的时频谱；在多个不同窗长和帧移的分辨率配置下，分别计算所述预测波形与所述真实波形在同步压缩变换域中的幅度谱损失和对数幅度谱损失，并将各分辨率下的损失求和，得到多分辨率时频谱损失；对共振峰敏感频带施加额外权重，得到所述基于同步压缩变换的时频感知损失；所述低阶倒谱包络损失通过以下方式计算：对所述预测波形和所述真实波形分别提取梅尔频谱，经对数运算后进行离散余弦变换，提取低阶倒谱系数，计算所述预测波形与所述真实波形的低阶倒谱系数之间的均方误差，得到低阶倒谱包络损失；

5、将所述交叉熵损失、所述基于同步压缩变换的时频感知损失与所述低阶倒谱包络损失加权求和，构建总损失函数；

6、采用渐进式权重调节策略训练所述神经声码器网络：在训练初始的若干轮次内，将所述时频感知损失和所述倒谱包络损失的权重从零线性增加至预设目标值，所述交叉熵损失的权重保持恒定，以所述总损失函数最小化为目标更新网络参数，直至训练完成；将训练完成的所述神经声码器网络部署至低码率语音通信终端，所述神经声码器网络用于将接收到的量化声学特征重建为时域语音脉冲编码调制信号。

7、在本发明的一些实施例中，对共振峰敏感频带施加额外权重，包括：

8、将所述多分辨率时频谱损失中属于所述共振峰敏感频带的损失值乘以第一加权系数，将所述多分辨率时频谱损失中不属于所述共振峰敏感频带的损失值乘以第二加权系数，所述第一加权系数大于所述第二加权系数。

9、在本发明的一些实施例中，所述多个不同窗长和帧移的分辨率配置包括三组短时傅里叶变换配置，所述三组短时傅里叶变换配置各自具有不同的窗长和帧移，其中最短的窗长对应最小的帧移，最长的窗长对应最大的帧移。

10、在本发明的一些实施例中，所述瞬时频率估计由所述短时傅里叶变换系数的相位差分计算得到；所述同步压缩变换后的时频谱在频率维进行重采样，以使其维度与原始短时傅里叶变换系数的维度一致。

11、在本发明的一些实施例中，在所述低阶倒谱包络损失的计算中，采用预设数量的梅尔滤波器提取梅尔频谱，并提取预设阶数的低阶倒谱系数，且跳过第0阶倒谱系数；所述低阶倒谱包络损失的计算采用至少两组不同窗长配置的短时傅里叶变换进行特征提取。

12、在本发明的一些实施例中，在训练初始的若干轮次内，将所述时频感知损失和所述倒谱包络损失的权重从零线性增加至预设目标值，包括：

13、在训练的前n个轮次内，将所述时频感知损失的权重从零线性增加至第一目标权重，将所述倒谱包络损失的权重从零线性增加至第二目标权重，所述第一目标权重大于所述第二目标权重。

14、在本发明的一些实施例中，所述语音帧特征包括频域倒谱系数、基音周期及基音相关性；所述线性预测系数由语音帧通过线性预测分析方法计算得到。

15、在本发明的一些实施例中，所述神经声码器网络包括帧级条件网络和采样级网络；将当前时刻的语音帧特征输入神经声码器网络，获得关于当前激励类别的概率分布，包括：

16、将所述语音帧特征输入所述帧级条件网络，对所述语音帧特征中的基音特征进行嵌入处理并与所述语音帧特征中的其他特征进行拼接，经卷积处理和全连接处理后输出帧级条件向量；

17、将所述帧级条件向量按帧长倍数重复后，与逐采样输入表示进行拼接，输入所述采样级网络。

18、在本发明的一些实施例中，所述逐采样输入表示的构建方式为：

19、将当前历史脉冲编码调制样本、线性预测值、以及历史预测误差分别经μ-律编码和嵌入处理，映射至相同维度的嵌入向量后拼接，得到所述逐采样输入表示；

20、所述采样级网络包括串联连接的多个门控循环单元，其中第一门控循环单元的单元数量大于第二门控循环单元的单元数量，所述第二门控循环单元的输出经全连接层和激活函数处理后输出所述关于当前激励类别的概率分布。

21、另一方面，本发明还提供了一种基于残差建模与时频感知约束的神经声码器训练系统，包括处理器、存储器及存储在存储器上的计算机程序或指令，所述处理器用于执行所述计算机程序或指令，当所述计算机程序或指令被执行时该系统实现如上文中提及的任一项所述方法的步骤。

22、本发明通过构建交叉熵损失、基于同步压缩变换的时频感知损失、低阶倒谱包络损失三层递进式监督体系，从根本上解决了低码率量化条件下逐采样点交叉熵损失对频谱结构不敏感的固有缺陷。其中，基于同步压缩变换的时频感知损失通过将时频系数重新聚焦至瞬时频率轨迹附近，有效抑制了常规短时傅里叶变换时频谱中的能量弥散现象，使得损失函数对低码率量化引入的非线性失真分量具有更高的敏感度，能够精准约束合成语音的谐波结构和过渡帧时频形态；低阶倒谱包络损失通过约束语音的全局谱包络和共振峰结构，确保了长时段音色一致性；而渐进式权重调节策略通过在前若干轮次内将频谱类损失的权重从零线性增加至目标值，有效避免了训练初期多任务梯度冲突导致的训练震荡，保障了联合优化的稳定收敛。三者协同作用，使得声码器在保持与现有方法完全相同的推理结构和计算效率的前提下，合成语音的频谱包络保真度和共振峰结构准确性得到显著提升。实验数据表明，采用本发明方法训练后，合成语音在200hz~3500hz共振峰敏感频段的局部包络距离相对降低46.6%，感知语音质量评估得分相对提升46.5%，主观听感清晰自然，机械感和人工痕迹明显消除。所有改进仅作用于训练阶段，不增加推理端码率和计算复杂度，已部署的声码器无需修改推理代码即可通过重新训练获得音质提升。本发明可广泛应用于卫星通信、应急通信、窄带物联网等带宽严格受限场景的低码率语音通信系统。

23、本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

24、本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。