语音增强方法、装置、设备及存储介质与流程

技术特征：
1.一种语音增强方法，其特征在于，包括：获取语音样本数据，并将所述语音样本数据按照设定比例拆分为训练集和验证集；其中，所述语音样本数据包括带噪语音及对应的纯净语音；基于所述训练集对设定语音增强模型进行训练；基于所述验证集对训练后的所述设定语音增强模型进行验证；将待增强语音输入验证后的所述设定语音增强模型，输出目标语音。2.根据权利要求1所述的方法，其特征在于，获取语音样本数据，包括：获取纯净语音；将所述纯净语音与噪声数据按照随机信噪比进行混合，获得带噪语音；将所述纯净语音和所述带噪语音组成语音样本数据。3.根据权利要求1所述的方法，其特征在于，基于所述训练集对设定语音增强模型进行训练，包括：将所述训练集中的带噪语音输入设定语音增强模型，获得第一增强语音；计算所述第一增强语音与所述训练集中的纯净语音间的尺度不变信噪比si-snr损失函数；基于所述si-snr损失函数和设定优化器对所述设定语音增强模型进行训练，直到满足训练终止条件。4.根据权利要求1所述的方法，其特征在于，基于所述验证集对训练后的所述设定语音增强模型进行验证，包括：将所述验证集中的带噪语音输入训练后的所述设定语音增强模型，输出第二增强语音；确定所述第二增强语音的第一语音质量指标和第二语音质量指标；若所述第一语音质量指标和所述第二语音质量指标均满足条件，则所述设定语音增强模型验证完成；否则，基于所述训练集对设定语音增强模型进行重新训练。5.根据权利要求1-4任一所述的方法，其特征在于，所述设定语音增强模型从输入到输出依次包括：傅里叶变换模块、频域特征提取模块、数据融合模块、傅里叶逆变换模块、归一化模块、时域特征提取模块及特征分析模块；所述傅里叶变换模块的输出跳跃连接至所述数据融合模块的输入。6.根据权利要求5所述的方法，其特征在于，所述频域特征提取模块包括第一频域特征提取单元和第二频域特征提取单元；所述第一频域特征提取单元依次包括归一化层、丢弃层及多头注意力机制层；所述第二频域特征提取单元依次包括：归一化层、丢弃层和前馈层网络；所述第一频域特征提取单元的输入与所述第二频域特征提取单元跳跃连接；其中，所述前馈层网络依次包括：循环层、激活层、丢弃层和线性处理层。7.根据权利要求6所述的方法，其特征在于，归一化模块包括：归一化层、一维卷积层、激活层及分段层；所述时域特征提取模块包括第一时域特征提取单元和第二时域特征提取单元；其中，所述第一时域特征提取单元和所述第一频域特征提取单元的结构相同，所述第二时域特征提取单元和所述第二频域特征提取单元的结构相同；
所述特征分析模块包括二维卷积层、重叠相加层、一维卷积单元及一维逆卷积层。8.一种语音增强装置，其特征在于，包括：样本数据获取模块，用于获取语音样本数据，并将所述语音样本数据按照设定比例拆分为训练集和验证集；其中，所述语音样本数据包括带噪语音及对应的纯净语音；设定语音增强模型训练模块，用于基于所述训练集对设定语音增强模型进行训练；设定语音增强模型验证模块，用于基于所述验证集对训练后的所述设定语音增强模型进行验证；目标语音获取模块，用于将待增强语音输入验证后的所述设定语音增强模型，输出目标语音。9.一种计算机设备，其特征在于，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-7任一所述的语音增强方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现如权利要求1-7中任一所述的语音增强方法。

技术总结
本发明公开了一种语音增强方法、装置、设备及存储介质。获取语音样本数据，并将所述语音样本数据按照设定比例拆分为训练集和验证集；其中，所述语音样本数据包括带噪语音及对应的纯净语音；基于所述训练集对设定语音增强模型进行训练；基于所述验证集对训练后的所述设定语音增强模型进行验证；将待增强语音输入验证后的所述设定语音增强模型，输出目标语音。本发明实施例提供的语音增强方法，将待增强语音输入验证后的设定语音增强模型，输出目标语音，可以改善语音增强过程中容易产生语音丢失和语音失真等损伤原始语音数据的问题，保证语音增强的效果。证语音增强的效果。证语音增强的效果。


技术研发人员：姜彦吉 邱友利 彭博 刘海涛 郑四发
受保护的技术使用者：清华大学苏州汽车研究院（相城）
技术研发日：2021.11.30
技术公布日：2022/3/8