面向煤矿过抑制语音的双路径特征融合与谐波重构方法及系统与流程

本发明涉及语音信号处理，尤其涉及一种面向煤矿过抑制语音的双路径特征融合与谐波重构方法及系统。

背景技术：

1、近年来，基于深度学习的语音增强技术凭借其强大的非线性映射能力，已成为处理复杂工业噪声的主流方案。现有技术通常采用深度神经网络、卷积循环网络或conformer等架构，在海量带噪数据集上进行监督学习。

2、现有方案通常采用短时傅里叶变换提取信号的线性幅度谱作为全局输入，利用主干网络估计时频掩码或直接拟合纯净频谱，并通过均方误差等对称损失函数来最小化数值差异，旨在通过端到端的纯数据映射，强行抑制所有非语音成分。

3、然而，煤矿洗煤厂车间的声学环境极度复杂，大型洗选机械与皮带设备产生的宽带噪声不仅能量巨大，且表现出显著的非高斯性、非平稳性及瞬态冲击特征。现有通用方案在处理此类高能量复杂工况时，容易产生严重的过抑制现象，导致语音的关键谐波分量被算法当作噪声粗暴截断。由于单纯的数据驱动网络缺乏对人类发声物理规律的先验认知，现有的增强模型在滤除噪声后无法自适应修补受损的频谱骨架，造成增强后的语音产生严重的机械音且自然度大幅丧失，极大地影响了实际工业环境下的通讯体验。

4、因此，现有深度学习增强方案在处理洗煤厂车间等极端高噪工况时，为追求极端的背景音压制效果，往往采取过于激进的策略，进而存在以下不足：

5、（1）单一路径修复能力的局限导致信息永久丢失：现有模型在降噪过程中一旦对脆弱语音产生过抑制，被误删的语音特征便会在单一的前向传播路径中永久丢失。现有技术缺乏对网络深层特征与过抑制残差信息的有效交互与双路径融合机制，导致算法无法从多维度隐层特征中找回并修复丢失的声学细节；

6、（2）缺乏物理先验导致谐波骨架无法重构：现有缺乏声学物理约束的纯数据驱动映射，在面临强噪声覆盖时，缺乏对人类语音谐波生成机制的认知。当语音的谐波在强行压制下发生断裂时，网络无法自适应地重构出连续的频谱骨架，导致最终输出的增强语音波形产生严重的机械音，自然度大幅丧失。

7、以上背景技术内容的公开仅用于辅助理解本技术的构思及技术方案，其并不必然会给出技术教导。

技术实现思路

1、本发明的目的是提供一种面向煤矿过抑制语音的双路径特征融合与谐波重构方法及系统，能够解决语音特征过抑制与语义失真问题。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种面向煤矿过抑制语音的双路径特征融合与谐波重构方法，包括以下步骤：

4、获取煤矿现场采集的原始带噪语音信号，并且基于原始带噪语音信号得到过抑制语音信号；

5、根据原始带噪语音信号和过抑制语音信号构建损伤指示矩阵，包括：计算原始带噪语音信号幅度谱与过抑制语音信号幅度谱的差值以得到受损能量残差，提取大于零的受损能量残差并且将其余受损能量残差置零以得到损伤指示矩阵；

6、通过对过抑制语音信号进行低通滤波、自相关函数运算、在语音信号基频范围内搜索最大峰值位置以及剔除异常值以得到最优基频估值；

7、根据最优基频估值确定谐波中心频点索引，并且将谐波中心频点索引转化为连续的时频权重以构建谐波先验掩蔽矩阵；

8、对过抑制语音信号幅度谱、损伤指示矩阵和谐波先验掩蔽矩阵进行级联拼接以构建复合特征张量；

9、根据复合特征张量生成增强语音信号。

10、进一步地，承前所述的任一技术方案或多个技术方案的组合，根据复合特征张量生成增强语音信号，包括以下步骤：

11、将复合特征张量送入预设的深度修复网络以输出语音修复谱增量；所述深度修复网络包括依次连接的编码器、注意力模块和解码器；其中，所述编码器被配置为对输入执行二维卷积与下采样操作以逐层提取深层的声学语义特征；所述注意力模块被配置为基于空间注意力权重掩码和先验掩蔽矩阵给所述声学语义特征分配相应的门控权重；所述解码器被配置为对叠加门控权重后的声学语义特征执行上采样转置卷积操作以输出所述语音修复谱增量；空间注意力权重掩码为基于损伤指示矩阵标注的抑制语音信号中因过抑制导致的严重能量断裂区；

12、将所述语音修复谱增量与过抑制语音信号幅度谱进行频域逐点相加以重构得到高保真语音幅度谱，根据高保真语音幅度谱生成增强语音信号。

13、进一步地，承前所述的任一技术方案或多个技术方案的组合，根据复合特征张量生成增强语音信号，还包括以下步骤：

14、基于语音修复谱增量、原始带噪语音信号的相位和过抑制语音信号的相位确定最优重构相位，包括：若原始带噪语音信号的相位大于预设的门限阈值，则确定原始带噪语音信号的相位为最优相位，否则确定过抑制语音信号的相位为最优相位；

15、将高保真语音幅度谱与最优重构相位相结合，并利用欧拉公式构建得到完整的复数频谱矩阵；

16、对复数频谱矩阵执行逆短时傅里叶变换以得到所述增强语音信号。

17、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述注意力模块被配置为基于空间注意力权重掩码和先验掩蔽矩阵给所述声学语义特征分配相应的门控权重，复合注意力门控权重的表达式如下：

18、；其中，表示瓶颈层中的自注意力映射算子，表示空间注意力权重掩码，表示先验掩蔽矩阵，为时间帧索引，为频率频点索引。

19、进一步地，承前所述的任一技术方案或多个技术方案的组合，将所述语音修复谱增量与过抑制语音信号幅度谱进行频域逐点相加以重构得到高保真语音幅度谱，高保真语音幅度谱的表达式为：

20、；其中，为时间帧索引，为频率频点索引，为过抑制语音信号幅度谱，为语音修复谱增量。

21、进一步地，承前所述的任一技术方案或多个技术方案的组合，复数频谱矩阵的表达式为：

22、；其中，为时间帧索引，为频率频点索引，为虚数单位，为高保真语音幅度谱，为最优重构相位，表示以自然常数e为底的指数函数。

23、进一步地，承前所述的任一技术方案或多个技术方案的组合，基于损伤指示矩阵生成空间注意力权重掩码，包括以下步骤：

24、从损伤指示矩阵中提取预设的中频段范围内的中频切片以作为中频段残差分布矩阵；

25、计算中频段残差分布矩阵各帧对应的平均残差能量均值；并且将中频段残差分布矩阵中坐标点数值与所述平均残差能量均值进行比较以筛选出目标的高坐标点数值来确定高概率损伤区；

26、利用归一化激活函数对所述高概率损伤区进行处理以生成空间注意力权重掩码，所述空间注意力权重掩码被配置为在生成增强语音信号过程中为特征流分配相应的权重值。

27、进一步地，承前所述的任一技术方案或多个技术方案的组合，通过以下方式计算中频切片内的平均残差能量均值：；为预设的中频段范围的上限频率对应索引，为预设的中频段范围的下限频率对应索引；

28、和/或，

29、通过以下方式确定高概率损伤区：若，则判定其为高概率损伤区，为中频段残差分布矩阵，为时间帧索引，为频率频点索引；为阈值系数，，为平均残差能量均值；

30、和/或，

31、空间注意力权重掩码的表达式为：，其中，为时间帧索引，为频率频点索引，为阈值系数，，为平均残差能量均值。

32、进一步地，承前所述的任一技术方案或多个技术方案的组合，根据原始带噪语音信号和过抑制语音信号构建损伤指示矩阵，包括以下步骤：

33、对原始带噪语音信号执行傅里叶变换以得到原始带噪语音信号幅度谱，对过抑制语音信号执行傅里叶变换以得到过抑制语音信号幅度谱，其中，为时间帧索引，为频率频点索引；

34、计算原始带噪语音信号幅度谱与过抑制语音信号幅度谱的差值；

35、采用relu激活函数，基于以下公式构建所述损伤指示矩阵：。

36、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述最优基频估值通过以下步骤得到：

37、对过抑制语音信号进行低通滤波和分帧处理以得到低频信号，

n为采样点，为帧索引，为帧内采样点索引；

38、通过以下公式对执行自相关函数运算，第帧的自相关函数的表达式为：，其中，为帧长，为时间延迟量；

39、基于以下公式，在预设的时间延迟量范围内搜索自相关函数的最大峰值位置以提取最佳延迟周期：，表示在区间内计算并确定最大值对应的；基于以下公式将最佳延迟周期转化为频率以得到基频检测候选结果：，其中，为采样率；

40、对所述基频检测候选结果执行中值平滑滤波并剔除异常值，并且对处理后的基频检测候选结果进行排序和取中值以得到最优基频估值。

41、进一步地，承前所述的任一技术方案或多个技术方案的组合，根据最优基频估值确定谐波中心频点索引，并且谐波中心频点索引转化为连续的时频权重以构建谐波先验掩蔽矩阵，包括以下步骤：

42、基于以下公式，计算第帧，第级谐波中心频点索引：

43、；其中，为时间帧索引，为谐波级数，为奈奎斯特频率限制下的最大谐波阶数；为傅里叶变换点数，为系统采样率，为四舍五入取整函数；

44、将离散的谐波中心频点索引转化为连续的时频权重，并通过以下公式构建所述的先验掩蔽矩阵：

45、；

46、其中，为时间帧索引，为频率频点索引，为控制谐波物理带宽的标准差参数，表示以自然常数e为底的指数函数。

47、进一步地，承前所述的任一技术方案或多个技术方案的组合，还包括所述原始带噪语音信号和过抑制语音信号的采样率相同，对原始带噪语音信号和过抑制语音信号执行逐帧、逐频点的空间物理对齐。

48、根据本发明的另一方面，本发明提供了一种面向煤矿过抑制语音的双路径特征融合与谐波重构系统，包括处理器，所述处理器被配置为基于如上任一技术方案或多个技术方案的组合所述的面向煤矿过抑制语音的双路径特征融合与谐波重构方法对带噪语音信号进行处理。

49、本发明提供的技术方案带来的有益效果如下：

50、a. 本发明通过对原始带噪语音信号和过抑制语音信号同构对齐与二者对应的幅度差值计算构建损伤指示矩阵，精准提取了过抑制导致的能量残差，能够有效克服传统纯数据驱动模型盲目降噪带来的语音误删损伤；

51、b. 本发明通过引入基于最优基频追踪与高斯映射的谐波物理先验掩蔽矩阵作为声学约束，解决了断裂谐波骨架无法自适应修补的技术瓶颈；

52、c. 本发明采用复合特征张量与注意力机制从残差中定向补偿有效语音能量，并结合最优相位对齐技术，彻底消除了增强过程中的机械音，大幅提升了极端工况下语音的自然度与可懂度。