一种端到端声学回声消除方法、电子设备及程序产品与流程

本发明涉及语音增强与音频信号处理，尤其涉及一种端到端声学回声消除方法、电子设备及程序产品。

背景技术：

1、在语音通话、视频会议、智能音箱、车载语音交互等场景中，终端扬声器播放的远端语音会经由空气传播、房间反射及设备声学耦合后重新被本端麦克风采集，从而形成声学回声。现有声学回声消除技术大多采用“时延估计+对齐补偿+回声消除”的级联式处理方案，该类方案先对麦克风信号与参考信号执行时延估计，再将参考信号移位对齐后送入线性滤波器或神经网络进行回声消除。然而，此类级联式的处理链路存在固有的局限性：首先，时延估计模块与回声消除模块相互独立，前级时延估计的任何微小误差，会直接传递至后级回声消除模块，造成回声抑制性能的显著下降；其次，在双讲场景、强噪声干扰场景以及存在扬声器非线性失真的场景下，基于信号相关性的时延估计算法稳定性较差，容易造成对齐偏差；此外，不同设备、不同系统负载和不同网络条件下的时延差异较大，传统方案需要针对特定设备或场景进行人工调参或额外配置，部署复杂度高。

2、近年来，基于深度学习的回声消除方法得到广泛研究，但其仍普遍依赖显式的信号对齐预处理模块、前置粗声学回声消除模块，或仅在有限时间窗口内进行建模，难以兼顾大范围时延差异、动态时延变化和高质量近端语音保真。例如，部分方案采用前置的基于自相关的时延估计器对参考信号进行移位后再输入神经网络，这未能根本解决级联误差传播的问题。另一些方案虽尝试利用循环神经网络模型进行端到端处理，但受限于循环神经网络的单向或双向但有限的时间依赖范围，无法有效处理长达数百毫秒乃至秒级的系统时延和长回声拖尾。

3、因此，如何设计一种无需显式时延估计模块、能够直接利用未对齐参考信号并对长时间上下文进行高效建模的端到端声学回声消除方法，是亟需解决的技术问题。

技术实现思路

1、针对现有技术的上述缺陷，本发明提供一种端到端声学回声消除方法、电子设备及程序产品，用于解决现有技术中依赖时延估计模块、对大范围时延差异适应能力不足、级联误差传播明显以及部署复杂度较高的问题，实现了在无需输入端对齐的情况下，对双路信号进行高效的长时建模与深度融合，以高质量地消除回声并保留近端语音。

2、第一方面，本技术实施例提供了一种端到端声学回声消除方法，包括：

3、分别对麦克风信号和远端参考信号进行时频变换处理，得到麦克风信号频谱和参考信号频谱；

4、分别对所述麦克风信号频谱的子带和所述参考信号频谱的子带进行特征编码，得到麦克风子带特征和参考子带特征；

5、分别对所述麦克风子带特征和所述参考子带特征进行基于时间路径和频率路径的双路径特征提取，得到麦克风上下文特征和参考上下文特征；

6、针对所述麦克风上下文特征与所述参考上下文特征的融合特征，迭代进行基于时间路径和频率路径的双路径特征分离，得到目标上下文特征；

7、根据所述目标上下文特征，重构回声消除后的近端语音信号。

8、优选地，在所述分别对麦克风信号和远端参考信号进行时频变换，得到麦克风信号频谱和参考信号频谱之后，还包括：

9、分别对所述麦克风信号频谱和所述参考信号频谱进行非均匀划分，得到所述麦克风信号频谱的子带和所述参考信号频谱的子带。

10、优选地，所述分别对所述麦克风信号频谱和所述参考信号频谱进行非均匀划分，得到所述麦克风信号频谱的子带和所述参考信号频谱的子带，包括：

11、根据信号采样率和时频变换参数，确定多个子带的带宽参数；

12、根据所述多个子带的带宽参数，分别将所述麦克风信号频谱和所述参考信号频谱按频率维度划分为所述多个子带。

13、优选地，所述子带是复数频谱；所述分别对所述麦克风信号频谱的子带和所述参考信号频谱的子带进行特征编码，得到麦克风子带特征和参考子带特征，包括：

14、对于每个所述子带，对所述子带包含的频点的实部和虚部进行拼接，得到拼接结果；

15、对所述拼接结果进行归一化，得到归一化结果；

16、将所述归一化结果映射为预设维度的特征向量。

17、优选地，所述分别对所述麦克风子带特征和所述参考子带特征进行基于时间路径和频率路径的双路径特征提取，得到麦克风上下文特征和参考上下文特征；包括：

18、基于麦克风特征提取网络对所述麦克风子带特征进行特征提取，得到所述麦克风上下文特征；

19、基于参考特征提取网络对所述参考子带特征进行特征提取，得到所述参考上下文特征；

20、其中，所述麦克风特征提取网络和所述参考特征提取网络包括频率路径特征提取子网络和时间路径特征提取子网络，所述频率路径特征提取子网络用于建模不同子带之间的频率依赖关系，所述时间路径特征提取子网络用于建模同一子带跨时间帧的时间依赖关系，所述频率路径征提取子网络和所述时间路径征提取子网络串联连接，所述麦克风特征提取网络和所述参考特征提取网络的参数相互独立。

21、优选地，在所述分别对所述麦克风子带特征和所述参考子带特征进行基于时间路径和频率路径的双路径特征提取，得到麦克风上下文特征和参考上下文特征之后，还包括：

22、将所述麦克风上下文特征与所述参考上下文特征在特征维度上拼接，得到拼接特征；

23、对所述拼接特征进行压缩与对齐，得到所述融合特征。

24、优选地，所述针对所述麦克风上下文特征与所述参考上下文特征的融合特征，迭代进行基于时间路径和频率路径的双路径特征分离，得到目标上下文特征，包括：

25、首次对所述融合特征进行所述双路径特征分离，得到第一上下文特征；

26、继续对混合特征进行所述双路径特征分离，得到第二上下文特征；

27、在累计迭代次数达到迭代次数阈值的情况下，将最新得到的第二上下文特征确定为所述目标上下文特征；

28、其中，所述混合特征是基于自适应门控机制，确定上次得到的上下文特征和所述融合特征的混合比例，并对按所述混合比例混合所述上次得到的上下文特征和所述融合特征得到的；所述双路径特征分离包括频率路径建模和时间路径建模；所述频率路径建模用于对同一时间步下所有子带的特征进行频率域上下文聚合，建立子带间的全局依赖关系；所述时间路径建模用于对同一子带在不同时间步上的特征进行时间域上下文聚合，建立时间步间的全局依赖关系。

29、优选地，所述根据所述目标上下文特征，重构回声消除后的近端语音信号，包括：

30、根据所述目标上下文特征，生成多个子带的子带掩码；其中，所述子带掩码是复数掩码；

31、对于所述多个子带中的每一子带，将所述子带的子带掩码与麦克风信号频谱中的所述子带执行复数乘法，得到所述子带对应的估计子带频谱；

32、按照子带划分顺序拼接所述多个子带对应的估计子带频谱，得到拼接频谱；

33、对所述拼接片频谱进行逆短时傅里叶变换，得到所述近端语音信号。

34、第二方面，本技术实施例提供了一种电子设备，包括：至少一个存储器，用于存储计算机程序；至少一个处理器，用于执行所述存储器中存储的计算机程序，以实现第一方面中任一项所述的方法。

35、第三方面，本技术实施例提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。

36、本发明相较于现有技术的方案，至少具有以下有益的技术效果：

37、通过端到端的深度学习架构直接从信号中学习回声消除映射关系，无需显式设计时延估计与自适应滤波器协同模块，从根本上消除了时延估计偏差导致的回声泄漏问题，在设备时延差异、缓冲变化及网络抖动等复杂条件下均表现出优异的适应性和鲁棒性；

38、通过将频谱沿频率维划分为非均匀子带，使其符合人耳听觉感知特性，在低频区获得更高频率分辨率，在高频区降低计算冗余，从而在保证回声消除精度的同时显著提升整体处理效率；

39、通过对各子带内频点的实部和虚部进行拼接、归一化并映射为固定维度特征向量，使不同带宽的子带信息统一编码至相同特征空间，便于批量并行处理，同时完整保留复数频谱中相位与幅度的关联信息；

40、采用参数相互独立的特征提取网络分别处理麦克风信号和参考信号，各网络专注于学习本路信号内部的声学特性与上下文结构，能够提取更具判别力的深层特征，为后续融合分离提供丰富的信息基础；

41、通过频率路径特征提取子网络和时间路径特征提取子网络的串联连接及残差传递，频率路径特征提取子网络捕获不同频带间的非平稳耦合关系并学习与设备无关的通用声学耦合模式，时间路径特征提取子网络利用长时历史信息建模时间依赖关系，实现对长回声拖尾与动态时延变化的准确追踪；

42、在时间路径特征提取子网络中采用乘法门控和加法注入相结合的双重注入机制，乘法门控利用全局上下文对局部特征进行选择性抑制或增强以有效分离回声与近端语音，加法注入将全局背景信息直接补充至局部特征以防止深度下采样导致的信息丢失，两者结合显著提升双讲场景下的分离精度与语音自然度；

43、通过多次迭代分离处理，每次迭代均在频率维和时间维上交替进行上下文聚合与全局依赖建模，实现对回声成分的多轮精细剥离；同时采用自适应门控机制融合当前迭代输出与初始融合特征，既充分利用了精细化分离信息又保留了原始信息，有效缓解了深层迭代中的梯度消失问题，加速了网络收敛并提升分离稳定性；

44、为每个子带输出复数掩码，直接对复数频谱的幅度和相位进行联合修正，避免了仅处理幅度谱而忽略相位信息导致的重构失真问题，配合端到端优化目标，输出相位一致性更好的近端语音信号；在此基础上进一步引入门控机制对掩码进行自适应调节，可以有效覆盖回声中的非线性失真与谐波成分；

45、综上，本发明通过非均匀子带划分、参数独立的双路径特征提取、频率路径与时间路径特征提取子网络的串联协同、时间-频率联合建模、迭代分离精炼及复数掩码估计等关键技术手段的有机结合，形成了一套完整的端到端声学回声消除解决方案。该方法无需显式时延估计与对齐模块，流程统一、部署简便，在复杂多变的声学场景和设备条件下均能稳定运行，在消除回声的同时最大限度地保证了近端语音的完整性和自然度，显著提升了用户通话体验，具有显著的技术进步和广阔的应用前景。