回声处理方法、装置、设备和存储介质与流程

1.本发明涉及回声消除技术领域，具体涉及一种回声处理方法、装置、设备和存储介质。


背景技术：

2.智能语音设备在播放音频时，麦克风采集进来的信号既包含了目标说话人的信号(近端信号)，也包含了扬声器播放出的音频信号(远端回声)，这种情况下语音识别模块几乎无法工作。通常需要引入回声消除的方法把回声消除干净，同时保护近端的语音信号不受损失。
3.现有技术中，通常采用基于信号处理的自适应滤波器首先去除拾取信号中的线性回声部分，而后然后通过一个后置滤波器来抑制背景噪声和回声消除后残留的回声，对残留的回声进一步抑制。
4.但是，自适应滤波器只能模拟回声中的线性成分，对于非线性成分无法实现准确的建模及跟踪，而且基于残余回声估计的后滤波，需要准确的残余回声估计方法，否则会有回声残余或者期望语音损伤的问题出现。因此，现有技术的回声处理方法回声消除效果较差。


技术实现要素：

5.本发明提供一种回声处理方法、装置、设备和存储介质，以解决现有技术的回声处理方法回声消除效果较差的技术问题。
6.本发明解决上述技术问题的技术方案如下：
7.一种回声处理方法，包括：
8.根据获取的远端信号和初始的近端信号之间的延时信息，对齐所述远端信号和所述初始的近端信号，得到对齐后的信号；
9.将所述对齐后的信号输入频域分块自适应滤波器，对所述初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号；
10.将所述消除线性回声后的近端信号和所述远端信号输入预先训练的残余回声处理模型，对所述消除线性回声后的近端信号进行残余回声消除，得到消除残余回声的近端信号；
11.其中，残余回声处理模型基于消除线性回声的样本近端信号和样本远端信号进行训练的。
12.进一步地，上述所述的回声处理方法中，对所述初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号，包括：
13.基于线性回声消除算法，对所述初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号；
14.所述线性回声消除算法对应的计算式为：
[0015][0016]
其中，e(k)为消除线性回声后的近端信号，d(k)为初始的近端信号，x
m
(k)为第m个远端信号，m为滤波器组数量，为对应块的频域分块自适应滤波器的权向量，μ为频域上的步长因子向量，为λ对应远端信号的功率谱密度矩阵，k为频带标识，n为频带数，为第i个频带对应的远端信号的功率谱密度矩阵。
[0017]
进一步地，上述所述的回声处理方法中，第i个频带对应的远端信号的功率谱密度通过递归公式得到；
[0018]
所述递归公式为：
[0019]
φ
xx,i
(k)＝λφ
xx,i
(k
‑
1) (1
‑
λ)|x
0,i
(k)|2[0020]
其中，λ为迭代因子，0＜λ＜1，i为频点数。
[0021]
进一步地，上述所述的回声处理方法中，将所述消除线性回声后的近端信号和所述远端信号输入预先训练的残余回声处理模型，对所述消除线性回声后的近端信号进行残余回声消除，得到消除残余回声的近端信号，包括：
[0022]
将所述消除线性回声后的近端信号和所述远端信号进行离散余弦变换，得到与所述消除线性回声后的近端信号对应的近端离散余弦变换谱和与所述远端信号对应的远端离散余弦变换谱；
[0023]
将所述近端离散余弦变换谱和所述远端离散余弦变换谱拼接成双通道张量；
[0024]
将所述双通道张量输入所述残余回声处理模型的编码层，得到与所述双通道张量对应的初始的抽象特征；
[0025]
将所述初始的抽象特征输入所述残余回声处理模型的长短时记忆层进行特征筛选，得到筛选后的抽象特征；
[0026]
将与所述筛选后的抽象特征输入所述残余回声处理模型的解码层，得到所述抽象特征的时频掩码；
[0027]
将所述时频掩码与所述消除线性回声后的近端信号相乘，得到所述消除残余回声的近端信号。
[0028]
进一步地，上述所述的回声处理方法中，所述编码层和所述解码层的数目均为多个，所述编码层和所述解码层的数目相同，且一一对应；
[0029]
每个编码层与对应的解码层之间采用跳跃机制连接。
[0030]
进一步地，上述所述的回声处理方法中，所述残余回声处理模型的训练过程包括：
[0031]
根据获取的样本远端信号和样本近端信号之间的延时信息，对齐所述样本远端信号和所述样本近端信号，得到对齐后的样本信号；
[0032]
将所述对齐后的样本信号输入频域分块自适应滤波器，对所述样本近端信号进行线性回声消除，得到消除线性回声的样本近端信号；
[0033]
将所述消除线性回声的样本近端信号和所述样本远端信号输入预先训练的残余回声处理模型进行迭代训练，直到满足收敛条件时，停止训练，得到所述残余回声处理模型。
[0034]
本发明还提供一种回声处理装置，包括：
[0035]
对齐模块，用于根据获取的远端信号和初始的近端信号之间的延时信息，对齐所述远端信号和所述初始的近端信号，得到对齐后的信号；
[0036]
线性回声消除模块，用于将所述得到对齐后的信号输入频域分块自适应滤波器，对所述初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号；
[0037]
残余回声消除模块，用于将所述消除线性回声后的近端信号和所述远端信号输入预先训练的残余回声处理模型，对所述消除线性回声后的近端信号进行残余回声消除，得到消除残余回声的近端信号。
[0038]
进一步地，上述所述的回声处理装置中，所述残余回声消除模块，具体用于：
[0039]
将所述消除线性回声后的近端信号和所述远端信号进行离散余弦变换，得到与所述消除线性回声后的近端信号对应的近端离散余弦变换谱和与所述远端信号对应的远端离散余弦变换谱；
[0040]
将所述近端离散余弦变换谱和所述远端离散余弦变换谱拼接成双通道张量；
[0041]
将所述双通道张量输入所述残余回声处理模型的编码层，得到与所述双通道张量对应的初始的抽象特征；
[0042]
将所述初始的抽象特征输入所述残余回声处理模型的长短时记忆层进行特征筛选，得到所述筛选后的抽象特征；
[0043]
将与所述筛选后的抽象特征输入所述残余回声处理模型的解码层，得到所述抽象特征的时频掩码；
[0044]
将所述时频掩码与所述消除线性回声后的近端信号相乘，得到所述消除残余回声的近端信号。
[0045]
本发明还提供一种回声处理设备，包括：处理器和存储器；
[0046]
所述处理器用于执行所述存储器中存储的回声处理方法的程序，以实现上述任一项所述的回声处理方法。
[0047]
本发明还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被执行时实现上述任一项所述的回声处理方法。
[0048]
本发明的有益效果是：
[0049]
通过对齐远端信号和初始的近端信号，得到对齐后的对齐后的信号后，将对齐后的信号输入频域分块自适应滤波器，对初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号，并将消除线性回声后的近端信号和远端信号输入预先训练的残余回声处理模型，对消除线性回声后的近端信号进行残余回声消除，得到消除残余回声的近端信号。由于残余回声处理模型基于消除线性回声的样本近端信号和样本远端信号进行训练的，使得频域分块自适应滤波器在对样本近端信号进行线性消除时，为残余回声处理模型提供了可学习的先验知识和指导信息，使得模型具备很好的双讲、回声路径变化的区分能力，降低出现由于数据过拟合，而导致的期望语音出现损伤或者处理完全失效的概率，并能够在背景噪声、双讲和非现性失真等情况下实现回声消除，大大提高回声消除的效果和适
用场景。
附图说明
[0050]
图1为本发明的回声处理方法实施例的流程图；
[0051]
图2为本发明的回声处理装置实施例的结构示意图；
[0052]
图3为本发明的回声处理设备的结构示意图。
具体实施方式
[0053]
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0054]
图1为本发明的回声处理方法实施例的流程图，如图1所示，本实施例的回声处理方法具体可以包括如下步骤：
[0055]
100、根据获取的远端信号和初始的近端信号之间的延时信息，对齐远端信号和初始的近端信号，得到对齐后的信号；
[0056]
在一个具体实现过程中，可以采用任一可以实现估计得到远端信号与近端信号之间的延时信息的方式，获得远端信号和近端信号之间的延时信息。
[0057]
具体地，远端信号和近端信号之间的延时信息的估计公式如下：
[0058][0059]
其中，τ为远端信号和近端信号之间的延时信息，d(k)为初始的近端信号，x(k)为远端信号，k为频带标识，
*
为复共轭算子，iff表示短时傅里叶逆变换。
[0060]
在一个具体实现过程中，可以持续使用包含当前帧的预设时间段以内的历史数据来确定真实的延时信息τ，并结合众数逻辑，对齐远端信号和初始的近端信号，得到对齐后的信号，以避免出现频繁的延时抖动。其中，对齐后的信号包括对齐后的远端信号和对齐后的近端信号。
[0061]
101、将对齐后的信号输入频域分块自适应滤波器，对初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号；
[0062]
在一个具体实现过程中，为降低系统的处理时延和计算复杂度，可以采用基于重叠加(overlap
‑
add,ola)方法的无约束频域分块自适应滤波器(partitioned block frequency
‑
domain adaptive filter,pbfdaf)，使所有的计算都在短时傅里叶变换(short
‑
time fourier transform，stft)域进行。因此，在得到对齐后的信号后，可以将对齐后的信号输入频域分块自适应滤波器，并基于线性回声消除算法，对初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号。
[0063]
具体地，该线性回声消除算法对应的计算式为：
[0064][0065]
其中，e(k)为消除线性回声后的近端信号，d(k)为初始的近端信号，x
m
(k)为第m个远端信号，m为滤波器组数量，为对应块的频域分块自适应滤波器的权向量，μ为频域上的步长因子向量，为λ对应远端信号的功率谱密度矩阵，k为频带标识，n为频带数，为第i个频带对应的远端信号的功率谱密度矩阵。
[0066]
在一个具体实现过程中，第i个频带对应的远端信号的功率谱密度通过递归公式得到；其中，该递归公式为：
[0067]
φ
xx,i
(k)＝λφ
xx,i
(k
‑
1) (1
‑
λ)|x
0,i
(k)|2[0068]
其中，λ为迭代因子，0＜λ＜1，i为频点数。
[0069]
102、将消除线性回声后的近端信号和远端信号输入预先训练的残余回声处理模型，对消除线性回声后的近端信号进行残余回声消除，得到消除残余回声的近端信号。
[0070]
具体地，该步骤可以按照如下方式实现：
[0071]
(1)、将消除线性回声后的近端信号和远端信号进行离散余弦变换，得到与消除线性回声后的近端信号对应的近端离散余弦变换谱和与远端信号对应的远端离散余弦变换谱；
[0072]
(2)、将近端离散余弦变换谱和远端离散余弦变换谱拼接成双通道张量；
[0073]
(3)、将双通道张量输入残余回声处理模型的编码层，得到与双通道张量对应的初始的抽象特征；
[0074]
(4)、将初始的抽象特征输入残余回声处理模型的长短时记忆层进行特征筛选，得到筛选后的抽象特征；
[0075]
在一个具体实现过程中，在利用长短时记忆层获取筛选后的抽象特征时，加入了通道注意机制，从而自适应的调整各通道的特征响应值，以便极大地提升网络性能。
[0076]
在一个具体实现过程中，长短时记忆层的数目为多个，第一个长短时记忆层的输入为编码层的输出，之后每个长短时记忆层的输入为上一个长短时记忆层的输出，以基于该紧密连接机制得到筛选后的抽象特征。
[0077]
(5)、将筛选后的抽象特征输入残余回声处理模型的解码层，得到抽象特征的时频掩码；
[0078]
需要说明的是，编码层和解码层的数目均为多个，编码层和解码层的数目相同，且一一对应；每个编码层与对应的解码层之间采用跳跃机制连接，以规避梯度消失的潜在风险。
[0079]
(6)、将时频掩码与消除线性回声后的近端信号相乘，得到消除残余回声的近端信号。
[0080]
在一个具体实现过程中，通过离散余弦变换特征、通道注意机制和紧密连接机制
也为整个系统带来了计算复杂度、算法性能等方面的正向收益。
[0081]
在一个具体实现过程中，残余回声处理模型的训练过程包括如下步骤：
[0082]
(11)、根据获取的样本远端信号和样本近端信号之间的延时信息，对齐样本远端信号和样本近端信号，得到对齐后的样本信号；
[0083]
(12)将对齐后的样本信号输入频域分块自适应滤波器，对样本近端信号进行线性回声消除，得到消除线性回声的样本近端信号；
[0084]
(13)将消除线性回声的样本近端信号和样本远端信号输入预先训练的残余回声处理模型进行迭代训练，直到满足收敛条件时，停止训练，得到残余回声处理模型。
[0085]
本实施例的回声处理方法，远端信号和初始的近端信号，得到对齐后的对齐后的信号后，将对齐后的信号输入频域分块自适应滤波器，对初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号，并将消除线性回声后的近端信号和远端信号输入预先训练的残余回声处理模型，对消除线性回声后的近端信号进行残余回声消除，得到消除残余回声的近端信号。由于残余回声处理模型基于消除线性回声的样本近端信号和样本远端信号进行训练的，使得频域分块自适应滤波器在对样本近端信号进行线性消除时，为残余回声处理模型提供了可学习的先验知识和指导信息，使得模型具备很好的双讲、回声路径变化的区分能力，降低出现由于数据过拟合，而导致的期望语音出现损伤或者处理完全失效的概率，并能够在背景噪声、双讲和非现性失真等情况下实现回声消除，大大提高回声消除的效果和适用场景。
[0086]
需要说明的是，本发明实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成的方法。
[0087]
图2为本发明的回声处理装置实施例的结构示意图，如图2所示，本实施例的回声处理装置具体可以包括对齐模块20、线性回声消除模块21和残余回声消除模块22。
[0088]
对齐模块20，用于根据获取的远端信号和初始的近端信号之间的延时信息，对齐所述远端信号和所述初始的近端信号，得到对齐后的信号；
[0089]
线性回声消除模块21，用于将所述得到对齐后的信号输入频域分块自适应滤波器，对所述初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号；
[0090]
具体地，可以基于线性回声消除计算法，对初始的近端信号进行线性回声消除，得到消除线性回声后的近端信号。
[0091]
该线性回声消除算法对应的计算式为：
[0092][0093]
其中，e(k)为消除线性回声后的近端信号，d(k)为初始的近端信号，x
m
(k)为第m个远端信号，m为滤波器组数量，为对应块的频域分块自适应滤波器的权向量，μ为频域
上的步长因子向量，为λ对应远端信号的功率谱密度矩阵，k为频带标识，n为频带数，为第i个频带对应的远端信号的功率谱密度矩阵。
[0094]
在一个具体实现过程中，第i个频带对应的远端信号的功率谱密度通过递归公式得到；其中，该递归公式为：
[0095]
φ
xx,i
(k)＝λφ
xx,i
(k
‑
1) (1
‑
λ)|x
0,i
(k)|2[0096]
其中，λ为迭代因子，0＜λ＜1，i为频点数。
[0097]
残余回声消除模块22，用于将所述消除线性回声后的近端信号和所述远端信号输入预先训练的残余回声处理模型，对所述消除线性回声后的近端信号进行残余回声消除，得到消除残余回声的近端信号。
[0098]
具体地，残余回声消除模块22可以根据如下方式实现回声消除：
[0099]
(1)、将消除线性回声后的近端信号和远端信号进行离散余弦变换，得到与消除线性回声后的近端信号对应的近端离散余弦变换谱和与远端信号对应的远端离散余弦变换谱；
[0100]
(2)、将近端离散余弦变换谱和远端离散余弦变换谱拼接成双通道张量；
[0101]
(3)、将双通道张量输入残余回声处理模型的编码层，得到与双通道张量对应的初始的抽象特征；
[0102]
(4)、将初始的抽象特征输入残余回声处理模型的长短时记忆层进行特征筛选，得到筛选后的抽象特征；
[0103]
在一个具体实现过程中，在利用长短时记忆层获取筛选后的抽象特征时，加入了通道注意机制，从而自适应的调整各通道的特征响应值，以便极大地提升网络性能。
[0104]
在一个具体实现过程中，长短时记忆层的数目为多个，第一个长短时记忆层的输入为编码层的输出，之后每个长短时记忆层的输入为上一个长短时记忆层的输出，以基于该紧密连接机制得到筛选后的抽象特征。
[0105]
(5)、将筛选后的抽象特征输入残余回声处理模型的解码层，得到抽象特征的时频掩码；
[0106]
需要说明的是，编码层和解码层的数目均为多个，编码层和解码层的数目相同，且一一对应；每个编码层与对应的解码层之间采用跳跃机制连接，以规避梯度消失的潜在风险。
[0107]
(6)、将时频掩码与消除线性回声后的近端信号相乘，得到消除残余回声的近端信号。
[0108]
在一个具体实现过程中，通过离散余弦变换特征、通道注意机制和紧密连接机制也为整个系统带来了计算复杂度、算法性能等方面的正向收益。
[0109]
在一个具体实现过程中，残余回声处理模型的训练过程包括如下步骤：
[0110]
(11)、根据获取的样本远端信号和样本近端信号之间的延时信息，对齐样本远端信号和样本近端信号，得到对齐后的样本信号；
[0111]
(12)将对齐后的样本信号输入频域分块自适应滤波器，对样本近端信号进行线性回声消除，得到消除线性回声的样本近端信号；
[0112]
(13)将消除线性回声的样本近端信号和样本远端信号输入预先训练的残余回声处理模型进行迭代训练，直到满足收敛条件时，停止训练，得到残余回声处理模型。
[0113]
上述实施例的装置用于实现前述实施例中相应的方法，其具体实现方案可以参见前述实施例记载的方法及方法实施例中的相关说明，并且具有相应的方法实施例的有益效果，在此不再赘述。
[0114]
图3为本发明的回声处理设备的结构示意图，如图3所示，本实施例的通行设备可以包括：处理器1010和存储器1020。本领域技术人员可知的，该设备还可以包括输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
[0115]
处理器1010可以采用通用的cpu(central processing unit，中央处理器)、微处理器、应用专用集成电路(application specific integrated circuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
[0116]
存储器1020可以采用rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
[0117]
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
[0118]
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
[0119]
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
[0120]
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
[0121]
本发明还提供一种存储介质，其存储有一个或者多个程序，所述一个或者多个程序可被执行时实现上述实施例的回声处理方法。
[0122]
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0123]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例
或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0124]
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
[0125]
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
[0126]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。