麦克风阵列降噪方法、装置和电子设备与流程

1.本技术属于信号处理技术领域，具体涉及一种麦克风阵列降噪方法、装置和电子设备。


背景技术：

2.广义旁瓣消除技术已广泛应用于麦克风阵列的降噪处理。其中，通过扫频预先确定各个麦克风的传输函数。而事实上，各麦克风的传输函数并非一个固定值，需要实时更新。


技术实现要素：

3.本技术的目的在于针对现有技术的不足之处，提供一种麦克风阵列降噪方法、装置和电子设备。
4.为解决上述技术问题，本技术采用如下技术方案：一种麦克风阵列降噪方法，麦克风阵列包含一个主麦克风和至少一个辅麦克风，其特征在于，所述降噪方法包括：
5.根据对第一原始语音信号帧的能量值进行统计所得方差、对各第二原始语音信号帧的频谱与对应时刻的第一原始语音信号帧的频谱的共轭值相乘所得能量值进行统计所得方差分别对对应的第二传输函数与第一传输函数的比值进行迭代，其中，主麦克风所拾取的语音信号帧为第一原始语音信号帧，辅麦克风所拾取的语音信号帧为第二原始语音信号帧，目标声源至主麦克风的传输函数为第一传输函数，目标声源至辅麦克风的传输函数为第二传输函数；
6.根据麦克风阵列中各麦克风获取的原始语音信号帧的频谱和各第二传输函数与第一传输函数的比构造增强语音信号帧的频谱；
7.根据第一原始语音信号帧的频谱、各第二原始语音信号帧的频谱、各第二传输函数与第一传输函数的比值，构造对应各辅麦克风的噪声信号帧的频谱；
8.将对应各辅麦克风的噪声信号帧的频谱进行自适应滤波之后进行累加得到抵消语音信号帧的频谱；
9.从增强语音信号帧的频谱中滤除抵消语音信号帧的频谱，得到目标语音信号帧的频谱；
10.其中，各辅麦克风对应的自适应滤波的滤波器系数是根据目标语音信号帧的频谱更新的。
11.为解决上述技术问题，本技术采用如下技术方案：一种麦克风阵列降噪装置，麦克风阵列包含一个主麦克风和至少一个辅麦克风，降噪装置包括：
12.传输函数比更新模块，用于根据对第一原始语音信号帧的能量值进行统计所得方差、对各第二原始语音信号帧的频谱与对应时刻的第一原始语音信号帧的频谱的共轭值相乘所得能量值进行统计所得方差分别对对应的第二传输函数与第一传输函数的比值进行迭代，其中，主麦克风所拾取的语音信号帧为第一原始语音信号帧，辅麦克风所拾取的语音
信号帧为第二原始语音信号帧，目标声源至主麦克风的传输函数为第一传输函数，目标声源至辅麦克风的传输函数为第二传输函数；
13.增强语音信号构造模块，用于根据麦克风阵列中各麦克风获取的原始语音信号帧的频谱和各第二传输函数与第一传输函数的比构造增强语音信号帧的频谱；
14.噪声信号构造模块，用于根据第一原始语音信号帧的频谱、各第二原始语音信号帧的频谱、各第二传输函数与第一传输函数的比值，构造对应各辅麦克风的噪声信号帧的频谱；
15.抵消声音信号构造模块，用于将对应各辅麦克风的噪声信号帧的频谱进行自适应滤波之后进行累加得到抵消语音信号帧的频谱；
16.输出模块，用于从增强语音信号帧的频谱中滤除抵消语音信号帧的频谱，得到目标语音信号帧的频谱；
17.其中，各辅麦克风对应的自适应滤波的滤波器系数是根据目标语音信号帧的频谱更新的。
18.为解决上述技术问题，本技术采用如下技术方案：一种麦克风阵列降噪装置，包括：存储器和处理器，所述存储器存储指令，所述处理器运行所述指令以执行前述的方法。
19.为解决上述技术问题，本技术采用如下技术方案：一种电子设备，包括前述的麦克风阵列降噪装置。
20.与现有技术相比，本技术的有益效果为：各辅麦克风的传输函数与主麦克风的传输函数的比值是实时更新的，这使得增强语音信号和抵消语音信号的构造更加准确，麦克风阵列的降噪效果更佳。
附图说明
21.图1是根据本技术实施例的麦克风阵列降噪方法的流程示意图。
22.图2是根据本技术实施例的麦克风阵列降噪方法的信号流转示意图。
23.图3是根据本技术实施例的麦克风降噪装置的结构框图。
24.图4是根据本技术实施例的麦克风降噪装置的结构框图。
具体实施方式
25.在本技术中，应理解，诸如“包括”或“具有”等术语旨在指示本说明书中存在所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，但是并不排除存在一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
26.另外还需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
27.下面结合附图所示的实施例对本技术作进一步说明。
28.如附图1所示，本技术的实施例提供一种麦克风阵列降噪方法，麦克风阵列包含一个主麦克风和至少一个辅麦克风，所述降噪方法包括以下步骤。
29.步骤101、根据对第一原始语音信号帧的能量值进行统计所得方差、对各第二原始语音信号帧的频谱与对应时刻的第一原始语音信号帧的频谱的共轭值相乘所得能量值进行统计所得方差分别对对应的第二传输函数与第一传输函数的比值进行迭代，其中，主麦
克风所拾取的语音信号帧为第一原始语音信号帧，辅麦克风所拾取的语音信号帧为第二原始语音信号帧，目标声源至主麦克风的传输函数为第一传输函数，目标声源至辅麦克风的传输函数为第二传输函数。
30.具体地，对连续的原始语音信号进行分帧。每一个第一原始语音信号帧具有一个能量值。对主麦克风拾取的第一原始语音信号帧的能量值进行统计，得到截止当前时间窗口，该能量值的方差值。
31.具体地，对第一原始语音信号帧的频谱取共轭之后，将第二原始语音信号帧的各个频点的频谱值(为一个复数)与第一原始语音信号帧的频谱中对应频点的频谱值的共轭值相乘，该乘积表示的是能量值。将各个频点的该能量值相加所得对应该时间窗口的能量值。进而对各个时间窗口的该能量值进行统计，可以得到截止当前时间窗口的另一个方差值。
32.该步骤在于对第二传输函数与第一传输函数的比值进行迭代。注意，本文中第一传输函数和第二传输函数均是在频域进行表达。
33.步骤102、根据麦克风阵列中各麦克风获取的原始语音信号帧的频谱和各第二传输函数与第一传输函数的比构造增强语音信号帧的频谱。
34.增强语音信号是对目标语音信号的一种近似。
35.步骤103、根据第一原始语音信号帧的频谱、各第二原始语音信号帧的频谱、各第二传输函数与第一传输函数的比值，构造对应各辅麦克风的噪声信号帧的频谱。
36.该步骤中提取各个辅麦克风拾取的噪声信号。对应于一个时间窗口的噪声信号构成噪声信号帧。
37.步骤104、将对应各辅麦克风的噪声信号帧的频谱进行自适应滤波之后进行累加得到抵消语音信号帧的频谱。
38.抵消语音信号是需要最终被滤除的。一个时间窗口对应一个抵消语音信号帧。
39.步骤105、从增强语音信号帧的频谱中滤除抵消语音信号帧的频谱，得到目标语音信号帧的频谱；其中，各辅麦克风对应的自适应滤波的滤波器系数是根据目标语音信号帧的频谱更新的。
40.各辅麦克风的传输函数与主麦克风的传输函数的比值是实时更新的，这使得增强语音信号和抵消语音信号的构造更加准确，麦克风阵列的降噪效果更佳。
41.采用迭代估计的传输函数，可以使用麦克风自行估计，这样减小由于生产等因素造成的偏差。更好的适应于耳机的实际应用环境以及耳机自身的状态。
42.进一步，采用此方法，可以不依赖于复杂的测量设备事先测量信道响应。以较低的成本实现降噪功能。
43.具体地，第二传输函数与第一传输函数的比值按照如下公式进行迭代：
44.h
m
(t，e
jω
)＝h
m
(t
‑
1，e
jω
) μ
h
r
1_m_v
(t，e
jω
)/r
1_v
(t，e
jω
)，其中，h
m
(t，e
jω
)为在当前帧周期编号为m的辅麦克风的第二传输函数与第一传输函数的比值，h
m
(t
‑
1，e
jω
)为在当前帧周期的前一帧周期编号为m的辅麦克风的第二传输函数与第一传输函数的比值，μ
h
为学习步长，r
1_m_v
(t，e
jω
)为截止当前帧周期编号为m的辅麦克风的第二原始信号帧的频谱与第一原始信号帧的频谱的共轭相乘所得能量值进行统计所得的方差，r
1_v
(t，e
jω
)为截止当前帧周期对第一原始信号帧的能量值进行统计所得的方差。在附图2中，辅麦克风的编号从2开
始。
45.该实施方式张楠赓，使用了最小二乘的方法，能够按照最小均方误差准则，构造出传输函数，从而将辅麦克风信号中能量与主麦克相同的部分提取出来。
46.具体地，r
1_v
(t，e
jω
)按照如下方式确定：
47.计算第一原始语音信号帧的能量即时值r
1_v
(t，e
jω
)；
48.计算截止当前帧周期对第一原始语音信号帧的能量值进行统计的均值r1(t，e
jω
)，其中，r1(t，e
jω
)＝ρ
h
r1(t
‑
1，e
jω
) (1
‑
ρ
h
)f(p)r
1_t
(t，e
jω
)，其中，ρ
h
为设定系数，r1(t
‑
1，e
jω
)为截止当前帧周期的前一帧周期对第一原始语音信号帧的能量值进行统计所得的均值，f(p)为目标语音存在的概率；
49.计算第一原始语音信号帧的所述能量即时值与所述均值的差的平方r
1_v_t
(t，e
jω
)，
r1_v_t
(t，e
jω
)＝(r
1_t
(t，e
jω
)
‑
r1(t，e
jω
))2；
50.其中，r
1_v
(t，e
jω
)＝ρ
r
r
1_v
(t
‑
1，e
jω
) (1
‑
ρ
h
)r
1_v_t
(t
‑
1，e
jω
)，ρ
r
为设定系数。
51.具体地，r
1_m_v
(t，e
jω
)按照如下步骤确定：
52.计算当前帧周期编号为m的辅麦克风的第二原始语音信号帧的频谱与第一原始语音信号帧的频谱的共轭的乘积的即时值r
1_m_t
(t，e
jω
)；
53.计算所述乘积的均值r
1_m
(t，e
jω
)，其中，r
1_m
(t，e
jω
)＝ρ
h
r
1_m_t
(t
‑
1，e
jω
) (1
‑
ρ
h
)f(p)r
1_m_t
(t，e
jω
)，ρ
h
为设定系数，f(p)为目标语音存在的概率；
54.计算所述即时值与所述均值的差的平方r
1_m_v_t
(t，e
jω
)，其中，r
1_m_v_t
(t，e
jω
)＝(r
1_m_t
(t，e
jω
)
‑
r
1_m
(t，e
jω
))2；
55.其中，r
1_m_v
(t，e
jω
)＝ρ
r
r
1_m_v
(t
‑
1，e
jω
) (1
‑
ρ
h
)r
1_m_v_t
(t
‑
1，e
jω
)，ρ
r
为设定系数。
56.主麦克风的第一传输函数记为a1(e
jω
)，编号为m的辅麦克风的第二传输函数记为a
m
(e
jω
)，编号为m的辅麦克风的第二传输函数与第一传输函数的比值h
m
(e
jω
)则为：h
m
(e
jω
)＝a
m
(e
jω
)/a1(e
jω
)。
57.具体地，在步骤102中，定义：h
t
(e
jω
)＝[1 h1(e
jω
) ... h
m
(e
jω
)]。对h
t
(e
jω
)进行归一化，得到w0(e
jω
)＝h(e
jω
)/||h(e
jω
)||2。参考图2，各麦克风所接收的语音信号帧的频谱依次为：z1(t，e
jω
)、z2(t，e
jω
)、
……
。
[0058]
增强语音信号帧的频谱y
fbf
(t，e
jω
)，可以根据如下公式确定：
[0059]
步骤102的作用是归一化处理，保证经过这个滤波器后，人声(即增强语音信号帧)的能量不变。
[0060]
具体地，在步骤103中，构造各辅麦克风的噪声信号帧的频谱：
[0061]
步骤103的作用是构造噪声，z1构成信号子空间，将z
m
映射到信号子空间的能量去掉，就剩下噪声信号。
[0062]
具体地，在步骤104中，以最小化e{||y
fbf
(t，e
jω
)
‑
g(t，e
jω
) u(e
jω
)||2}为目标构造自适应滤波器系数g(t，e
jω
)。使用迭代的方法获得g(t，e
jω
)：其中，p
est
(t，e
jω
)＝ρp
est
(t
‑
1，e
jω
)
(1
‑
ρ)∑|z
m
(t，e
jω
)|2。
[0063]
构造得到的抵消语音信号帧的频谱记为y
nc
(t，e
jω
)。
[0064]
步骤104的作用是按照最小均方误差准则，进行迭代，构造出需要去掉的噪声能量。
[0065]
步骤102至步骤104可以按照标准的广义旁瓣相消处理流程实施。
[0066]
具体地，在步骤105中，将增强语音信号帧的频谱y
fbf
(t，e
jω
)与抵消语音信号帧的频谱记为y
nc
(t，e
jω
)相减即为目标语音信号帧的频谱y(t，e
jω
)。将该频谱进行反傅里叶变换可得到时域的目标语音信号帧。
[0067]
需要说明的是以上过程均是在频域进行的操作。
[0068]
以上处理过程并未考虑回声信号的影响。当麦克风阵列所在的电子设备中的扬声器播放声音时(本文称为回声信号)，应当停止步骤101中的迭代过程，避免将目标语音信号的方向迭代至扬声器。
[0069]
即：在麦克风阵列所在电子设备上的扬声器播放回声信号的情况下，停止对第二传输函数与第一传输函数的比值进行迭代；在麦克风阵列所在耳机上的扬声器未播放回声信号的情况下，启动对第二传输函数与第一传输函数的比值进行迭代。
[0070]
当存在回声信号时，可以按照如下方式消除回声信号对最终输出的目标语音信号的影响：
[0071]
在麦克风阵列所在耳机上的扬声器播放回声信号的情况下，从增强语音信号帧的频谱中滤除抵消语音信号帧的频谱，得到目标语音信号帧的频谱，包括：
[0072]
根据回声信号和预设第三传输函数确定到达各麦克风的第一干扰回声信号；
[0073]
根据各第一干扰回声信号帧的频谱、各第二传输函数与第一传输函数的比值，构造对应各辅麦克风的第二干扰回声信号帧的频谱；
[0074]
将对应于各辅麦克风的第二干扰信号帧的频谱进行所述自适应滤波之后进行累加得到最终干扰信号帧的频谱；
[0075]
从增强语音信号帧的频谱中滤除抵消语音信号帧的频谱以及滤除最终干扰信号帧的频谱，得到目标语音信号帧的频谱。
[0076]
结合图2，扬声器所播放的回声信号是已知的，第三传输函数是能够通过扫频的方式预先测量得到。从而第一干扰回声信号是能够经过计算推断出来。
[0077]
将图2中的原始语音信号z替换为第一干扰回声信号，并经图2中下半部分的h 处理(即采用步骤103构造噪声信号帧的频谱的相同的处理过程)得到第二干扰信号帧的频谱。进而经过与步骤104构造抵消语音信号帧的相同的处理过程得到最终干扰信号帧的频谱。
[0078]
以上方法可以估算出回声信号对最终输出信号的影响，从而准确消除回声信号对最终输出信号的影响。
[0079]
基于相同的发明构思，参考图3，本技术的实施例还提供一种麦克风阵列降噪装置，麦克风阵列包含一个主麦克风和至少一个辅麦克风，降噪装置包括：
[0080]
传输函数比更新模块1，用于根据对第一原始语音信号帧的能量值进行统计所得方差、对各第二原始语音信号帧的频谱与对应时刻的第一原始语音信号帧的频谱的共轭值相乘所得能量值进行统计所得方差分别对对应的第二传输函数与第一传输函数的比值进
行迭代，其中，主麦克风所拾取的语音信号帧为第一原始语音信号帧，辅麦克风所拾取的语音信号帧为第二原始语音信号帧，目标声源至主麦克风的传输函数为第一传输函数，目标声源至辅麦克风的传输函数为第二传输函数；
[0081]
增强语音信号构造模块2，用于根据麦克风阵列中各麦克风获取的原始语音信号帧的频谱和各第二传输函数与第一传输函数的比构造增强语音信号帧的频谱；
[0082]
噪声信号构造模块3，用于根据第一原始语音信号帧的频谱、各第二原始语音信号帧的频谱、各第二传输函数与第一传输函数的比值，构造对应各辅麦克风的噪声信号帧的频谱；
[0083]
抵消声音信号构造模块4，用于将对应各辅麦克风的噪声信号帧的频谱进行自适应滤波之后进行累加得到抵消语音信号帧的频谱；
[0084]
输出模块5，用于从增强语音信号帧的频谱中滤除抵消语音信号帧的频谱，得到目标语音信号帧的频谱；
[0085]
其中，各辅麦克风对应的自适应滤波的滤波器系数是根据目标语音信号帧的频谱更新的。
[0086]
可选地，第二传输函数与第一传输函数的比值按照如下公式进行迭代：
[0087]
h
m
(t，e
jω
)＝h
m
(t
‑
1，e
jω
) μ
h
r
1_m_v
(t，e
jω
)/r
1_v
(t，e
jω
)，其中，h
m
(t，e
jω
)为在当前帧周期编号为m的辅麦克风的第二传输函数与第一传输函数的比值，h
m
(t
‑
1，e
jω
)为在当前帧周期的前一帧周期编号为m的辅麦克风的第二传输函数与第一传输函数的比值，μ
h
为学习步长，r
1_m_v
(t，e
jω
)为截止当前帧周期编号为m的辅麦克风的第二原始信号帧的频谱与第一原始信号帧的频谱的共轭相乘所得能量值进行统计所得的方差，r
1_v
(t，e
jω
)为截止当前帧周期对第一原始信号帧的能量值进行统计所得的方差。
[0088]
可选地，r
1_v
(t，e
jω
)按照如下方式确定：
[0089]
计算第一原始语音信号帧的能量即时值r
1_v
(t，e
jω
)；
[0090]
计算截止当前帧周期对第一原始语音信号帧的能量值进行统计的均值r1(t，e
jω
)，其中，r1(t，e
jω
)＝ρ
h
r1(t
‑
1，e
jω
) (1
‑
ρ
h
)f(p)r
1_t
(t，e
jω
)，其中，ρ
h
为设定系数，r1(t
‑
1，e
jω
)为截止当前帧周期的前一帧周期对第一原始语音信号帧的能量值进行统计所得的均值，f(p)为目标语音存在的概率；
[0091]
计算第一原始语音信号帧的所述能量即时值与所述均值的差的平方r
1_v_t
(t，e
jω
)，r
1_v_t
(t，e
jω
)＝(r
1_t
(t，e
jω
)
‑
r1(t，e
jω
))2；
[0092]
其中，r
1_v
(t，e
jω
)＝ρ
r
r
1_v
(t
‑
1，e
jω
) (1
‑
ρ
h
)r
1_v_t
(t
‑
1，e
jω
)，ρ
r
为设定系数。
[0093]
可选地，r
1_m_v
(t，e
jω
)按照如下步骤确定：
[0094]
计算当前帧周期编号为m的辅麦克风的第二原始语音信号帧的频谱与第一原始语音信号帧的频谱的共轭的乘积的即时值r
1_m_t
(t，e
jω
)；
[0095]
计算所述乘积的均值r
1_m
(t，e
jω
)，其中，r
1_m
(t，e
jω
)＝ρ
h
r
1_m_t
(t
‑
1，e
jω
) (1
‑
ρ
h
)f(p)r
1_m_t
(t，e
jω
)，ρ
h
为设定系数，f(p)为目标语音存在的概率；
[0096]
计算所述即时值与所述均值的差的平方r
1_m_v_t
(t，e
jω
)，其中，r
1_m_v_t
(t，e
jω
)＝(r
1_m_t
(t，e
jω
)
‑
r
1_m
(t，e
jω
))2；
[0097]
其中，r
1_m_v
(t，e
jω
)＝ρ
r
r
1_m_v
(t
‑
1，e
jω
) (1
‑
ρ
h
)r
1_m_v_t
(t
‑
1，e
jω
)，ρ
r
为设定系数。
[0098]
可选地，还包括回声处理模块6，用于：
[0099]
在麦克风阵列所在电子设备上的扬声器播放回声信号的情况下，停止对第二传输函数与第一传输函数的比值进行迭代；在麦克风阵列所在耳机上的扬声器未播放回声信号的情况下，启动对第二传输函数与第一传输函数的比值进行迭代。
[0100]
可选地，输出模块5具体用于在麦克风阵列所在耳机上的扬声器播放回声信号的情况下执行：
[0101]
根据回声信号和预设第三传输函数确定到达各麦克风的第一干扰回声信号；
[0102]
根据各第一干扰回声信号帧的频谱、各第二传输函数与第一传输函数的比值，构造对应各辅麦克风的第二干扰回声信号帧的频谱；
[0103]
将对应于各辅麦克风的第二干扰信号帧的频谱进行所述自适应滤波之后进行累加得到最终干扰信号帧的频谱；
[0104]
从增强语音信号帧的频谱中滤除抵消语音信号帧的频谱以及滤除最终干扰信号帧的频谱，得到目标语音信号帧的频谱。
[0105]
参考图4，本技术的实施例还提供一种麦克风阵列降噪装置，包括：存储器10和处理器20，所述存储器10存储指令，所述处理器20运行所述指令以执行前述的麦克风阵列降噪方法。
[0106]
本技术的实施例还提供一种电子设备，包括前述的麦克风阵列降噪装置。
[0107]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0108]
本技术的保护范围不限于上述的实施例，显然，本领域的技术人员可以对本技术进行各种改动和变形而不脱离本技术的范围和精神。倘若这些改动和变形属于本技术权利要求及其等同技术的范围，则本技术的意图也包含这些改动和变形在内。