用于补偿麦克风的频率响应的方法及系统与流程

1.本发明涉及语音增强和语音分离领域，尤其涉及用于车辆中的补偿麦克风的频率响应的方法及系统。


背景技术：

2.随着车辆的不断智能化，车载语音增强和多语音分离领域越来越得到重视。通常，多个车载麦克风在出厂前即已经被校准成完全一致，以保证与语音有关的各种算法(例如，盲源分离算法)的执行结果的准确性。然而，在使用中，由于使用时间、温度、湿度等各种原因，各个麦克风的损耗都会不同，由此麦克风的特性变得不同。这会带来很多弊端。例如，在车辆里存在多于一名乘客同时讲话的情况下，车辆的主机系统往往不能很好的进行语音分离。这是因为麦克风性能的不一致的退化导致了语音分离算法所需的预定条件不再被满足。由此会给用户带来不好的用户体验。此外，如果需要对损耗的麦克风进行更换或者重新校正，则需要用户将汽车返厂修理，这给用户带来了不便。
3.因此，需要开发一种能够对车载麦克风的频率响应进行补偿的方法和系统，以提高语音处理算法(例如，盲源分离)的准确性，从而给用户带来更好地用户体验。


技术实现要素：

4.本发明的一个或多个实施例提供了一种用于补偿麦克风的频率响应的方法。该方法包括通过麦克风阵列中的多个麦克风分别接收由校准扬声器发出的补偿信号并输出多个输出信号。基于多个输出信号，确定多个麦克风的归一化频率响应。根据该归一化频率响应，为麦克风阵列中的每个麦克风计算补偿增益；以及存储计算出的每个麦克风的补偿增益。
5.本发明的一个或多个实施例提供了一种用于补偿麦克风的频率响应的系统。该系统包括校准扬声器、麦克风阵列、处理器以及存储器。其中校准扬声器被配置成向麦克风阵列发出补偿信号。麦克风阵列的多个麦克风接收该校准扬声器发出的补偿信号并输出多个麦克风输出信号。处理器被配置为：基于所述多个输出信号，确定多个麦克风的归一化频率响应；以及根据归一化频率响应，为多个麦克风中的每个麦克风计算补偿增益。存储器被配置为存储计算出的用于每个麦克风的补偿增益。
6.本发明的一个或多个实施例提供经配置以执行上述方法步骤的计算机可读介质。
7.有利地，本发明所公开的频率响应补偿的方法和系统可以方便灵活地提高盲源分离的准确性，从而给用户带来更好地用户体验。
附图说明
8.所述系统参照下列描述并结合附图可被更好地理解。图中的部件不是按比例的，而是将重点放在说明本发明的原理。此外，在图中，相似或相同参考数字代表相似或相同元件。
9.图1是用于示例性说明车辆环境中声源与麦克风的示意图。
10.图2是根据本发明的一个或多个实施例的对麦克风阵列中的多个麦克风的频率响应进行补偿的方法流程图。
11.图3是根据本发明的一个或多个实施例的对麦克风阵列中的麦克风进行重新校准以使得麦克风阵列中的麦克风的输出保持一致的示意图。
12.图4是根据本发明一个或多个实施例的以圆形阵列或球形阵列形式布置的麦克风阵列的示意图。
13.图5是根据本发明一个或多个实施例的以线阵形式布置的麦克风阵列的示意图。
14.图6是根据本发明一个或多个实施例的以线阵形式布置的另一个麦克风阵列的示意图。
15.图7是根据本发明一个或多个实施例的用于对麦克风阵列中的多个麦克风的频率响应进行补偿的系统框图。
具体实施方式
16.应当理解，给出实施例的以下描述仅仅是为了说明的目的，而不是限制性的。在附图中示出的功能块、模块或单元中的示例的划分不应被解释为表示这些功能块、模块或单元必须实现为物理上分离的单元。示出或描述的功能块、模块或单元可以实现为单独的单元、电路、芯片、功能、模块或电路元件。一个或多个功能块或单元也可以在公共电路、芯片、电路元件或单元中实现。
17.当多个人同时在车辆中讲话时，在语音识别过程中则需要一些语音增强处理，例如bss算法来隔离干净的语音。图1是用于示例性说明车辆环境中声源与麦克风的示意图。为了便于理解，图中仅以两个麦克风为例并且仅示出了一个声源，用于阐述例如盲源分离的简单原理。如图1所示，在例如duet的方法中，在一对麦克风处接收到的信号表示为n个源信号sj(t),j＝1,2,
…
,n，两个麦克风的输出信号表示为x1(t)和x2(t)，则可以分别表示为：
[0018][0019][0020]
其中，n代表源的数量，δj代表麦克风之间的到达延迟(即声音从源到达两个麦克风的时间差)，αj是相对衰减因子，其与源和麦克风之间路径的衰减比相对应。
[0021]
上述表达式假设了麦克风具有相同的频率响应。换句话说，当一个人朝着麦克风讲话时(j＝1)，如果人与麦克风之间的距离相同(α＝1,δ＝0)，那么麦克风的输入就相同(s(t))，因此麦克风的输出应相同，即x1(t)＝x2(t)。然而在使用中，麦克风的属性会随着时间、温度和湿度的变化而变化，并且变化可能会不一致。即使是具有相同的初始规格的麦克风，在使用一段时间后，也可能出现属性不一致的情况。在这种情况下，尽管输入均为s(t)，输出信号x1(t)和x2(t)也可能不相同。
[0022]
图2示出了根据一个或多个实施例的对麦克风阵列中的多个麦克风的频率响应进
行补偿以实现对麦克风的重新校准的方法流程图。可以由用户或操作员根据车辆内部的语音识别情况来启动对克风阵列中的多个麦克风进行重新校准的过程。例如，用户可以通过触发车辆的麦克风校准启动开关或者触摸屏来向车辆主机系统发送麦克风重新校准控制信号从而启动如图2所示的补偿方法。例如，在s210处，在接收到重新校准控制信号之后，车辆中的校准扬声器可以发出补偿信号(即，基准信号)。校准扬声器可以是移动设备的扬声器、车辆音频系统内的扬声器或者任何其他类型的全向扬声器。在s210处，麦克风阵列中的多个麦克风接收校准扬声器发出的补偿信号并分别输出多个麦克风输出信号。在s220处，例如可以通过车辆主机系统/处理器接收多个麦克风输出信号，并且基于多个输出信号，确定多个麦克风的归一化频率响应。在s230处，根据归一化频率响应，为多个麦克风中的每个麦克风计算补偿增益。在s240处，可以将为每个麦克风计算的补偿增益存储起来以在调用语音处理算法(例如，bbs等算法)时使用。
[0023]
图3示例性示出了对麦克风阵列中的麦克风进行重新校准以使得麦克风阵列中的麦克风的输出保持一致的示意图。在图3中，为了便于说明，仅以麦克风阵列包括两个麦克风为例。例如，麦克风1(mic1)和麦克风2(mic2)可以是固定在车辆中的麦克风，它们可以与车辆主机系统(例如，处理器或控制器)耦接。扬声器设置在麦克风阵列的中心对称轴上，如图所示，距离l等于距离r，由此扬声器与麦克风1和麦克风2是等距离的。
[0024]
在接收到用户向系统发送的重新校准控制信号后，系统被置于重新校准模式。该控制信号控制扬声器发出补偿信号，麦克风1和麦克风2启动并记录补偿信号，并且向车辆主机系统分别输出麦克风输出信号x1(t)和x2(t)。补偿信号可以是具有宽带频率和归一化幅度的扫频信号(chrip signal)。例如，扫频信号可以线性地从0.1khz的频率扫描到4khz的频率，其持续时间始终为5s。例如，麦克风的记录持续时间约为78s。然而，本领域的技术人员可以理解，上述扫频信号的扫频范围、持续时间以及麦克风的记录时间等参数在此仅作为示例说明，并不意在具体限制。上述参数可以根据具体要求而进行变化。
[0025]
车辆主机系统接收到麦克风输出信号x1(t)和x2(t)，并将它们转换为频域信号x1(jω)和x2(jω)。然后，可以基于频域信号来计算麦克风1和麦克风2的归一化频率响应(ufr)。接下来，可以基于归一化频率响应计算两个麦克风的增益，例如，麦克风1的补偿增益gain1，麦克风2的补偿增益gain2。最后，可以将计算出的两个麦克风的补偿增益gain1和gain2保存于系统中，以便于在例如bss的算法中使用。例如，一旦调用bss算法，则先从存储器中调用校准更新后的麦克风增益，对麦克风的输出信号的频率响应进行补偿，然后在使用补偿后的输出信号作为bss算法的输入。例如，从麦克风1接收到的音频信号的频谱将乘以gain1，从麦克风2接收到的音频信号的频谱将乘以gain2。由此，通过存储的相对应的补偿增益，两个麦克风的输出信号的频率响应获得了补偿。进而提高了随后语音处理算法(例如bss算法)的准确性。
[0026]
出于简要说明原理的目的，图3仅仅给出了麦克风阵列包括两个麦克风的示例，然而麦克风阵列根据实际需要可以包括更多数量的麦克风并且可以具有不同的阵列布置方式。例如，麦克风阵列可以是圆形阵、球形阵、线阵，如图4至图6所示。以下将参考图3至图6示例的不同麦克风阵列来说明如何对不同类型的麦克风阵列中的多个麦克风的频率响应进行补偿。
[0027]
图4示出了麦克风阵列是圆阵或球形阵的示意图。图3和图4中的扬声器均设置在
麦克风阵列的中心对称轴线上并且扬声器距离每一个麦克风的距离均相等。
[0028]
对于图3和图4的麦克风阵列，例如，可以选择麦克风阵列中的任意一个麦克风的输出信号的频率响应作为ufr，将所选择的那个麦克风的补偿增益设置为1，将其余的麦克风中的每一个麦克风的补偿增益计算为ufr与每一个麦克风输出信号的频率响应幅度之比。例如，被选定的麦克风的增益可以被设为gain＝1，其余麦克风的增益可以计算为：
[0029]
可替换地，还可以分别计算麦克风阵列中的所有或部分麦克风的输出信号的频率响应幅度，并且计算频率响应幅度的加权和，由此计算出所有或部分麦克风的归一化频率响应。例如，
[0030]
ufr＝a*|x1(jω)| b*|x2(jω)|
…
q*|x
p
(jω)|,
[0031]
其中，p≤n,a b
…
q＝1，n代表麦克风阵列中的麦克风总数量，p代表麦克风阵列中的部分麦克风的数量，a,b
…
p分别是对应麦克风的权重系数。例如，权重系数可以相同，均为1/p，也可依据麦克风的重要性进行设置。例如，如果某一麦克风的输出更加重要，则其加权系数较大。
[0032]
接着，可以求出ufr与每一个麦克风输出信号的频率响应幅度的比值，从而计算出麦克风阵列中各个麦克风的补偿增益。例如，
[0033][0034]
可替换地，还可以分别计算麦克风阵列中的所有或者部分麦克风的输出信号的频率响应能量值，并且通过计算频率响应能量值的加权以获得麦克风阵列中的所有或者部分麦克风ufr。例如，
[0035]
ufr＝(a*|x1(jω)|2 b*|x2(jω)|2
…
q*|x
p
(jω)|2)
1/2
,
[0036]
其中，p≤n,a b
…
q＝1，n代表麦克风阵列中的麦克风总数量，p代表麦克风阵列中的部分麦克风的数量，a,b
…
p分别是对应麦克风的权重系数。
[0037]
接着，可以通过计算ufr与每一个麦克风的输出信号的频率响应能量之比，来计算出各个麦克风的补偿增益。例如，
[0038][0039]
图5和图6示出了以线阵形式布置的麦克风阵列的示意图。在图5和图6所示例的线阵中，校准扬声器被设置在麦克风阵列的中心对称轴线上，在这种配置中，不存在扬声器与每一个麦克风的距离都相等的情况。
[0040]
图5示出的线阵布置的麦克风阵列包括偶数个麦克风。在图5所示的偶数个麦克风的布置中，例如，麦克风数量为n，扬声器放置于第n/2个麦克风和第n/2 1个麦克风的中心对称轴线上。为了计算各个麦克风的补偿增益，可以将麦克风先进行分组。例如，可以将与扬声器距离相同的两个麦克风分成一组，则共得到n/2个麦克风组。例如，第一组麦克风包括编号为1和n的两个麦克风，第二组麦克风包括编号为2和n-1的麦克风，
……
，第n/2组麦克风为编号为n/2和n/2 1的麦克风。
[0041]
对于每一组麦克风，可以按照图3所示的双麦克风频率响应补偿方案来计算增益。
例如，针对第一组麦克风，选择该组麦克风中的编号为1的麦克风的输出信号的频率响应作为ufr，将所选择的编号为1的麦克风的补偿增益设置为1，并且通过计算ufr与该组麦克风中的另一个麦克风输出信号的频率响应幅度之比，获得另一个编号为n的麦克风的补偿增益。由此，例如，该组内编号为1的麦克风的增益则可以被设为gain1＝1，该组内另一个编号为n麦克风的增益则可以计算为：
[0042]
以此类推，直到计算出第n/2组麦克风中编号为n/2和n/2 1的麦克风的增益，从而最终获得所有麦克风的补偿增益。
[0043]
可替换地，可以针对每一组麦克风计算组内两个麦克风的输出信号的频率响应幅度并将频率响应幅度的加权和作为每一组的ufr。通过计算每一组的ufr与组内每一个麦克风输出信号的频率响应幅度之比，进而获得每一组麦克风中的每一个麦克风的补偿增益。
[0044]
例如，针对第一组麦克风，该组的ufr可以通过以下公式计算：
[0045]
ufr＝a*|x1(jω)| q*|xn(jω)|，
[0046]
接着，第一组麦克风中两个麦克风的增益分别计算为：
[0047][0048]
以此类推，直到计算出第n/2组麦克风中编号为n/2和n/2 1的麦克风的增益，从而计算出全部麦克风的增益。
[0049]
可替换地，可以针对每一组麦克风，计算组内两个麦克风的输出信号的频率响应能量，并将频率响应能量的加权和作为每一组的ufr。接着，通过计算每一组的ufr与每一组麦克风的每一个麦克风的输出信号的频率响应能量之比，来计算出组内每一个麦克风的补偿增益。
[0050]
例如，针对第一组麦克风，该组的ufr可以通过以下公式计算：
[0051]
ufr＝(a*|x1(jω)|2 q*|x
p
(jω)|2)
1/2
，
[0052]
则第一组麦克风中两个麦克风的增益分别计算为：
[0053][0054]
以此类推，直到计算出第n/2组麦克风中编号为n/2和n/2 1的麦克风的增益，从而计算出全部麦克风的增益。
[0055]
图6示出的线阵布置的麦克风阵列包括奇数个麦克风。例如，麦克风数量为n(n为奇数)，则扬声器放置于第(n 1)/2个麦克风阵列的对称轴线上。除了第(n 1)/2个麦克风，将距离相同的两个麦克风分成一组，共得到(n-1)/2个麦克风组。例如，第一组麦克风包括编号为1和n的两个麦克风，第二组麦克风包括编号为2和n-1的麦克风，
……
，(n-1)/2组麦克风包括编号为(n-1)/2和(n 1)/2 1的麦克风。在这种情况中，将第(n 1)/2个麦克风的增益单独设置为gain((n 1)/2)＝1。对于其他成组的麦克风，可以采用参考图5所述的相同方法来计算每个麦克风的增益，从而最终得到所有麦克风的增益gain1，
…
，gain(n-1)/2，gain((n 1)/2 1)，
…
，gain n。
[0056]
图7示出了根据本发明的多个实施例的用于补偿麦克风的频率响应的系统框图。所图7所示，该系统包括校准扬声器701，麦克风阵列702，处理器703和存储器704。当系统处
于麦克风重新校准模式时，校准扬声器701发出补偿信号。麦克风阵列702中的多个麦克风接收校准扬声器701发出的补偿信号并分别向处理器703输出多个麦克风输出信号。处理器703基于麦克风阵列702输出的多个输出信号，确定多个麦克风的归一化频率响应，根据该归一化频率响应，为麦克风阵列中的每个麦克风计算补偿增益，并且将计算出的补偿增益存储于存储器704。
[0057]
处理器703还被进一步配置成，判断校准扬声器是否被定位成与麦克风阵列中的每个麦克风的距离均相等。当处理器判断出校准扬声器被定位成与麦克风阵列中的每个麦克风的距离均相等时，可以选择麦克风阵列中的一个麦克风的输出信号的频率响应作为归一化频率响应ufr，将所选择的那个麦克风的补偿增益设置为1，将麦克风阵列的其余麦克风中的每一个麦克风的补偿增益计算为归一化频率响应ufr与每一个麦克风的输出信号的频率响应幅度之比。
[0058]
进一步，处理器703还被配置成，当判断出校准扬声器被定位成与麦克风阵列中的每个麦克风的距离均相等时，计算全部或部分多个输出信号的频率响应幅度并将频率响应幅度的加权和作为归一化频率响应ufr，将麦克风阵列中的每一个麦克风的补偿增益计算为归一化频率响应ufr与每一个麦克风的输出信号的频率响应幅度之比。
[0059]
进一步，处理器703还被进一步配置成，当判断出校准扬声器被定位成与所述麦克风阵列中的每个麦克风的距离均相等时，计算全部或部分多个输出信号的频率响应能量并将频率响应能量的加权和作为所述归一化频率响应ufr，以及将多个麦克风中的每一个麦克风中的补偿增益设置为归一化频率响应ufr与每一个麦克风的输出信号的频率响应能量之比。
[0060]
进一步，处理器703还被进一步配置成，当处理器判断出校准扬声器没有被定位成与麦克风阵列中的每个麦克风的距离均相等时，进一步判断校准扬声器是否位于麦克风阵列的中心对称轴上。如果校准扬声器位于麦克风阵列的中心对称轴上且麦克风阵列中的麦克风的数量是偶数时，则通过将与校准扬声器的距离相同的两个麦克风分成一组来对多个麦克风进行分组。如果校准扬声器位于麦克风阵列的中心对称轴上且麦克风阵列中的麦克风的数量是奇数时，则通过将与校准扬声器的距离相同的两个麦克风分成一组来对除了位于中心对称轴上的麦克风之外的多个麦克风进行分组。
[0061]
进一步，处理器703还被进一步配置成，当麦克风阵列中的麦克风的数量是偶数时，选择每一组麦克风中的一个麦克风的输出信号的频率响应作为每一组的归一化频率响应，将所选择的一个麦克风的补偿增益设置为1，将每一组麦克风中的另一个麦克风的补偿增益计算为每一组的归一化频率响应与每一组麦克风中的另一个麦克风的输出信号的频率响应幅度之比。
[0062]
进一步，处理器703还被进一步配置成，当麦克风阵列中的麦克风的数量是偶数时，针对每一组麦克风，计算每一组的麦克风的输出信号的频率响应幅度并将输出信号的频率响应幅度的加权和作为每一组的归一化频率响应，将每一组麦克风中的每一个麦克风中的补偿增益计算为每一组的归一化频率响应与每一个麦克风的输出信号的频率响应幅度之比。
[0063]
进一步，处理器703还被进一步配置成，当处理器判断麦克风阵列中的麦克风的数量是偶数时，针对每一组麦克风，计算每一组麦克风的多个输出信号的频率响应能量并将
频率响应能量的加权和作为每一组的归一化频率响应，以及将每一组麦克风中的每一个麦克风的补偿增益计算为每一组的归一化频率响应与每一个麦克风输出信号的频率响应能量之比。
[0064]
进一步，处理器703还被进一步配置成，当麦克风阵列中的麦克风的数量是奇数时，选择每一组麦克风中的一个麦克风的输出信号的频率响应作为每一组的归一化频率响应，将所选择的一个麦克风的补偿增益设置为1，将每一组麦克风中的另一个麦克风的补偿增益计算为每一组的归一化频率响应与每一组麦克风中的另一个麦克风的输出信号的频率响应幅度之比，并且将位于所述中心对称轴上的麦克风的补偿增益设置为1。
[0065]
进一步，处理器703还被进一步配置成，当麦克风阵列中的麦克风的数量是奇数时，针对每一组麦克风，计算每一组的麦克风的输出信号的频率响应幅度并将输出信号的频率响应幅度的加权和作为每一组的归一化频率响应，将每一组麦克风中的每一个麦克风中的补偿增益计算为每一组的归一化频率响应与每一个麦克风的输出信号的频率响应幅度之比，并且将位于所述中心对称轴上的麦克风的补偿增益设置为1。
[0066]
进一步，处理器703还被进一步配置成，当麦克风阵列中的麦克风的数量是奇数时，针对每一组麦克风，计算每一组的麦克风的输出信号的频率响应能量并将输出信号的频率响应能量的加权和作为每一组的归一化频率响应，将每一组麦克风中的每一个麦克风中的补偿增益计算为每一组的归一化频率响应与每一个麦克风的输出信号的频率响应能量之比，并且将位于所述中心对称轴上的麦克风的补偿增益设置为1。
[0067]
本发明的处理器作为整体可为微处理器、专用集成电路(asic)、芯片上系统(soc)、移动计算装置(例如，平板计算机或手机)、媒体播放器等。
[0068]
本文描述的处理器、存储器或系统中的任何一个或多个包括计算机可执行指令，所述计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序中编译或解释。一般来说，处理器(诸如微处理器)例如从存储器、计算机可读介质等接收指令并执行指令。处理器包括能够执行软件程序的指令的非暂态计算机可读存储介质。计算机可读介质可以是但不限于电子存储装置、磁性存储装置、光学存储装置、电磁存储装置、半导体存储装置或其任何合适的组合。
[0069]
已经出于说明和描述的目的而呈现了对实施方案的描述。可以鉴于以上描述执行或可以通过实践方法获得实施方案的合适的修改和变化。例如，除非另外指出，否则所描述的一种或多种方法可以由合适的装置和/或系统的组合来执行。所述方法可以通过以下方式来执行：利用一个或多个逻辑装置(例如，处理器)结合一个或多个另外的硬件元件(诸如存储装置、存储器、电路、硬件网络接口等)来执行存储的指令。所述方法和相关联动作还可以按除了本技术中所述的顺序之外的各种顺序并行和/或同时执行。所述系统本质上是示例性的，并且可包括另外的元件和/或省略元件。本公开的主题包括所公开的各种方法和系统配置以及其他特征、功能和/或性质的全部新颖的且非显而易见的组合。
[0070]
如本技术中所使用的，以单数形式列举并且前面带有词语“一/一个”的元件或步骤应当被理解为并不排除多个所述元件或步骤，除非指出这种排除情况。此外，对本公开的“一个实施方案”或“一个示例”的参考并非意图解释为排除也并入所列举特征的另外实施方案的存在。上文已参考特定实施方案描述了本发明。然而，本领域的一般技术人员将理解，可在不脱离如所附权利要求书中陈述的本发明的较广精神和范围的情况下对其作出各
种修改和改变。