音频信号处理方法、音频信号处理装置及存储介质与流程

1.本公开涉及信号处理领域，尤其涉及一种音频信号处理方法、音频信号处理装置及存储介质。


背景技术：

2.在物联网、ai时代，智能语音作为人工智能核心技术之一，可以有效地改善人机交互的模式，大大提高智能产品使用的便捷性。
3.目前终端拾音多采用麦克风阵列，应用麦克风波束形成技术提高音频信号处理质量，以提高真实环境下的音频识别率。但多麦克风的波束形成技术对麦克风位置误差敏感，性能影响较大，另外麦克风个数增多了也会导致产品成本升高。因此，越来越多的智能产品只配备两麦克风。
4.然而在实际生活环境中，由于墙、家具等物体的反射，麦克风采集到的声音存在混响现象，而混响现象会导致多个声源信号的分离效果恶化。


技术实现要素：

5.为克服相关技术中存在的问题，本公开提供一种音频信号处理方法、音频信号处理装置及存储介质。
6.根据本公开实施例的第一方面，提供一种音频信号处理方法，所述音频信号处理方法包括：获取麦克风所采集的观测数据，其中，所述观测数据为多声源音频信号，所述多声源音频信号为至少两个声源发声而被所述麦克风所采集的音频信号。响应于存在直达声和早期反射声的协方差矩阵估计更新值，基于所述直达声和早期反射声的协方差矩阵估计更新值，对所述观测数据进行去混响处理，得到直达声和早期反射声的估计值。基于所述直达声和早期反射声的估计值，对所述多声源音频信号进行盲源分离处理，得到各声源的时域声源信号。
7.在一实施例中，基于所述直达声和早期反射声的估计值，对所述多声源音频信号进行盲源分离处理，包括：根据第一分离矩阵，对所述直达声和早期反射声的估计值进行盲源分离，得到所述至少两个声源中每个声源对应声源信号的先验频域估计。根据所述先验频域估计，得到加权系数以及对比函数，并基于所述加权系数和所述对比函数，对第一加权协方差矩阵进行更新，得到第二加权协方差矩阵。基于所述第二加权协方差矩阵，对所述第一分离矩阵进行更新，得到第二分离矩阵。基于所述第二分离矩阵，对所述直达声和早期反射声的估计值进行盲源分离，得到所述至少两个声源中每个声源对应声源信号的后验频域估计。根据所述后验频域估计，得到直达声和早期反射声的协方差矩阵估计更新值，更新直达声和早期声的协方差矩阵估计，并根据所述后验频域估计，得到各声源的时域声源信号。
8.在另一实施例中，所述根据所述后验频域估计，得到直达声和早期反射声的协方差矩阵估计更新值，包括：根据所述后验频域估计和马尔可夫决策mdp算法，得到所述至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值。根据每
个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到直达声和早期反射声的协方差矩阵估计更新值。
9.在又一实施例中，所述根据所述后验频域估计和mdp算法，得到所述至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，包括：基于mdp算法，通过所述后验频域估计的对角矩阵以及所述第二分离矩阵的逆矩阵，得到所述至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的估计值。
10.在又一实施例中，根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到直达声和早期反射声的协方差矩阵估计更新值，包括：根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到所述至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的增广矩阵。基于所述增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值。
11.在又一实施例中，所述基于所述增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值，包括：确定直达声和早期反射声的协方差矩阵在τ
‑
1帧直达声和早期反射声的协方差矩阵估计值，其中，τ为自然数，τ且大于1。以预设的平滑系数，对所述τ
‑
1帧直达声和早期反射声的协方差矩阵估计值进行平滑处理，得到第τ帧对应的直达声和早期反射声的协方差矩阵估计值。
12.根据本公开实施例的第二方面，提供一种音频信号处理装置，所述音频信号处理装置包括：获取单元，用于获取麦克风所采集的观测数据，其中，所述观测数据为多声源音频信号，所述多声源音频信号为至少两个声源发声而被所述麦克风所采集的音频信号。去混响单元，用于响应于存在直达声和早期反射声的协方差矩阵估计更新值，基于所述直达声和早期反射声的协方差矩阵估计更新值，对所述观测数据进行去混响处理，得到直达声和早期反射声的估计值。分离单元，用于基于所述直达声和早期反射声的估计值，对所述多声源音频信号进行盲源分离处理，得到各声源的时域声源信号。
13.在一实施例中，所述分离单元采用下述方式基于所述直达声和早期反射声的估计值，对所述多声源音频信号进行盲源分离处理：根据第一分离矩阵，对所述直达声和早期反射声的估计值进行盲源分离，得到所述至少两个声源中每个声源对应声源信号的先验频域估计。根据所述先验频域估计，得到加权系数以及对比函数，并基于所述加权系数和所述对比函数，对第一加权协方差矩阵进行更新，得到第二加权协方差矩阵。基于所述第二加权协方差矩阵，对所述第一分离矩阵进行更新，得到第二分离矩阵。基于所述第二分离矩阵，对所述直达声和早期反射声的估计值进行盲源分离，得到所述至少两个声源中每个声源对应声源信号的后验频域估计。根据所述后验频域估计，得到直达声和早期反射声的协方差矩阵估计更新值，更新直达声和早期声的协方差矩阵估计，并根据所述后验频域估计，得到各声源的时域声源信号。
14.在另一实施例中，所述分离单元采用下述方式根据所述后验频域估计，得到直达声和早期反射声的协方差矩阵估计更新值：根据所述后验频域估计和马尔可夫决策mdp算法，得到所述至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值。根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到直达声和早期反射声的协方差矩阵估计更新值。
15.在又一实施例中，所述分离单元采用下述方式根据所述后验频域估计和mdp算法，
得到所述至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值：基于mdp算法，通过所述后验频域估计的对角矩阵以及所述第二分离矩阵的逆矩阵，得到所述至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的估计值。
16.在又一实施例中，所述分离单元采用下述方式根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到直达声和早期反射声的协方差矩阵估计更新值：根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到所述至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的增广矩阵。基于所述增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值。
17.在又一实施例中，所述分离单元采用下述方式基于所述增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值：确定直达声和早期反射声的协方差矩阵在τ
‑
1帧直达声和早期反射声的协方差矩阵估计值，其中，τ为自然数，且τ大于1。以预设的平滑系数，对所述τ
‑
1帧直达声和早期反射声的协方差矩阵估计值进行平滑处理，得到第τ帧对应的直达声和早期反射声的协方差矩阵估计值。
18.根据本公开实施例的第三方面，提供一种音频信号处理装置，包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行上述任意一种所述的音频信号处理方法。
19.根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行上述任意一种所述的音频信号处理方法。
20.本公开的实施例提供的技术方案可以包括以下有益效果：通过本公开提供的音频信号处理方法，在去除多声源音频信号中的混响的过程中，能够基于盲源分离算法，获取用于确定直达声和早期反射声数据的估计值的直达声和早期反射声数据的协方差矩阵，进而利用得到的直达声和早期反射声数据的估计值进行盲源分离得到各音频信号时，可以削弱多声源音频信号中混响的干扰，从而提升信号分离的性能，提高音频信号的处理质量。
21.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
22.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
23.图1是根据一示例性实施例示出的一种声音采集场景的示意图。
24.图2是根据一示例性实施例示出的一种音频信号处理方法的流程图。
25.图3是根据一示例性实施例示出的一种获取观测信号估计值方法的流程图。
26.图4是根据一示例性实施例示出的一种确定直达声和早期反射声的协方差矩阵估计更新值方法的流程图。
27.图5是根据一示例性实施例示出的另一种确定直达声和早期反射声的协方差矩阵估计更新值方法的流程图。
28.图6是根据一示例性实施例示出的另一种音频信号处理方法的流程图。
29.图7是根据一示例性实施例示出的一种音频信号处理装置框图。
30.图8是根据一示例性实施例示出的另一种音频信号处理装置的框图。
31.图9是根据一示例性实施例示出的一种音频信号处理装置的框图。
具体实施方式
32.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
33.本公开所提供的音频信号处理方法适用于将麦克风采集到的多声源音频信号进行声源分离的使用场景。在进行采集声音时，同一麦克风采集到的多声源音频信号中，可以包括由多个声源发声的声音频信号。声音采集的场景可以如图1所示。图1是根据一示例性实施例示出的一种声音采集场景的示意图。在图1中，为便于描述，以麦克风阵列中为两个麦克风，终端附近有两个声源为例。当声源s1和声源s2发出音频信号时，均能够被终端a中的麦克风mic1和麦克风mic2进行采集，因此，对于终端中的各个麦克风，接收到的音频信号是将s1和s2发出的音频信号混叠在一起的多声源音频信号。因此，为确定各声源发出的音频信号，需对多声源音频信号进行盲源分离处理。其中，盲源分离(bss，blind signal/source separation)，也称为盲信号分离，是在不知道源信号及信号混合参数的情况下，根据观测到的混合信号估计源信号的分离过程。
34.但在实际生活中，由于墙、家具等障碍物的反射，导致麦克风采集到的多声源音频信号中不仅可以包括多个声源的音频信号，还可以包括各个音频信号经过干涉后混合在一起的混响声。在房间声学中，麦克风采集到的多声源音频信号可以理解为是房间冲激响应(rir，room impulse response)。房间冲激响应(rir，room impulse response)包括直达声(direct sound)、早期反射声(early reflections)和混响声(reverberations)(也叫后期反射声(late reflections))。其中，直达声(direct sound)，是指从声源发出、不经过任何的反射、以直线的形式直接传播到接受者的声音。在rir中，直达声可以理解为是音频信号中峰值最大的信号。早期反射声(early reflections)，是指从声源发出后被房间反射的声音，早期反射声在直达声之后到达接受者。在rir中，早期反射声是晚于直达声50ms到80ms左右的反射声音信号。混响声(reverberations)，是直达声和早期反射声混合后经过一些干涉后的声音，混响声是在早期反射声之后到达接收者；混响声部分基本都是低频信号。在对采集到的多声源音频信号进行处理的过程中，若直接对包含混响声的多声源音频信号进行盲源分离处理，则由于混响声的干扰，容易导致分离结果不准确。而采用去混响算法处理多声源音频信号中的混响声时，是利用原始的多声源音频信号或者基于递推最小二乘法(rls)算法估计的直达声和早期反射声数据进行确定的，若声源s1和声源s2同时发声，则容易受到混响声的影响，进而影响去混响的性能。
35.鉴于此，本公开提供一种音频信号处理方法，利用更新后的直达声和早期反射声的协方差矩阵估计更新值将麦克风所采集的观测数据中的混响声进行去除，削弱混响声的干扰，进而提高得到去混响后的直达声和早期反射声的估计值的准确度，从而基于直达声和早期反射声的估计值，通过盲源分离得到观测数据中包括的各声源的时域声源信号时，能够提升信号分离的性能，提高音频信号的处理质量。
36.在本公开中，麦克风可以设置于终端中。在一例中，终端的种类可以包括移动终端，例如：手机、平板、笔记本等。在另一例中，终端的结构可以包括：双面屏终端、折叠屏终端、全面屏终端等。
37.图2是根据一示例性实施例示出的一种音频信号处理方法的流程图。如图2所示，音频信号处理方法包括以下步骤s11至步骤s13。
38.在步骤s11中，获取麦克风所采集的观测数据。
39.在本公开实施例中，麦克风所采集的观测数据可以理解为是由多个声源音频信号混合而成的数据，即，观测数据是多声源音频信号。多声源音频信号可以理解为是由至少两个声源发声而被麦克风所采集的音频信号。
40.在步骤s12中，响应于存在直达声和早期反射声的协方差矩阵估计更新值，基于直达声和早期反射声的协方差矩阵估计更新值，对观测数据进行去混响处理，得到直达声和早期反射的估计值。
41.在本公开实施例中，在对观测数据进行去混响处理时，预先判断是否存在直达声和早期反射的协方差矩阵估计更新值。直达声和早期反射的协方差矩阵估计更新值可以理解为是，适合针对当前采集到的观测数据进行去混响处理的直达声和早期反射的协方差矩阵估计值，而并非是具有统一性的直达声和早期反射的协方差矩阵估计初始值。在去混响的过程中，若存在该直达声和早期反射的协方差矩阵估计更新值，则基于该直达声和早期反射的协方差矩阵估计更新值，对观测数据进行去混响处理，得到直达声和早期反射声的估计值，进而有助于消除或者削弱混响声的影响，提高直达声和早期反射声数据的识别率，从而提高直达声和早期反射声数据的估计值的质量。在一例中，若不存在该直达声和早期反射的协方差矩阵估计更新值，则直接采用直达声和早期反射的协方差矩阵估计初始值对观测数据进行去混响处理。
42.在步骤s13中，基于直达声和早期反射声的估计值，对多声源音频信号进行盲源分离处理，得到各声源的时域声源信号。
43.在本公开实施例中，在确定各声源的时域声源信号时，可以基于直达声和早期反射声的估计值进行处理。通过盲源分离技术，将观测数据通过去混响得到的直达声和早期反射声直接进行盲源分离处理，进而使在确定各声源的音频信号时，能够避免受到混响声的影响，从而将各声源的音频信号转换为时域声源信号时，有助于提升各个时域声源信号的质量。
44.通过上述实施例，在对观测数据进行去混响处理时，在确定存在直达声和早期反射的协方差矩阵估计更新值时，采用直达声和早期反射的协方差矩阵估计更新值对观测数据进行去混响处理，能够有效消除或者削弱混响声的影响，使去除混响声的过程更具有针对性，进而使得到的直达声和早期反射声数据的估计值的质量更高。并且，在进行盲源分离的过程中，是利用得到直达声和早期反射声数据的估计值进行盲源分离处理，进而使各声源音频信号在分离的过程中能够避免混响声的干扰，从而提升分离性能，使得到的各声源的时域声源信号识别率更高，质量更优。
45.以下实施例将进一步解释基于直达声和早期反射声的估计值，对多声源音频信号进行盲源分离处理过程。
46.图3是根据一示例性实施例示出的一种获取观测信号估计值方法的流程图。
47.在步骤s21中，根据第一分离矩阵，对直达声和早期反射声的估计值进行盲源分离，得到至少两个声源中每个声源对应声源信号的先验频域估计。
48.在本公开实施例中，在对直达声和早期反射声的估计值进行盲源分离处理时，可以采用卷积模型进行盲源分离。其中，卷积盲源分离是一种适用于分离音频数据的盲源分离方法。
49.为得到至少两个声源中每个声源对应声源信号的先验频域估计，先将各频点的分离矩阵进行初始化，得到第一分离矩阵。第一分离矩阵可以表示为：w(k,τ)＝[w1(k,τ),w2(k,τ),...w
n
(k,τ)]
h
，k＝1,..,k代表第k个频点。频点为多声源音频信号经过加窗傅里叶变换后对应的频域信号的频率索引。在一示例中，第一分离矩阵可以为初始化的分离矩阵。直达声和早期反射声的估计值可以表示为利用上一帧的w(k)求取当前帧中各声源信号的先验频域估计y(k,τ)。即，对直达声和早期反射声的估计值采用第一分离矩阵w(k,τ)进行分离，进而得到每个声源对应声源信号的先验频域估计：y1(k1,τ1)、y2(k2,τ2)以及y
m
(k
m
,τ
m
)分别代表各声源在时频点(k,τ)处的估计值。其中，第i个声源在第i帧的频域估计为：
[0050]
在一示例中，若当前帧为第一帧多声源音频信号，则利用第一分离矩阵的初始值对该直达声和早期反射声的估计值进行盲源分离处理，进而得到第一帧中各声源对应声源信号的先验频域估计。
[0051]
在步骤s22中，根据先验频域估计，得到加权系数以及对比函数，并基于加权系数和对比函数，对第一加权协方差矩阵进行更新，得到第二加权协方差矩阵。
[0052]
在本公开实施例中，第一加权协方差矩阵为各声源在各个频点的加权协方差矩阵，第一加权协方差矩阵在初始化时为零矩阵。为便于分离直达声和早期反射声的估计值，则根据先验频域估计，得到加权系数以及对比函数，并基于加权系数和对比函数，对第一加权协方差矩阵进行更新，得到第二加权协方差矩阵。
[0053]
在一例中，更新第一加权协方差矩阵时，可以是基于上一帧的加权协方差矩阵、对比函数、直达声和早期反射声的估计值以及加权系数确定的。其中，第一加权协方差矩阵可以采用v
i
(k,τ)进行表示，对比函数是基于先验频域估计确定的，即加权系数为进而第二加权协方差矩阵v
i
(k,τ)则表示为其中，()
h
表示向量(或矩阵)的共轭转置。
[0054]
在步骤s23中，基于第二加权协方差矩阵，对第一分离矩阵进行更新，得到第二分离矩阵。
[0055]
在本公开实施例中，第二分离矩阵是基于将上一帧的第一分离矩阵w(k,τ
‑
1)与第
二加权协方差矩阵v
i
(k,τ)的乘积经过逆矩阵变换，在进行指数函数变换得到的。各帧第二分离矩阵为w
i
(k,τ)＝(w(k,τ
‑
1)v
i
(k,τ))
‑1e
i
，进而第二分离矩阵l(k,τ)可以表示为l(k,τ)＝[w1(k,τ),w2(k,τ)
…
w
m
(k,τ)]
h
。在一例中，第二分离矩阵和第一分离矩阵可以采用相同的字母表示，在本公开中，为避免出现歧义，将第二分离矩阵采用l(k,τ)进行表示，以便区分第一分离矩阵和第二分离矩阵。
[0056]
在步骤s24中，基于第二分离矩阵，对直达声和早期反射声的估计值进行盲源分离，得到至少两个声源中每个声源对应声源信号的后验频域估计。
[0057]
在本公开实施例中，利用第二分离矩阵重新对直达声和早期反射声的估计值进行分离，进而对直达声和早期反射声的估计值进行的后验频域估计，确定各声源对应声源信号的先验频域估计的准确性，降低先验假设的影响，从而提高确定各声源音频信号在麦克风处被采集的准确度。后验频域估计可以采用n(k,τ)进行表示。在一例中，后验频域估计和先验频域估计可以采用相同的字母表示，在本公开中，为避免出现歧义，将后验频域估计采用n(k,τ)进行表示，以便区分后验频域估计和先验频域估计。后验频域估计n(k,τ)的表达方式为
[0058]
在步骤s25中，根据后验频域估计，得到直达声和早期反射声的协方差矩阵估计更新值，更新直达声和早期声的协方差矩阵估计，并根据后验频域估计，得到各声源的时域声源信号。
[0059]
以下实施例将进一步解释直达声和早期反射声的协方差矩阵估计更新值的具体获取过程。
[0060]
图4是根据一示例性实施例示出的一种确定直达声和早期反射声的协方差矩阵估计更新值方法的流程图。
[0061]
在步骤s31中，根据后验频域估计和马尔可夫决策mdp算法，得到至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值。
[0062]
在本公开实施例中，根据后验频域估计和马尔可夫决策(mdp，markov decision processes)算法，可以确定观测数据中各声源在每个麦克风的观测信号中的直达声和早期反射声的估计值。马尔可夫决策算法是一种序贯决策(sequential decision)的数学模型，用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报。通过采用mdp，可以使得到的直达声和早期反射声的估计值更具有全局性，并且更适合对当前采集到的观测数据进行去混响处理，更具有针对性。
[0063]
在步骤s32中，根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到直达声和早期反射声的协方差矩阵估计更新值。
[0064]
在一实施例中，基于mdp算法，通过后验频域估计的对角矩阵以及第二分离矩阵的逆矩阵，得到至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的估计值。至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声
的估计值，表达式为其中，为声源j在麦克风i处的观测信号。
[0065]
在另一实施例中，可以基于各声源中各声源在每个麦克风处的观测信号中的直达声和早期反射声的增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值。
[0066]
图5是根据一示例性实施例示出的另一种确定直达声和早期反射声的协方差矩阵估计更新值方法的流程图。
[0067]
在步骤s41中，根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的增广矩阵。
[0068]
在本公开实施例中，直达声和早期反射声的增广矩阵是基于各声源j在麦克风i处的观测信号之间的声源乘法分配以及各观测信号与对应观测信号的伴随矩阵确定的。
[0069]
为便于描述，以两个声源和两个麦克风为例，直达声和早期反射声的增广矩阵的表示方式为其中，
[0070]
在步骤s42中，基于增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值。
[0071]
在本公开实施例中，通过增广矩阵，对各麦克风的观测信号中的直达声和早期反射声的估计值进行增广处理，进而确定直达声和早期反射声数据的协方差矩阵的估计更新值，以便后续将对观测数据进行去混响处理时，可以采用该直达声和早期反射声的协方差矩阵估计更新值进行去混响处理，从而使去混响后得到的直达声和早期反射声的估计值的质量更高。
[0072]
在去混响的过程中，利用通过盲源分离得到的直达声和早期反射声的协方差矩阵估计更新值，能够消除或者削弱混响声的影响，提高直达声和早期反射声数据的估计值的质量。并且在进行声源分离的整个过程中，将盲源分离算法贯穿在去混响和利用通过去混响得到的直达声和早期反射声数据的估计值进行声源分离的两个环节中，能够形成良好的反馈机制，增强分离音频信号的稳定性，进而有助于提升整体处理性能，从而提高声源分离的音频信号的质量。
[0073]
在一实施例中，为提高直达声和早期反射声的协方差矩阵的估计值的稳定性，可以基于增广矩阵，在确定直达声和早期反射声的协方差矩阵估计更新值的过程中，利用上一帧确定直达声和早期反射声的协方差矩阵估计更新值，对当前帧的直达声和早期反射声的协方差矩阵估计进行平滑处理，进而得到最终的直达声和早期反射声的协方差矩阵估计更新值。
[0074]
在一实施场景中，直达声和早期反射声的协方差矩阵估计更新值的表达式为其中，τ用于表示当前帧数，τ为自然数，且τ大于1。β为预设的平滑系数。优选的，β可以为0.5。
[0075]
在另一实施例中，基于直达声和早期反射声的协方差矩阵估计更新值，对多声源音频信号进行去混响估计时，预先建立混响信号模型：x(k,τ)＝v(k,τ) u(k,τ)，x(k,τ)表示多声源音频信号的麦克风观测数据，x(k,τ)＝[x1(k,τ),x2(k,τ),...,x
m
(k,τ)]
t
。u(k,τ)＝x
d
(τ)g(τ)表示混响声，v(k,τ)表示直达声和早期反射声。为去除多声源音频信号中的混响声，基于直达声和早期反射声的协方差矩阵估计更新值，确定多声源音频信号的增益系数以及多声源音频信号的预测滤波器的估计值，进而通过混响声的表达式得到混响声，从而得到直达声和早期反射声数据的协方差矩阵的估计值。
[0076]
多声源音频信号的增益系数的表达式为多声源音频信号的增益系数的表达式为x
d
(k,τ)为m
×
m2l
g
的矩阵，d为延迟帧数，x
d
(k,τ)中的延迟帧数的取值范围为(d,l
g
‑
1)。延迟帧数的取值与多声源音频信号通过短时傅里叶变换(stft，short
‑
time fourier transform，或short
‑
term fourier transform))进行时频转换的帧重叠参数相关。再选取d的过程中，需要保证x(k,τ)与表示u(k,τ)之间的相关性可以忽略，进而避免相互影响。p(k,τ)表示为多声源音频信号的误差协方差矩阵，多声源音频信号的误差协方差矩阵的误差协方差矩阵的估计值为
[0077]
预测滤波器的表达式为
[0078]
将通过盲源分离得到的直达声和早期反射声数据的协方差矩阵的估计值带入多声源音频信号的增益系数中，进而基于多声源音频信号的增益系数k(k,τ)、以及p(k,τ)，得到混响声的估计值根据确定的根据x(k,τ)＝v(k,τ) u(k,τ)，得到直达声和早期反射声数据的估计值
[0079]
在一实施场景中，将音频信号进行处理的过程可以如图6所示。图6是根据一示例性实施例示出的另一种音频信号处理方法的流程图。为便于描述，将采集的观测数据以两个声源发声而被麦克风所采集的音频信号为例进行描述。其中，两个声源包括第一声源和第二声源。
[0080]
获取麦克风所采集的观测数据。
[0081]
若在去混响的过程中，判断是否存在直达声和早期反射声的协方差矩阵估计更新
(k,τ),y2(k,τ)]
t
＝u(k,τ)x(k,τ)。
[0092]
利用mdp算法估计两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值
[0093]
根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的的增广矩阵
[0094]
为提高直达声和早期反射声数据的协方差矩阵的估计值的稳定性，利用上一帧确定直达声和早期反射声的协方差矩阵估计更新值，对当前帧的直达声和早期反射声的协方差矩阵估计进行平滑处理，进而得到最终的直达声和早期反射声的协方差矩阵估计更新值β为0.5。
[0095]
进而根据确定的将直达声和早期反射声的协方差矩阵估计初始值进行更新，从而得到的直达声和早期反射声的协方差矩阵估计更新值
[0096]
将后验频域估计进行短时傅里叶逆变换(short
‑
time fourier transform and its inverse，istft)，从而得到进行声源分离的各声源对应的音频信号inverse，istft)，从而得到进行声源分离的各声源对应的音频信号代表第i个麦克风第τ帧的时域信号。的确定表达式为m表示为时域信号，m＝1,
…
,nfft。i＝1,2。
[0097]
基于相同的构思，本公开实施例还提供一种应用于终端的音频信号处理装置。
[0098]
可以理解的是，本公开实施例提供的音频信号处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
[0099]
图7是根据一示例性实施例示出的一种音频信号处理装置框图。参照图7，该音频信号处理装置100包括获取单元101，去混响单元102和分离单元103。
[0100]
获取单元101，用于获取麦克风所采集的观测数据，其中，观测数据为多声源音频信号，多声源音频信号为至少两个声源发声而被麦克风所采集的音频信号。
[0101]
去混响单元102，用于响应于存在直达声和早期反射声的协方差矩阵估计更新值，基于直达声和早期反射声的协方差矩阵估计更新值，对观测数据进行去混响处理，得到直达声和早期反射声的估计值。
[0102]
分离单元103，用于基于直达声和早期反射声的估计值，对多声源音频信号进行盲源分离处理，得到各声源的时域声源信号。
[0103]
在一实施例中，分离单元103采用下述方式基于直达声和早期反射声的估计值，对
多声源音频信号进行盲源分离处理：根据第一分离矩阵，对直达声和早期反射声的估计值进行盲源分离，得到至少两个声源中每个声源对应声源信号的先验频域估计。根据先验频域估计，得到加权系数以及对比函数，并基于加权系数和对比函数，对第一加权协方差矩阵进行更新，得到第二加权协方差矩阵。基于第二加权协方差矩阵，对第一分离矩阵进行更新，得到第二分离矩阵。基于第二分离矩阵，对直达声和早期反射声的估计值进行盲源分离，得到至少两个声源中每个声源对应声源信号的后验频域估计。根据后验频域估计，得到直达声和早期反射声的协方差矩阵估计更新值，更新直达声和早期声的协方差矩阵估计，并根据后验频域估计，得到各声源的时域声源信号。
[0104]
在另一实施例中，分离单元103采用下述方式根据后验频域估计，得到直达声和早期反射声的协方差矩阵估计更新值：根据后验频域估计和马尔可夫决策mdp算法，得到至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值。根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到直达声和早期反射声的协方差矩阵估计更新值。
[0105]
在又一实施例中，分离单元采用下述方式根据后验频域估计和mdp算法，得到至少两个声源中每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值：基于mdp算法，通过后验频域估计的对角矩阵以及第二分离矩阵的逆矩阵，得到至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的估计值。
[0106]
在又一实施例中，分离单元103采用下述方式根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到直达声和早期反射声的协方差矩阵估计更新值：根据每个声源在每个麦克风的观测信号中的直达声和早期反射声的估计值，得到至少两个声源中每个声源在每个麦克风处的观测信号中的直达声和早期反射声的增广矩阵。基于增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值。
[0107]
在又一实施例中，分离单元103采用下述方式基于增广矩阵，确定直达声和早期反射声的协方差矩阵估计更新值：确定直达声和早期反射声的协方差矩阵在τ
‑
1帧直达声和早期反射声的协方差矩阵估计值，其中，τ为自然数，且τ大于1。以预设的平滑系数，对τ
‑
1帧直达声和早期反射声的协方差矩阵估计值进行平滑处理，得到第τ帧对应的直达声和早期反射声的协方差矩阵估计值。
[0108]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0109]
图8是根据一示例性实施例示出的另一种音频信号处理装置的框图。例如，电子设备200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0110]
参照图8，电子设备200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(i/o)接口212，传感器组件214，以及通信组件216。
[0111]
处理组件202通常控制电子设备200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以
方便多媒体组件208和处理组件202之间的交互。
[0112]
存储器204被配置为存储各种类型的数据以支持在电子设备200的操作。这些数据的示例包括用于在电子设备200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0113]
电力组件206为电子设备200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为电子设备200生成、管理和分配电力相关联的组件。
[0114]
多媒体组件208包括在所述电子设备200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当电子设备200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0115]
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(mic)，当电子设备200处于操作模式，如呼叫模式、记录模式和音频识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
[0116]
i/o接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0117]
传感器组件214包括一个或多个传感器，用于为电子设备200提供各个方面的状态评估。例如，传感器组件214可以检测到电子设备200的打开/关闭状态，组件的相对定位，例如所述组件为电子设备200的显示器和小键盘，传感器组件214还可以检测电子设备200或电子设备200一个组件的位置改变，用户与电子设备200接触的存在或不存在，电子设备200方位或加速/减速和电子设备200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0118]
通信组件216被配置为便于电子设备200和其他设备之间有线或无线方式的通信。电子设备200可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0119]
在示例性实施例中，电子设备200可以被一个或多个应用专用集成电路(asic)、数
字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述任意一种音频信号处理方法。
[0120]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由电子设备200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd
‑
rom、磁带、软盘和光数据存储设备等。
[0121]
图9是根据一示例性实施例示出的一种音频信号处理装置的框图。例如，音频信号处理装置300可以被提供为一服务器。参照图9，音频信号处理装置300包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322的执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述任意一种音频信号处理方法。
[0122]
音频信号处理装置300还可以包括一个电源组件326被配置为执行音频信号处理装置300的电源管理，一个有线或无线网络接口350被配置为将音频信号处理装置300连接到网络，和一个输入输出(i/o)接口358。音频信号处理装置300可以操作基于存储在存储器332的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0123]
进一步可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0124]
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
[0125]
进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
[0126]
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
[0127]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0128]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。