一种声源分离方法及装置与流程

1.本发明涉及语音处理技术领域，尤其涉及一种声源分离方法及装置。


背景技术：

2.现有技术中，对声源进行分离时，可以根据均匀线型麦克风阵列设计两个固定波束形成器，主瓣分别指向线阵的两个端射方向，将两个固定权值加权至阵列接收信号，得到两路输出信号即为分离后信号，或者，通过独立分量分析等进行盲源分离。
3.但是，现有技术中，固定波束形成器在阵元个数少、阵列孔径小的情况下低频主瓣较宽，对于另一端信号抑制较弱，导致分离信号中另一端信号的残留较多。
4.而其他盲源分离方法则由于需要求解分离矩阵而导致计算复杂度较高。


技术实现要素：

5.本发明的目的是针对现有技术的缺陷，提供一种声源分离方法，以解决现有技术中的分离信号中另一端信号的残留较多、盲源分离方法的计算复杂度较高的问题。
6.第一方面，本发明提供了一种声源分离方法，所述声源分离方法包括：
7.根据麦克风阵列中预设的阵元间距，在所述麦克风阵列的第一端设置第一差分波束形成器以及在所述麦克风阵列的第二端设置第二差分波束形成器；其中，所述第一差分波束形成器的主瓣方向朝向第一端，所述第一差分波束形成器的零限方向朝向第二端，所述第二差分波束形成器的主瓣方向朝向第二端，所述第二差分波束形成器的零限方向朝向第一端；
8.对麦克风阵列接收到的混合信号进行短时傅里叶变换，将所述混合信号变换到短时时频域，得到第一信号；其中，所述混合信号为位于所述第一端的第一声源和位于所述第二端的第二声源产生的混合信号；
9.计算所述第一信号中的每帧的波达方向doa估计；
10.根据所述doa估计，计算第一声源对应的第一doa误差和第二声源对应的第二doa误差；
11.分别将所述第一信号输入第一差分波束形成器和第二差分波束形成器，得到所述第一差分波束形成器输出的第一远端信号和第一近端信号，以及所述第二差分波束形成器输出的第二远端信号和第二近端信号；
12.根据所述第一doa误差，对所述第一近端信号和所述第二远端信号进行第一自适应对消处理，得到第一路输出信号；并且，根据所述第二doa误差，对所述第一远端信号和所述第二近端信号进行第二自适应对消处理，得到第二路输出信号；
13.对所述第一路输出信号和所述第二路输出信号分别进行短时傅里叶逆变换，得到第一分离信号和第二分离信号。
14.优选的，所述阵元间距处于2.0cm
‑
3.5cm中。
15.优选的，所述根据所述doa估计，计算第一声源对应的第一doa误差和第二声源对
应的第二doa误差具体包括：
16.根据公式err
a
＝|0
‑
θ|计算第一doa误差；
17.根据公式err
b
＝|180
‑
θ|计算第二doa误差；
18.其中，err
a
为第一doa误差，err
b
为第二doa误差；θ为doa估计。
19.优选的，所述根据所述第一doa误差，对所述第一近端信号和所述第二远端信号进行第一自适应对消处理，得到第一路输出信号具体包括：
20.将所述第一doa误差和预设的误差阈值进行比较，当所述第一doa误差不大于预设的误差阈值时，当前帧的第一路输出信号为第一近端信号，不进行第一自适应处理滤波器系数更新；
21.当所述第一doa误差大于预设的误差阈值时，不保留当前帧的第二远端信号，更新第一自适应处理滤波器系数。
22.优选的，所述根据所述第二doa误差，对所述第一远端信号和所述第二近端信号进行第二自适应对消处理，得到第二路输出信号具体包括：
23.将所述第二doa误差和预设的误差阈值进行比较，当所述第二doa误差不大于预设的误差阈值时，当前帧的第二路输出信号为第二近端信号，不进行第二自适应处理滤波器系数更新；
24.当所述第二doa误差大于预设的误差阈值时，不保留当前帧的第一远端信号，更新第二自适应处理滤波器系数。
25.第二方面，本发明提供了一种声源分离装置，所述声源分离装置包括：
26.设置单元，所述设置单元用于根据麦克风阵列中预设的阵元间距，在所述麦克风阵列的第一端设置第一差分波束形成器以及在所述麦克风阵列的第二端设置第二差分波束形成器；其中，所述第一差分波束形成器的主瓣方向朝向第一端，所述第一差分波束形成器的零限方向朝向第二端，所述第二差分波束形成器的主瓣方向朝向第二端，所述第二差分波束形成器的零限方向朝向第一端；
27.变换单元，所述变换单元用于对麦克风阵列接收到的混合信号进行短时傅里叶变换，将所述混合信号变换到短时时频域，得到第一信号；其中，所述混合信号为位于所述第一端的第一声源和位于所述第二端的第二声源产生的混合信号；
28.计算单元，所述计算单元用于计算所述第一信号中的每帧的波达方向doa估计；
29.所述计算单元还用于，根据所述doa估计，计算第一声源对应的第一doa误差和第二声源对应的第二doa误差；
30.处理单元，所述处理单元用于分别将所述第一信号输入第一差分波束形成器和第二差分波束形成器，得到所述第一差分波束形成器输出的第一远端信号和第一近端信号，以及所述第二差分波束形成器输出的第二远端信号和第二近端信号；
31.所述处理单元还用于，根据所述第一doa误差，对所述第一近端信号和所述第二远端信号进行第一自适应对消处理，得到第一路输出信号；并且，根据所述第二doa误差，对所述第一远端信号和所述第二近端信号进行第二自适应对消处理，得到第二路输出信号；
32.所述变换单元还用于对所述第一路输出信号和所述第二路输出信号分别进行短时傅里叶逆变换，得到第一分离信号和第二分离信号。
33.优选的，所述阵元间距处于2.0cm
‑
3.5cm中。
34.优选的，所述计算单元具体用于：
35.根据公式err
a
＝|0
‑
θ|计算第一doa误差；
36.根据公式err
b
＝|180
‑
θ|计算第二doa误差；
37.其中，err
a
为第一doa误差，err
b
为第二doa误差；θ为doa估计。
38.优选的，所述处理单元具体用于：
39.将所述第一doa误差和预设的误差阈值进行比较，当所述第一doa误差不大于预设的误差阈值时，当前帧的第一路输出信号为第一近端信号，不进行第一自适应处理滤波器系数更新；
40.当所述第一doa误差大于预设的误差阈值时，当前帧为第二远端信号，并更新第一自适应处理滤波器系数。
41.优选的，所述处理单元具体用于：
42.将所述第二doa误差和预设的误差阈值进行比较，当所述第二doa误差不大于预设的误差阈值时，当前帧的第二路输出信号为第二近端信号，不进行第二自适应处理滤波器系数更新；
43.当所述第二doa误差大于预设的误差阈值时，当前帧为第一远端信号，更新第二自适应处理滤波器系数。
44.第三方面，本发明提供了一种设备，包括存储器和处理器，存储器用于存储程序，处理器用于执行第一方面任一所述的方法。
45.第四方面，本发明提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一所述的方法。
46.第五方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一所述的方法。
47.本发明实施例提供的声源分离方法，通过在差分波束形成器输出后增加自适应对消处理，使得输出信号中另一端的干扰残留更少，并通过doa误差控制自适应对消滤波器参数更新，降低分离后的语音损伤；另外，本申请采用了固定波束形成和自适应对消技术，不涉及分离矩阵的求解，与独立分量分析等盲源分离方法相比，计算复杂度较低。
附图说明
48.图1为本发明实施例一提供的声源分离方法流程示意图；
49.图2为本发明实施例一提供的麦克风阵列示意图；
50.图3为本发明实施例二提供的声源分离装置结构示意图。
具体实施方式
51.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
52.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
53.本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图
在于覆盖不排他的包括。例如包括了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
54.图1为本发明实施例一提供的声源分离方法流程示意图，该方法的执行主体为终端、服务器等具有计算功能的设备。以下结合图1对本发明技术方案进行详述。
55.步骤110，根据麦克风阵列中预设的阵元间距，在麦克风阵列的第一端设置第一差分波束形成器以及在麦克风阵列的第二端设置第二差分波束形成器；其中，第一差分波束形成器的主瓣方向朝向第一端，第一差分波束形成器的零限方向朝向第二端，第二差分波束形成器的主瓣方向朝向第二端，第二差分波束形成器的零限方向朝向第一端；
56.具体的，本申请中，可以基于小间距麦克风阵列，阵元间距可设置为2.0cm到3.5cm，说话人a和b分别位于麦克风阵列两端，如图2所示的2mic阵列。可以根据阵元间距设计两个一阶差分波束形成器，分别为第一差分波束形成器和第二差分波束形成器，其中第一差分波束形成器的主瓣方向在0度，即说话人a方向、零陷方向在180度，即说话人b方向，第一差分波束形成器与第一差分波束形成器相反，即第二差分波束形成器的主瓣方向在180度，零陷方向在0度。说话人a相当于第一声源，说话人b相当于第二声源。
57.步骤120，对麦克风阵列接收到的混合信号进行短时傅里叶变换，将混合信号变换到短时时频域，得到第一信号；其中，混合信号为位于第一端的第一声源和位于第二端的第二声源产生的混合信号。
58.具体的，麦克风阵列可以接收到第一声源和第二声源的混音信号，由于语音信号具有短时平稳特征，一般都是变换到短时时频域进行分析处理，因此，将该混音信号进行短时傅里叶变化，得到第一信号。
59.步骤130，计算第一信号中的每帧的波达方向(direction of arrival，doa)估计。
60.具体的，可以通过常用的方法，比如波束形成类算法、子空间类算法、解卷积算法中的任意一种进行doa估计，从而实时的得到每帧信号的doa估计值。
61.步骤140，根据doa估计，计算第一声源对应的第一doa误差和第二声源对应的第二doa误差；
62.具体的，doa估计值可以记为θ，可以分别计算第一声源，即说话人a方向对应的第一doa误差err
a
，和第二声源，即说话人b方向对应的第二doa误差err
b
，其中，err
a
＝|0
‑
θ|，err
b
＝|180
‑
θ|。
63.步骤150，分别将第一信号输入第一差分波束形成器和第二差分波束形成器，得到第一差分波束形成器输出的第一远端信号和第一近端信号，以及第二差分波束形成器输出的第二远端信号和第二近端信号；
64.具体的，第一差分波束形成器的第一个主瓣方向为a、零陷方向为b，即输出信号中保留a方向信号而抑制b方向信号。第二差分波束形成器相反，保留b方向信号而抑制a方向信号。可以将第一差分波束形成器输出的第一近端信号记为sa1和第一远端信号记为sb1，将第二差分波束形成器输出的第二近端信号sa2和第二远端信号记为sb2。
65.步骤160，根据第一doa误差，对第一近端信号和第二远端信号进行第一自适应对消处理，得到第一路输出信号；并且，根据第二doa误差，对第一远端信号和第二近端信号进行第二自适应对消处理，得到第二路输出信号；
66.其中，针对第一自适应对消处理，可以将第一doa误差和预设的误差阈值进行比较，当第一doa误差不大于预设的误差阈值时，当前帧的第一路输出信号为第一近端信号，此时不进行第一自适应处理滤波器系数更新；
67.当第一doa误差大于预设的误差阈值时，当前帧为第二远端信号，并更新第一自适应处理滤波器系数，以便于通过更新后的第一自适应处理滤波器系数对当前帧的第一近端信号继续进行处理。
68.具体的，第一自适应处理滤波器是在第一自适应对消过程中根据输入信号进行更新得到的。误差阈值为一经验值，可以根据多次实验来进行设定，比如，可以令误差阈值θ
th
＝30。如果在该目标方向语音阶段更新的话会对该目标方向的语音信号有损伤，因此通过实时第一doa来控制第一自适应处理滤波器是否更新。第一自适应处理滤波器更新是在非目标信号进行的，在目标信号阶段只用当前第一自适应处理滤波器系数来处理数据，而不改变第一自适应处理滤波器的数值，第一自适应处理滤波器的更新是根据信号来自适应更新的。如果err
a
≤θ
th
，则说明该帧信号为a方向信号，需要保留，即保留sa1，输出记为t
a
。如果err
a
＞θ
th
，则该帧信号为干扰噪声或者b方向信号，需要消除，此时则进行过滤器的系数的更新，以便于继续确定第一路输出信号。
69.相应的，针对第二自适应对消处理，将所述第二doa误差和预设的误差阈值进行比较，当所述第二doa误差不大于预设的误差阈值时，则当前帧的第二路输出信号为第二近端信号，不进行第二自适应处理滤波器系数更新；
70.当所述第二doa误差大于预设的误差阈值时，当前帧为第一远端信号，更新第二自适应处理滤波器系数。
71.具体的，可以根据第一远端信号sb1和第二近端信号sa2，进行自适应对消处理，同样根据err
b
的大小控制第二自适应处理滤波器系数是否更新，即：如果err
b
＞θ
th
，则说明该帧信号为干扰噪声或者a方向信号，需要消除，则进行第二自适应处理滤波器系数更新。如果err
b
≤θ
th
，则该帧信号为b方向信号，需要保留，即保留sa2，输出记为t
b
。
72.其中，第一自适应对消处理可以为最小均方(least mean square lms)算法lms、归一化(normalized lms，nlms)算法、最小二乘法(ordinary least squares，rls)中的任意一种。第二自适应对消处理和第一自适应对消处理为相同的算法。
73.步骤170，对第一路输出信号和第二路输出信号分别进行短时傅里叶逆变换，得到第一分离信号和第二分离信号。
74.具体的，对两路输出信号t
a
和t
b
分别进行短时傅里叶逆变换得到最终的第一分离信号a和第二分离信号b。
75.进一步的，本申请还可以拓展至更多阵元数，仅需要根据线型麦克风阵列设计相应的两个差分波束形成器即可。
76.本发明实施例提供的声源分离方法，通过在差分波束形成器输出后增加自适应对消处理，使得输出信号中另一端的干扰残留更少，并通过doa误差控制自适应对消滤波器参数更新，降低分离后的语音损伤；另外，本申请采用了固定波束形成和自适应对消技术，不涉及分离矩阵的求解，与独立分量分析等盲源分离方法相比，计算复杂度较低。
77.图3为本发明实施例二提供的声源分离装置结构示意图，如图3所示，该声源分离装置包括：设置单元310，变换单元320，计算单元330和处理单元340。
78.设置单元310用于根据麦克风阵列中预设的阵元间距，在麦克风阵列的第一端设置第一差分波束形成器以及在麦克风阵列的第二端设置第二差分波束形成器；其中，第一差分波束形成器的主瓣方向朝向第一端，第一差分波束形成器的零限方向朝向第二端，第二差分波束形成器的主瓣方向朝向第二端，第二差分波束形成器的零限方向朝向第一端；
79.变换单元320用于对麦克风阵列接收到的混合信号进行短时傅里叶变换，将混合信号变换到短时时频域，得到第一信号；其中，混合信号为位于第一端的第一声源和位于第二端的第二声源产生的混合信号；
80.计算单元330用于计算第一信号中的每帧的波达方向doa估计；
81.计算单元330还用于，根据doa估计，计算第一声源对应的第一doa误差和第二声源对应的第二doa误差；
82.处理单元340用于分别将第一信号输入第一差分波束形成器和第二差分波束形成器，得到第一差分波束形成器输出的第一远端信号和第一近端信号，以及第二差分波束形成器输出的第二远端信号和第二近端信号；
83.处理单元340还用于，根据第一doa误差，对第一近端信号和第二远端信号进行第一自适应对消处理，得到第一路输出信号；并且，根据第二doa误差，对第一远端信号和第二近端信号进行第二自适应对消处理，得到第二路输出信号；
84.变换单元320还用于对第一路输出信号和第二路输出信号分别进行短时傅里叶逆变换，得到第一分离信号和第二分离信号。
85.其中，阵元间距处于2.0cm
‑
3.5cm中。
86.其中，计算单元330具体用于：
87.根据公式err
a
＝|0
‑
θ|计算第一doa误差；
88.根据公式err
b
＝|180
‑
θ|计算第二doa误差；
89.其中，err
a
为第一doa误差，err
b
为第二doa误差；θ为doa估计。
90.其中，处理单元340具体用于：
91.将第一doa误差和预设的误差阈值进行比较，当第一doa误差不大于预设的误差阈值时，则当前帧的第一路输出信号为第一近端信号，不进行第一自适应处理滤波器系数更新；
92.当第一doa误差大于预设的误差阈值时，当前帧为第二远端信号，更新第一自适应处理滤波器系数。
93.其中，处理单元340具体用于：
94.将第二doa误差和预设的误差阈值进行比较，当第二doa误差不大于预设的误差阈值时，则当前帧的第二路输出信号为第二近端信号，不进行第二自适应处理滤波器系数更新；
95.当第二doa误差大于预设的误差阈值时，当前帧为第一远端信号，更新第二自适应处理滤波器系数。
96.本发明实施例提供的声源分离装置，通过在差分波束形成器输出后增加自适应对消处理，使得输出信号中另一端的干扰残留更少，并通过doa误差控制自适应对消滤波器参数更新，降低分离后的语音损伤；另外，本申请采用了固定波束形成和自适应对消技术，不涉及分离矩阵的求解，与独立分量分析等盲源分离方法相比，计算复杂度较低。
97.发明实施例三提供了一种设备，包括存储器和处理器，存储器用于存储程序，存储器可通过总线与处理器连接。存储器可以是非易失存储器，例如硬盘驱动器和闪存，存储器中存储有软件程序和设备驱动程序。软件程序能够执行本发明实施例提供的上述方法的各种功能；设备驱动程序可以是网络和接口驱动程序。处理器用于执行软件程序，该软件程序被执行时，能够实现本发明实施例一提供的方法。
98.本发明实施例四提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行本发明实施例一提供的方法。
99.本发明实施例五提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例一提供的方法。
100.专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
101.结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
102.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。