音频信号处理的方法、装置、可读存储介质及电子设备与流程

1.本公开涉及计算机技术领域，尤其是一种音频信号处理的方法、装置、计算机可读存储介质及电子设备。


背景技术：

2.自适应回声消除因具有良好的自适应跟踪能力和较强的抑制能力，在防止播放音频时产生啸叫现象上具有明显的优势。自适应回声消除的基本思想是估计回声路径的特征参数，以产生一个模拟的回声信号，从接收到的信号中减去该回声信号，从而实现回声消除。由于回声路径通常是未知的和时变的，所以，在这种技术中一般采用自适应滤波器作为回声消除器来模拟回声路径。主要目标是在准确地估计出回声路径的参数地同时，迅速地跟踪回声路径的变化。
3.通常的自适应回声消除方法，在场景环境变化(例如麦克风和扬声器之间遮挡、麦克风和扬声器之间相对移动等)时，需要较强的收敛速度才能快速跟踪场景内(例如车内)冲激响应函数的变化。但较强的收敛速度会在麦克风采集的声音频率变化幅度较小的情况下，导致自适应滤波器过拟合，进而导致播放的音频信号质量变差，甚至出现声音能量忽高忽低的“振荡”现象。


技术实现要素：

4.为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种音频信号处理的方法、装置、计算机可读存储介质及电子设备。
5.本公开的实施例提供了一种音频信号处理的方法，该方法包括：获取目标音频信号，其中，目标音频信号包括麦克风信号和回声参考信号；利用第一自适应滤波器和第二自适应滤波器分别对目标音频信号进行自适应滤波，其中，第一自适应滤波器的信号处理延时大于第二自适应滤波器的信号处理延时；基于第二自适应滤波器的信号处理延时，对第一自适应滤波器进行转换，得到转换后的第一自适应滤波器；确定转换后的第一自适应滤波器的第一信号传递增益和第二自适应滤波器的第二信号传递增益；基于第一信号传递增益和第二信号传递增益的差值，确定第二自适应滤波器的第一滤波质量检验结果；响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器；基于滤波质量合格的第二自适应滤波器处理目标音频信号。
6.根据本公开实施例的另一个方面，提供了一种音频信号处理的装置，该装置包括：获取模块，用于获取目标音频信号，其中，目标音频信号包括麦克风信号和回声参考信号；第一滤波模块，用于利用第一自适应滤波器和第二自适应滤波器分别对目标音频信号进行自适应滤波，其中，第一自适应滤波器的信号处理延时大于第二自适应滤波器的信号处理延时；转换模块，用于基于第二自适应滤波器的信号处理延时，对第一自适应滤波器进行转换，得到转换后的第一自适应滤波器；第一确定模块，用于确定转换后的第一自适应滤波器
的第一信号传递增益和第二自适应滤波器的第二信号传递增益；第二确定模块，用于基于第一信号传递增益和第二信号传递增益的差值，确定第二自适应滤波器的第一滤波质量检验结果；第一调整模块，用于响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器；第二滤波模块，用于基于滤波质量合格的第二自适应滤波器处理目标音频信号。
7.根据本公开实施例的另一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序用于执行上述音频信号处理的方法。
8.根据本公开实施例的另一个方面，提供了一种电子设备，电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述音频信号处理的方法。
9.基于本公开上述实施例提供的音频信号处理的方法、装置、计算机可读存储介质及电子设备，通过高信号处理延时的第一自适应滤波器和低信号处理延时的第二自适应滤波器分别对目标音频信号进行自适应滤波，然后基于第二自适应滤波器的信号处理延时，对第一自适应滤波器做转换，并确定转换后的第一自适应滤波器的和第二自适应滤波器各自对应的第一信号传递增益和第二信号传递增益的差值，根据查找确定第二自适应滤波器的第一滤波质量检验结果；响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器，最后基于滤波质量合格的第二自适应滤波器处理目标音频信号。本公开实施例实现了在通过低延时的第二自适应滤波器进行回声消除的基础上，增加高延时的第一自适应滤波器，通过比较两个滤波器的信号传递增益的差异，可以有效判断第二自适应滤波器的滤波质量，在滤波质量不合格的情况下，调整第二自适应滤波器的参数，得到滤波质量合格的第二滤波器，从而有效降低第二自适应滤波器发生过拟合的风险，进而对目标音频信号进行高精度地滤波处理，改善扬声器播放的音频的质量。
10.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
11.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
12.图1是本公开所适用的系统图。
13.图2是本公开一示例性实施例提供的音频信号处理的方法的流程示意图。
14.图3是本公开另一示例性实施例提供的音频信号处理的方法的流程示意图。
15.图4是本公开另一示例性实施例提供的音频信号处理的方法的流程示意图。
16.图5是本公开另一示例性实施例提供的音频信号处理的方法的流程示意图。
17.图6是本公开另一示例性实施例提供的音频信号处理的方法的流程示意图。
18.图7是本公开一示例性实施例的波束增强方向的示例性示意图。
19.图8是本公开另一示例性实施例提供的音频信号处理的方法的流程示意图。
20.图9是本公开一示例性实施例提供的音频信号处理的装置的结构示意图。
21.图10是本公开另一示例性实施例提供的音频信号处理的装置的结构示意图。
22.图11是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
23.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
24.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
25.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
26.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
27.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
28.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
29.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
30.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
31.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
32.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
33.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
34.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
35.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通
信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
36.申请概述
37.在音频处理领域，存在对音频处理高实时性的场景，例如用户使用麦克风唱歌、讲话等场景。这些场景下，自适应滤波算法处理的音频信号的分块长度要控制得很短，以减少音频分析、合成处理导致的延迟。
38.在有些场景下，麦克风采集的音频信号在较长时间内基本保持基频、谐波等不变，例如，用户长时间的拖音发音时，自适应滤波器上一时刻处理后的信号通过扬声器回放的声音，和用户当前的发出的声音相比变化不大，即参考信号和近端采集的信号同源，导致算法过拟合。过拟合会导致扬声器播放的声音的音质变差，尤其是低频信号会出现能量振荡，高频信号会出现刺耳的啸叫现象。
39.为解决该问题，本公开实施例提供了一种音频信号处理的方法，通过设置高信号处理延时和低信号处理延时两种自适应滤波器，比较两个滤波器的信号传递增益的差异来判断是否过拟合，在过拟合时调整低信号处理延时滤波器的参数，从而降低过拟合风险。
40.示例性系统
41.图1示出了可以应用本公开的实施例的音频信号处理的方法或音频信号处理的装置的示例性系统架构100。
42.如图1所示，系统架构100可以包括终端设备101，网络102、服务器103、麦克风104和扬声器105。网络102用于在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
43.用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种通讯客户端应用，例如音频播放应用、唱歌应用、即时通信工具等。
44.麦克风104用于采集包含用户的语音的音频信号，扬声器用于播放对麦克风采集的音频信号进行滤波处理后的音频信号。
45.终端设备101可以是各种电子设备，包括但不限于诸如车载终端、移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)等等的移动终端以及诸如只能家电、数字tv、台式计算机等等的固定终端。终端设备101可以获取从麦克风104采集的音频信号，对采集的音频信号进行滤波处理，或将采集的音频信号发送至服务器103，由服务器103对音频信号进行滤波处理。终端设备101可以将滤波后的音频信号发送至扬声器105进行播放。
46.服务器103可以是提供各种服务的服务器，例如对终端设备101上传的音频信号进行滤波处理的后台音频处理服务器。后台音频处理服务器可以对接收到的音频信号进行处理，并对自适应滤波器进行滤波质量检验等处理。服务器103还可以将滤波处理后的音频信号反馈给终端设备101。
47.需要说明的是，本公开的实施例所提供的音频信号处理的方法可以由服务器103执行，也可以由终端设备101执行，相应地，音频信号处理的装置可以设置于服务器103中，也可以设置于终端设备101中。
48.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需
要，可以具有任意数目的终端设备、网络和服务器。在音频信号不需要从远程获取的情况下，上述系统架构可以不包括网络和服务器，只包括终端设备、麦克风和扬声器。
49.示例性方法
50.图2是本公开一示例性实施例提供的音频信号处理的方法的流程示意图。本实施例可应用在电子设备(如图1所示的终端设备101或服务器103)上，如图2所示，该方法包括如下步骤：
51.步骤201，获取目标音频信号。
52.在本实施例中，电子设备可以从本地或从远程获取目标音频信号。其中，目标音频信号包括麦克风信号和回声参考信号。
53.上述麦克风信号可以是如图1所示的麦克风104采集的音频信号，回声参考信号可以是当前时刻之前的目标时间段内，发送至如图1所示的扬声器105播放的音频信号，即回声参考信号是目标时间段内由第二自适应滤波器滤波后得到的音频信号。当扬声器105播放音频信号时，麦克风104会同时采集到用户的语音和扬声器播放的声音，采集到的扬声器播放的声音即回声信号，本实施例的目的即通过第二自适应滤波器，估计出麦克风信号中的回声信号成分，将该回声信号成分从麦克风信号中移除，得到用户的语音信号。
54.步骤202，利用第一自适应滤波器和第二自适应滤波器分别对目标音频信号进行自适应滤波。
55.在本实施例中，电子设备可以利用第一自适应滤波器和第二自适应滤波器分别对目标音频信号进行自适应滤波。其中，第一自适应滤波器的信号处理延时大于第二自适应滤波器的信号处理延时。
56.信号处理延时是指，使用自适应滤波器每次处理一帧麦克风信号所占用的时间，该时间可以包括采样时间和分析时间，采样时间可以为麦克风每次新采集一段麦克风信号(又可称为帧移信号)所用的时间，即录音延迟时间；分析时间可以为对当前一帧麦克风信号进行合成、分析等处理所需的时间。通常，一帧麦克风信号包括上述采样时间内采集的一段信号(即帧移信号)，还包括一段历史时间采集的历史信号(即与上一帧麦克风信号重叠的信号)，在该帧对应的信号处理延时内，电子设备完成信号采集和信号分析、合成等处理。例如，帧长为32ms的一帧麦克风信号，包括新的8ms的帧移信号，以及24ms的历史信号，采集该8ms信号的时间和处理该32ms的一帧麦克风信号的时间之和即为信号处理延时。即，固定帧移、帧长比的情况下，麦克风信号的帧长越长，信号处理延时越长。
57.在利用自适应滤波器对麦克风信号进行滤波时，由于第一自适应滤波器的信号处理延时大于第二自适应滤波器的信号处理延时，因此，第一自适应滤波器的每次处理更多的音频数据。
58.采用第一自适应滤波器对麦克风信号进行滤波处理的过程如下式(1)所示：
[0059][0060]
其中，n＝q*l，e为滤波后的音频信号，d为麦克风信号，x为回声参考信号，w为第一自适应滤波器的权重参数。第一自适应滤波器为了保证足够的分辨率，q值通常比较大，例如256ms帧长的麦克风信号对应的样点数，即将时域下的麦克风信号转换到频域后的样点数，对应频率分辨率为1000/256＝3.90625hz，因此，按照式(1)，对回声参考信号进行分块
处理，每块包含的数据量为q，第一自适应滤波器每次处理的麦克风信号的帧长为256ms，其包含的数据量也为q。
[0061]
采用第二自适应滤波器对麦克风信号进行滤波处理的过程如下式(2)所示：
[0062][0063]
其中，n＝p*m。第二自适应滤波器为了保证足够短的延时输出，p值通常比较小，例如8ms帧长的麦克风信号对应的样点数，对应频率分辨率为1000/8＝125hz，因此，按照式(2)，对回声参考信号进行分块处理，每块包含的数据量为p，第一自适应滤波器每次处理的麦克风信号的帧长为256ms，其包含的数据量也为p。
[0064]
上述式(1)和式(2)是时域中的公式，式(1)和式(2)中的求和项可以作为卷积处理。通常，为了降低运算量，可以将时域的卷积转换到频域进行乘积处理。即在滤波时，通过诸如fft(快速傅里叶变换，fast fourier transform)等算法将上述目标音频信号和第一自适应滤波器和第二自适应滤波器的参数从时域转换到频域，在频域进行滤波，最后通过诸如ifft(快速傅里叶逆变换，inverse fast fourier transform)等算法将滤波后的信号从频域转换回时域。
[0065]
需要说明的是，根据自适应滤波器的原理，自适应滤波器在每次滤波后，会执行一次参数更新操作，因此，通常在步骤202执行完毕后，第一自适应滤波器和第二自适应滤波器会进行一次参数w的迭代更新操作。
[0066]
步骤203，基于第二自适应滤波器的信号处理延时，对第一自适应滤波器进行转换，得到转换后的第一自适应滤波器。
[0067]
在本实施例中，电子设备可以基于第二自适应滤波器的信号处理延时，确定转换后的第一自适应滤波器。
[0068]
具体地，可以将第一自适应滤波器的信号处理延时调整为与第二自适应滤波器的信号处理延时相同或接近，从而将第一自适应滤波器的参数调整到与第二自适应滤波器的参数相同的维度。
[0069]
步骤204，确定转换后的第一自适应滤波器的第一信号传递增益和第二自适应滤波器的第二信号传递增益。
[0070]
在本实施例中，电子设备可以确定转换后的第一自适应滤波器的第一信号传递增益和第二自适应滤波器的第二信号传递增益。
[0071]
其中，信号传递增益用于衡量自适应滤波器对回声信号进行过滤的程度。通常，第一自适应滤波器和第二自适应滤波器各自的参数的平方和可以作为信号传递增益。如上述式(1)和式(2)中的参数w的平方和即为信号传递增益。
[0072]
步骤205，基于第一信号传递增益和第二信号传递增益的差值，确定第二自适应滤波器的第一滤波质量检验结果。
[0073]
在本实施例中，电子设备可以基于第一信号传递增益和第二信号传递增益的差值，确定第二自适应滤波器的第一滤波质量检验结果。
[0074]
具体地，若第一信号传递增益和第二信号传递增益的差值大于等于预设增益值，则可以确定第二自适应滤波器发生过拟合，即第二自适应滤波器的第一滤波质量检验结果为不合格，且不合格的原因为第二自适应滤波器发生过拟合。
[0075]
通常，低延时的第二自适应滤波器滤波器的分辨率低(即可分辨的两个不同频率信号之间的频率跨度较大)，低频信号的移频范围没有超出单个分辨率范围，所以容易过拟合；高频信号移频后，移频范围均容易跨过分辨率，对应频域的相干性减弱，所以不容易过拟合。而高延时的第一自适应滤波器的分辨率高(即可分辨的两个不同频率信号之间的频率跨度较小)，低频信号和高频信号移频后，移频范围均容易跨过分辨率，所以不容易过拟合。
[0076]
当回声参考信号和麦克风采集的近端人声信号高度相似时(例如用户发出拖长音的声音时，当前的近端人声信号和上一时刻的回声参考信号高度相似)，自适应滤波器不仅可以估计出回声参考信号和麦克风采集到的扬声器发出的声音信号之间传递函数，还可以同时估计出回声参考信号和近端人声之间传递函数。回声参考信号和近端人声信号高度相似会导致估计出的两个传递函数强相关，两个传递函数的叠加的绝对值会接近两个传递函数各自绝对值的叠加。当回声参考信号和近端人声信号相似性较低时，由于两个传递函数存在相位差，因此两个传递函数的叠加的绝对值远小于两个传递函数绝对值的叠加。而当回声参考信号和近端人声信号高度相似时，低延时的第二自适应滤波器容易发生过拟合，高延时的第一自适应滤波器不容易发生过拟合。滤波器的每一个参数值对应声音传递过程的不同增益以及相位信息，参数的平方和即体现了整体的增益水平，过拟合的表现即增大了信号传递增益值，因此，当第一信号传递增益和第二信号传递增益的差值过大时，可以确定第二自适应滤波器发生了过拟合。
[0077]
步骤206，响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器。
[0078]
在本实施例中，电子设备可以响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器。
[0079]
具体地，由于转换后的第一自适应滤波器的参数与第二自适应滤波器的参数的维度相同，因此，可以将转换后的第一自适应滤波器的参数直接替换第二自适应滤波器的参数，也可以对第二自适应滤波器的每个参数加上或减去设定值，使第二自适应滤波器的每个参数接近转换后的第一自适应滤波器的对应参数。
[0080]
步骤207，基于滤波质量合格的第二自适应滤波器处理目标音频信号。
[0081]
在本实施例中，电子设备可以基于滤波质量合格的第二自适应滤波器处理目标音频信号。
[0082]
具体地，可以按照上述式(2)所示的计算方法，由第二自适应滤波器的参数w与回声参考信号x相乘，得到估计出的回声信号，再由麦克风信号d减去估计出的回声信号，即为待发送至扬声器播放的音频信号。
[0083]
本公开的上述实施例提供的方法，通过高信号处理延时的第一自适应滤波器和低信号处理延时的第二自适应滤波器分别对目标音频信号进行自适应滤波，然后基于第二自适应滤波器的信号处理延时，对第一自适应滤波器做转换，并确定转换后的第一自适应滤波器的和第二自适应滤波器各自对应的第一信号传递增益和第二信号传递增益的差值，根据查找确定第二自适应滤波器的第一滤波质量检验结果；响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得
到滤波质量合格的第二自适应滤波器，最后基于滤波质量合格的第二自适应滤波器处理目标音频信号。本公开实施例实现了在通过低延时的第二自适应滤波器进行回声消除的基础上，增加高延时的第一自适应滤波器，通过比较两个滤波器的信号传递增益的差异，可以有效判断第二自适应滤波器的滤波质量，在滤波质量不合格的情况下，调整第二自适应滤波器的参数，得到滤波质量合格的第二滤波器，从而有效降低第二自适应滤波器发生过拟合的风险，进而对目标音频信号进行高精度地滤波处理，改善扬声器播放的音频的质量。
[0084]
在一些可选的实现方式中，如图3所示，步骤203包括：
[0085]
步骤2031，基于第二自适应滤波器的信号处理延时调整第一自适应滤波器的信号处理延时。
[0086]
具体地，可以通过诸如ifft等算法，将频域的第一自适应滤波器的各个分段的参数转换到时域，再将时域下的各个分段的参数合并，然后按照上述式(2)对第一自适应滤波器重新分段，使第一自适应滤波器的信号处理延时与第二自适应滤波器的信号处理延时相同，即使第一自适应滤波器处理更多的分段信号m和更小的信号长度p。
[0087]
步骤2032，基于第一自适应滤波器的调整后的信号处理延时，对第一自适应滤波器的参数进行转换，得到转换后的第一自适应滤波器。
[0088]
具体地，按照以上描述的方法，在时域下重新对第一自适应滤波器分段后，将重新分段的第一自适应滤波器再转换到频域，从而得到转换后的第一自适应滤波器，转换后的第一自适应滤波器的参数与第二自适应滤波器的参数的维度相同，从而可以比较信号传递增益。
[0089]
本实施例通过将第一自适应滤波器采用延时调整为与第二自适应滤波器相同，可以使第一自适应滤波器的参数的维度与第二自适应滤波器的参数的维度相同，从而有助于更准确地比较第一信号传递增益和第二信号传递增益，进而准确判断第二自适应滤波器的滤波质量。
[0090]
在一些可选的实现方式中，步骤206可以如下执行：
[0091]
利用转换后的第一自适应滤波器的参数，替换第二自适应滤波器的参数，得到滤波质量合格的第二自适应滤波器。
[0092]
由于转换后的第一自适应滤波器的参数与第二自适应滤波器的参数的维度相同，因此，可以直接用第一自适应滤波器的参数替换第二自适应滤波器的参数。且由于第一自适应滤波器通常不会发生过拟合，因此，替换参数后的第二自适应滤波器此时也不会发生过拟合，即得到了滤波质量合格的第二自适应滤波器。
[0093]
本实施例通过利用转换后的第一自适应滤波器的参数替换第二自适应滤波器的参数，可以快速得到滤波质量合格的第二自适应滤波器，降低第二自适应滤波器发生过拟合的风险。
[0094]
在一些可选的实现方式中，如图4所示，在步骤203之后，该方法还包括：
[0095]
步骤208，利用转换后的第一自适应滤波器对目标音频信号进行自适应滤波，得到第一滤波信号。
[0096]
步骤209，基于第一滤波信号的能量和第二滤波信号的能量的差值，以及第一滤波质量检验结果，确定第二自适应滤波器的第二滤波质量检验结果。
[0097]
其中，第二滤波信号是第二自适应滤波器对目标音频信号进行自适应滤波得到
的，即在执行上述步骤202时，可以得到第二滤波信号，本步骤可以直接获取第二滤波信号。
[0098]
通常，滤波信号的能量可以通过计算滤波信号的各个采样点的平方和得到。若第一滤波质量检验结果表示合格(即第一信号传递增益和第二信号传递增益的差值小于或等于预设增益值)，但上述能量差值大于或等于预设能量，表示第二自适应滤波器估计出的信号传递函数发生了突变，导致第二滤波信号的能量不稳定，此时确定第二滤波质量检验结果为不合格。
[0099]
步骤210，响应于第二滤波质量检验结果为不合格，调整第二自适应滤波器的步长，得到滤波质量合格的第二自适应滤波器。
[0100]
其中，第二自适应滤波器的步长即迭代更新时的步长。作为示例，当第二自适应滤波器采用lms(最小均方，leastmeansquare)算法时，第二自适应滤波器的迭代更新公式如下式(3)所示：
[0101]
w(n 1)＝w(n) 2μe(n)x(n)(3)
[0102]
其中，w(n 1)为更新后的参数，w(n)为更新前的参数，μ为迭代更新的步长，e(n)为如上述式(2)所示的滤波后的信号e，x(n)为回声参考信号。当第二滤波信号的能量不稳定时，可以加快第二自适应滤波器的更新速率，即增大步长μ。步长μ增大的幅度可以预先设置。
[0103]
本实施例通过比较第一自适应滤波器和第二自适应滤波器进行滤波后的信号能量的差异，确定第二自适应滤波器的滤波质量是否合格，通过调整迭代更新的步长来使第二自适应滤波器的滤波质量恢复，从而实现了将第一自适应滤波器的滤波结果作为参考，实时地监控第二自适应滤波器的滤波质量，并及时调整第二自适应滤波器的更新速率，使第二自适应滤波器的滤波质量更加稳定。
[0104]
在一些可选的实现方式中，如图5所示，步骤207包括：
[0105]
步骤2071，利用滤波质量合格的第二自适应滤波器，对目标音频信号进行自适应滤波，得到第三滤波信号。
[0106]
具体地，可以根据上述式(2)对目标音频信号进行自适应滤波，式(2)中的e即为第三滤波信号。
[0107]
步骤2072，基于第三滤波信号，确定待分频信号。
[0108]
可选的，可以将第三滤波信号确定为待分频信号，也可以按照下述可选实施例描述的方法，通过确定波束增强方向，对第三滤波信号进行波束增强，得到待分频信号。
[0109]
步骤2073，对待分频信号进行分频处理，得到至少三路分频信号。
[0110]
其中，至少三路分频信号对应不同频段。作为示例，可以将待分频信号分解为不重合的三个频段，分别对应200hz以下的信号、200hz-558hz的信号、558hz以上的信号。或者，至少三路分频信号也可以具有重叠部分，例如，将待分频信号分解为200hz以下的信号、558hz以下的信号和558hz以上的信号。
[0111]
步骤2074，对至少三路分频信号分别按照对应的变频方式进行变频处理，得到至少三路变频后信号。
[0112]
其中，变频方式可以包括但不限于以下至少一种：倍频、移频等。
[0113]
步骤2075，将至少三路变频后信号叠加，得到待播放音频信号。
[0114]
具体地，若至少三路变频后信号的频率范围不重合，则可以直接将至少三路变频
后信号拼接为完整的待播放音频信号；若至少三路变频后信号存在重合频段，可以将重合频段的信号叠加，其余不重合频段的信号拼接，得到待播放音频信号。
[0115]
通常，在有些场景下，麦克风采集的音频信号在较长时间内基本保持基频、谐波等不变。例如，用户长时间的拖音发音时，自适应滤波器上一时刻处理后的信号通过扬声器回放的声音，和用户当前的发出的声音相比变化不大，即回声参考信号和近端麦克风采集的信号同源，导致算法过拟合。
[0116]
本实施例通过使用滤波质量合格的第二自适应滤波器对目标音频信号进行滤波，基于第三滤波信号，生成至少三路分频信号，并对至少三路分频信号进行变频处理，可以使待播放音频信号被扬声器播放并由麦克风采集回扬声器播放的声音后，使麦克风采集的信号与参考信号在各频段内产生一定的差异，从而可以进一步降低第二自适应滤波器发生过拟合的风险，提高播放的音频的质量。
[0117]
在一些可选的实现方式中，如图6所示，步骤2072包括：
[0118]
步骤20721，基于目标音频信号的声源位置，确定波束增强方向。
[0119]
具体地，波束增强方向定义如下，麦克风的基准点与声源位置的连线，与麦克风的基准线之间的夹角。上述声源位置可以基于声源定位方法实时确定，同时实时确定波束增强方向。也可以预先设置固定的声源位置，同时确定固定的波束增强方向。
[0120]
如图7所示，当本实施例应用在车辆上时，可以使用麦克风阵列，包括图中的mic1和mic2，两个麦克风的连线为基准线，基准线的中点为基准点，通常，mic1和mic2设置在车顶上方，基准点位于主驾座位和副驾座位之间，因此，波束增强方向可以选择如图所示的45
°
和135
°
，如图7中所示的beam1和beam2即表示这两个方向上的波束。这两个方向指向主驾驶座位和副驾驶座位，因此，可以针对主驾驶座位和副驾驶座位上的人员进行声音采集。
[0121]
步骤20722，基于波束增强方向，对第三滤波音频信号进行波束增强，得到待分频信号。
[0122]
具体地，可以基于波束成型(beamforming)算法，针对上述波束增强方向进行波束增强处理，同时抑制其他方向上采集的声音。
[0123]
本实施例通过确定波束增强方向，可以有针对性地采集声源位置发出的声音，从而提高扬声器播放的音频的质量。
[0124]
在一些可选的实现方式中，如图8所示，步骤2073包括：
[0125]
步骤20731，对待分频信号进行分频处理，得到频段依次增高的第一分频信号、第二分频信号和第三分频信号。
[0126]
作为示例，第一分频信号为频率为200hz以下的信号，第二分频信号为频率为558hz以下的信号，即第一分频信号和第二分频信号存在重合部分，第三分频信号为频率为558hz以上的信号。
[0127]
基于步骤20731，步骤2074包括：
[0128]
步骤20741，对第一分频信号进行倍频处理，得到第一变频后信号。
[0129]
通常，可以对第一分频信号进行整数倍的倍频处理，例如二倍频。可选的，可以使用诸如sola(同步波形叠加法，synchronized overlap-add)等算法进行倍频处理。
[0130]
步骤20742，按照预设的移频量，对第二分频信号进行移频处理，得到第二变频后信号。
[0131]
即第二分频信号包括的所有频率成分均偏移相同的移频量。可选的，可以基于时域信号乘以e-jwt
实现频移的原理，在频域内，通过将第二分频信号的实部、虚部乘以e
±
jf
实现频率的上下移动，然后将频移后的第二分频信号从频域逆变换到时域。
[0132]
步骤20743，对第三分频信号，按照预设的频率缩放倍数进行缩放，得到第三变频后信号。
[0133]
具体地，对第三分频信号的频率进行缩放的方法，可以采用与上述步骤20741中描述的倍频方法实现。通常，设置频率缩放倍数接近1，例如1.007倍频或1/1.007倍频。
[0134]
为了使用收听扬声器播放的音频时的听觉感受稳定，不会感受到播放的音频能量的较大波动，需要使频谱的频率变动的倍数要尽量小，但低频信号经过较小倍数的变频后，信号的频率变动表现很弱，对于降低过拟合帮助不大因此，在558hz以下的频段内(即第二分频信号)可以通过移频处理使该频段内的所有频率成分移动同样的频率，以提高频率变动的幅度，同时不影响用户的听感。同时，由于第一共振峰位于200hz以上的频段内，因此，200hz以下的频段(即第一分频信号)可以进行二倍频处理，以提高频率变动幅度，同时弥补基频信号损失。在558hz以上的高频段内(即第三分频信号)，为了是频率变化幅度足够且不影响用户听感，可以选择不超过1.007倍的频率缩放倍数。
[0135]
本实施例通过对三路分频信号分别进行高倍数倍频处理、移频处理和低倍数的频率缩放处理，实现了根据用户的听感和自适应滤波器的参数拟合的特点，有针对性地对不同频段的音频信号进行变频处理，实现了在不影响用户听感的情况下，进一步降低第二自适应滤波器过拟合的风险，提高了滤波后的音频信号的质量。
[0136]
示例性装置
[0137]
图9是本公开一示例性实施例提供的音频信号处理的装置的结构示意图。本实施例可应用在电子设备上，如图9所示，音频信号处理的装置包括：获取模块901，用于获取目标音频信号，其中，目标音频信号包括麦克风信号和回声参考信号；第一滤波模块902，用于利用第一自适应滤波器和第二自适应滤波器分别对目标音频信号进行自适应滤波，其中，第一自适应滤波器的信号处理延时大于第二自适应滤波器的信号处理延时；转换模块903，用于基于第二自适应滤波器的信号处理延时，对第一自适应滤波器进行转换，得到转换后的第一自适应滤波器；第一确定模块904，用于确定转换后的第一自适应滤波器的第一信号传递增益和第二自适应滤波器的第二信号传递增益；第二确定模块905，用于基于第一信号传递增益和第二信号传递增益的差值，确定第二自适应滤波器的第一滤波质量检验结果；第一调整模块906，用于响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器；第二滤波模块907，用于基于滤波质量合格的第二自适应滤波器处理目标音频信号。
[0138]
在本实施例中，获取模块901可以从本地或从远程获取目标音频信号。其中，目标音频信号包括麦克风信号和回声参考信号。
[0139]
上述麦克风信号可以是如图1所示的麦克风104采集的音频信号，回声参考信号可以是当前时刻之前的目标时间段内，发送至如图1所示的扬声器105播放的音频信号，即回声参考信号是目标时间段内由第二自适应滤波器滤波后得到的音频信号。当扬声器105播放音频信号时，麦克风104会同时采集到用户的语音和扬声器播放的声音，采集到的扬声器播放的声音即回声信号，本实施例的目的即通过第二自适应滤波器，估计出麦克风信号中
的回声信号成分，将该回声信号成分从麦克风信号中移除，得到用户的语音信号。
[0140]
在本实施例中，第一滤波模块902可以利用第一自适应滤波器和第二自适应滤波器分别对目标音频信号进行自适应滤波。其中，第一自适应滤波器的信号处理延时大于第二自适应滤波器的信号处理延时。
[0141]
信号处理延时是指，对于一段回声参考信号，将该段回声参考信号划分为多个长度相同的片段，每个片段的长度即为信号处理延时。应当理解，这里的长度是指时间维度的长度。在利用自适应滤波器对麦克风信号进行滤波时，自适应滤波器是分段处理回声参考信号的，由于第一自适应滤波器的信号处理延时大于第二自适应滤波器的信号处理延时，因此，第一自适应滤波器的每次处理更多的采样数据。
[0142]
在本实施例中，转换模块903可以基于第二自适应滤波器的信号处理延时，确定转换后的第一自适应滤波器。
[0143]
具体地，可以将第一自适应滤波器的信号处理延时调整为与第二自适应滤波器的信号处理延时相同或接近，从而将第一自适应滤波器的参数调整到与第二自适应滤波器的参数相同的维度。
[0144]
在本实施例中，第一确定模块904可以确定转换后的第一自适应滤波器的第一信号传递增益和第二自适应滤波器的第二信号传递增益。
[0145]
其中，信号传递增益用于衡量自适应滤波器对回声信号进行过滤的程度。通常，第一自适应滤波器和第二自适应滤波器各自的参数的平方和可以作为信号传递增益。
[0146]
在本实施例中，第二确定模块905可以基于第一信号传递增益和第二信号传递增益的差值，确定第二自适应滤波器的第一滤波质量检验结果。
[0147]
具体地，若第一信号传递增益和第二信号传递增益的差值大于等于预设增益值，则可以确定第二自适应滤波器发生过拟合，即第二自适应滤波器的第一滤波质量检验结果为不合格，且不合格的原因为第二自适应滤波器发生过拟合。
[0148]
在本实施例中，第一调整模块906可以响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器。
[0149]
具体地，由于转换后的第一自适应滤波器的参数与第二自适应滤波器的参数的维度相同，因此，可以将转换后的第一自适应滤波器的参数直接替换第二自适应滤波器的参数，也可以对第二自适应滤波器的每个参数加上或减去设定值，使第二自适应滤波器的每个参数接近转换后的第一自适应滤波器的对应参数。
[0150]
在本实施例中，第二滤波模块907可以基于滤波质量合格的第二自适应滤波器处理目标音频信号。
[0151]
具体地，可以按照上述式(2)所示的计算方法，由第二自适应滤波器的参数w与回声参考信号x相乘，得到估计出的回声信号，再由麦克风信号d减去估计出的回声信号，即为待发送至扬声器播放的音频信号。
[0152]
参照图10，图10是本公开另一示例性实施例提供的音频信号处理的装置的结构示意图。
[0153]
在一些可选的实现方式中，转换模块903包括：调整单元9031，用于基于第二自适应滤波器的信号处理延时调整第一自适应滤波器的信号处理延时；转换单元9032，用于基
于第一自适应滤波器的调整后的信号处理延时，对第一自适应滤波器的参数进行转换，得到转换后的第一自适应滤波器。
[0154]
在一些可选的实现方式中，第一调整模块906进一步用于：利用转换后的第一自适应滤波器的参数，替换第二自适应滤波器的参数，得到滤波质量合格的第二自适应滤波器。
[0155]
在一些可选的实现方式中，该装置还包括：第三滤波模块908，用于利用转换后的第一自适应滤波器对目标音频信号进行自适应滤波，得到第一滤波信号；第三确定模块909，用于基于第一滤波信号的能量和第二滤波信号的能量的差值，以及第一滤波质量检验结果，确定第二自适应滤波器的第二滤波质量检验结果，其中，第二滤波信号是第二自适应滤波器对目标音频信号进行自适应滤波得到的；第二整模块910，用于响应于第二滤波质量检验结果为不合格，调整第二自适应滤波器的步长，得到滤波质量合格的第二自适应滤波器。
[0156]
在一些可选的实现方式中，第二滤波模块907包括：滤波单元9071，用于利用滤波质量合格的第二自适应滤波器，对目标音频信号进行自适应滤波，得到第三滤波信号；确定单元9072，用于基于第三滤波信号，确定待分频信号；分频单元9073，用于对待分频信号进行分频处理，得到至少三路分频信号，其中，至少三路分频信号对应不同频段；变频单元9074，用于对至少三路分频信号分别按照对应的变频方式进行变频处理，得到至少三路变频后信号；叠加单元9075，用于将至少三路变频后信号叠加，得到待播放音频信号。
[0157]
在一些可选的实现方式中，确定单元9072包括：确定子单元90721，用于基于目标音频信号的声源位置，确定波束增强方向；增强子单元90722，用于基于波束增强方向，对第三滤波音频信号进行波束增强，得到待分频信号。
[0158]
在一些可选的实现方式中，分频单元9073进一步用于：对待分频信号进行分频处理，得到频段依次增高的第一分频信号、第二分频信号和第三分频信号；变频单元9074包括：倍频子单元90741，用于对第一分频信号进行倍频处理，得到第一变频后信号；移频子单元90742，用于按照预设的移频量，对第二分频信号进行移频处理，得到第二变频后信号；缩放子单元90743，用于对第三分频信号，按照预设的频率缩放倍数进行缩放，得到第三变频后信号。
[0159]
本公开上述实施例提供的音频信号处理的装置，通过高信号处理延时的第一自适应滤波器和低信号处理延时的第二自适应滤波器分别对目标音频信号进行自适应滤波，然后基于第二自适应滤波器的信号处理延时，对第一自适应滤波器做转换，并确定转换后的第一自适应滤波器的和第二自适应滤波器各自对应的第一信号传递增益和第二信号传递增益的差值，根据查找确定第二自适应滤波器的第一滤波质量检验结果；响应于第一滤波质量检验结果为不合格，基于转换后的第一自适应滤波器的参数对第二自适应滤波器的参数进行调整，得到滤波质量合格的第二自适应滤波器，最后基于滤波质量合格的第二自适应滤波器处理目标音频信号。本公开实施例实现了在通过低延时的第二自适应滤波器进行回声消除的基础上，增加高延时的第一自适应滤波器，通过比较两个滤波器的信号传递增益的差异，可以有效判断第二自适应滤波器的滤波质量，在滤波质量不合格的情况下，调整第二自适应滤波器的参数，得到滤波质量合格的第二滤波器，从而有效降低第二自适应滤波器发生过拟合的风险，进而对目标音频信号进行高精度地滤波处理，改善扬声器播放的音频的质量。
[0160]
示例性电子设备
[0161]
下面，参考图11来描述根据本公开实施例的电子设备。该电子设备可以是如图1所示的终端设备101和服务器103中的任一个或两者、或与它们独立的单机设备，该单机设备可以与终端设备101和服务器103进行通信，以从它们接收所采集到的输入信号。
[0162]
图11示出了根据本公开实施例的电子设备的框图。
[0163]
如图11所示，电子设备1100包括一个或多个处理器1101和存储器1102。
[0164]
处理器1101可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1100中的其他组件以执行期望的功能。
[0165]
存储器1102可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1101可以运行程序指令，以实现上文的本公开的各个实施例的音频信号处理的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如目标音频信号等各种内容。
[0166]
在一个示例中，电子设备1100还可以包括：输入装置1103和输出装置1104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0167]
例如，在该电子设备是终端设备101或服务器103时，该输入装置1103可以是麦克风、鼠标、键盘、触控屏等设备，用于输入目标音频信号、各种命令等。在该电子设备是单机设备时，该输入装置1103可以是通信网络连接器，用于从终端设备101和服务器103接收所输入的目标音频信号、各种命令等。
[0168]
该输出装置1104可以向外部输出各种信息，包括滤波后的音频信号。该输出装置1104可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
[0169]
当然，为了简化，图11中仅示出了该电子设备1100中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1100还可以包括任何其他适当的组件。
[0170]
示例性计算机程序产品和计算机可读存储介质
[0171]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的音频信号处理的方法中的步骤。
[0172]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0173]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方
法”部分中描述的根据本公开各种实施例的音频信号处理的方法中的步骤。
[0174]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0175]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0176]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0177]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0178]
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0179]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0180]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0181]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。