语音交互系统的自动增益控制方法、装置及系统与流程

1.本技术涉及语音交互技术领域，尤其涉及一种语音交互系统的自动增益控制方法、装置、系统以及计算机可读存储介质。


背景技术：

2.随着智能技术的普及，生活中的衣食住行的方方面面都开始应用智能技术，例如智能音箱、智能电视等。智能技术为人们的生活提供了方便快捷的服务。智能语音交互是目前被广泛使用的一种智能技术。智能语音交互是指基于语音输入的一种交互方式，用户可以直接使用语音控制、操控设备。该交互方式能够有效解放双手，最大程度降低操作难度，极大地方便了用户的使用。
3.语音交互可以分为远场语音与近场语音，与近场语音相比，在远场语音交互过程中，说话者与设备的距离通常在一米到十米之间。其前端通常使用麦克风阵列作为拾音设备，拾取的声音信号供后续语音识别处理。
4.由于远场语音交互中，拾音设备拾取的声音动态范围较大，这就要求拾音设备具有自动增益控制(automatic gain control，agc)功能，以控制拾取声音的音量在一个合理的范围内，从而保证语音识别的准确性。而在远场语音交互的实际场景中，可能包含背景噪声、多人说话声音、设备自身的播放音等干扰因素。因此，如何准确计算所需增益是本技术发明人意图解决的技术问题之一。
5.应理解，上述所列举的技术问题仅作为示例而非对本发明的限制，本发明并不限于同时解决上述所有技术问题的技术方案。本发明的技术方案可以实施为解决上述或其他技术问题中的一个或多个。


技术实现要素：

6.为解决上述问题，本技术提供了一种语音交互系统的自动增益控制方法，包括：
7.接收语音信号；
8.通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；
9.调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；
10.基于所述检测到唤醒词的声音信号，计算所述语音交互系统中自动增益控制所需的增益，以调节拾取音频数据的音量在预设范围内。
11.可选地，在所述通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号之后还包括：
12.针对每个不同音源的声音信号分别维护对应的fifo队列；其中，所述fifo队列的长度n的数值根据所述唤醒词的长度和唤醒词检测每帧长度确定；
13.针对每个不同音源的声音信号，分别按帧进行读取，计算每帧信号的幅值的绝对值的最大值，并将所述绝对值的最大值保存至所述fifo队列中。
14.可选地，在所述通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号之后还包括：
15.针对每个不同音源的声音信号分别维护对应的fifo队列；其中，所述fifo队列的长度n的数值根据所述唤醒词的长度和唤醒词检测每帧长度确定；
16.针对每个不同音源的声音信号，分别按帧进行读取，计算每帧信号的幅值的绝对值，并使用高斯窗与所述绝对值进行卷积，将进行卷积后的最大值保存至所述fifo队列中。
17.可选地，所述fifo队列的长度n与所述唤醒词检测每帧长度的乘积，等于所述唤醒词的长度。
18.可选地，所述计算所述语音交互系统中自动增益控制所需的增益包括：
19.计算所述检测到唤醒词的声音信号对应的fifo队列中的最大值a
max
，根据
[0020][0021]
计算所述语音交互系统中拾音设备所需的增益g；
[0022]
其中，a
ref
为参考音频信号的幅值，所述参考音频信号为固定值。
[0023]
可选地，在所述计算所述语音交互系统中自动增益控制所需的增益之后还包括：
[0024]
调节模拟增益至所需的增益g，如果模拟增益可调范围g
a
小于所需的增益g，则将模拟增益调节至最大，调节数字增益为g
‑
g
a
。
[0025]
可选地，还包括：在检测到语音交互完成后，增益恢复为初始增益g
init
。
[0026]
可选地，所述初始增益g
init
为：在确定所述参考音频信号数值的情况下，保证拾音设备所拾取的音频数据不饱和所对应的增益。
[0027]
可选地，所述唤醒词检测模型为预先使用delta
‑
lfbe作为特征训练得到的模型。
[0028]
本技术还提供了一种语音交互系统的自动增益控制装置，包括：
[0029]
接收模块，用于接收语音信号；
[0030]
盲源分离模块，用于通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；
[0031]
唤醒词检测模块，用于调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；
[0032]
增益确定模块，用于将基于所述检测到唤醒词的声音信号作为参考音频信号，计算所述语音交互系统中自动增益控制所需的增益，以调节拾取音频数据的音量在预设范围内。
[0033]
本技术还提供了一种语音交互系统，包括：存储器以及处理器；其中，所述存储器用于存储有指令；所述处理器调用所述指令时，执行上述任一种所述的方法。
[0034]
本技术还提供了一种计算机可读存储介质，包括指令，所述指令被执行时实现上述任一种所述的方法。
[0035]
本技术提供的语音交互系统的自动增益控制方法，通过接收语音信号；通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；基于所述检测到唤醒词的声音信号，计算所述语音交互系统中自动增益控制所需的增
益，以调节拾取音频数据的音量在预设范围内。本技术从真实的使用场景中采用唤醒词检测，将检测到唤醒词的声音信号与其他噪声信号区分开来，并将检测到唤醒词的声音信号作为进行自动增益控制的调节基准，能够准确计算出每次交互所需的增益，保证语音识别的准确性，提升用户的交互体验。此外，本技术还提供了一种具有上述技术效果的语音交互系统的自动增益控制装置、系统以及计算机可读存储介质。
附图说明
[0036]
在下文中，将基于实施例参考附图进一步解释本技术。
[0037]
图1示意性地示出本技术提供的语音交互系统的自动增益控制方法的一种具体实施方式的流程图；
[0038]
图2示意性地示出本技术提供的语音交互系统的自动增益控制方法的另一种具体实施方式的流程图；
[0039]
图3示意性地示出本技术提供的语音交互系统的自动增益控制方法的又一种具体实施方式的流程图；
[0040]
图4示意性地示出本技术所提供的语音交互系统的自动增益控制装置的一种具体实施方式的结构框图；
[0041]
图5示意性地示出本技术所提供的语音交互系统的结构框图。
具体实施方式
[0042]
以下将结合附图和具体的实施方式，对本技术的方法和装置进行详细说明。应理解，附图所示以及下文所述的实施例仅仅是说明性的，而不作为对本技术的限制。
[0043]
图1示出了本技术提供的语音交互系统的自动增益控制方法的一种具体实施方式的流程图。本实施例中，该方法具体包括：
[0044]
步骤s100：接收语音信号。
[0045]
本步骤中，可以由拾音设备对环境中的语音信号进行拾取。具体地，拾音设备可以为麦克风阵列。可以理解的是，麦克风阵列中麦克风的具体数量以及分布均不影响本技术的实现，当然也可以采用单个麦克风来实现。
[0046]
步骤s102：通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号。
[0047]
在接收到语音信号之后，采用盲源分离的方式将接收到的语音信号划分为多个不同音源的声音信号。可以理解的是，盲源分离为现有技术，其具体实施方式为本领域所熟知，在此不再赘述。
[0048]
步骤s104：调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号。
[0049]
其中，唤醒词检测模型为预先针对多个语料进行训练得到。在输入声音信号后，该模块通过对预设唤醒词进行检测，可以输出该输入声音信号中是否包含唤醒词的检测结果。预设唤醒词可以为任意预先定义的词语。
[0050]
作为一种具体实施方式，唤醒词检测模型可以为预先使用delta
‑
lfbe作为特征训练得到的模型。通过使用delta
‑
lfbe作为特征训练唤醒词，可以使得训练得到的唤醒词模型对音量不敏感，即较大/较小音量的声音信号均能够被处理，从而扩大唤醒词模型所接收
的语音信号的幅度范围。作为一种具体实施方式，该幅度范围可以为在麦克风处音量大于40db。
[0051]
另外，在唤醒词训练过程中还可以添加基于音量的数据增强，即对预先存储的唤醒词进行基于幅度值的增强，使用多个幅度值不同的唤醒词进行模拟训练，例如[
‑
30db,
‑
25db,
‑
20db,
‑
15db,
‑
10db,
‑
5db,
‑
2db]，从而增加唤醒词训练模型的泛化能力。
[0052]
针对每个不同音源的声音信号，该唤醒词检测模块可以同步或非同步对各个声音信号进行唤醒词检测，从中确定出可以检测到唤醒词的声音信号。
[0053]
步骤s106：基于所述检测到唤醒词的声音信号，计算所述语音交互系统中自动增益控制所需的增益，以调节拾取音频数据的音量在预设范围内。
[0054]
将检测到唤醒词的声音信号作为参考基准，计算此时语音交互系统自动增益控制所需的增益，使得拾取音频数据的音量在预设范围之内。预设范围可以预先定义，在此不做限定。
[0055]
本技术提供的语音交互系统的自动增益控制方法，通过接收语音信号；通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；基于所述检测到唤醒词的声音信号，计算所述语音交互系统中自动增益控制所需的增益，以调节拾取音频数据的音量在预设范围内。本技术从真实的使用场景中采用唤醒词检测，将检测到唤醒词的声音信号与其他噪声信号区分开来，并将检测到唤醒词的声音信号作为进行自动增益控制的调节基准，能够准确计算出每次交互所需的增益，保证语音识别的准确性，提升用户的交互体验。
[0056]
本技术所提供的语音交互系统的自动增益控制方法的另一种具体实施方式的流程图如图2所示，该方法具体包括：
[0057]
步骤s200：接收语音信号；
[0058]
步骤s202：通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；
[0059]
步骤s204：针对每个不同音源的声音信号分别维护对应的fifo队列；其中，所述fifo队列的长度n的数值根据所述唤醒词的长度和唤醒词检测每帧长度确定；
[0060]
fifo队列的长度n与唤醒词检测每帧长度frame_time的乘积，由唤醒词的长度所确定。例如在唤醒词的长度为1.5s时，设置n*frame_time在1.5s左右。
[0061]
步骤s206：针对每个不同音源的声音信号，分别按帧进行读取，计算每帧信号的幅值的绝对值的最大值，并将所述绝对值的最大值保存至所述fifo队列中；
[0062]
针对每个不同音源的声音信号，计算每帧信号的幅值的绝对值的最大值，并将该最大值保存至fifo队列中，当队列满时，可以自动删除队首元素，依次不断循环。
[0063]
步骤s208：调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；
[0064]
步骤s210：计算所述检测到唤醒词的声音信号对应的fifo队列中的最大值a
max
，根据
[0065]
[0066]
计算所述语音交互系统中拾音设备所需的增益g；其中，a
ref
为参考音频信号的幅值。
[0067]
确定参考音频信号的一种具体实施方式为：根据拾音设备最大允许播放音量，得到参考音频信号的幅值。另一支具体实施方式可以为：根据预先设定的固定值，得到参考音频信号的幅值。作为一种具体实施方式，可以预先设定固定值为90db。
[0068]
本技术所提供的语音交互系统的自动增益控制方法的又一种具体实施方式的流程图如图3所示，该方法具体包括：
[0069]
步骤s300：接收语音信号；
[0070]
步骤s302：通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；
[0071]
步骤s304：针对每个不同音源的声音信号分别维护对应的fifo队列；其中，所述fifo队列的长度n的数值根据所述唤醒词的长度和唤醒词检测每帧长度确定；
[0072]
fifo队列的长度n与唤醒词检测每帧长度frame_time的乘积，由唤醒词的长度所确定。例如在唤醒词的长度为1.5s时，设置n*frame_time在1.5s左右。
[0073]
步骤s306：针对每个不同音源的声音信号，分别按帧进行读取，计算每帧信号的幅值的绝对值，并使用高斯窗与所述绝对值进行卷积，将进行卷积后的最大值保存至所述fifo队列中；
[0074]
针对每个不同音源的声音信号，计算每帧信号的幅值的绝对值，并使用高斯窗与该绝对值进行卷积，并将进行卷积后的最大值保存至fifo队列中，当队列满时，可以自动删除队首元素，依次不断循环。其中，高斯窗可以为窗长w为15或19的高斯窗。
[0075]
步骤s308：调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；
[0076]
步骤s310：计算所述检测到唤醒词的声音信号对应的fifo队列中的最大值a
max
，根据
[0077][0078]
计算所述语音交互系统中拾音设备所需的增益g；其中，a
ref
为参考音频信号的幅值。
[0079]
确定参考音频信号的一种具体实施方式为：根据拾音设备最大允许播放音量，得到参考音频信号的幅值。另一支具体实施方式可以为：根据预先设定的固定值，得到参考音频信号的幅值。作为一种具体实施方式，可以预先设定固定值为90db。
[0080]
本实施例使用高斯窗与每帧信号的幅值的绝对值进行卷积，计算卷积后的最大值，可以增加最大值计算的稳定性，减少因为突然磕碰或者其他情况引起的瞬时扰动而导致错误计算最大值。采用该方法进一步提升了增益计算的准确性。
[0081]
进一步地，在上述任一实施例的基础上，在所述计算所述语音交互系统中自动增益控制所需的增益之后还包括：调节模拟增益至所需的增益g，如果模拟增益可调范围g
a
小于所需的增益g，则将模拟增益调节至最大，调节数字增益为g
‑
g
a
。在确定出自动增益控制所需的增益之后，根据所选择的音频adc/dac的配置，优先调节音频adc/dac的模拟增益，如果该模拟增益可调范围g
a
小于所需的增益g，则将模拟增益调节至最大，然后调节数字增益
至g
‑
g
a
。本实施方式采用调节信噪比更高的模拟增益先进行调节，然后采用数字增益调节进行补充，确保了增益调节的准确实施。
[0082]
在上述任一实施例的基础上，本技术所提供的自动增益控制方法还可以进一步包括：在检测到语音交互完成后，增益恢复为初始增益g
init
。
[0083]
其中，所述初始增益g
init
为：在确定所述参考音频信号数值的情况下，保证拾音设备所拾取的音频数据不饱和所对应的增益。该初始增益可以保证音响在最大响度下播放音乐时，麦克风录音数据不会被截幅值。
[0084]
本实施例中，在完成一轮语音交互之后，将增益恢复为初始增益g
init
，等待下一次唤醒词触发。可以理解的是，通过检测拾音设备在预设时间段内未检测到说话者的声音信号，则判定该轮语音交互完成。可以理解的是，在检测到语音交互完成后，也可以保持当前增益，等待下一次唤醒词触发。
[0085]
本技术所提供的语音交互系统的自动增益控制装置40的一种具体实施方式的结构框图如图4所示，该装置包括：
[0086]
接收模块42，用于接收语音信号；
[0087]
盲源分离模块44，用于通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；
[0088]
唤醒词检测模块46，用于调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；
[0089]
增益确定模块48，用于基于所述检测到唤醒词的声音信号，计算所述语音交互系统中自动增益控制所需的增益，以调节拾取音频数据的音量在预设范围内。
[0090]
可以理解的是，本技术所提供的语音交互系统的自动增益控制装置与上述自动增益控制方法相对应，其内部模块42
‑
48分别用于实现自动增益控制方法的步骤s100
‑
s106，其具体实施方式可参照上述对应内容，在此不再赘述。
[0091]
本装置通过接收语音信号；通过盲源分离将接收到的语音信号划分为多个不同音源的声音信号；调用预先训练的唤醒词检测模型，针对每个不同音源的声音信号分别执行唤醒词检测，确定其中检测到唤醒词的声音信号；基于所述检测到唤醒词的声音信号，计算所述语音交互系统中自动增益控制所需的增益，以调节拾取音频数据的音量在预设范围内。本技术从真实的使用场景中采用唤醒词检测，将检测到唤醒词的声音信号与其他噪声信号区分开来，并将检测到唤醒词的声音信号作为进行自动增益控制的调节基准，能够准确计算出每次交互所需的增益，保证语音识别的准确性，提升用户的交互体验。
[0092]
此外，本技术还提供了一种语音交互系统50，如图5本技术所提供的语音交互系统50的结构框图，该语音交互系统50包括：存储器52以及处理器54；其中，所述存储器52用于存储有指令；所述处理器54调用所述指令时，执行上述任一种所述的自动增益控制方法。
[0093]
此外，本技术还提供了一种计算机可读存储介质，包括指令，所述指令被执行时实现上述任一种所述的自动增益控制方法。
[0094]
可以理解的是，本技术所提供的自动增益控制装置、语音交互系统、计算机可读存储介质与上述自动增益控制方法相对应，其具体实施方式可以参照上述内容，在此不再赘述。
[0095]
本技术将检测到唤醒词的声音信号作为进行自动增益控制的调节基准，能够准确
计算出每次交互所需的增益，保证语音识别的准确性，提升用户的交互体验。
[0096]
虽然出于本公开的目的已经描述了本技术各方面的各种实施例，但是不应理解为将本公开的教导限制于这些实施例。在一个具体实施例中公开的特征并不限于该实施例，而是可以和不同实施例中公开的特征进行组合。例如，在一个实施例中描述的根据本技术的方法的一个或多个特征和/或操作，亦可单独地、组合地或整体地应用在另一实施例中。本领域技术人员应理解，还存在可能的更多可选实施方式和变型，可以对上述系统进行各种改变和修改，而不脱离由本技术权利要求所限定的范围。