一种联合语音增强的语音活动检测方法与流程

本发明属于语音识别技术领域，具体涉及一种语音活动检测方法。

背景技术：

语音活动检测(voiceactivitydetection,vad)旨在区分音频记录中的语音段和噪声段。对于许多与语音相关的应用(例如语音识别和说话者识别)是重要的前端。近年来，基于深度学习的vad带来了显着的性能提升。特别是将时域信号直接带入深度网络的端到端vad是最近的研究趋势。

尽管基于深度学习的vad已显示出其效果，但如何在低信噪比(signal-to-noiseratio,snr)环境中进一步提高其性能却是长期利益。单个vad很难满足要求。一个自然的想法是将语音增强(speechenhancement,se)引入vad。最早的方法使用基于深度学习的方法间语音增强网络初始化vad。也有方法使用语音增强网络首先对语音进行降噪，然后使用降噪后的语音作为vad的输入，对增强网络和vad进行联合微调。但当se模块的性能很差时，使用增强结果作为vad的输入可能会对vad造成损害。针对此问题的现有解决方法有：使用先进的语音增强方法来提取vad的去噪特征；使用u-net同时估计干净的语音频谱和噪声频谱，然后使用增强的语音频谱图通过阈值直接进行vad；使用基于降噪变分自编码器的se模块的输出和潜在变量作为vad的输入；将基于卷积循环网络的se提取的嘈杂声特征和增强的声学特征串联起来，作为基于残差卷积神经网络的vad的输入等。此外，还有方法提出了多目标网络来联合训练se和vad以提高它们的性能，其中vad和se共享相同的网络，并且具有不同的损失函数。但是以上方法对vad的性能提升有限。

技术实现要素：

为了克服现有技术的不足，本发明提供了一种联合语音增强的语音活动检测方法，首先在conv-tasnet全卷积网络基础上构建联合网络模型，联合网络模型整体分为三个部分：编码器、时间卷积网络和解码器；针对语音增强se任务和语音活动检测vad任务采用两个单独的解码器，而共用同一组编码器与tcn网络；tcn网络输出掩码与编码器输出点乘后作为两个解码器的输入；采用msi-sdr及交叉熵的联合损失函数在训练阶段对结果进行评估；最终采用adam优化器对网络进行训练，训练完成的网络能够较好地实现语音活动检测。本发明通过将语音增强和语音端点检测联合训练，提高了语音端点检测的鲁棒性，使其在复杂的噪声环境，特别是人声干扰剧烈的环境中依然能够保持较高的性能。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：给定时间长度为t的音频数据x，其中x∈r^1×t，将音频数据x划分为n帧信号，音频数据x为纯净语音信号s与噪声n的混合信号，表示为：

x＝s n(1)

步骤2：联合网络模型设计；

步骤2-1：在conv-tasnet全卷积网络基础上增加一个解码器，网络体系结构包含三个部分：编码器、分离网络tcn以及两个解码器，两个解码器分别为se解码器和vad解码器；语音增强se任务和语音活动检测vad任务共享同一个编码器和分离网络；语音增强se任务使用se解码器生成增强的语音，语音活动检测vad任务使用vad解码器生成软预测评分；

步骤2-2：编码器内核大小为l，步幅为l/2；将音频数据x输入编码器，编码器将音频数据x转换为特征图w∈r^n×k，其中k是特征向量的数量；

再将特征图w输入分离网络tcn，分离网络tcn输出掩码m∈r^n×k；再将特征图w和掩码m进行逐元素乘法，得到去噪特征图d∈r^n×k，表示如下：

d＝m⊙w

其中⊙表示逐元素乘法；

步骤2-3：se解码器和vad解码器均以去噪特征图d作为输入；

se解码器生成纯净语音信号s的估计值

vad解码器生成vad分数，在vad解码器后面增加sigmoid函数，将vad解码器的输出限制在0和1之间，输出为表示语音活动检测vad软预测评分；

步骤3：构建联合损失函数；

定义联合损失：

其中和分别是语音活动检测和语音增强的损失函数，λ∈(0，1)是平衡两个损失函数的超参数；

为交叉熵损失函数；

在语音增强损失si-sdr的基础上引入语音活动检测vad标签及软预测评分，构造新的语音增强损失msi-sdr：

其中y＝[y1，...，yt]为语音活动检测vad的预测标签；

步骤4：采用adam优化器对联合网络模型进行训练，训练完成后得到最终的联合网络模型。

本发明的有益效果如下：

1、本发明同时进行语音增强和语音端点检测，提高了工作效率。

2、本发明通过将语音增强和语音端点检测联合训练，提高了语音端点检测的鲁棒性，使其在复杂的噪声环境，特别是人声干扰剧烈的环境中依然能够保持较高的性能。

附图说明

图1为本发明方法联合网络模型结构示意图。

图2为本发明实施例参考干净语音波形图。

图3为本发明实施例含噪语音波形图。

图4为本发明实施例multi-mss模型增强结果波形图。

图5为本发明实施例单se模型增强结果波形图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明采用了基于conv-tasnet的全卷积网络，使语音增强(se)任务和语音活动检测(vad)任务共享相同的编码器和分离模块，最后使用两个解码器分别生成增强的语音和语音似然比。

如图1所示，一种联合语音增强的语音活动检测方法，包括以下步骤：

步骤1：给定时间长度为t的音频数据x，其中x∈r^1×t，将音频数据x划分为n帧信号，音频数据x为纯净语音信号s与噪声n的混合信号，表示为：

x＝s n(1)

步骤2：联合网络模型设计；

步骤2-1：在conv-tasnet全卷积网络基础上增加一个解码器，网络体系结构包含三个部分：编码器、分离网络tcn以及两个解码器，两个解码器分别为se解码器和vad解码器；语音增强se任务和语音活动检测vad任务共享同一个编码器和分离网络；语音增强se任务使用se解码器生成增强的语音，语音活动检测vad任务使用vad解码器生成软预测评分；

步骤2-2：编码器主要是一维卷积层，编码器内核大小为l，步幅为l/2；将音频数据x输入编码器，编码器将音频数据x转换为特征图w∈r^n×k，其中k是特征向量的数量；

再将特征图w输入分离网络tcn，分离网络tcn输出掩码m∈r^n×k；再将特征图w和掩码m进行逐元素乘法，得到去噪特征图d∈r^n×k，表示如下：

d＝m⊙w

其中⊙表示逐元素乘法；

步骤2-3：解码器是两个独立的一维转置卷积层，每个都对编码器执行相反的尺寸变换。se解码器和vad解码器均以去噪特征图d作为输入；

se解码器生成纯净语音信号s的估计值

vad解码器生成vad分数，在vad解码器后面增加sigmoid函数，将vad解码器的输出限制在0和1之间，输出为表示语音活动检测vad软预测评分；

步骤3：构建联合损失函数；

定义联合损失：

其中和分别是语音活动检测和语音增强的损失函数，λ∈(0，1)是平衡两个损失函数的超参数；

为交叉熵损失函数；

因为语音增强损失si-sdr经常被用作端到端语音分离的优化目标，所以联合学习的传统思想是共同优化语音增强损失si-sdr和交叉熵损失函数但此策略中的两个解码器为独立优化，无法同时优化vad和语音增强，而vad和语音增强具有许多共同的特性。例如，最早的基于理想二进制掩蔽的语音增强功能可以看作是应用于每个频段的vad。

为了同时受益于vad和语音增强的优势，本发明提出了一种新的语音增强损失，称为msi-sdr，作为联合训练的增强。msi-sdr是对常规si-sdr的修订。si-sdr旨在解决信噪比中与比有关的问题：

其中s为参考信号，为估计信号，为比例因子。

在语音增强损失si-sdr的基础上引入语音活动检测vad标签及软预测评分，构造新的语音增强损失msi-sdr：

其中y＝[y1，...，yt]为语音活动检测vad的预测标签；

从式(4)可看出msi-sdr将增强后语音、纯净语音、vad预测标签及预测概率均考虑在内。式(4)对于优化vad与se具有重要作用，使得专注于增强语音活动片段。

步骤4：采用adam优化器对联合网络模型进行训练，训练完成后得到最终的联合网络模型。

具体实施例：

本实施例设置两组子实验，组别一、二旨在说明算法在vad任务及se任务上的改进效果。

组别一：本发明将提出的方法表示为使用msi-sdr损失的联合模型(multi-mss)。为了与multi-mss进行比较，训练了一个使用si-sdr损失的联合模型(multi-ss)和一个只有vad功能的模型，表示为单vad模型。multi-ss具有与multi-mss完全相同的网络结构。其se解码器的目标设置为si-sdr。单vad模型去除了se解码器，并只使用vad损失函数vad作为优化目标。使用接收器工作特性(roc)曲线，roc曲线下的面积(auc)和相等错误率(eer)作为vad的评估指标。以每10ms的信号作为计算auc和eer的值。

组别二：除了上述multi-mss模型和multi-ss模型外，训练了一个只有语音增强功能的模型，表示为单se模型。使用语音质量的感知评估(pesq)，短时客观可懂度度(stoi)和尺度不变的信号失真比(si-sdr)作为语音增强的评估指标对上述三个模型进行测试。

(1)数据准备：

如图2所示，干净语音采用华尔街日报(wsj0)数据集。其包含来自101位演讲者的12776语音训练，来自10位发言人的1206语音验证，以及来自8位发言人的651语言评估。录音中只有20％是静音。为减轻分类不平衡的问题，分别在每个音频记录的开头和结尾添加了0.5和1秒的静音段。

用于训练和校准的噪声源为一大型噪声库，其中包含超过20000个噪声段。测试的噪声源是五种不可观噪声，其中公共汽车，咖啡厅，行人和街道的噪声来自chime-3数据集，而babble噪声来自noisex-92噪声语料库。从[-5,5]db的范围内随机选择训练和开发集中每个嘈杂语音并记录的snr级别。测试器的snr级别分别设置为-5db，0db和5db，训练集、开发集、测试集之间的噪音源不重叠。将所有信号重新采样到16khz。通过将ramirezvad与人为定义的平滑规则应用于干净的语音，可以获得真实的vad标签。如图3为合噪后的语音波形图。

(2)网络参数设置

对于模型训练，每个训练音频记录都被裁剪为几个4秒的片段。训练时每批数据的容量设置为8。使用adam优化器。初始学习速率设置为1e-3，若验证集中的性能在3个连续的时间段内都没有改善，则将减半。最低学习率设置为1e-8，权重衰减设置为1e-5。如果训练效果没有提升，即在连续6个训练周期中发生错乱时训练就会停止。编码帧长l＝32，其他超参数设置同conv-tasnet。

(3)实验结果

表1组别一：multi-mss、multi-ss和单vad模型的语音检测指标比较

表1为本发明的multi-mss与单vad模型之间的比较结果。可看出，在所有噪声环境和snr条件下，multi-mss均优于单vad模型(auc及eer指标)。当信噪比降低时，相对性能提高更为显著。例如，在-5db的babble噪声(人声干扰噪声)下，multi-mss相比单vad的模型有73.77％的相对auc提升和59.83％的相对eer提升。当信噪比增加到5db时，两种相对提升分别降低到50.00％和37.23％。

在声学环境复杂的嘈杂环境中，multi-mss的优势显而易见。具体而言，在人声、咖啡厅和行人环境中，相对eer提升分别为55.38％，38.02％和35.11％。相比之下，公共汽车和街道环境中的相对eer提升仅为21.12％和26.13％。

表2组别二：multi-mss、multi-ss和单se模型的语音增强指标比较

如图4为multi-mss模型增强结果波形图，图5为单se模型增强结果波形图，组别二列出了multi-mss、multi-ss和单se模型在语音增强上的性能表现。表2中的结果表明，multi-mss模型的性能在指标上有略微下降，但通过实际的时频谱图比较可以看出，相比单se模型，multi-mss模型对背景噪声的抑制更为显著，说明本发明所提出的联合工作的效用是明显的。