一种语音数据的处理方法、装置及电子设备与流程

本发明涉及软件技术领域，特别涉及一种语音数据的处理方法、装置及电子设备。

背景技术：

语音增强speechenhancement是指当语音信号被各种各样的噪声干扰、甚至淹没后，从噪声背景中提取有用的语音信号，抑制、降低噪声干扰的技术。在语音通信中应用特别广泛，例如在汽车、火车上打电话时，由于环境噪声较多为了提高通话质量通常需要对通话进行语音增强。

现有的语音增强对于低信噪比场景下的纯净原始语音提取非常困难。低信噪比意味着有效语音在带噪声的语音中占比较小，甚至语音已经被噪声完全覆盖，想要从中提取纯净原始语音一般的滤波器无法实现，基于深度学习的模型理论上可以实现，但难度非常大。低信噪比的语音增强难度主要体现在数据分布、数据映射空间的改变，这使得神经网络的学习难度加大，所需的网络容量也加大，网络也不易收敛，所以亟需一种新的方法来进行原始语音提取，降低语音增强的难度。

技术实现要素：

本发明实施例提供一种语音数据的处理方法、装置及电子设备，用于降低语音增强的难度，提高语音增强的质量。

第一方面，本发明实施例提供一种语音数据的处理方法，包括：

对语音数据进行噪音检测并将检测出的目标时频单元置零，获得目标语音数据，所述目标时频单元上噪声能量大于原始语音能量；

根据所述目标时频单元的语音上下文，对所述目标语音数据进行语音补全和语音增强，获得所述语音数据中的原始语音。

可选的，对语音数据进行噪音检测并将检测出的目标时频单元置零，包括：

通过预先训练好的理想二值掩蔽网络对所述语音数据进行噪音检测并将所述目标时频单元置零，获得所述目标语音数据。

可选的，在获得所述目标语音数据之后，所述方法还包括：

判断所述目标语音数据中连续为零的时频单元与所述语音数据中总的时频单元之间的比值是否小于设定阈值；

若所述连续为零的时频单元与所述总的时频单元之间的比值小于设定阈值，执行所述对所述目标语音数据进行语音补全和语音增强的操作，以获得所述原始语音。

可选的，根据所述目标时频单元的语音上下文，对所述目标语音进行语音补全和语音增强，获得所述语音数据中的原始语音，包括：

基于深度卷积神经网络的语谱生成模型捕捉所述语音上下文，并根据所述语音上下文对所述目标语音数据频域上的所述目标时频单元进行语音补全；

对所述目标语音数据中包含弱平稳噪声的时频单元进行语音增强，获取所述语音补全和所述语音增强后的数据作为所述原始语音，其中，所述弱平稳噪声为能量小于原始语音能量的噪声。

第二方面，本发明实施例提供一种语音数据的处理装置，包括：

检测单元，用于对语音数据进行噪音检测并将检测出的目标时频单元置零，获得目标语音数据，所述目标时频单元上噪声能量大于原始语音能量；

恢复单元，用于根据所述目标时频单元的语音上下文，对所述目标语音数据进行语音补全和语音增强，获得所述语音数据中的原始语音。

可选的，所述检测单元用于：

通过预先训练好的理想二值掩蔽网络对所述语音数据进行噪音检测并将所述目标时频单元置零，获得所述目标语音数据。

可选的，所述装置还包括：

判断单元，用于在获得所述目标语音数据之后，判断所述目标语音数据中连续为零的时频单元与所述语音数据中总的时频单元之间的比值是否小于设定阈值；

若所述连续为零的时频单元与所述总的时频单元之间的比值小于设定阈值，执行所述对所述目标语音数据进行语音补全和语音增强的操作，以获得所述原始语音。

可选的，所述恢复单元用于：

基于深度卷积神经网络的语谱生成模型捕捉所述语音上下文，并根据所述语音上下文对所述目标语音数据频域上的所述目标时频单元进行语音补全；

对所述目标语音数据中包含弱平稳噪声的时频单元进行语音增强，获取所述语音补全和所述语音增强后的数据作为所述原始语音，其中，所述弱平稳噪声为能量小于原始语音能量的噪声。

第三方面，本发明实施例提供一种电子设备，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上的程序存储于存储器中，且经配置以由一个或者一个以上的处理器执行所述一个或者一个以上的程序所包含的用于进行如第一方面所述方法对应的操作指令。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，可选的，该程序被处理器执行时实现如第一方面所述方法对应的步骤。

本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：

本申请实施例提供一种语音数据的处理方法，通过对语音数据进行噪音检测并将语音数据中噪声能量大于原始语音能量的目标时频单元置零，获得目标语音数据；再根据目标时频单元的语音上下文，对目标语音进行语音补全和语音增强，进而获得语音数据中的原始语音。噪声能量大于原始语音能量的目标时频单元可能是低信噪比语音，也可能是突然出现噪声或者是语音增强训练集中不存在的噪声，将目标时频单元置零以去除这部分数据，不仅降低了语音增强的难度，还避免了这部分时频单元对语音增强的副作用，使整个语谱上原始语音占据主导，数据的分布趋于稳定一致，由此进行语音补全和语音增强，大大提高了语音增强的质量。

附图说明

图1为本申请实施例提供的一种语音数据的处理方法的流程示意图；

图2为本申请实施例提供的一种语音数据的处理装置的方框图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

在本申请实施例提供的技术方案中，提供一种语音数据的处理方法，通过先将被噪声完全覆盖的时频单元置零，然后进行语音补全和语音增强，以降低语音增强的难度，提高语音增强的质量。

下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

实施例

请参考图1，本申请实施例提供一种语音数据的处理方法，该方法包括：

s10、对语音数据进行噪音检测并将检测出的目标时频单元置零，获得目标语音数据，所述目标时频单元上噪声能量大于原始语音能量；

s12、根据所述目标时频单元的语音上下文，对所述目标语音进行语音补全和语音增强，获得所述语音数据中的原始语音。

其中，目标时频单元的语音上下文是指语音数据中与目标时频单元相邻的非零时频单元，或者与目标视频单元相邻且信噪比大于设定阈值的时频单元。语音上下文中包含的原始语音清楚，可用于预测目标时频单元中的原始语音。

在具体实施过程中，待提纯的语音数据通常由噪声和原始语音组成，其时频单元(time-frequencyunit)中可能包含噪声能量大于原始语音能量的目标时频单元，即频域中被噪声完全覆盖的时频点，直接对该部分进行语音增强非常困难，其语音增强获得的原始语音质量也非常差，本实施例跳出常规思路，对语音数据执行s10对语音数据进行噪音检测并将语音数据中包含的目标时频单元置零，以去除目标时频单元。目标时频单元对于语音增强任务而言起了副作用，它们不仅不能为语音增强提供有用的信息，反而还会影响数据的分布，目标视频单元中的噪声可能是突然出现的，或者未在训练集中存在的，语音增强时处理起来非常困难，为此将其去除。

执行s10时，具体可以通过预先训练好的理想二值掩蔽(idealbinarymask，ibm)网络对语音数据进行噪音检测并将检测出的目标时频单元置零，以去除语音数据中的目标时频单元，获得目标语音数据。理想二值掩蔽在带噪语音的时频表示上标注出特定时频单元是否被原始语音主导，即原始语音的能量是否高于噪音的能量。根据人类听觉系统的掩蔽效应，时间、频率相近的(在同一个时频单元上的)两个声音信号中，能量低的那个信号会被能量高的那个掩蔽，听觉系统无法感知被掩蔽的信号，为此，利用理想二值掩蔽可以去除噪声主导的部分。

对于理想二值掩蔽网络的训练，可以对样本语音数据进行标注，在一个时频单元里，如果其信噪比超过一个阈值，将这个时频单元标注为“1”，否则标注为“0”，通过大量的样本语音数据及其时频单元标注训练获得所需的理想二值掩蔽网络。训练理想二值掩蔽网络相比直接增强语音更为简单高效，并且通过训练理想二值掩蔽网络对语音数据进行噪音检测和目标时频单元去除也十分的高效。

在s10中，对于语音数据中原始语音主导的时频单元不做处理，即对于原始语音能量比噪声能量更大的时频单元不做处理，转由s12进行语音补全和语音增强。

s12可以采用语谱生成模型捕捉目标时频单元的语音上下文，根据捕捉到的语音上下文对目标语音数据频域上的目标时频单元即空洞进行语音补全；同时，对目标语音数据中包含弱平稳噪声的时频单元进行语音增强，获取所述语音补全和所述语音增强后的数据作为所述原始语音，其中，所述弱平稳噪声为能量小于原始语音能量的噪声。由于目标语音数据去除了一部分时频单元，语音的可读性与质量会减低，但去除的时频单元是已经被噪声完全掩蔽了的语音，以及可能突然出现噪声的语音，它们不再参与后续的语音增强，此时目标语音数据中有效信息在时频点中的比重更大，整个语谱上原始语音占据了主导地位，数据的分布趋于稳定一致，据此进行语音补全和语音增强的难度大大降低，获取原始语音的效率显著提高。

其中，语谱生成模型可以基于深度卷积神经网络、深度信任网络等深度学习模型训练获得，本申请并不限制具体模型，凡是可以实现语音增强的语谱生成模型均可。在训练语谱生成模型时，可以采用大量的语音集，该语音集中包含带噪音的语音及该语音对应的原始语音，去除每条带噪语音中被噪声主导的时频单元并以此作为语音样本，根据该语音样本和该语音样本对应的原始语音进行模型训练，获得用于进行语音补全和语音增强的语谱生成模型。

具体实施过程中，为了提高原始语音获取的质量，在执行是s10之后，可以先对目标语音数据进行空洞占比检测。具体的，针对通过理想二值掩蔽获得的目标语音数据，可以先判断目标语音数据中连续为零的时频单元与语音数据中总的时频单元之间的比值是否小于设定阈值，该设定阈值可以根据实验数据设定，例如可以为5％；若连续为零的时频单元与总的时频单元之间的比值小于设定阈值，此时通过上下文进行语音补全的效果较好，执行s12对目标语音进行语音补全和语音增强的操作，以获得原始语音。若连续为零的时频单元与总的时频单元之间的比值不小于设定阈值，因为语音空洞过多，此时通过语音补全的语音可能不准确，为此禁止执行对目标语音数据进行语音补全和语音增强的操作，放弃目标语音数据，直接对原语音数据进行语音增强获得原始语音。

在上述实施例中，通过对语音数据进行噪音检测并将语音数据中噪声能量大于原始语音能量的目标时频单元置零，获得目标语音数据；再根据目标时频单元的语音上下文，对目标语音进行语音补全和语音增强，进而获得语音数据中的原始语音。由于将噪声能量大于原始语音能量的时频单元置零，这部分数据可能是低信噪比语音，也可能是也可能是突然出现噪声或者是语音增强训练集中不存在的噪声，通过置零去除这部分数据之后不仅降低了语音增强的难度，还避免了这部分时频单元对语音增强的副作用，使整个语谱上原始语音占据主导，数据的分布趋于稳定一致，由此进行语音补全和语音增强，大大提高了语音增强的质量。

针对上述实施例提供一种语音数据的处理方法，本申请实施例还对应提供一种语音数据的处理装置，请参考图2，该装置包括：

检测单元21，用于对语音数据进行噪音检测并将检测出的目标时频单元置零，获得目标语音数据，所述目标时频单元上噪声能量大于原始语音能量；

恢复单元22，用于根据所述目标时频单元的语音上下文，对所述目标语音数据进行语音补全和语音增强，获得所述语音数据中的原始语音。

作为一种可选的实施方式，所述检测单元21用于：通过预先训练好的理想二值掩蔽网络对所述语音数据进行噪音检测并将所述目标时频单元置零，获得所述目标语音数据。

作为一种可选的实施方式，所述装置还包括：判断单元23，用于在获得所述目标语音数据之后，判断所述目标语音数据中连续为零的时频单元与所述语音数据中总的时频单元之间的比值是否小于设定阈值；

若所述连续为零的时频单元与所述总的时频单元之间的比值小于设定阈值，通过所述恢复单元22执行所述对所述目标语音数据进行语音补全和语音增强的操作，以获得所述原始语音。

作为一种可选的实施方式，所述恢复单元22具体用于：基于深度卷积神经网络的语谱生成模型捕捉所述语音上下文，并根据所述语音上下文对所述目标语音数据频域上的所述目标时频单元进行语音补全；对所述目标语音数据中包含弱平稳噪声的时频单元进行语音增强，获取所述语音补全和所述语音增强后的数据作为所述原始语音，其中，所述弱平稳噪声为能量小于原始语音能量的噪声。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图3是根据一示例性实施例示出的一种用于实现语音数据的处理方法的电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图3，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/展现(i/o)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个展现接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为展现和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于展现音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种语音数据的处理方法，所述方法包括：对语音数据进行噪音检测并将检测出的目标时频单元置零，获得目标语音数据，所述目标时频单元上噪声能量大于原始语音能量；根据所述目标时频单元的语音上下文，对所述目标语音数据进行语音补全和语音增强，获得所述语音数据中的原始语音。。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。