一种基于均衡器的语音数据增强方法、装置及可读介质与流程

1.本发明涉及语音信号处理领域，具体涉及一种基于均衡器的语音数据增强方法、装置及可读介质。


背景技术：

2.现有的语音处理技术，如声纹识别和语音识别，在训练模型过程中为了提高模型的泛化能力(或者称为鲁棒性)，往往会对语音数据进行数据增强，以获得更多有效的训练数据。常见的语音数据增强方法有加噪音、加背景人声、加混响、语速加快减慢、加编解码等。这些方法都是模拟外界对语音的影响，可以有效地提高语音处理技术的泛化能力。
3.但是，拾音系统频响曲线对语音的影响一直没有被考虑进去。拾音系统的频响曲线反映的是其对不同频率语音的响应特性。麦克风元器件，麦克风所处声学空间的不同，都会造成拾音系统的频响曲线不同。此外，某些拾音系统为了获得特殊效果，往往会刻意调整其频响曲线，比如低频增强等。由于各拾音系统频响曲线的不同，导致同一人的声音被录制后，其频谱会有差异，最终造成语音识别、声纹识别等语音处理识别准确率下降，在不同拾音系统下准确率下降。


技术实现要素：

4.针对上述提到的采用不同拾音设备采集语音所带来的频谱差异等问题。本技术的实施例的目的在于提出了一种基于均衡器的语音数据增强方法、装置及可读介质，来解决以上背景技术部分提到的技术问题。
5.第一方面，本技术的实施例提供了一种基于均衡器的语音数据增强方法，包括以下步骤：
6.s1，获取具有第一频响曲线的第一语音；
7.s2，采用至少一个不同均衡器对第一语音进行处理，得到至少一个第二语音，每个第二语音具有一个与所述第一频响曲线不同的第二频响曲线，第一语音和第二语音对应于第一说话人；
8.s3，重复步骤s1-s2得到对应于多个不同说话人的第一语音和第二语音，基于多个不同说话人的第一语音和第二语音得到语音模型的训练数据。
9.在一些实施例中，步骤s1具体包括：采集第一说话人说话的第一语音。
10.在一些实施例中，步骤s1具体包括：从第一说话人的语音数据中提取得到第一语音。
11.在一些实施例中，步骤s2还包括：通过调节不同频段的增益数值生成至少一个不同均衡器。
12.在一些实施例中，还包括：均衡器将具有第一频响曲线的第一语音调节成为具有第二频响曲线的第二语音。
13.在一些实施例中，语音模型包括基于深度学习的语音识别模型或声纹识别模型。
14.在一些实施例中，均衡器包括数字均衡器。
15.第二方面，本技术的实施例提供了一种基于均衡器的语音数据增强装置，包括：
16.数据获取模块，被配置为获取具有第一频响曲线的第一语音；
17.均衡器处理模块，被配置为采用至少一个不同均衡器对第一语音进行处理，得到至少一个第二语音，每个第二语音具有一个与所述第一频响曲线不同的第二频响曲线，第一语音和第二语音对应于第一说话人；
18.训练数据生成模块，被配置为重复执行数据获取模块和均衡器处理模块得到对应于多个不同说话人的第一语音和第二语音，基于所述多个不同说话人的第一语音和第二语音得到语音模型的训练数据。
19.第三方面，本技术的实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
20.第四方面，本技术的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
21.相比于现有技术，本发明具有以下技术效果：
22.(1)本发明利用原始数据和处理后的数据进行语音识别、声纹识别等基于深度学习的模型进行训练，得到泛化能力更好的模型。
23.(2)经过本发明得到的训练数据训练得到的语音模型能够有效提高跨设备的准确率，减小设备音频响曲线不同所带来的误差。
24.(3)本发明能够在使用同一个拾音系统的情况下对多个人的语音数据进行数据增强，并且可以同样达到在不同拾音系统下采集语音数据的效果，并方便对语音数据进行调节，成本低廉，操作简单。
附图说明
25.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1是本技术的一个实施例可以应用于其中的示例性装置架构图；
27.图2为本发明的实施例的基于均衡器的语音数据增强方法的流程示意图；
28.图3为本发明的实施例的基于均衡器的语音数据增强方法的均衡器的示意图；
29.图4为本发明的实施例的基于均衡器的语音数据增强装置的示意图；
30.图5是适于用来实现本技术实施例的电子设备的计算机装置的结构示意图。
具体实施方式
31.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
32.图1示出了可以应用本技术实施例的基于均衡器的语音数据增强方法或基于均衡器的语音数据增强装置的示例性装置架构100。
33.如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
34.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
35.终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
36.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
37.需要说明的是，本技术实施例所提供的基于均衡器的语音数据增强方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于均衡器的语音数据增强装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
38.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
39.图2示出了本技术的实施例提供的一种基于均衡器的语音数据增强方法，包括以下步骤：
40.s1，获取具有第一频响曲线的第一语音。
41.在具体的实施例中，第一语音对应于第一说话人，也就是，第一说话人可以作为标签，与第一语音构成一组训练数据，对语音识别模块或声纹识别模型进行训练。第一语音的获取方式有很多种，一种是通过拾音系统或拾音设备直接采集第一说话人说话的第一语音；另一种是从第一说话人的语音数据中提取得到第一语音，该语音数据可以是已经采集好的语音数据，并且已知是对应于第一说话人，从该语音数据中截取一部分或者完整的作为第一语音。更甚者，可以将以下的其中一个第二语音再次作为第一语音以进行数据增强，实现裂变式数据增强。
42.s2，采用至少一个不同均衡器对第一语音进行处理，得到至少一个第二语音，每个第二语音具有一个与所述第一频响曲线不同的第二频响曲线，第一语音和第二语音对应于第一说话人。
43.在具体的实施例中，步骤s2中的均衡器采用以下方式得到：通过调节不同频段的增益数值生成至少一个不同均衡器。具体地，均衡器为数字均衡器。常见的数字均衡器如图3所示。其中横坐标表示中心频率，纵坐标表示增益。不同的中心频率调节不同的增益可以达到不同的效果。比如，要增强低频效果，可调节低频的增益为正数；要增强中频效果，可调
节中频的增益为正数；要增强高频效果，可调节高频的增益为正数。本步骤可使用低频增强、中频增强、高频增强等不同参数生成多个均衡器，模拟不同设备对原始语音的影响。通过均衡器可以将具有第一频响曲线的第一语音调节成为具有第二频响曲线的第二语音。通过多个不同均衡器处理得到的语音数据可以替代从多个不同设备中采集到的原始语音，由此在不需要使用多个不同拾音设备的前提下，获取到具有多个不同的第二频响曲线的第二语音，虽然第二频响曲线与第一频响曲线不同，但是都是同属于第一说话人。因此，本技术的实施例所提出的数据增强方法可以有效降低设备成本，并且可控性更强，可以根据具体的情况进行调节，也可以根据需求进行调节，使第二语音得到与第一语音的频响曲线不同的第二频响曲线。
44.s3，重复步骤s1-s2得到对应于多个不同说话人的第一语音和第二语音，基于所述多个不同说话人的第一语音和第二语音得到语音模型的训练数据。
45.在具体的实施例中，语音模型包括基于深度学习的语音识别模型或声纹识别模型。利用第一语音和第二语音对语音识别、声纹识别等基于深度学习的模型进行训练，得到泛化能力更好的模型，可以有效提高语音识别、声纹识别等语音处理技术在跨设备的准确率。语音模型的训练过程与常规的语音识别模型训练和声纹模型训练一致，因此在此不再赘述。经过该训练数据训练得到的语音模型能够有效提高跨设备的准确率，减小设备音频响曲线不同所带来的误差。
46.下面以resnetse34网络模型为基础，将仅仅使用resnetse34网络模型作为对比例，将使用resnetse34网络模型并结合上述基于均衡器的语音数据增强方法作为实施例1，其运行结果如下表：
[0047] 网络结构eer对比例resnetse341.35实施例1resnetse34 基于均衡器的语音数据增强方法1.21
[0048]
由上表所示，采用基于均衡器的语音数据增强方法的resnetse34网络模型在voxceleb1_test上的eer指标，可以看出，增加了基于均衡器的语音数据增强方法后，同一个网络结构下，eer相对降低了10.3％，其中eer表示等错误率。
[0049]
进一步参考图4，作为对上述各图所示方法的实现，本技术提供了一种基于均衡器的语音数据增强装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0050]
本技术实施例提供了一种基于均衡器的语音数据增强装置，包括：
[0051]
数据获取模块1，被配置为获取具有第一频响曲线的第一语音；
[0052]
均衡器处理模块2，被配置为采用至少一个不同均衡器对第一语音进行处理，得到至少一个第二语音，每个第二语音具有一个与所述第一频响曲线不同的第二频响曲线，第一语音和第二语音对应于第一说话人；
[0053]
训练数据生成模块3，被配置为重复执行数据获取模块和均衡器处理模块得到对应于多个不同说话人的第一语音和第二语音，基于所述多个不同说话人的第一语音和第二语音得到语音模型的训练数据。
[0054]
在具体的实施例中，第一语音对应于第一说话人，也就是，第一说话人可以作为标签，与第一语音构成一组训练数据，对语音识别模块或声纹识别模型进行训练。第一语音的
获取方式有很多种，一种是通过拾音系统或拾音设备直接采集第一说话人说话的第一语音；另一种是从第一说话人的语音数据中提取得到第一语音，该语音数据可以是已经采集好的语音数据，并且已知是对应于第一说话人，从该语音数据中截取一部分或者完整的作为第一语音。更甚者，可以将以下的其中一个第二语音再次作为第一语音以进行数据增强，实现裂变式数据增强。
[0055]
在具体的实施例中，均衡器处理模块2中的均衡器采用以下方式得到：通过调节不同频段的增益数值生成至少一个不同均衡器。具体地，均衡器为数字均衡器。常见的数字均衡器如图3所示。其中横坐标表示中心频率，纵坐标表示增益。不同的中心频率调节不同的增益可以达到不同的效果。比如，要增强低频效果，可调节低频的增益为正数；要增强中频效果，可调节中频的增益为正数；要增强高频效果，可调节高频的增益为正数。本装置可使用低频增强、中频增强、高频增强等不同参数生成多个均衡器，模拟不同设备对原始语音的影响。通过均衡器可以将具有第一频响曲线的第一语音调节成为具有第二频响曲线的第二语音。通过多个不同均衡器处理得到的语音数据可以替代从多个不同设备中采集到的原始语音，由此在不需要使用多个不同拾音设备的前提下，获取到具有多个不同的第二频响曲线的第二语音，虽然第二频响曲线与第一频响曲线不同，但是都是同属于第一说话人。因此，本技术的实施例所提出的数据增强装置可以有效降低设备成本，并且可控性更强，可以根据具体的情况进行调节，也可以根据需求进行调节，使第二语音得到与第一语音的频响曲线不同的第二频响曲线。
[0056]
在具体的实施例中，语音模型包括基于深度学习的语音识别模型或声纹识别模型。利用第一语音和第二语音对语音识别、声纹识别等基于深度学习的模型进行训练，得到泛化能力更好的模型，可以有效提高语音识别、声纹识别等语音处理技术在跨设备的准确率。语音模型的训练过程与常规的语音识别模型训练和声纹模型训练一致，因此在此不再赘述。
[0057]
下面参考图5，其示出了适于用来实现本技术实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0058]
如图5所示，计算机装置500包括中央处理单元(cpu)501和图形处理器(gpu)502，其可以根据存储在只读存储器(rom)503中的程序或者从存储部分509加载到随机访问存储器(ram)504中的程序而执行各种适当的动作和处理。在ram 504中，还存储有装置500操作所需的各种程序和数据。cpu 501、gpu502、rom 503以及ram504通过总线505彼此相连。输入/输出(i/o)接口506也连接至总线505。
[0059]
以下部件连接至i/o接口506：包括键盘、鼠标等的输入部分507；包括诸如、液晶显示器(lcd)等以及扬声器等的输出部分508；包括硬盘等的存储部分509；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分510。通信部分510经由诸如因特网的网络执行通信处理。驱动器511也可以根据需要连接至i/o接口506。可拆卸介质512，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器511上，以便于从其上读出的计算机程序根据需要被安装入存储部分509。
[0060]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质
上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分510从网络上被下载和安装，和/或从可拆卸介质512被安装。在该计算机程序被中央处理单元(cpu)501和图形处理器(gpu)502执行时，执行本技术的方法中限定的上述功能。
[0061]
需要说明的是，本技术所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0062]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0063]
附图中的流程图和框图，图示了按照本技术各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0064]
描述于本技术实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
[0065]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取具有第一频响曲线的第一语音；采用至少一个不同均衡器对第一语音进行处理，得到至少一个第二语音，至少一个第二语音具有至少一个与第一频响曲线不同的第二频响曲线，第一语音和第二语音对应于第一说话人；重复上述步骤得到对应于多个不同说话人的第一语音和第二语音，基于多个不同说话人的第一语音和第二语音得到语音模型的训练数据。
[0066]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。