调整均衡器的方法、装置、设备和计算机可读存储介质与流程

本公开涉及人工智能领域，尤其涉及语音和深度学习技术领域的调整均衡器的方法、装置、设备和计算机可读存储介质。

背景技术：

随着计算机技术的发展，与生活相关的各种信息量均快速增加。由于音乐是一种重要的艺术形式和文化活动，因此与音乐有关的应用也随着用户需求的增加而快速的发展。例如已经出现了许多可以被用户使用唱歌软件。随着与音乐有关的应用的增加，与音乐有关的多媒体流也随着快速增加。因此，对于与音乐有关的多媒体数据流的管理和存储变得非常重要。然而，在对与音乐有关的数据的处理过程中还有许多需要解决的问题。

技术实现要素：

本公开提供了一种调整均衡器的方法、装置、设备以及计算机可读存储介质。

根据本公开的第一方面，提供了一种调整均衡器的方法。该方法包括确定音频信号的音频特征。该方法还包括将神经网络模型应用于音频特征以确定音频信号的目标类型，神经网络模型利用音频信号的音频特征来确定音频信号的类型。该方法还包括确定与目标类型相对应的均衡器调整参数。该方法还包括将均衡器调整参数应用于均衡器以调整音频信号。

根据本公开的第二方面，提供了一种调整均衡器的装置。该装置包括音频特征确定模块，被配置为确定音频信号的音频特征；应用模块，被配置为将神经网络模型应用于音频特征以确定音频信号的目标类型，神经网络模型利用音频信号的音频特征来确定音频信号的类型；均衡器调整参数确定模块，被配置为确定与目标类型相对应的均衡器调整参数；以及调整模块，被配置为将均衡器调整参数应用于均衡器以调整音频信号。

根据本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开的第一方面的方法。

根据本公开的第四方面，提供一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据本公开的第一方面的方法。

根据本公开的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开的第一方面的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出了本公开的多个实施例能够在其中实现的环境100的示意图；

图2示出了根据本公开的一些实施例的用于调整均衡器的方法200的流程图；

图3示出了根据本公开的一些实施例的用于获取梅尔频率倒谱系数的过程300的示意图；

图4示出了根据本公开的一些实施例的获取最优均衡器参数的过程400的示意图；

图5示出了根据本公开的一些实施例的用于生成均衡器数据库的示例过程500的示意图；

图6示出了根据本公开的一些实施例的用于调整均衡器的装置600的框图；以及

图7示出了能够实施本公开的多个实施例的设备700的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

在对音频信号，例如语音信号，进行处理时，可通过均衡器平衡高低音以对声音进行美化。在均衡器中，通过调整音频信号中不同频段的能量可提高音频清晰度与明亮度，能美化声音。利用效果较好的均衡器可以改进用户体验。

然而，均衡器的调整需要专业的调音知识和调音技巧。不同的音频信号，例如不同的语音，所需要的参数各不相同，这对于普通用户来说很难自己对均衡器进行调整。现在一些音乐应用都是预置几组事先调整好的均衡器风格供用户选择，用户歌唱录音结束后选择一组应用；或者有专业调音知识的人可以自定义设置均衡器参数。

然而，传统方案仅仅为用户提供了预置的少数几组均衡器风格，例如流行、电子、摇滚等。由于每个人的声音千差万别，少数几组参数无法适配所有人的声音，导致多数用户的修音效果并不理想。此外，一般用户也不具有调音知识，无法设置均衡器参数。

为了至少解决上述问题，本公开提出一种用于调整均衡器的改进方案。在该方案中，计算设备确定音频信号的音频特征。然后计算设备将神经网络模型应用于音频特征以确定音频信号的目标类型，神经网络模型利用音频信号的音频特征来确定音频信号的类型。计算设备确定与目标类型相对应的均衡器调整参数。计算设备将均衡器调整参数应用于均衡器以调整音频信号。通过该方法，可以快速地改进音频信号的音频特性，提高了用户体验，满足了用户的调音需求。

图1示出了本公开的多个实施例能够在其中实现的环境100的示意图。如图1所示，环境100包括计算设备104。计算设备104可以用于实现对均衡器的调整。

计算设备104获取音频信号102以用于确定对音频信号102进行调整的均衡器的参数。计算设备102包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理(pda)、媒体播放器等)、多处理器系统、消费电子产品、小型计算机、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtualprivateserver"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

计算设备104可以对接收的音频信号102进行处理以获取音频信号102的音频特征。在一些实施例中，计算设备104音频信号102进行预加重处理，然后进行分帧和加窗处理，然后经过一系列变换获得音频信号的梅尔频率倒谱系数。在一些实施例中，计算设备104对音频信号102进行处理以获得音频信号102的信噪比或者线性预测倒谱系数。上述示例仅是用于描述本公开，而非对本公开的具体限定。音频特征可以为从音频信号102以任意合适的方法获得的任意合适的特征。

计算设备104将获得的音频特征106输入到神经网络模型108以获得音频信号的类型110。神经网络模型108可用于利用音频信号的音频特征来确定音频信号的类型。在一些实施例中，神经网络模型108是通过离线训练得到的。在一些实施例中，神经网络模型108是从其他设备获取的。上述示例仅是用于描述本公开，而非对本公开的具体限定。

在一些实施例中，神经网络模型108是利用一组音频信号的音频特征作为输入和一组音频信号的类型作为输出训练得到的。图1示出了计算设备104运行神经网络模型108。其仅是示例，神经网络模型108也可以在其他设备上运行。

在通过神经网络模型108获得音频信号的类型110后，可以从均衡器数据库获取与该类型相对应的均衡器调整参数112。该均衡器数据库中包括音频信号的多个参考类型和多个参考均衡器调整参数的映射关系。与每个参考类型相对应的参考均衡器参数由以下方式获得：对该类型的多个音频信号进行均衡器调整以得到与多个音频信号中的每个音频信号的均衡器调整参数，然后利用每个音频信号的均衡器调整参数来获得对应于该类型的均衡器调整参数。在一个示例中，将该类型的多个音频信号的均衡器调整参数进行平均以获得该类型的均衡器调整参数。在另一个示例中，对该类型的多个音频信号的均衡器调整参数进行加权平均以获得该类型的均衡器调整参数。上述示例仅是用于描述本公开，而非对本公开的具体限定。

然后，可以将获得的均衡器调整参数应用于均衡器以对该音频信号进行调整，从而可以利用与该音频信号相对应的均衡器调整参数对其进行调整。

通过上述方法，可以快速地改进音频信号的音频特性，提高了用户体验，满足了用户的调音需求。

上面图1示出了本公开的多个实施例能够在其中实现的环境100的示意图。下面结合图2描述根据本公开的一些实施例的用于调整均衡器的方法200的流程图。方法200可以由图1中的计算设备104或其它任意合适的设备来实现。

在框202处，计算设备104确定音频信号102的音频特征106。计算设备104可以从其他设备或用户直接获取音频信号102。例如，来自用户的语音信号或来自乐器的声音信号。然后计算设备可以确定该音频信号102的音频特征106。

在一些实施例中，该音频特征106为梅尔频率倒谱系数(mel-scalefrequencycepstralcoefficients,mfcc)。通过该方式，可以使获得的音频信号的特征信息更准确。在一些实施例中，该音频特征106可以为音频信号的信噪比或者线性预测倒谱系数(linearpredictivecepstralcoefficient，lpcc)。通过上述方式，可以准确的获得音频信号的特征。上述示例仅是用于描述本公开，而非对本公开的具体限定。

在一些实施例中，计算设备104会对音频信号102进行分帧处理。然后计算设备104再对经分帧的音频信号102进行加窗。经加窗的音频信号102被用于获取音频信号102的音频特征106。通过上述方式可以快速的获取到音频信号的音频特征。例如，通过分帧和加窗处理来获得音频信号的梅尔频率倒谱系数。获取梅尔频率倒谱系数的过程可以参考图3。图3示出了出了根据本公开的一些实施例的用于获取梅尔频率倒谱系数的过程300的示意图。

在图3中，在框302处，计算设备104获取用户语音。然后在框304处计算设备104对用户语音进行预加重处理。然后在框306处，计算设备104对预加重的用户语音进行分帧处理。在框308处，计算设备104对经分帧的语音信号进行加窗处理。然后在框310处，计算设备104对加窗的语音信号进行快速傅立叶变换。在框312处，计算设备104利用梅尔滤波器组处理经变换后的信号。然后在框314处，计算设备对经过滤的信号进行对数运算。在框316处，计算设备104对经过处理的音频信号再进行离散余弦变换以获得梅尔频率倒谱系数。通过上述方式，可以快速、准确地获取音频信号的音频特征。

现在返回图2继续进行描述，在框204处，计算设备104将神经网络模型应用于音频特征以确定音频信号的目标类型，神经网络模型利用音频信号的音频特征来确定音频信号的类型。

在一些实施例中，神经网络模型是利用一组音频信号的音频特征作为输入和一组音频信号的类型作为输出训练得到的。通过该方式，可以更准确的获取到与音频信号相对应的类型。在该训练过程中，首先基于音频信号中声音的能量分布来将一组音频信号分为多个不同的类型。然后获取该一组音频信号中每个音频信号的音频特征。然后将该一组音频音号中的每个音频信号的音频特征作为样本输入并且将对应的音频信号的类型作为样本输出来训练该神经网络模型。

在一些实施例中，在训练好该神经网络模型后，输入为mfcc特征，输出为多个节点，每个节点代表属于每种类型的声音概率，选取与概率最大的节点对应的类型作为音频信号的类型。在一些实施例中，该神经网络模型可以替换为决策树模型。上述示例仅是用于描述本公开，而非对本公开的具体限定。

在一些实施例中，该音频信号的类型与声音的能量分布有关，能量分布相近的音频信号属于同一个类型。在一些实施例中，该音频信号的类型对应于男高音、男中音、男低音、女高音、中间、女低音、童音等。上述示例仅是用于描述本公开，而非对本公开的具体限定。

在框206处，计算设备104确定与目标类型相对应的均衡器调整参数。在获得了与音频信号相对应的目标类型后，可以基于该目标类型来获得对应的均衡器调节参数。

在一些实施例中，计算设备104从均衡器数据库中获取音频信号的多个参考类型和多个参考均衡器调整参数之间的映射关系。然后，计算设备104从多个参考类型中确定与目标类型相同的参考类型。因此，从多个参考均衡器调整参数中可以确定出与参考类型相对应的参考均衡器调整参数，以作为均衡器调整参数。通过该方式，可以快速的获取到与该目标类型相对应的均衡器调整参数。下面将结合图4描述获得均衡器数据库一个示例。在图4中获得是与不同类型的用户声音相对应的均衡器数据库，其仅是示例，而非限定，本领域技术人员可以依据需要生成任意合适的均衡器数据库。

在图4中，在框402处，计算设备先获取多个用户声音。然后在框404处对用户声音进行分类，该分类的类型与训练神经网络模型时的类型相同。因此，也可以用训练神经网络模型的音频数据样本来获得均衡器数据库。然后对每个类型的声音进行处理来获得其对应的均衡器调整参数。然后由该类型的每个音频信号的均衡器调整参数来获得对应于该类型的均衡器参数，即获得均衡器调整参数406-1、均衡器调整参数406-2、……、均衡器调整参数406-n，其中n为正整数。为了描述方便，可以统称为均衡器调整参数406。然后将音频信号的类型与对应的均衡器调节参数的映射关系存储到均衡器数据库408中以供用户使用。

现在返回图2继续进行描述，在框208处，计算设备104将均衡器调整参数应用于均衡器以调整音频信号。

在一些实施例中，将均衡器调整参数应用于均衡器以对音频信号的多个频段进行调整。在一个示例中，均衡器调整参数包括10个参数，分别对31hz、62hz、125hz、250hz、500hz、1khz、2khz、4khz、8khz、16khz的10个频段进行调整。在另一个示例中，均衡器调整参数包括31个参数，用于将音频信号分成31个频段来进行调整。备选地或附加地，均衡器调整参数还用于对每个频段的带宽进行调整。上述示例仅是用于描述本公开，而非对本公开的具体限定。本领域技术人员可以依据需要来将频率划分为任意合适数量的频段。

在一些实施例中，将均衡器调整参数应用于均衡器以对音频信号的幅度进行调整。例如，可以通过均衡器调整参数来调整音频信号的幅度或增益。备选地或附加地，可以通过均衡器调整参数来分别调节多个频段内的音频信号的幅度或增益。通过该方式，可以更准确地对音频信号进行调整。

通过该方法，可以快速地改进音频信号的音频特性，提高了用户体验，满足了用户的调音需求。

上面结合图2-图4描述根据本公开的多个实施例的用于调整均衡器的方法。下面结合图5描述根据本公开的一些实施例的用于生成均衡数据库的示例过程500的示意图。过程500可以由图1中的计算设备104或其它任意合适的设备来实现。

在框502处，计算设备104首先录制用户的真实音频信息。然后，在框504处，由计算设备104对录制的真实音频信息进行处理以提取用户音频的mfcc特征。然后在框506处，将该用户音频的mfcc特征输入神经网络模型以利用神经网络模型对音频进行分类。然后，根据确定的音频的类型从均衡数据库508获取对应的最优均衡器调整参数。在框510处，计算设备104输出最优均衡器参数并应用以调节均衡器。

通过上述方法，可以快速的改进音频信号的音频特性，提高了用户体验，满足了用户的调音需求。

图6示出了根据本公开实施例的用于调整均衡器的装置600的示意性框图。如图6所示，装置600包括音频特征确定模块602，被配置为确定音频信号的音频特征。装置600还包括应用模块604，被配置为将神经网络模型应用于音频特征以确定音频信号的目标类型，神经网络模型利用音频信号的音频特征来确定音频信号的类型。装置600还包括均衡器调整参数确定模606块，被配置为确定与目标类型相对应的均衡器调整参数。装置600还包括调整模块608，被配置为将均衡器调整参数应用于均衡器以调整音频信号。

在一些实施例中，音频特征包括以下至少一项：梅尔频率倒谱系数、线性预测倒谱系数和信噪比。

在一些实施例中，音频特征为梅尔频率倒谱系数，音频特征确定模块602包括分帧模块，被配置为对音频信号进行分帧；加窗模块，被配置为对经分帧的音频信号进行加窗；以及音频特征获取模块，被配置为基于经加窗的音频信号获取音频信号的音频特征。

在一些实施例中，神经网络模型是利用一组音频信号的音频特征作为输入和一组音频信号的类型作为输出训练得到的。

在一些实施例中，均衡器调整参数确定模块606包括：映射关系获取模块，被配置为获取音频信号的多个参考类型和多个参考均衡器调整参数之间的映射关系；参考类型确定模块，被配置为从多个参考类型中确定与目标类型相同的参考类型；以及参考均衡器调整参数确定模块，被配置为从多个参考均衡器调整参数中确定与参考类型相对应的参考均衡器调整参数，以作为均衡器调整参数。

在一些实施例中，调整模块608包括频段调整模块，被配置为将均衡器调整参数应用于均衡器以对音频信号的多个频段进行调整；幅度调整模块，被配置为将均衡器调整参数应用于均衡器以对音频信号的幅度进行调整。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。设备700可以用于实现图1中的计算设备104。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram703中，还可存储设备800操作所需的各种程序和数据。计算单元701、rom702以及ram703通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线704。

设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如方法200和过程300、400和500。例如，在一些实施例中，方法200和过程300、400和500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram703并由计算单元701执行时，可以执行上文描述的方法200和过程300、400和500的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200和过程300、400和500。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。