本发明的实施方式涉及音频技术领域，更具体地，本发明的实施方式涉及一种音频处理的性能检测方法、音频处理的性能检测装置、计算机可读存储介质及电子设备。
背景技术：
本部分旨在为权利要求中陈述的本发明的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。
随着互联网技术等的发展，实时通信(real-timecommunications，rtc)技术因实时性更强、延时更低的特点受到了广泛的应用。其中，最为典型的应用为实时音视频通信和直播等。例如，在视频会议、在线学习等场景中，用户可以实时地与交互对象进行语音电话、音频聊天等。音频作为音视频通信中的一个重要因素，其质量会直接影响到用户通信时的体验。而为了减少录音设备、环境等因素对音频数据的影响，提升音频质量，往往需要采用音频引擎对音频数据进行处理。
技术实现要素：
在本上下文中，本发明的实施方式期望提供一种音频处理的性能检测方法、音频处理的性能检测装置、计算机可读存储介质及电子设备。
根据本发明实施方式的第一方面，提供一种音频处理的性能检测方法，所述方法包括：获取原始音频数据；通过音频引擎中各处理组件处理所述原始音频数据，并获取每个所述处理组件处理后生成的音频数据；将每个所述处理组件处理后生成的音频数据与所述处理组件处理前的音频数据进行比对，得到比对结果；根据所述比对结果确定所述各处理组件中的待优化信息。
在一种可选的实施方式中，在通过音频引擎中各处理组件处理所述原始音频数据，并获取每个所述处理组件处理后生成的音频数据时，所述方法包括：获取所述音频引擎中各所述处理组件的组件信息，所述各所述处理组件的组件信息为通过各所述处理组件处理所述原始音频数据时记录的组件信息；根据各所述处理组件的组件信息设置所述音频引擎中对应处理组件的处理参数；通过所述音频引擎中各所述处理组件对所述原始音频数据进行处理，得到每个处理组件处理后生成的音频数据。
在一种可选的实施方式中，所述原始音频数据包括顺序排列的一个或多个音频帧，所述根据各所述处理组件的组件信息设置所述音频引擎中对应处理组件的处理参数，包括：根据各所述处理组件的组件信息确定处理各所述音频帧的处理组件的处理参数；按照各所述音频帧的处理组件的处理参数设置处理对应音频帧的处理组件的处理参数。
在一种可选的实施方式中，在根据各所述处理组件的组件信息设置所述音频引擎中对应处理组件的处理参数时，所述方法还包括：在处理第一音频帧时，根据所述组件信息确定与所述第一音频帧匹配的目标组件信息，并按照所述目标组件信息设置各所述处理组件的处理参数；以及在处理第二音频帧时，根据所述组件信息确定所述第二音频帧对应的各所述处理组件的组件信息是否发生变化，所述第二音频帧为所述第一音频帧之后的任意一个音频帧；在确定所述第二音频帧对应的任意一个或多个所述处理组件的组件信息发生变化时，更新所述任意一个或多个所述处理组件的组件信息。
在一种可选的实施方式中，所述组件信息包括各所述处理组件的开启状态和处理等级，在更新所述任意一个或多个所述处理组件的组件信息时，所述方法包括：根据各所述处理组件的开启状态确定所述第二音频帧对应的各所述处理组件是否处于开启状态；在确定所述第二音频帧对应的各所述处理组件处于开启状态时，确定各所述处理组件的处理等级是否发生变化；在确定任意一个或多个所述处理组件的处理等级发生变化时，更新所述任意一个或多个处理组件的处理等级。
在一种可选的实施方式中，在通过所述音频引擎中各所述处理组件对所述音频帧进行处理时，所述方法还包括：确定所述音频帧的音频类型，所述音频类型包括近端音频帧和远端音频帧；通过各所述处理组件对所述近端音频帧和所述远端音频帧进行处理，得到每个处理组件处理后生成的近端音频数据。
在一种可选的实施方式中，所述将每个处理组件处理后生成的音频数据与所述处理组件处理前的音频数据进行比对，得到比对结果，包括：将每个处理组件处理后生成的近端音频数据与对应处理组件处理前的近端音频数据进行比对，得到所述比对结果。
在一种可选的实施方式中，所述将每个所述处理组件处理后生成的音频数据与所述处理组件处理前的音频数据进行比对，得到所述比对结果，包括：提取所述处理组件处理后生成的音频数据的音频特征，以得到第一特征参数；以及提取所述处理组件处理前的音频数据的音频特征，以得到第二特征参数；根据所述第一特征参数和所述第二特征参数确定所述处理组件处理后的音频数据的处理质量，以得到所述比对结果；所述根据所述比对结果确定所述各处理组件中的待优化信息，包括：当所述处理组件处理后的音频数据的处理质量未达到预设标准时，确定所述处理组件为待优化组件；其中，所述音频数据的音频特征包括所述音频数据的回声特征、噪声特征和增益特征中的任意一种或多种。
在一种可选的实施方式中，所述处理组件包括噪声处理组件、回声抑制组件和增益处理组件中的至少两种。
根据本发明实施方式的第二方面，提供一种音频处理的性能检测装置，所述装置包括：第一获取模块，用于获取原始音频数据；第二获取模块，用于通过音频引擎中各处理组件处理所述原始音频数据，并获取每个所述处理组件处理后生成的音频数据；比对模块，用于将每个所述处理组件处理后生成的音频数据与所述处理组件处理前的音频数据进行比对，得到比对结果；确定模块，用于根据所述比对结果确定所述各处理组件中的待优化信息。
在一种可选的实施方式中，在通过音频引擎中各处理组件处理所述原始音频数据，并获取每个所述处理组件处理后生成的音频数据时，所述第二获取模块，被配置为：获取所述音频引擎中各所述处理组件的组件信息，所述各所述处理组件的组件信息为通过各所述处理组件处理所述原始音频数据时记录的组件信息；根据各所述处理组件的组件信息设置所述音频引擎中对应处理组件的处理参数；通过所述音频引擎中各所述处理组件对所述原始音频数据进行处理，得到每个处理组件处理后生成的音频数据。
在一种可选的实施方式中，所述原始音频数据包括顺序排列的一个或多个音频帧，所述第二获取模块，被配置为：根据各所述处理组件的组件信息确定处理各所述音频帧的处理组件的处理参数；按照各所述音频帧的处理组件的处理参数设置处理对应音频帧的处理组件的处理参数。
在一种可选的实施方式中，所述第二获取模块，被配置为：在处理第一音频帧时，根据所述组件信息确定与所述第一音频帧匹配的目标组件信息，并按照所述目标组件信息设置各所述处理组件的处理参数；以及在处理第二音频帧时，根据所述组件信息确定所述第二音频帧对应的各所述处理组件的组件信息是否发生变化，所述第二音频帧为所述第一音频帧之后的任意一个音频帧；在确定所述第二音频帧对应的任意一个或多个所述处理组件的组件信息发生变化时，更新所述任意一个或多个所述处理组件的组件信息。
在一种可选的实施方式中，所述组件信息包括各所述处理组件的开启状态和处理等级，在更新所述任意一个或多个所述处理组件的组件信息时，所述第二获取模块，还被配置为：根据各所述处理组件的开启状态确定所述第二音频帧对应的各所述处理组件是否处于开启状态；在确定所述第二音频帧对应的各所述处理组件处于开启状态时，确定各所述处理组件的处理等级是否发生变化；在确定任意一个或多个所述处理组件的处理等级发生变化时，更新所述任意一个或多个处理组件的处理等级。
在一种可选的实施方式中，在通过所述音频引擎中各所述处理组件对所述音频帧进行处理时，所述第二获取模块，被配置为：确定所述音频帧的音频类型，所述音频类型包括近端音频帧和远端音频帧；通过各所述处理组件对所述近端音频帧和所述远端音频帧进行处理，得到每个处理组件处理后生成的近端音频数据。
在一种可选的实施方式中，所述比对模块，被配置为：将每个处理组件处理后生成的近端音频数据与对应处理组件处理前的近端音频数据进行比对，得到所述比对结果。
在一种可选的实施方式中，所述比对模块，被配置为：提取所述处理组件处理后生成的音频数据的音频特征，以得到第一特征参数；以及提取所述处理组件处理前的音频数据的音频特征，以得到第二特征参数；根据所述第一特征参数和所述第二特征参数确定所述处理组件处理后的音频数据的处理质量，以得到所述比对结果；所述确定模块，被配置为：当所述处理组件处理后的音频数据的处理质量未达到预设标准时，确定所述处理组件为待优化组件；其中，所述音频数据的音频特征包括所述音频数据的回声特征、噪声特征和增益特征中的任意一种或多种。
在一种可选的实施方式中，所述处理组件包括噪声处理组件、回声抑制组件和增益处理组件中的至少两种。
根据本发明实施方式的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种音频处理的性能检测方法。
根据本发明实施方式的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种音频处理的性能检测方法。
根据本发明实施方式的音频处理的性能检测方法、音频处理的性能检测装置、计算机可读存储介质及电子设备，可以通过音频引擎中各处理组件处理原始音频数据，并获取每个处理组件处理后生成的音频数据，并将每个处理组件处理后生成的音频数据与该处理组件处理前的音频数据进行比对，根据比对结果确定各处理组件中的待优化信息。通过比对每个处理组件处理后生成的音频数据和处理前的音频数据，可以确定音频引擎中每个处理组件的处理性能，定位出性能不佳的处理组件，以及各处理组件的待优化信息，为实现音频引擎的性能调优提供了技术支撑。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示出了根据本发明实施方式的一种系统架构的示意图；
图2示出了根据本发明实施方式的一种音频处理的性能检测方法的流程图；
图3示出了根据本发明实施方式的一种原始音频数据的处理示意图；
图4示出了根据本发明实施方式的一种音频数据的比对流程图；
图5示出了根据本发明实施方式的一种原始音频数据的处理流程图；
图6示出了根据本发明实施方式的一种组件信息的获取流程图；
图7示出了根据本发明实施方式的一种设置处理组件的流程图；
图8示出了根据本发明实施方式的另一种设置处理组件的流程图；
图9示出了根据本发明实施方式的一种更新处理组件参数的流程图；
图10示出了根据本发明实施方式的一种音频帧的处理流程图；
图11示出了根据本发明实施方式的一种音频处理的性能检测装置的结构图；以及
图12示出了根据本发明实施方式的一种电子设备的结构图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提供一种音频处理的性能检测方法、音频处理的性能检测装置、计算机可读存储介质及电子设备。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐述本发明的原理和精神。
发明概述
本发明人发现，由于音频数据的复杂性，需要通过音频引擎对输入的音频数据进行多个环节的处理，一旦某个环节出现问题，则会导致输出的音频信号音质变差，可懂度变低，甚至无法输出音频信号。
鉴于上述内容，本发明的基本思想在于：提供一种音频处理的性能检测方法、音频处理的性能检测装置、计算机可读存储介质及电子设备，可以通过音频引擎中各处理组件处理原始音频数据，并获取每个处理组件处理后生成的音频数据，并将每个处理组件处理后生成的音频数据与该处理组件处理前的音频数据进行比对，根据比对结果确定各处理组件中的待优化信息。通过比对每个处理组件处理后生成的音频数据和处理前的音频数据，可以确定音频引擎中每个处理组件的处理性能，定位出性能不佳的处理组件，以及各处理组件的待优化信息，为实现音频引擎的性能调优提供了技术支撑。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
需要注意的是，下述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
在通过音频引擎处理音频数据时，可以监测音频引擎的处理性能，当音频引擎的性能不佳或者通过音频引擎输出的音频信号音质较差时，可以检测音频引擎中每个处理组件的处理性能，定位有问题的处理组件和处理信息，使操作人员可以根据检测结果对音频引擎进行性能调优。
示例性方法
音频作为音视频通信中的一个重要因素，其质量会直接影响到用户通信是的体验，所以，为了减少录音设备、环境等因素对音频数据的影响，提升音频质量，往往需要采用音频引擎对音频数据进行处理。然而，由于音频数据的复杂性，音频引擎需要对输入的音频数据进行多个环节的处理，一旦某个环节出现问题，就会导致输出的音频信号音质变差，可懂度变低，甚至无法输出音频信号。因此，非常需要一种音频处理的性能检测方法，以检测音频引擎的处理性能，有效定位音频引擎中的故障所在。
鉴于上述问题，本发明的示例性实施方式首先提供了一种音频处理的性能检测方法。图1示出了该方法运行环境的系统架构图。如图1所示，该系统架构100可以包括：客户端110和服务端120。客户端110可以包括个人电脑、智能手机、平板电脑、智能车载设备、智能穿戴设备、游戏机等。客户端110中可以安装能够进行音频通信的应用程序，例如，即时通信应用程序、直播应用程序、音视频会议应用程序、智能语音助手等应用程序。通过客户端110上安装的应用程序，用户可以与其他用户进行音频通话，也可以输入语音来控制客户端110或通过客户端110控制其他远程设备，如智能家居设备等进行相应操作。服务端120表示提供音频处理性能检测的后台服务系统。客户端110和服务端120之间可以通过网络进行信息交互，例如用户在客户端110上进行操作，以向其他用户发送语音消息，客户端110与服务端120一起协作，完成此操作。
需要说明的是，本示例性实施方式对于图1中各设备的数量不做限制，例如可以根据实现需要而设置任意数量的客户端110，服务端120可以是由多台服务器形成的集群。
本示例性实施方式所提供的音频处理的性能检测方法一般可以由服务端120执行。例如，用户可以通过客户端110录入音频数据，服务端120可以采用设置于服务端120中的音频引擎处理该音频数据，并确定处理该音频数据的音频引擎的性能。但本领域技术人员容易理解的是，本示例性实施方式所提供的音频处理的性能检测方法也可以由客户端110执行。例如，在用户通过客户端110上安装的应用程序与其他用户进行音频通话时，客户端110可以通过设置于客户端110中的音频引擎处理输入的音频信号，并确定音频引擎的处理性能。
图2示出了由上述客户端110和/或服务端120所执行的音频处理的性能检测方法的示例性流程，可以包括：
步骤s210，获取原始音频数据。
其中，原始音频数据可以任意一种需要进行处理的音频数据，可以包括实时通信或即时通信时用户输入的音频数据，以及用户从网上下载或截取的音频数据等。
步骤s220，通过音频引擎中各处理组件处理原始音频数据，并获取每个处理组件处理后生成的音频数据。
音频引擎可以是执行音频处理的计算机程序，且每个音频引擎可以由多个处理组件构成，每个处理组件可以用于执行特定的音频处理功能，如音频转换、降噪、抑制回声等。
步骤s230，将每个处理组件处理后生成的音频数据与该处理组件处理前的音频数据进行比对，得到比对结果。
具体的，在比对每个处理组件处理前后的音频数据时，可以比对每个处理组件处理前后的时域、频谱和音质等音频特征。
步骤s240，根据比对结果确定各处理组件中的待优化信息。例如，可以根据比对结果确定各处理组件中的待优化组件以及待优化组件中的待优化信息等。
根据本示例性实施方式中的音频处理的性能检测方法，可以通过比对每个处理组件处理后生成的音频数据和处理前的音频数据，确定音频引擎中每个处理组件的处理性能，定位出性能不佳的处理组件，以及各处理组件的待优化信息，为实现音频引擎的性能调优提供技术支撑。
下面分别对图2中的每个步骤做具体说明。
步骤s210中，获取原始音频数据。
原始音频数据可以是实时通信中输入的音频数据，例如，可以是音视频通信，如语音聊天、视频会议、网络直播等过程中用户输入的语音数据。此外，原始音频数据也可以是即时通信过程中用户通过客户端上的录音设备录入的音频数据，如可以是用户通过社交软件发送的语音消息，或者也可以是其他需要进行处理的音频数据，例如，可以是用户从网上下载或截取的音频数据等，本示例性实施方式对此不做具体限定。
步骤s220中，通过音频引擎中各处理组件处理原始音频数据，并获取每个处理组件处理后生成的音频数据。
音频引擎可以是一个执行音频处理的计算机程序，或者也可以是执行音频处理的计算机程序的一部分，是音频处理软件的主程序。本示例性实施方式中，音频引擎中可以包括多个处理组件，每个处理组件可以用于执行特定的音频处理功能。例如，处理组件可以包括噪声处理组件、回声抑制组件和增益处理组件等等。其中，噪声处理组件可以用于降低或消除输入的音频信号中的某种噪声，如环境噪声、设备噪声等；回声抑制组件可以用于消除输入的音频信号中的回声，该回声可以是在通过客户端录入音频时，由客户端扬声器播放产生的回声信号；增益处理组件可以用于调整输入的音频信号的幅度，得到平稳的音频信号输出，例如，在音频通话时，增益处理组件可以将输入的音频信号的音量转换至用户能够正常收听的音量范围。
在一种可选的实施方式中，本示例性实施方式中的处理组件可以包括上述噪声处理组件、回声抑制组件和增益处理组件中的至少两种。此外，处理组件还可以包括音频转换组件、ai(artificialintelligence，人工智能)降噪组件、音效添加组件、编解码组件等等。
本示例性实施方式中，可以通过音频引擎中各处理组件处理原始音频数据，例如，可以将原始音频数据输入音频引擎，依次通过音频引擎中的各个处理组件对原始音频数据进行处理，并获取每个处理组件处理后生成的音频数据。
图3示出了本示例性实施方式中一种原始音频数据的处理流程，如图所示，原始音频数据包括三个部分：用户作为说话人通过麦克风录入的语音、麦克风录入的用户所处环境中的噪声，以及本地扬声器产生的回声等其他音频数据。此时，音频引擎可以根据原始音频数据中的音频来源，通过回声抑制组件310对原始音频数据中本地扬声器产生的回声进行消减处理；对于麦克风录入的用户语音和环境噪声，则可以依次通过回声抑制组件310、噪声处理组件320和增益处理组件330进行处理，得到说话人的输出语音。在每个处理组件完成对音频数据的处理后，可以输出处理后的音频数据。通过这种方式，可以提高说话人语音的音频质量，降低噪声和回声等对说话人语音的影响。
步骤s230中，将每个处理组件处理后生成的音频数据与处理组件处理前的音频数据进行比对，得到比对结果。
本示例性实施方式中，可以比对每个处理组件处理前后的音频数据，来确定各处理组件处理前后音频数据是否满足处理要求，从而确定各处理组件的处理性能。具体的，可以通过比对每个处理组件处理前后的音频数据的音频时域、频谱信息，或者比对每个处理组件处理前后的音频信号的音质、音量、是否存在回声等，来确定各处理组件的处理性能。
在一种可选的实施方式中，参考图4所示，步骤s230可以通过以下步骤s410～s430实现：
步骤s410中，提取处理组件处理后生成的音频数据的音频特征，以得到第一特征参数。
步骤s420中，提取处理组件处理前的音频数据的音频特征，以得到第二特征参数。
本示例性实施方式中，音频数据的音频特征可以包括音频数据的回声特征、噪声特征和增益特征中的任意一种或多种；相应的，第一特征参数可以包括音频数据的回声特征的回声参数、噪声特征的噪声参数和增益特征的增益参数中的任意一种或多种。具体的，回声参数可以包括回声持续时间、回声往返损耗；噪声参数可以是噪声特征的信噪比；增益参数可以包括音量包络。其中，回声持续时间可以表示消除回声所用的时长，回声往返损耗可以表示回声消除的能力，回声往返损耗值越大，表示回声消除的越干净；信噪比是指音频信号中噪声的占比；音量包络可以用于表示音频信号音量的大小，音量包络的值越大，表示音频信号的音量越大。
对于各处理组件处理后生成的音频数据，可以通过分析音频数据的时域信息、频谱特征等，计算音频数据的特征参数。例如，可以将音频数据转换为频谱特征，根据频谱特征中的峰值、谷值与预设值之间的关系，确定音频数据的特征参数。
步骤s430中，根据第一特征参数和第二特征参数确定处理组件处理后的音频数据的处理质量，以得到比对结果。
将第一特征参数和第二特征参数进行比对，可以确定各处理组件处理前后的音频数据的处理质量，如回声消除质量、去噪质量和音量增益处理质量等等。
通过上述步骤s410～s430，可以提取处理组件处理前后的音频数据的音频特征，得到特征参数，并确定每个处理组件处理音频数据的处理质量，能够实现每个处理组件的处理性能的有效检测，为改善音频处理过程提供依据。
步骤s240，根据比对结果确定各处理组件中的待优化信息。
待优化信息可以包括各处理组件中的待优化组件，以及待优化组件的待优化信息，如是否需要更换滤波器或者调整滤波器的系数等等。
在一种可选的实施方式中，当处理组件处理后的音频数据的处理质量未达到预设标准时，可以确定该处理组件为待优化组件。其中，预设标准可以根据处理组件和实际需求进行设置，例如，对于噪声处理组件，预设标准可以是处理后的音频数据的噪声小于预设噪声范围；对于回声抑制组件，预设标准可以是处理后的音频数据的回声消除程度，如可以是处理后的音频数据的回声小于预设回声范围；对于增益处理组件，预设标准可以是处理后的音频数据的音量是否达到预设阈值等。
通过上述方式，可以确定每个处理组件的待优化信息，使得开发人员可以根据待优化信息对各处理组件进行针对性调整，为提高音频引擎的处理性能提供了技术和数据支撑。
本发明的申请人经研究发现，在理想环境，如消声室或者视听室等实验室场景中，音频引擎中各处理组件的性能都能达到预期的效果，但是在现实环境中，受到外在环境的影响，声学传递路径复杂性较高，录音设备也可能存在非线性失真，且各处理组件之间也会互相影响，使得各处理组件的处理性能受到较大影响，输出的音频信号音质变差。因此，在按照步骤s220处理原始音频数据时，为了准确定位音频引擎中有问题的处理组件，在一种可选的实施方式中，参考图5所示，可以执行以下步骤s510～s530：
步骤s510中，获取音频引擎中各处理组件的组件信息。
其中，各处理组件的组件信息可以是实际应用中通过各处理组件处理原始音频数据时记录的组件信息。各处理组件的组件信息可以包括影响处理组件处理性能的全部参数，例如，可以包括各处理组件的缓存变量，即各处理组件在处理上一段原始音频数据时计算得到的中间信息，该中间信息在处理当前段原始音频数据时会被再次使用，还可以包括各处理组件的组件参数，如滤波器类型和系数等。
在实际应用中，音频引擎可以对接收到的原始音频数据进行处理。本示例性实施方式中，为了提高确定音频引擎性能的准确度，可以通过重现原始音频数据的处理过程来检测音频引擎中各个处理组件的处理性能。因此，可以获取音频引擎中各处理组件的组件信息，即在音频引擎处理原始音频数据时，记录每个处理组件在处理原始音频数据时的组件信息。
在一种可选的实施方式中，为了提高音频数据的处理效率，原始音频数据可以被划分为顺序排列的一个或多个音频帧，由此，在获取各处理组件的组件信息时，可以记录当前时刻每个处理组件的组件信息，然后从当前时刻开始，依次记录输入到音频引擎中的音频帧和该音频帧的顺序，以及处理该音频帧时各个处理组件的组件信息。图6示出了本示例性实施方式中一种获取组件信息的流程，如图所示，可以包括以下步骤：
步骤s610中，在t时刻时，记录每个处理组件的组件信息。其中，每个处理组件的组件信息可以包括处理组件处理上一音频帧时的缓存变量和组件参数，如滤波器系数等。
步骤s620中，记录当前音频帧和当前音频帧的顺序。例如，可以将当前音频帧的顺序标记为n，即为t时刻后到当前时刻为止，输入到音频引擎中的音频帧总数。
步骤s630中，记录每个处理组件处理当前音频帧后得到的音频数据。
步骤s640中，获取下一音频帧，并将下一音频帧作为新的当前音频帧。
步骤s650中，判断处理当前音频帧的处理组件的组件信息是否发生变化，若是，则执行步骤s660，若否，则执行步骤s620。
步骤s660中，记录处理当前音频帧的处理组件的组件信息。然后执行步骤s620，记录当前音频帧和当前音频帧的顺序。
通过上述步骤s610～s660，可以记录音频引擎在实际应用中处理每个音频帧的各个处理组件的组件信息。
步骤s520中，根据各处理组件的组件信息设置音频引擎中对应处理组件的处理参数。
在得到各处理组件的组件信息后，可以按照各处理组件的组件信息设置每个处理组件的处理参数，如缓存变量、滤波器系数等，使得每个处理组件的处理参数与实际应用中各处理组件处理原始音频数据时的参数完全一致。
步骤s530中，通过音频引擎中各处理组件对原始音频数据进行处理，得到每个处理组件处理后生成的音频数据。
具体的，可以依次通过音频引擎中各处理组件对原始音频数据进行处理。例如，可以先将原始音频数据输入至噪声处理组件进行去噪，然后将去噪后的音频信号输入至回声抑制组件，消除音频信号中的回声，最后将回声抑制组件处理后的音频信号输入至增益处理组件，以调整音频信号的音量。按照该方法对原始音频数据的处理过程进行重现，并得到每个处理组件处理后生成的音频数据。
在一种可选的实施方式中，为了提高原始音频数据的处理过程的重现度，各处理组件的组件信息还可以包括各处理组件处理原始音频数据的顺序，由此，在通过音频引擎中各处理组件处理原始音频数据时，可以按照各处理组件处理原始音频数据的顺序，重新输入原始音频数据进行处理，并得到每个处理组件处理后的音频数据。
通过上述步骤s510～s530，可以根据音频引擎中各处理组件的组件信息设置对应处理组件的处理参数，并通过音频引擎中各处理组件处理原始音频数据，可以实现音频引擎处理原始音频数据的高度重现，为准确定位音频引擎中的故障组件提供便利；同时，在后续调整处理组件的参数后，也可以对音频引擎以及处理组件的性能进行验证，实现音频引擎处理性能的检测和验证的自动化。
此外，由于组件信息涵盖了各处理组件处理原始音频数据的较多数据，相比简单地打印各处理模块重要节点的日志的方法，可以准确地重现出原始音频数据的处理过程，为精确定位处理组件故障提供了支持。
在一种可选的实施方式中，对于原始音频数据中顺序排列的一个或多个音频帧，参考图7所示，在按照步骤s520设置音频引擎中对应处理组件的处理参数时，可以执行以下步骤：
步骤s710中，根据各处理组件的组件信息确定处理各音频帧的处理组件的处理参数。其中，处理组件的处理参数可以是每个处理组件的组件信息中的参数信息，例如，可以包括每个处理组件处理各音频帧的缓存变量参数和组件参数等。
步骤s720中，按照各音频帧的处理组件的处理参数设置处理对应音频帧的处理组件的处理参数。
在通过音频引擎处理原始音频数据中的各个音频帧时，音频引擎中处理组件的组件参数可能会发生变化，例如，在一些音频引擎中，用户可以通过调整处理组件参数的sdk(softwaredevelopmentkit，软件开发工具包)接口更改各处理组件的处理参数。因此，在处理各个音频帧时，可以根据各处理组件的组件信息确定处理每个音频帧的处理组件的处理参数，从而在处理各音频帧时，按照每个音频帧对应的处理组件的处理参数设置各个处理组件的处理参数，以完全重现每个音频帧的处理过程。
通过确定每个音频帧的处理组件的处理参数，并按照该处理参数设置对应的处理组件的处理参数，可以确保处理每个音频帧的处理组件的处理参数与实际应用时的组件参数一致，提高原始音频数据处理过程的重现度。
在一种可选的实施方式中，在根据各处理组件的组件信息设置音频引擎中对应处理组件的处理参数时，参考图8所示，还可以执行以下方法：
步骤s810中，在处理第一音频帧时，根据组件信息确定与第一音频帧匹配的目标组件信息，并按照目标组件信息设置各处理组件的处理参数。
第一音频帧可以是原始音频数据中的任意一个音频帧；目标组件信息为处理第一音频帧时各处理组件的组件信息。在处理第一音频帧时，可以根据组件信息确定第一音频帧的目标组件信息，例如，可以根据第一音频帧在原始音频数据中的顺序，确定与该顺序相匹配的组件信息顺序，从而在组件信息中确定目标组件信息。按照目标组件信息设置处理第一音频帧的对应的各个处理组件的处理参数。
步骤s820中，在处理第二音频帧时，根据组件信息确定第二音频帧对应的各处理组件的组件信息是否发生变化。
其中，第二音频帧为第一音频帧之后的任意一个音频帧。
在一种可选的实施方式中，组件信息可以包括表示组件信息是否变化的标识信息，在处理第二音频帧时，可以读取组件信息中的标识信息，来确定处理第二音频帧的各处理组件的组件信息是否发生变化。
步骤s830中，在确定第二音频帧对应的任意一个或多个处理组件的组件信息发生变化时，更新上述任意一个或多个处理组件的组件信息。例如，可以在组件信息中读取第二音频帧对应的上述任意一个或多个处理组件的组件信息，并设置该处理组件的组件参数，以实现组件信息的更新。
通过在第二音频帧对应的处理组件的组件信息发生变化时，更新处理组件的组件信息，可以及时调整处理组件的处理参数，避免因参数不同步而导致的处理效果发生变化的可能，也可以减少设置组件信息的次数，提高音频帧的处理效率。
在一种可选的实施方式中，组件信息还可以包括各处理组件的开启状态和处理等级，其中，开启状态表示处理组件的处理功能是否开启，处理等级表示处理组件的处理程度。由此，在更新任意一个或多个处理组件的组件信息时，参考图9所示，还可以执行以下方法：
步骤s910中，根据各处理组件的开启状态确定第二音频帧对应的各处理组件是否处于开启状态。
步骤s920中，在确定第二音频帧对应的各处理组件处于开启状态时，确定各处理组件的处理等级是否发生变化。以噪声处理组件为例，处理等级越高，处理组件消除噪声便消除的更干净。
步骤s930中，在确定任意一个或多个处理组件的处理等级发生变化时，更新任意一个或多个处理组件的处理等级。
通过上述方法，可以确保原始音频数据的处理过程与实际处理过程完全一致，实现原始音频数据处理过程的复刻，在后续调整处理组件后，可以进一步验证处理组件的性能有无改善；同时，在确定处理组件处于开启状态且其处理等级发生变化时，对处理组件的处理等级进行更新，可以减少处理组件的更新次数，提升复原原始音频数据处理过程的效率。
当用户通过客户端上的录音设备录入音频时，得到的原始音频数据可以由两部分构成，即远端音频和近端音频。其中，近端原始音频可以是用户通过客户端上的录音设备采集到的音频数据，如可以包括图3中通过麦克风采集到的说话人的语音信号和环境噪声，远端原始音频可以是其他设备通过网络发送过来的信号，如可以是图3中示出的本地扬声器播放产生的回声。为了确定经过各处理组件处理后的近端音频的质量，在一种可选的实施方式中，步骤s220也可以通过以下方法实现：
确定音频帧的音频类型；
通过各处理组件对近端音频帧和远端音频帧进行处理，得到每个处理组件处理后生成的近端音频数据。其中，音频类型包括近端音频帧和远端音频帧。
在实际应用中，近端音频可以是由用户通过客户端的录音设备输入的音频信号，远端音频则可以由客户端与其他设备的连接接口，如物理接口或网络接口等输入的音频信号，即，近端音频和远端音频可以通过不同的数据接口输入客户端。因此，可以根据原始音频数据中音频信号的输入接口确定原始音频数据中每个音频帧的音频类型，即近端音频帧或远端音频帧。然后按照每个音频帧的顺序输入音频帧，以通过各处理组件对输入的音频帧进行处理，并输出每个处理组件处理后生成的近端音频数据。通过确定音频帧的音频类型和输出每个处理组件处理后生成的近端音频数据，可以剔除输出后的音频数据中的远端音频数据，从而可以根据输出的近端音频数据确定每个组件的处理性能，对于改善说话人的语音质量具有指导意义。
如前所述，原始音频数据可以由近端音频和远端音频构成，相应的，原始音频数据中每个音频帧也可以包括近端音频帧和远端音频帧。因此，在一种可选的实施方式中，可以判断原始音频数据中每个音频帧是否包括近端音频帧和远端音频帧，来按照每个音频帧的顺序将其对应的近端音频帧和远端音频帧输入至音频引擎进行处理。例如，参考图10所示，示出了一种音频帧的处理方法，可以包括：
步骤s1001中，获取原始音频数据中的各个音频帧，以及各处理组件的组件信息。其中，各处理组件的组件信息可以包括处理每个音频帧的组件信息。
步骤s1002中，设置处理当前音频帧的各个处理组件的处理参数、开启状态和处理等级。
步骤s1003中，判断当前音频帧是否包括近端音频帧。若是，则执行步骤s1005，若否，则执行步骤s1009。
步骤s1004中，判断当前音频帧是否包括远端音频帧。若是，则执行步骤s1006，若否，则执行步骤s1009。
步骤s1005中，输入当前音频帧中的近端音频帧。
步骤s1006中，输入当前音频帧中的远端音频帧。
步骤s1007中，处理当前音频帧。即，处理当前音频帧中的近端音频帧和远端音频帧。例如，可以对当前音频帧中的近端音频帧和远端音频帧分别进行处理，且近端音频帧和远端音频帧的处理方法可以相同，也可以不同。
步骤s1008中，输出各处理组件处理后得到的近端音频数据。
步骤s1009中，获取下一音频帧，将其作为新的当前音频帧。
步骤s1010中，确定处理当前音频帧的各处理组件的开启状态或处理等级是否改变。如果存在处理组件的开启状态或处理等级发生变化，则执行步骤s1002，若不存在处理组件的开启状态或处理等级发生变化，则执行步骤s1003和步骤s1004。
通过上述方法，可以从每个处理组件处理后生成的音频数据中提取出近端音频数据，确定各处理组件对近端音频数据的处理性能。
为了使用户可以清楚地听到说话人的语音，需要改善近端音频的质量，尽可能地消除远端音频的影响。因此，在一种可选的实施方式中，步骤s230也可以通过以下方法实现：
将每个处理组件处理后生成的近端音频数据与对应处理组件处理前的近端音频数据进行比对，得到比对结果。
通过比对每个处理组件处理前后的近端音频数据，可以确定各个处理组件处理原始音频数据得到的近端音频数据的质量，确定各个处理组件的处理性能。在处理用户通过录音设备录入的语音数据时，能够取得更好的检测能力。
示例性装置
本发明示例性实施方式还提供一种音频处理的性能检测装置。参考图11所示，该音频处理的性能检测装置1100可以包括：
第一获取模块1110，可以用于获取原始音频数据；
第二获取模块1120，可以用于通过音频引擎中各处理组件处理原始音频数据，并获取每个处理组件处理后生成的音频数据；
比对模块1130，可以用于将每个处理组件处理后生成的音频数据与处理组件处理前的音频数据进行比对，得到比对结果；
确定模块1140，可以用于根据比对结果确定各处理组件中的待优化信息。
在一种可选的实施方式中，在通过音频引擎中各处理组件处理原始音频数据，并获取每个处理组件处理后生成的音频数据时，第二获取模块1120，被配置为：
获取音频引擎中各处理组件的组件信息，各处理组件的组件信息为通过各处理组件处理原始音频数据时记录的组件信息；
根据各处理组件的组件信息设置音频引擎中对应处理组件的处理参数；
通过音频引擎中各处理组件对原始音频数据进行处理，得到每个处理组件处理后生成的音频数据。
在一种可选的实施方式中，原始音频数据包括顺序排列的一个或多个音频帧，第二获取模块1120，被配置为：
根据各处理组件的组件信息确定处理各音频帧的处理组件的处理参数；
按照各音频帧的处理组件的处理参数设置处理对应音频帧的处理组件的处理参数。
在一种可选的实施方式中，第二获取模块1120，被配置为：
在处理第一音频帧时，根据组件信息确定与第一音频帧匹配的目标组件信息，并按照目标组件信息设置各处理组件的处理参数；以及
在处理第二音频帧时，根据组件信息确定第二音频帧对应的各处理组件的组件信息是否发生变化，第二音频帧为第一音频帧之后的任意一个音频帧；
在确定第二音频帧对应的任意一个或多个处理组件的组件信息发生变化时，更新任意一个或多个处理组件的组件信息。
在一种可选的实施方式中，组件信息包括各处理组件的开启状态和处理等级，在更新任意一个或多个处理组件的组件信息时，第二获取模块1120，还被配置为：
根据各处理组件的开启状态确定第二音频帧对应的各处理组件是否处于开启状态；
在确定第二音频帧对应的各处理组件处于开启状态时，确定各处理组件的处理等级是否发生变化；
在确定任意一个或多个处理组件的处理等级发生变化时，更新任意一个或多个处理组件的处理等级。
在一种可选的实施方式中，在通过音频引擎中各处理组件对音频帧进行处理时，第二获取模块1120，被配置为：
确定音频帧的音频类型，音频类型包括近端音频帧和远端音频帧；
通过各处理组件对近端音频帧和远端音频帧进行处理，得到每个处理组件处理后生成的近端音频数据。
在一种可选的实施方式中，比对模块1130，被配置为：
将每个处理组件处理后生成的近端音频数据与对应处理组件处理前的近端音频数据进行比对，得到比对结果。
在一种可选的实施方式中，比对模块1130，被配置为：
提取处理组件处理后生成的音频数据的音频特征，以得到第一特征参数；以及
提取处理组件处理前的音频数据的音频特征，以得到第二特征参数；
根据第一特征参数和第二特征参数确定处理组件处理后的音频数据的处理质量，以得到比对结果；
确定模块1140，被配置为：
当处理组件处理后的音频数据的处理质量未达到预设标准时，确定处理组件为待优化组件；
其中，音频数据的音频特征包括音频数据的回声特征、噪声特征和增益特征中的任意一种或多种。
在一种可选的实施方式中，处理组件包括噪声处理组件、回声抑制组件和增益处理组件中的至少两种。
此外，本发明实施方式的其他具体细节在上述方法的发明实施方式中已经详细说明，在此不再赘述。
示例性存储介质
下面对本发明示例性实施方式的存储介质进行说明。
本示例性实施方式中，可以通过程序产品实现上述方法，如可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、re等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言-诸如java、c 等，还包括常规的过程式程序设计语言-诸如"c"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性电子设备
参考图12对本发明示例性实施方式的电子设备进行说明。该电子设备可以是上述客户端110或服务端120。
图12显示的电子设备1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：至少一个处理单元1210、至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240。
其中，存储单元存储有程序代码，程序代码可以被处理单元1210执行，使得处理单元1210执行本说明书上述"示例性方法"部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1210可以执行如图2、图4至图10所示的方法步骤等。
存储单元1220可以包括易失性存储单元，例如随机存取存储单元(ram)1221和/或高速缓存存储单元1222，还可以进一步包括只读存储单元(rom)1223。
存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块1225包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1230可以包括数据总线、地址总线和控制总线。
电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(i/o)接口1250进行。电子设备1200还包括显示单元1240，其连接到输入/输出(i/o)接口1250，用于进行显示。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了装置的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
