音频信号处理方法及电子设备与流程

1.本技术涉及智能终端技术领域，尤其涉及一种音频信号处理方法及电子设备。


背景技术：

2.虽然智能终端（例如手机等）的功能日益丰富，但音频业务（通话、来电、音乐、视频等）始终是智能终端基础且重要的功能。
3.随着用户对智能终端立体声外放需求的日益增多，双喇叭终端甚至多喇叭终端越来越普及。此时，立体声外放极大地消耗了终端电池电量，且由于电声转换效率较低，终端发热现象严重。因此，在智能终端外放音频时，如何降低智能终端的功耗是亟待解决的问题。


技术实现要素：

4.为了解决上述技术问题，本技术实施例提供一种音频信号处理方法及电子设备。在该方法中，对音频信号进行优化滤波以降低设备功耗和发热时，综合考虑了用户个人偏好和扬声器的实时反馈信息，使得对音频信号的调节更加精准，也不会出现用户可明显感知的音频播放性能波动。
5.第一方面，本技术实施例提供一种音频信号处理方法。该方法包括：电子设备获取第一音频信号，并对第一音频信号进行音频内容分析，得到音频内容分析结果；电子设备将音频内容分析结果、用户偏好信息和smart pa的反馈信息输入预先训练得到的优化模型中，得到滤波系数；电子设备对第一音频信号进行处理，得到第二音频信号；电子设备使用滤波系数对第二音频信号进行滤波处理，得到第三音频信号。这样，电子设备对音频信号进行优化滤波以降低设备功耗和发热时，综合考虑了用户个人偏好和扬声器的实时反馈信息，使得对音频信号的调节更加精准，也不会出现用户可明显感知的音频播放性能波动。
6.其中，第一音频信号可以理解为待播放或待处理的音频信号，可以是一帧音频信号，也可以是多帧音频信号。
7.其中，本技术实施例对电子设备对第一音频信号进行的处理不做具体限定，例如可以是音效处理等。在一种可能的情形中，第二音频信号与第一音频信号是相同的。
8.其中，第三音频信号可以理解为已处理的音频信号，该音频信号可以输入至数模转换模块中进行数模转换以通过扬声器进行播放。
9.根据第一方面，电子设备对第一音频信号进行音频内容分析，可以包括：电子设备对第一音频信号进行特征提取；电子设备根据提取到的信号特征，对第一音频信号进行音频内容分析。
10.示例性的，电子设备对第一音频信号进行时域特征和/或频域特征提取，也可以对第一音频信号进行音乐特征提取等。
11.根据第一方面，或者以上第一方面的任意一种实现方式，优化模型包括功耗优化模型和温度优化模型。电子设备将音频内容分析结果、用户偏好信息和smart pa的反馈信
息输入预先训练得到的优化模型中，得到滤波系数，可以包括：电子将音频内容分析结果、用户偏好信息和smart pa的反馈信息，输入功耗优化模型中，得到实时功耗优化传递函数；其中，功耗优化模型包括基于心理声学的功耗优化部分和基于用户偏好的功耗优化部分；电子设备将音频内容分析结果、用户偏好信息和smart pa的反馈信息，输入温度优化模型中，得到实时温度优化传递函数；其中，温度优化模型包括基于心理声学的温度优化部分和基于用户偏好的温度优化部分；电子设备将实时功耗优化传递函数和实时温度优化传递函数进行卷积，得到滤波系数。
12.这样，优化模型基于心理声学和用户偏好以及扬声器的实时反馈信息进行功耗优化和温度优化，能够确保用户的听觉体验，不会对用户欣赏音乐效果产生巨大影响，也不会出现用户可明显感知的音频播放性能波动。
13.根据第一方面，或者以上第一方面的任意一种实现方式，电子设备对第一音频信号进行音频内容分析，得到音频内容分析结果，可以包括：电子设备按照多个内容分析子类对第一音频信号进行音频内容分析，得到与多个内容分析子类分别对应的各个子类分析结果；其中，功耗优化模型包括与多个内容分析子类分别对应的多个子类功耗优化模型，温度优化模型包括与多个内容分析子类分别对应的多个子类温度优化模型。
14.相应的，电子设备将音频内容分析结果、用户偏好信息和smart pa的反馈信息，输入功耗优化模型中，得到实时功耗优化传递函数，可以包括：电子设备将各个子类分析结果、用户偏好信息和smart pa的反馈信息，分别输入与相应的子类对应的子类功耗优化模型中，得到各个功耗传递函数；电子设备融合各个功耗传递函数，得到实时功耗优化传递函数。
15.相应的，电子设备将音频内容分析结果、用户偏好信息和smart pa的反馈信息，输入温度优化模型中，得到实时温度优化传递函数，可以包括：电子设备将各个子类分析结果、用户偏好信息和smart pa的反馈信息，分别输入与相应的子类对应的子类温度优化模型中，得到各个温度传递函数；电子设备融合各个温度传递函数，得到实时温度优化传递函数。
16.这样，子类功耗优化模型和子类温度优化模型，均是针对本子类的音频内容进行功耗优化或温度优化，不仅能够降低设备功耗和发热，还提升了优化的针对性和精准性，使得对待播放音频信号的调节更加合理，提升了用户的听觉体验。
17.根据第一方面，或者以上第一方面的任意一种实现方式，子类分析结果包括多个信号类型分析结果；子类功耗优化模型包括与多个信号类型分别对应的多个子类功耗优化子模型，子类温度优化模型包括与多个信号类型分别对应的多个子类温度优化子模型。
18.相应的，电子设备将各个子类分析结果、用户偏好信息和smart pa的反馈信息，分别输入与相应的子类对应的子类功耗优化模型中，得到各个功耗传递函数，可以包括：电子设备将每个子类分析结果中各个信号类型分析结果、用户偏好信息和smart pa的反馈信息，分别输入与相应的信号类型对应的子类功耗优化子模型中，得到与每个子类对应的各个功耗传递子函数；电子设备分别融合与每个子类对应的各个功耗传递子函数，得到各个功耗传递函数。
19.相应的，电子设备将各个子类分析结果、用户偏好信息和smart pa的反馈信息，分
别输入与相应的子类对应的子类温度优化模型中，得到各个温度传递函数，可以包括：电子设备将每个子类分析结果中各个信号类型分析结果、用户偏好信息和smart pa的反馈信息，分别输入与相应的信号类型对应的子类温度优化子模型中，得到与每个子类对应的各个温度传递子函数；电子设备分别融合与每个子类对应的各个温度传递子函数，得到各个温度传递函数。
20.这样，子类功耗优化子模型和子类温度优化子模型，均针对本子类本类型的音频内容进行功耗优化或温度优化，不仅能够降低设备功耗和发热，还提升了优化的针对性和精准性，使得对待播放音频信号的调节更加合理，提升了用户的听觉体验。
21.根据第一方面，或者以上第一方面的任意一种实现方式，功耗优化模型或者子类功耗优化模型或者子类功耗优化子模型的表示形式为：；其中，orignal(t)表示待优化音频信号，l{ }表示拉氏变换，optimized(t)表示优化后的信号；；其中，psycap( )表示功耗优化的心理声学优化部分，usrdfp( )表示功耗优化的用户偏好设置优化部分，protect(﹒)表示融合保护部分。
22.根据第一方面，或者以上第一方面的任意一种实现方式，温度优化模型或者子类温度优化模型或者子类温度优化子模型的表示形式为：；其中，orignal(t)表示待优化音频信号，l{ }表示拉氏变换，optimized(t)表示优化后的信号；；其中，psycat( )表示温度优化的心理声学优化部分，usrdft( )表示温度优化的用户偏好设置优化部分，protect( )表示融合保护部分。
23.根据第一方面，或者以上第一方面的任意一种实现方式，内容分析子类至少包括下述之二：乐器成分分析子类、调性变化分析子类、音乐结构分析子类、人声分析子类。
24.根据第一方面，或者以上第一方面的任意一种实现方式，smart pa的反馈信息包括扬声器的实时功耗、实时温度和实时心理声学响度。
25.根据第一方面，或者以上第一方面的任意一种实现方式，用户偏好信息包括优先优化设置信息和至少一种信号类型的优化程度设置信息。
26.第二方面，本技术实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行如第一方面以及第一方面中任意一项的音频信号处理方法。
27.第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可
参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
28.第三方面，本技术实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第一方面以及第一方面中任意一项的音频信号处理方法。
29.第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
30.第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面中任意一项的音频信号处理方法。
31.第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
附图说明
32.图1a为示例性示出的应用场景示意图；图1b为示例性示出的应用场景示意图；图2为示例性示出的电子设备的硬件结构示意图；图3为示例性示出的电子设备的软件结构示意图；图4为示例性示出的dsp芯片的模块框架结构示意图；图5为本技术提供的模块交互示意图；图6为本技术提供的音频内容分析示意图；图7为示例性示出的应用场景示意图；图8为本技术提供的优化模型的结构示意图之一；图9为本技术提供的优化模型的结构示意图之一；图10为本技术提供的功耗优化模型的结构示意图之一；图11为本技术提供的温度优化模型的结构示意图之一；图12为本技术提供的功耗优化模型的结构示意图之一；图13为本技术提供的功耗优化模型的结构示意图之一；图14为本技术提供的温度优化模型的结构示意图之一；图15为本技术提供的温度优化模型的结构示意图之一；图16为示例性示出的dsp芯片的模块框架结构示意图；图17为本技术提供的模块交互示意图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关
系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
35.本技术实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
36.在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
37.在本技术实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。
38.在一种应用场景下，作为音频消费类电子产品，智能终端（如手机等）中设置smart pa（smart power amplifier，智能功率放大器）。其中，smart pa可以根据扬声器的反馈信号（如电压信号、电流信号等）计算得到一些信息，例如实时温度、实时功耗等信息。进而，音频信号处理模块可以根据这些信息以及预设策略调整音频信号，从而实现对扬声器的保护，例如降低扬声器的功耗，对扬声器进行温度保护等。
39.在微型扬声器产品中，低频信号对产品功耗的影响相对较大。因此，在音频播放过程中，如果对低频能量进行抑制，则产品功耗会大幅降低。针对一些对终端功耗有要求的场景，智能终端在进行音频播放时会对低频能量进行抑制，使频率响应的低频部分呈现“断崖式衰减”，以此降低终端功耗。
40.图1a示例性示出了一种应用场景示意图。用户使用某手机在正常模式下和低功耗模式下分别播放同一首歌曲，并记录相应的频率响应。如图1a所示，曲线1为手机在正常模式下播放该歌曲而生成的频率响应曲线，曲线2为手机在低功耗模式下播放该歌曲而生成的频率响应曲线。从曲线2可以看出，低频部分（200hz以下）的音频信号被严重衰减，以此实现对终端功耗的降低。然而，音频信号的低频部分是很多乐器以及人声的基音部分，这部分能量的衰减会对音乐效果的欣赏产生巨大影响，从而降低了用户的听觉体验。
41.图1b示例性示出了另一种应用场景示意图。手机在进行音频播放时，通常会通过迅速降低数字域音频信号的幅度来降低扬声器温度，以实现对扬声器的温度保护。如图1b所示，曲线3示例性示出了扬声器音圈的实时温度曲线，曲线4示出了与曲线3对应的实时负增益曲线，该负增益作为对与曲线3对应的音频信号的温度约束增益。参照图1b，当扬声器音圈的温度高到一定程度时，根据负增益对音频信号进行调整，以降低音频信号的播放功率，进而降低扬声器音圈的温度。如图1b所示，随着扬声器音圈温度的降低，相应的负增益的幅度也会降低，也即用于对音频信号进行调整的负增益是实时变化的。然而，负增益的添加以及变化会导致手机播放的音频信号响度产生人耳听觉可闻的变化。示例性的，当扬声器音圈的温度高到一定程度时，负增益的添加无疑会降低音频信号响度，影响用户听觉体验。此时，如果用户增大音频播放音量，无疑会进一步增加终端功耗，导致扬声器音圈升温，以使扬声器音圈无法得到较佳的温度保护。
42.因此，无论是对低频能量进行抑制以降低扬声器功耗，还是基于负增益实现对扬声器的温度保护，都无法保证用户的听觉体验，进而降低了用户对音频消费类电子产品的使用体验。
43.如图2所示为电子设备100的结构示意图。可选地，电子设备100可以称为终端，也可以称为终端设备，终端可以为可穿戴式电子设备，例如可以是智能手表，本技术不做限定。需要说明的是，电子设备100的结构示意图可以适用于图1a和图1b所示应用场景中提及的手机。应该理解的是，图2所示电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图2中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
44.电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，usb）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，sim）卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，加速度传感器，温度传感器，运动传感器，气压传感器，磁传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器，骨传导传感器等。
45.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，ap），调制解调处理器，图形处理器（graphics processing unit，gpu），图像信号处理器（image signal processor，isp），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，dsp），基带处理器，和/或神经网络处理器（neural-network processing unit，npu）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
46.在本技术实施例中，dsp可以用于实现对音频信号的处理，包括但不限于对音频信号进行特征提取，基于提取到的特征分析音频内容，基于优化模型（包括功耗优化模型和温度优化模型）确定与音频信号对应的滤波系数，以及对音频信号音效处理和滤波处理等。
47.其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
48.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。
49.在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，i2c）接口，集成电路内置音频（inter-integrated circuit sound，i2s）接口，脉冲编码调制（pulse code modulation，pcm）接口，通用异步收发传输器（universal asynchronous receiver/transmitter，uart）接口，移动产业处理器接口（mobile industry processor interface，mipi），通用输入输出（general-purpose input/output，gpio）接口，用户标识模块（subscriber identity module，sim）接口，和/或通用串行总线（universal serial bus，usb）接口等。
50.i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
51.pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
52.uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
53.可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
54.充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
55.电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。
56.在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
57.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
58.显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
59.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理，使得电子设备100实现本技术实施例中的音频信号处理方法。
60.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
61.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
62.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以
通过扬声器170a收听音乐，或收听免提通话。在一些实施例中，电子设备100可以设置多个扬声器170a。
63.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
64.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
65.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
66.压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。
67.触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。
68.按键190包括开机键（或称电源键），音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
69.马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用（例如拍照，音频播放等）的触摸操作，可以对应不同的振动反馈效果。
70.指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息。
71.电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本技术实施例以分层架构的android系统为例，示例性说明电子设备100的软件结构。
72.图3是本技术实施例的电子设备100的软件结构框图。
73.电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为五层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，硬件抽象层（hardware abstraction layer，hal）和内核层。
74.应用程序层可以包括一系列应用程序包。
75.如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
76.应用程序框架层为应用程序层的应用程序提供应用编程接口（application programming interface，api）和编程框架，包括各种组件和服务来支持开发者的安卓开发。应用程序框架层包括一些预先定义的函数。如图3所示，应用程序框架层可包括视图系统、窗口管理器、资源管理器、内容提供器等。
77.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
78.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
79.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
80.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
81.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
82.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
83.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
84.其中，媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: mpeg4，h.264，mp3，aac，amr，jpg，png等。
85.hal层为位于操作系统内核与硬件电路之间的接口层。如图3所示，hal层包括但不限于：音频硬件抽象层（audio hal）和摄像头硬件抽象层（camera hal）。其中，audio hal用于对音频流进行处理，例如，对音频流进行降噪、定向增强等处理，camera hal用于对图像流进行处理。
86.在一些实施例中，audio hal对音频信号的处理，还可以包括但不限于对音频信号进行特征提取，基于提取到的特征分析音频内容，基于优化模型（包括功耗优化模型和温度优化模型）确定与音频信号对应的滤波系数，以及对音频信号音效处理和滤波处理等。
87.内核层是硬件和上述软件层之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。其中，该硬件可以包括摄像头，显示屏，麦克风，扬声器，处理器，以及存储器等器件。
88.可以理解的是，图3示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本技术不做限定。
89.可以理解的是，电子设备为了实现本技术实施例中的音频信号处理方法，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，
但是这种实现不应认为超出本技术的范围。
90.本技术实施例提供了一种音频信号处理方法。具体的，电子设备对该待处理音频信号进行内容分析，得到音频内容分析结果；电子设备将音频内容分析结果、用户偏好信息以及smart pa的反馈信息，输入预先训练得到的优化模型中，得到与待处理音频信号对应的滤波系数；电子设备使用该滤波系数对待处理音频信号进行滤波优化处理，得到滤波优化后的音频信号，以使电子设备在播放该音频信号时能够降低功耗和/或发热。这样，该音频信号处理方法结合了用户的个人喜好，不仅降低了电子设备的功耗和发热，还能保证用户的听觉感受。而且，该音频信号处理方法还结合smart pa反馈的扬声器相关信息，对音频信号进行实时优化调节，不会出现用户可明显感知的性能波动，以此提升了用户的听觉体验。
91.需要指出的是，本技术实施例提供的音频信号处理方法可以由hal层中音频hal中的一些处理模块来执行，也可以由外挂的dsp芯片（如audio dsp芯片）中的一些处理模块来执行，对此本技术实施例不做具体限定。下述以外挂的audio dsp芯片执行音频信号处理方法为例，进行解释说明。
92.图4示例性的示出了dsp芯片的模块框架结构示意图。参照图4，dsp芯片中至少可以包括音频内容分析模块401、smart pa 402、优化模型403、音效处理模块404和滤波优化模块405。其中，音频内容分析模块401，用于对一帧或多帧音频信号进行音频内容分析，例如分析音频信号涉及的信号类型、与信号类型对应的心理声学响度以及与信号类型对应的信号频谱等。smart pa 402，用于计算得到与扬声器对应的实时反馈信息，例如实时温度、实时功耗、以及实时心理声学响度等信息，并将这些反馈信息发送至优化模型403中。优化模型403，用于根据音频内容分析结果、用户偏好信息以及与扬声器对应的反馈信息确定与待处理音频信号对应的滤波系数，以用于对音频信号进行滤波优化处理，实现对电子设备的功耗和/或发热现象的优化。其中，用户偏好信息指的是用户针对优化模型优化方向设置的个人偏好信息，例如可以是与功耗优化优先对应的设置信息、与温度优化优先对应的设置信息、与音质优化优先对应设置信息等。音效处理模块404，用于对音频信号进行音效处理，例如对音频信号添加杜比音效、重低音音效等。滤波优化模块405，用于根据优化模型403输出的滤波信号对经过音效处理模块404处理后的音频信号进行滤波优化处理。参照图4，待处理音频信号依次经过音效处理模块404和滤波优化模块405的处理后，得到已处理音频信号。已处理音频信号通过smart pa 402被送入数模转换模块进行数模转换处理后，即可通过扬声器进行播放。
93.需要指出的是，smart pa 402输入优化模型403的反馈信息，是smart pa 402根据扬声器播放前一帧或前多帧音频信号时的反馈信号以及相应的音频信号确定的。也即，smart pa 402根据扬声器当前的音频播放情况计算得到的反馈信息，是用于对后续待播放音频信号进行调整的，以实现对扬声器的后续保护。
94.需要注意的是，若待处理音频信号为扬声器播放的首帧信号，则在优化模型生成与该首帧信号对应的滤波系数时，其所依据的反馈信息可以是默认值或空值，本实施例对此不做限定。
95.如图5所示为模块交互示意图。参照图5，本技术实施例提供的音频信号处理方法的处理流程，具体包括：
s501, 音频内容分析模块对待处理音频信号进行音频内容分析，并将音频内容分析结果输入优化模型。
96.其中，待处理音频信号，可以是任意应用下发的待播放的音频信号。待处理音频信号可以是一帧音频信号，也可以是多帧音频信号，本实施例不做限定。
97.音频内容分析，指的是对音频信号进行内容分析，包括但不限于分析音频涉及的信号类型、分析与信号类型对应的心理声学响度以及分析与信号类型的信号频谱等。
98.示例性的，音频内容分析结果可以通过长参数矢量的形式表示。其中，音频内容分析结果中参数可以包括信号类型集合、与信号类型对应的心理声学响度集合和与信号类型的信号频谱集合。其中，各个参数的元素数量与预设的信号分析类型总数量是相等的。
99.示例性的，在对某音频信号进行音频内容分析时，若分析该音频信号中仅存在信号类型为“a”的信号分量，则在音频内容分析结果中，参数“心理声学响度集合”中与信号类型“a”对应的元素值为“a”信号的心理声学响度值，参数“信号频谱集合”中与信号类型“a”对应的元素值为“a”信号的信号频谱。又示例性的，在对某音频信号进行音频内容分析时，若分析该音频信号中仅存在信号类型为“b”的信号分量，则在音频内容分析结果中，参数“心理声学响度集合”中与信号类型“b”对应的元素值为心理声学响度默认值，参数“信号频谱集合”中与信号类型“b”对应的元素值为信号频谱默认值。
100.参照图6，音频内容分析模块首先对待处理音频信号进行特征提取，得到音频特征。然后对这些音频特征进行音频内容分析，得到与待处理音频信号对应的音频内容分析结果。其中，音频内容分析模块提取到的特征可能是短时特征，也可能是长时特征。示例性的，音频内容分析模块对待处理音频信号进行特征提取，得到与待处理音频信号对应的短时特征。又示例性的，音频内容分析模块对待处理音频信号以及历史音频信号进行特征提取，得到与待处理音频信号对应的长时特征。
101.示例性的，音频内容分析模块可以对待处理音频信号进行时域特征提取，也可以进行频域特征提取。表1示例性示出了一些时域特征和频域特征，这些特征可以作为音频内容分析模块进行音频内容分析的基础特征。另外，一些时域特征组合而成的特征，或一些频域特征组合而成的特征，也可以作为音频内容分析模块进行音频内容分析的基础特征。例如，时域特征中的“过零率及高过零率占比”与“短时能量及低能量占比”的乘积可以用来作为检测声音兴奋程度的特征。
102.表1表2
又示例性的，音频内容分析模块还可以对待处理音频信号进行音乐特征提取。表2示例性示出了一些音乐特征，这些特征也可以作为音频内容分析模块进行音频内容分析的基础特征。类似的，一些音乐特征组合而成的特征，也可以作为音频内容分析模块进行音频内容分析的基础特征。
103.其中，音频内容分析模块提取到的特征可以表示为特征矩阵或特征矢量的形式。
104.示例性的，音频内容分析模块提取到的时域特征和音频特征可以表示为如式（1）所示的特征矩阵。式（1）中的每一行对应该特征的时域曲线（或时域特征矢量）。
105.式（1）为：。
106.其中，i表示第i个特征，m为总特征数，n为频点，p为时域帧数。
107.示例性的，音频内容分析模块提取到的频域特征可以表示为如式（2）所示的特征矩阵。式（2）中的每一个元素对应的是由此帧信号的频谱计算出来的特征值，每一行即为该特征的时频特征矢量。
108.式（2）为：。
109.其中，i表示第i个特征，m为总特征数，n为频点，p为时域帧数。
110.关于特征提取方式可以参照已有技术，在此不再赘述。
111.继续参照图6，音频内容分析模块基于提取到的特征进行分析得到相应的音频内容分析结果。其中，音频内容分析模块在进行音频内容分析时，可以按照多个内容分析子类进行。可选的，音频内容分析模块基于预先训练的与每个内容分析子类对应的内容分析子类模型，对提取到的特征进行分析，以分别得到相应的子类分析结果。
112.示例性的，内容分析子类可以包括但不限于乐器成分分析子类、调性变化分析子类、音乐结构分析子类、人声分析子类等。相应的，音频内容分析结果中的子类分析结果包括但不限于乐器成分分析结果、调性变化分析结果、音乐结构分析结果和人声分析结果等。其中，多个子类分析结果拼接或组合起来即可作为与音频信号对应的音频内容分析结果。
113.示例性的，针对每个内容分析子类，子类分析结果可以通过长参数矢量的形式表示。其中，子类分析结果中也可以包括多个参数，如信号类型集合、与信号类型对应的心理声学响度集合和与信号类型的信号频谱集合。其中，针对每个内容分析子类，子类分析结果中各个参数的元素数量与该内容分析子类中预设的信号分析类型总数量是相等的。
114.以乐器成分分析子类为例，音频内容分析模块可以分析出待处理音频信号涉及哪些类型的乐器，每种类型的乐器中又包括哪些细分的种类等。例如，在音频内容分析模块分析出待处理音频信号涉及鼓声时，还可以具体分析鼓声时来自军鼓、底鼓还是其他类型的鼓。
115.示例性的，音频内容分析模块基于提取到的特征进行乐器成分分析时，可以得到如下子类分析结果：。
116.其中，ids(t)表示乐器集合，例如可以按照hornbostel-sachs乐器分类法把各种乐器进行分类标定。示例性的，参数ids(t)的某个元素值为“041131”，该元素值中各数字依次表示为：“0”表示乐器，“4”表示膜鸣类，“1”表示击奏类，“1”表示筒形，“3”表示高脚类，“1”表示象脚鼓。lnds(t)表示对应乐器的心理声学响度集合。spcts(t)表示对应乐器的信号频谱集合。
117.上述ids(t)、lnds(t)和spcts(t)为乐器成分分析子类的子类分析结果中包括的各个参数，每个参数的元素数量为乐器成分分析子类中预设的乐器信号类型总数量。
118.关于调性变化分析子类、音乐结构分析子类、人声分析子类等内容分析子类，也是类似的，在每个子类中预设信号分析类型，以此得到相应的子类分析结果，在此不再赘述。
119.在本实施例中，音频内容分析模块基于提取到的特征进行调性变化分析、音乐结构分析，可以得到与待处理音频信号对应的音乐属性变化情况，如旋律、音高等。由于当优化模型基于用户偏好信息等生成与待处理音频信号对应的滤波系数，以对音频信号进行滤波优化时，可能会导致音频信号的音乐属性的变化。因此，音频内容分析模块基于提取到的特征进行调性变化分析、音乐结构分析，将子类分析结果作为对待处理音频信号的音频内容分析结果，并将其作为优化模型的优化依据，在一定程度上能够保证音频信号的音乐属性变化情况不被破坏，进而不会对音乐效果的欣赏产生巨大影响，提升用户的听觉体验。
120.在本实施例中，音频内容分析模块基于提取到的特征进行人声分析，可以确定原始音乐中人声的心理声学响度，整体的音乐的心理声学响度，以及人声的低频部分。因此，音频内容分析模块基于提取到的特征进行人声分析，将子类分析结果作为对待处理音频信号的音频内容分析结果，并将其作为优化模型的优化依据，能够确保用户听到的信号响度，以及人声、乐器响度配比不会有明显的差异，也有助于基于一些心理声学手段（如掩蔽效应、虚拟低音等技术）抑制人声的低频部分，以实现对设备功耗的优化。
121.s502, 音效处理模块对待处理音频信号进行音效处理，并将音效处理后的音频信号发送至滤波优化模块。
122.输入音频内容分析模块中的待处理音频信号，还会同时被输入至音效处理模块进行音效处理。关于音效处理模块对待处理音频信号的处理策略，可以根据实际应用确定，本实施例不做限定。
123.示例性的，音效处理模块可以对待处理音频信号添加杜比音效、重低音音效等，以实现对待处理音频信号的音效处理。
124.本实施例对s501和s502的执行顺序不做限定。
125.s503，优化模型根据音频内容分析结果、用户偏好信息以及与扬声器相关的实时反馈信息，得到与待处理音频信号对应的滤波系数。
126.其中，音频内容分析结果，可以理解对待处理音频信号进行滤波优化的前馈参数；与扬声器相关的实时反馈信息，可以理解为对待处理音频信号进行滤波优化的反馈参数；用户偏好信息，可以理解为对待处理音频信号进行滤波优化的个人偏好参数。
127.在本实施例中，用户偏好信息指的是用户针对优化模型优化方向设置的个人偏好信息，例如可以是与功耗优化优先对应的设置信息、与温度优化优先对应的设置信息、与音质优化优先对应设置信息等，例如还可以是对某个优化项的优化程度设置信息，以表示对不同乐器的喜好程度，是更喜欢节奏还是更在意旋律等。
128.其中，用户可以按照自己的喜好，自定义设置乐器、人声或者音乐性的功耗或者发热的优化程度，也可以按照音乐流派选择推荐设置。
129.图7示例性的示出了一种应用场景。如图7中（1）所示，用户点击设置应用，以及设置应用下的相关菜单，使手机显示个人偏好设置菜单下的音频播放优化界面，此时可以参照图7中（2）。如图7中（2）所示，用户在选择“启动优化”选项之后，可以选择“功耗优先”、“温度优先”以及“音质优先”等任一优先优化选项，以确定音频优化的优先方向。在一种场景下，当用户使用手机玩游戏时，手机发热会严重影响用户的使用体验。此时，用户可以选择“温度优先”这一优先优化选项，以将降低发热现象作为音频优化的优先方向。参照图7中（2），当用户选择某一个优先优化选项后，用户还可以根据个人需求，针对相应的优化项进行优化程度的调整。示例性的，用户比较喜欢小军鼓的声音，可以调整与优化项“小军鼓”的优化程度，以尽量保留与小军鼓对应的音频信号分量。又示例性的，用户特别不喜欢小军鼓的声音，可以调整与优化项“小军鼓”的优化程度，以尽量衰减与小军鼓对应的音频信号分量。参照图7中（2），当用户选择某一个优先优化选项之后，用户还可以选择与某个推荐标签对应的推荐设置，例如选择与“流行”标签对应的推荐设置。其中，与某个推荐标签对应的推荐设置中包括各个优化项的优化程度设置信息。
130.示例性的，用户偏好信息可以被矢量化为一组数值参数，作为优化模型的输入参数之一。其中，数值参数可以理解为优先优化选项的权重或优化项的权重。
131.需要指出的是，当用户选择“启动优化”选项之后，本实施例提供的音频信号处理方法实时生效，以执行相应的优化流程。
132.在本实施例中，与扬声器相关的实时反馈信息是smart pa基于扬声器实时反馈信号计算得到，并输入到优化模型中的。反馈信号包括但不限于扬声器的电压信号和电流信号。示例性的，与扬声器相关的实时反馈信息包括但不限于实时功率信息、实时温度信息和实时心理声学响度信息等。
133.需要指出的是，smart pa输入优化模型的实时反馈信息，是smart pa根据扬声器播放前一帧或前多帧音频信号时获取到的实时反馈信号（如扬声器的电压信号和电流信号），以及相应的音频信号计算得到的。关于实时功率信息、实时温度信息和实时心理声学响度信息等的计算方式，可以参照已有技术，在此不再赘述。
134.在本实施例中，将音频内容分析结果、用户偏好信息以及与扬声器相关的反馈信息，输入预先训练得到的优化模型中，得到与待处理音频信号对应的滤波系数。其中，滤波系数用于对音效处理后的音频信号进行滤波，以降低扬声器播放该音频信号时的功耗和发热。
135.参照图8，优化模型包括功耗优化模型、温度优化模型和综合模型。其中，将与待处理音频信号对应的音频内容分析结果、用户偏好信息以及smart pa计算得到的实时反馈信息输入功耗优化模型，得到实时功耗优化传递函数；同时，将与待处理音频信号对应的音频内容分析结果、用户偏好信息以及smart pa计算得到的实时反馈信息输入温度优化模型，
得到实时温度优化传递函数；将实时功耗优化传递函数和实时温度优化传递函数输入综合模型进行卷积，得到综合传递函数，并将该综合传递函数转换为高阶fir滤波器系数，作为与待处理音频信号对应的滤波系数。
136.示例性的，功耗优化模型可以写做：。
137.其中，orignal(t)表示待优化音频信号，l{ }表示拉氏变换，optimized(t)表示优化后的信号，可以写做：。
138.其中，psycap( )表示功耗优化模型的心理声学优化部分，usrdfp( )表示功耗优化模型的用户偏好设置优化部分，protect( )表示融合保护部分。
139.在本实施例中，功耗优化模型的心理声学优化部分，利用心理声学方法（如时频域掩蔽效应、虚拟低音技术等）进行功耗优化。其中，功耗优化模型的心理声学优化部分，根据输入信号的特征计算当前信号中人耳听觉不太敏感的部分，将该部分的能量进行衰减，以实现用户感知不到的功耗优化。另外，功耗优化模型的心理声学优化部分，还将对功耗影响较大的低频能量进行衰减，并利用谐波模拟低频信号，以实现用户感知不到的功耗优化。其中，功耗优化模型的心理声学优化部分中涉及的变量包括功率、温度和心理声学响度等。
140.在本实施例中，功耗优化模型的用户偏好设置优化部分根据用户偏好信息进行功耗优化。这部分的优化会被用户感知到，而且会对音乐的调性、节奏等基本音乐属性的感知有所影响。因此，功耗优化模型的用户偏好设置优化部分在几个关键的音乐维度（如旋律、节奏等）上建立了保护机制，确保即使用户设置了最为激进的优化模式，也不会过度改变音乐的重要特性。
141.由于功耗优化与实时功耗状态有关，因此在创建功耗优化模型时需要遍历所有可能的功耗状态，最后融合心理声学优化传递函数和用户偏好设置优化传递函数，以生成功耗优化模型p(s)。
142.示例性的，温度优化模型可以写做：。
143.其中，orignal(t)表示待优化音频信号，l{ }表示拉氏变换，optimized(t)表示优化后的信号，可以写做：。
144.其中，psycat( )表示温度优化模型的心理声学优化部分，usrdft( )表示温度优化模型的用户偏好设置优化部分，protect( )表示融合保护部分。
145.在本实施例中，温度优化模型的心理声学优化部分，利用音乐心理学和人耳感知方面的知识（如人耳可感知的响度差异情况等）进行温度优化。由于容易导致系统温升较大的信号是在特定频点的single-tone类型或者类似multi-tone类型的信号，温度优化模型的心理声学优化部分针对容易引起温升的音频内容进行分析，并结合音乐心理学和人耳感
知方面的知识对相应的音频内容进行温度优化，降低这部分音频内容的能量（能量降低对应着温度下降），但不会导致人耳可感知到的效果变化。比如以钢琴声为例，某一调性的钢琴音是类似于multi-tone类型信号的频谱多峰谐波结构，假设这几个峰恰恰会让温升较快。根据音乐心理学得知，人类对不同音高（pitch）的信号，幅度分辨率也不同，温度优化模型的心理声学优化部分在分辨率范围内对这部分峰值能量进行一定的降低，以达到对控制温度的效果。其中，温度优化模型的心理声学优化部分中涉及的变量包括功率、温度和心理声学响度等。
146.在本实施例中，温度优化模型的用户偏好设置优化部分根据用户偏好信息进行温度优化。这部分的优化会被用户感知到，而且会对音乐的调性、节奏等基本音乐属性的感知有所影响。因此，温度优化模型的用户偏好设置优化部分在几个关键的音乐维度（如旋律、节奏等）上建立了保护机制，确保即使用户设置了最为激进的优化模式，也不会过度改变音乐的重要特性。温度优化模型的用户偏好设置优化部分，可以针对用户任务影响不大或不重要的音频内容进行优化，通过能量降低来实现温度下降的效果。
147.由于温度优化与实时温度状态有关，因此在创建温度优化模型时需要遍历所有可能的温度状态，最后融合心理声学优化传递函数和用户偏好设置优化传递函数，以生成温度优化模型t(s)。
148.将与待处理音频信号对应的音频内容分析结果、用户偏好信息，以及smart pa计算得到的实时反馈信息，包括实时功耗、实时温度以及实时心理声学响度等，作为输入参数，输入功耗优化模型，得到实时功耗优化传递函数p
t
(s)。
149.将与待处理音频信号对应的音频内容分析结果、用户偏好信息，以及smart pa计算得到的实时反馈信息，包括实时功耗、实时温度以及实时心理声学响度等，作为输入参数，输入温度优化模型，得到实时功耗优化传递函数t
t
(s)。
150.继续参照图8，将实时功耗优化传递函数p
t
(s)和实时功耗优化传递函数t
t
(s)输入综合模型，得到综合传递函数：，通过传递函数生成高阶fir滤波器系数[bk，1]。其中，若高阶fir滤波器为512阶滤波器，则。
[0151]
此时，高阶fir滤波器系数[bk，1]即为优化模型输出的滤波系数，以用于对待处理音频信号进行滤波优化处理。
[0152]
在一种应用场景下，音频内容分析结果是由多个子类分析结果拼接或组合而成时，功耗优化模型可以由多个子类功耗优化模型构成，温度优化模型可以由多个子类温度优化模型构成。其中，子类功耗优化模型的数量、子类温度优化模型的数量，与子类分析结果的数量是相等的。针对每个子类分析结果，采用与该子类对应的子类功耗优化模型和子类温度优化模型进行优化。
[0153]
如图9所示，功耗优化模型由第一子类功耗优化模型、第二子类功耗优化模型、
…
、第n（n为大于1的整数）子类功耗优化模型构成。其中，第一子类功耗优化模型用于对第一子类分析结果进行功耗优化，第二子类功耗优化模型用于对第二子类分析结果进行功耗优化，以此类推，第n子类功耗优化模型用于对第n子类分析结果进行功耗优化。每个子类功耗优化模型进行功耗优化的原理，同上述功耗优化模型，在此不再赘述。
[0154]
示例性的，以第i子类功耗优化模型为例，可以写成：
。
[0155]
其中，orignali(t)表示待优化的第i子类音频信号，l{ }表示拉氏变换，optimizedi(t)表示优化后的第i子类音频信号，可以写做：。
[0156]
其中，psycap( )表示第i子类功耗优化模型的心理声学优化部分，usrdfp( )表示第i子类功耗优化模型的用户偏好设置优化部分，protect( )表示融合保护部分。
[0157]
如图9所示，温度优化模型由第一子类温度优化模型、第二子类温度优化模型、
…
、第n子类温度优化模型构成。其中，第一子类温度优化模型用于对第一子类分析结果进行温度优化，第二子类温度优化模型用于对第二子类分析结果进行温度优化，以此类推，第n子类温度优化模型用于对第n子类分析结果进行温度优化。每个子类温度优化模型进行温度优化的原理，同上述温度优化模型，在此不再赘述。
[0158]
示例性的，以第i子类温度优化模型为例，可以写成：。
[0159]
其中，orignali(t)表示待优化的第i子类音频信号，l{ }表示拉氏变换，optimizedi(t)表示优化后的第i子类音频信号，可以写做：。
[0160]
其中，psycat( )表示第i子类温度优化模型的心理声学优化部分，usrdft( )表示第i子类温度优化模型的用户偏好设置优化部分，protect( )表示融合保护部分。
[0161]
参照图10，将音频内容分析结果中的第一子类分析结果、用户偏好信息以及smart pa的实时反馈信息输入第一子类功耗优化模型中，得到第一功耗传递函数p
t1
(s)；将音频内容分析结果中的第二子类分析结果、用户偏好信息以及smart pa的实时反馈信息输入第二子类功耗优化模型中，得到第二功耗传递函数p
t2
(s)；以此类推，将音频内容分析结果中的第n子类分析结果、用户偏好信息以及smart pa的实时反馈信息输入第n子类功耗优化模型中，得到第n功耗传递函数p
tn
(s)。融合第一功耗传递函数p
t1
(s)、第二功耗传递函数p
t2
(s)、
…
、第n功耗传递函数p
tn
(s)，即可得到实时功耗优化传递函数p
t
(s)。
[0162]
参照图11，将音频内容分析结果中的第一子类分析结果、用户偏好信息以及smart pa的实时反馈信息输入第一子类温度优化模型中，得到第一温度传递函数t
t1
(s)；将音频内容分析结果中的第二子类分析结果、用户偏好信息以及smart pa的实时反馈信息输入第二子类温度优化模型中，得到第二温度传递函数t
t2
(s)；以此类推，将音频内容分析结果中的第n子类分析结果、用户偏好信息以及smart pa的实时反馈信息输入第n子类温度优化模型中，得到第n温度传递函数t
tn
(s)。融合第一温度传递函数t
t1
(s)、第二温度传递函数t
t2
(s)、
…
、第n温度传递函数t
tn
(s)，即可得到实时温度优化传递函数t
t
(s)。
[0163]
其中，子类功耗优化模型和子类温度优化模型在进行优化时，可以使用用户偏好信息中的全部偏好参数，也可以只使用与本子类相关的偏好参数，本实施例对此不做限定。
[0164]
此时，将实时功耗优化传递函数p
t
(s)和实时功耗优化传递函数t
t
(s)输入综合模
型，得到综合传递函数，再通过传递函数生成高阶fir滤波器系数[bk，1]。其中，若高阶fir滤波器为512阶滤波器，则。
[0165]
在另一种应用场景下，子类分析结果包括多个信号类型分析结果时，相对应的子类功耗优化模型可以由多个子类功耗优化子模型构成，相对应的子类温度优化模型可以由多个子类温度优化子模型构成。其中，子类功耗优化子模型的数量，子类温度优化子模型的数量，与子类分析结果中包括的信号类型的数量是相等的。针对子类分析结果中每个信号类型，采用与该信号类型对应的子类功耗优化子模型和子类温度优化子模型进行优化。
[0166]
需要注意的是，针对同一个子类，功耗优化子模型的数量与温度优化子模型的数量是相等的。针对不同的子类，功耗优化子模型的数量可能相等，也可能不等，本实施例对此不做限定。
[0167]
以第i子类功耗优化模型为例，参照图12，第i子类功耗优化模型由第i子类功耗优化第一子模型、第i子类功耗优化第二子模型、
…
、第i子类功耗优化第m（m为正整数）子模型构成。其中，第i子类功耗优化第一子模型用于对第i子类分析结果中的第一类型信号进行功耗优化，第i子类功耗优化第二子模型用于对第i子类分析结果中的第二类型信号进行功耗优化，以此类推，第i子类功耗优化第m子模型用于对第i子类分析结果中的第m类型信号进行功耗优化。每个子类功耗优化子模型进行功耗优化的原理，同上述功耗优化模型，在此不再赘述。
[0168]
示例性的，以第i子类功耗优化第j子模型为例，可以写成：。
[0169]
其中，orignal
ij
(t)表示待优化的第i子类音频信号中的第j类型的音频信号，l{ }表示拉氏变换，optimized
ij
(t)表示优化后的第i子类音频信号中的第j类型的音频信号，可以写做：。
[0170]
其中，psycap( )表示第i子类功耗优化第j子模型的心理声学优化部分，usrdfp( )表示第i子类功耗优化第j子模型的用户偏好设置优化部分，protect(﹒)表示融合保护部分。
[0171]
参照图13，将第i子类分析结果中第一类型信号分析结果、用户偏好信息以及smart pa的实时反馈信息输入第i子类功耗优化第一子模型中，得到第一功耗子传递函数p
ti1
(s)；将第i子类分析结果中第二类型信号分析结果、用户偏好信息以及smart pa的实时反馈信息输入第i子类功耗优化第二子模型中，得到第二功耗子传递函数p
ti2
(s)；以此类推，将第i子类分析结果中第m类型信号分析结果、用户偏好信息以及smart pa的实时反馈信息输入第i子类功耗优化第m子模型中，得到第m功耗子传递函数p
tim
(s)。融合第一功耗子传递函数p
ti1
(s)、第二功耗子传递函数p
ti2
(s)、
…
、第m功耗子传递函数p
tim
(s)，即可得到第i功耗传递函数p
ti
(s)。
[0172]
其中，子类功耗优化子模型在进行优化时，可以使用用户偏好信息中的全部偏好
参数，也可以使用与本子类相关的偏好参数，也可以只使用与本子类本类型相关的偏好参数，本实施例对此不做限定。
[0173]
在分别得到第一功耗传递函数p
t1
(s)、第二功耗传递函数p
t2
(s)、
…
、第n功耗传递函数p
tn
(s)之后，融合第一功耗传递函数p
t1
(s)、第二功耗传递函数p
t2
(s)、
…
、第n功耗传递函数p
tn
(s)，即可得到实时功耗优化传递函数p
t
(s)。
[0174]
以第i子类温度优化模型为例，参照图14，第i子类温度优化模型由第i子类温度优化第一子模型、第i子类温度优化第二子模型、
…
、第i子类温度优化第m（m为正整数）子模型构成。其中，第i子类温度优化第一子模型用于对第i子类分析结果中的第一类型信号进行温度优化，第i子类温度优化第二子模型用于对第i子类分析结果中的第二类型信号进行温度优化，以此类推，第i子类温度优化第m子模型用于对第i子类分析结果中的第m类型信号进行温度优化。每个子类温度优化子模型进行温度优化的原理，同上述温度优化模型，在此不再赘述。
[0175]
示例性的，以第i子类温度优化第j子模型为例，可以写成：。
[0176]
其中，orignal
ij
(t)表示待优化的第i子类音频信号中的第j类型的音频信号，l{ }表示拉氏变换，optimized
ij
(t)表示优化后的第i子类音频信号中的第j类型的音频信号，可以写做：。
[0177]
其中，psycat( )表示第i子类温度优化第j子模型的心理声学优化部分，usrdft( )表示第i子类温度优化第j子模型的用户偏好设置优化部分，protect(﹒)表示融合保护部分。
[0178]
参照图15，将第i子类分析结果中第一类型信号分析结果、用户偏好信息以及smart pa的实时反馈信息输入第i子类温度优化第一子模型中，得到第一温度子传递函数t
ti1
(s)；将第i子类分析结果中第二类型信号分析结果、用户偏好信息以及smart pa的实时反馈信息输入第i子类温度优化第二子模型中，得到第二温度子传递函数t
ti2
(s)；以此类推，将第i子类分析结果中第m类型信号分析结果、用户偏好信息以及smart pa的实时反馈信息输入第i子类温度优化第m子模型中，得到第m温度子传递函数t
tim
(s)。融合第一温度子传递函数t
ti1
(s)、第二温度子传递函数t
ti2
(s)、
…
、第m温度子传递函数t
tim
(s)，即可得到第i温度传递函数t
ti
(s)。
[0179]
其中，子类温度优化子模型在进行优化时，可以使用用户偏好信息中的全部偏好参数，也可以使用与本子类相关的偏好参数，也可以只使用与本子类本类型相关的偏好参数，本实施例对此不做限定。
[0180]
在分别得到第一温度传递函数t
t1
(s)、第二温度传递函数t
t2
(s)、
…
、第n温度传递函数t
tn
(s)之后，融合第一温度传递函数t
t1
(s)、第二温度传递函数t
t2
(s)、
…
、第n温度传递函数t
tn
(s)，即可得到实时温度优化传递函数t
t
(s)。
[0181]
此时，将实时功耗优化传递函数p
t
(s)和实时功耗优化传递函数t
t
(s)输入综合模
型，得到综合传递函数，再通过传递函数生成高阶fir滤波器系数[bk，1]。其中，若高阶fir滤波器为512阶滤波器，则。
[0182]
举个例子，若音频内容分析结果中的子类分析结果包括乐器成分分析结果、调性变化分析结果、音乐结构分析结果和人声分析结果等，则功耗优化模型由乐器成分功耗优化模型、调性变化功耗优化模型、音乐结构功耗优化模型、人声功耗优化模型构成，温度优化模型由乐器成分温度优化模型、调性变化温度优化模型、音乐结构温度优化模型、人声温度优化模型构成。以乐器成分分析结果为例，若乐器成分分析结果涉及十种乐器类型，则乐器成分功耗优化模型由与这十种乐器分别对应的十个乐器成分功耗优化子模型构成，乐器成分温度优化模型也由与这十种乐器分别对应的十个乐器成分温度优化子模型构成。例如，将乐器成分分析结果中钢琴类型信号分析结果，输入与钢琴类型信号对应的乐器成分功耗优化子模型以及乐器成分温度优化子模型。其中，如果音频信号中实际不包括钢琴信号分量，则乐器成分分析结果中钢琴类型信号分析结果可以为默认值。
[0183]
这样，子类功耗优化子模型和子类温度优化子模型，均针对本子类本类型的音频内容进行功耗优化或温度优化，不仅能够降低设备功耗和发热，还提升了优化的针对性和精准性，使得对待播放音频信号的调节更加合理，提升了用户的听觉体验。
[0184]
s504, 滤波优化模块根据滤波系数对音效处理后的音频信号进行滤波处理，得到滤波处理后的音频信号，发送至smart pa。
[0185]
其中，滤波优化模块对音效处理后的音频信号进行滤波处理的过程可以表示为：optimized(t)=filter(b
k，
1，original(t))。
[0186]
其中，filter()为滤波函数，original(t)为待滤波优化的信号，optimized(t)为滤波优化后的信号。
[0187]
在本实施例中，original(t)为音效处理后的音频信号，也即音效处理模块输出的音频信号。optimized(t)为与待处理音频信号对应的已处理音频信号，也即为需要发送至数模转换模块的待播放音频信号。
[0188]
这样，将音频信号进行滤波优化处理后再播放，不仅能够降低设备功耗和发热，还结合用户个人喜好保证了用户的听音感受。而且，对待播放音频信号的滤波优化结合了扬声器的实时反馈信息，使得对待播放音频信号的调节更加精准，不会出现用户可明显感知的性能波动。
[0189]
s505, smart pa将接收到的滤波优化处理后的音频信号发送至数模转换模块进行数模处理，以通过扬声器进行播放，并基于扬声器实时反馈信号以及该滤波优化处理后的音频信号计算扬声器实时反馈信息，发送至优化模型中。
[0190]
smart pa将接收到的滤波优化处理后的音频信号发送至数模转换模块，数模转换模块对接收到的音频信号进行数模转后，将模拟音频信号发送至扬声器进行音频播放。在扬声器进行音频播放时，smart pa获取扬声器的实时反馈信号，例如实时电压信号、实时电流信号等，并根据这些实时反馈信号以及滤波优化处理后的音频信号计算实时反馈信息，例如实时功耗、实时温度、实时心理声学响度等，并将实时反馈信息发送至优化模型中。
[0191]
图16示例性的示出了dsp芯片的模块框架结构示意图。参照图16，dsp芯片中至少可以包括音频内容分析模块401、smart pa 402、优化模型403、音效处理模块404和滤波优
化模块405。关于音频内容分析模块401、smart pa 402、优化模型403、音效处理模块404和滤波优化模块405的解释，可以参见前述，在此不再赘述。图16与图4的区别仅在于，dsp芯片输出已处理信号的模块不同。参照图16，待处理音频信号依次经过音效处理模块404和滤波优化模块405的处理后，得到已处理音频信号。滤波优化模块405将已处理音频信号送入数模转换模块进行数模转换处理后，即可通过扬声器进行播放。同时，滤波优化模块405将已处理音频信号作为待播放音频信号送入smart pa 402，以使smart pa 402可以根据该音频信号以及扬声器播放该音频信号时的实时反馈信号（如电压信号、电流信号）计算实时反馈信息，例如实时温度、实时功耗、以及实时心理声学响度等。
[0192]
如图17所示为模块交互示意图。参照图17，本技术实施例提供的音频信号处理方法的处理流程，具体包括：s1701, 音频内容分析模块对待处理音频信号进行音频内容分析，并将音频内容分析结果输入优化模型。
[0193]
s1702, 音效处理模块对待处理音频信号进行音效处理，并将音效处理后的音频信号发送至滤波优化模块。
[0194]
本实施例对s1701和s1702的执行顺序不做限定。
[0195]
s1703，优化模型根据音频内容分析结果、用户偏好信息以及与扬声器相关的实时反馈信息，得到与待处理音频信号对应的滤波系数。
[0196]
s1704, 滤波优化模块根据滤波系数对音效处理后的音频信号进行滤波处理，得到滤波处理后的音频信号，并发送至数模转换模块进行数模处理，以通过扬声器进行播放，以及，滤波优化模块将波处理后的音频信号发送至smart pa。
[0197]
s1705, smart pa基于扬声器播放滤波优化处理后的音频信号时的实时反馈信号以及该滤波优化处理后的音频信号，计算扬声器实时反馈信息，发送至优化模型中。
[0198]
本流程为未尽详细解释之处可以参见前述s501~ s5015的解释说明，在此不再赘述。
[0199]
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的音频信号处理方法。
[0200]
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的音频信号处理方法。
[0201]
另外，本技术的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的音频信号处理方法。
[0202]
其中，本实施例提供的电子设备（如手机等）、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
[0203]
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述
的全部或者部分功能。
[0204]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0205]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。