音频处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种音频处理方法、装置、电子设备及存储介质。


背景技术：

2.音频编码是指在音频传输过程中，利用编码技术对音频信号进行压缩的过程，其目的是用以减少音频流媒体的传输带宽需求与音频档案的存储大小。而音频流媒体的传输带宽和音频编码质量均与音频编码码率息息相关，通常情况下，音频编码码率越大，则音频编码质量越高，音频编码码流在传输过程中所需的带宽也就越大，但是当音频编码码率达到某一阈值时，音频编码质量便达到峰值，而传输所需的带宽依然在变大。
3.因此，需要可靠且有效的音频处理方式以在确保音频编码质量的同时尽可能的降低音频编码码流传输所需的带宽。


技术实现要素：

4.本公开提供一种音频处理方法、装置、电子设备及存储介质，以在确保音频编码质量的同时尽可能的降低音频编码码流传输所需的带宽。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种音频处理方法，包括：
6.获取待处理音频信号，对所述待处理音频信号进行音频分类得到目标音频类别；
7.基于音频类别与预设编码码率范围之间的对应关系，确定所述目标音频类别对应的目标预设编码码率范围；
8.基于所述待处理音频信号的频谱数据，确定所述待处理音频信号的码率编码系数；
9.基于所述目标预设编码码率范围和所述码率编码系数，确定所述待处理音频信号对应的目标编码码率；所述目标编码码率用于对所述待处理音频信号进行音频编码处理。
10.在一个示例性的实施方式中，所述对所述待处理音频信号进行音频分类得到目标音频类别，包括：
11.基于所述待处理音频信号的频谱数据，提取所述待处理音频信号的声学特征；
12.将所述声学特征输入到音频分类模型中，得到所述音频分类模型输出的分类结果；所述分类结果指示目标音频类别。
13.在一个示例性的实施方式中，所述音频分类模型的训练方式，包括：
14.获取样本音频信号以及对应的标注信息；所述标注信息指示所述样本音频信号的参考音频类别；
15.基于所述样本音频信号的频谱数据，提取所述样本音频信号的声学特征得到样本声学特征；
16.将所述样本声学特征输入到初始音频分类模型中进行音频分类，得到预测分类结果；所述预测分类结果指示属于所述参考音频类别的概率；
17.基于所述预测分类结果与所述标注信息之间的差异调整所述初始音频分类模型的模型参数，直至满足预设训练结束条件得到所述音频分类模型。
18.在一个示例性的实施方式中，所述码率编码系数包括有效带宽系数；所述基于所述待处理音频信号的频谱数据，确定所述待处理音频信号的码率编码系数，包括：
19.基于所述待处理音频信号的频谱数据，确定所述待处理音频信号中各频带的能量；
20.基于所述各频带的能量，确定有效带宽；
21.基于所述有效带宽与采样频率，得到有效带宽系数。
22.在一个示例性的实施方式中，所述基于所述各频带的能量，确定有效带宽，包括：
23.基于所述各频带的能量中的最大能量，确定能量阈值；
24.确定各所述能量中小于所述能量阈值的目标能量；
25.确定所述目标能量中最小能量对应频带的频带点；
26.基于所述频带点、所述采样频率和总频带数，确定有效带宽。
27.在一个示例性的实施方式中，所述预设编码码率范围包括预设编码码率上限和预设编码码率下限；所述基于所述目标预设编码码率范围和所述码率编码系数，确定所述待处理音频信号对应的目标编码码率，包括：
28.基于所述有效带宽系数与目标预设编码码率上限的乘积得到目标编码码率上限，以及基于所述有效带宽系数与目标预设编码码率下限的乘积得到目标编码码率下限；
29.基于所述目标编码码率上限和目标编码码率下限所限定的目标编码码率范围，确定所述待处理音频信号对应的目标编码码率。
30.在一个示例性的实施方式中，所述码率编码系数还包括频谱稀疏度；所述基于所述待处理音频信号的频谱数据，确定所述待处理音频信号的码率编码系数，还包括：
31.对各所述频带对应的能量进行加权平均处理，得到频谱质心；
32.基于所述频谱质心与总频带数的比值，得到所述频谱稀疏度。
33.在一个示例性的实施方式中，所述基于所述目标编码码率上限和目标编码码率下限所限定的目标编码码率范围，确定所述待处理音频信号对应的目标编码码率，包括：
34.确定所述目标编码码率上限与所述目标编码码率下限之间的码率差值；
35.确定所述频谱稀疏度与码率差值的乘积；
36.根据所述乘积与所述目标编码码率下限的和值，确定所述待处理音频数据对应的目标编码码率。
37.根据本公开实施例的第二方面，提供一种音频处理装置，包括：
38.音频分类单元，被配置为执行获取待处理音频信号，对所述待处理音频信号进行音频分类得到目标音频类别；
39.编码码率范围确定单元，被配置为执行基于音频类别与预设编码码率范围之间的对应关系，确定所述目标音频类别对应的目标预设编码码率范围；
40.码率编码系数确定单元，被配置为执行基于所述待处理音频信号的频谱数据，确定所述待处理音频信号的码率编码系数；
41.目标编码码率确定单元，被配置为执行基于所述目标预设编码码率范围和所述码率编码系数，确定所述待处理音频信号对应的目标编码码率；所述目标编码码率用于对所
述待处理音频信号进行音频编码处理。
42.在一个示例性的实施方式中，所述音频分类单元，包括：
43.声学特征提取单元，被配置为执行基于所述待处理音频信号的频谱数据，提取所述待处理音频信号的声学特征；
44.分类单元，被配置为执行将所述声学特征输入到音频分类模型中，得到所述音频分类模型输出的分类结果；所述分类结果指示目标音频类别。
45.在一个示例性的实施方式中，所述装置还包括训练单元，所述训练单元被配置为执行：
46.获取样本音频信号以及对应的标注信息；所述标注信息指示所述样本音频信号的参考音频类别；
47.基于所述样本音频信号的频谱数据，提取所述样本音频信号的声学特征得到样本声学特征；
48.将所述样本声学特征输入到初始音频分类模型中进行音频分类，得到预测分类结果；所述预测分类结果指示属于所述参考音频类别的概率；
49.基于所述预测分类结果与所述标注信息之间的差异调整所述初始音频分类模型的模型参数，直至满足预设训练结束条件得到所述音频分类模型。
50.在一个示例性的实施方式中，所述码率编码系数包括有效带宽系数；所述码率编码系数确定单元包括：
51.频带能量确定单元，被配置为执行基于所述待处理音频信号的频谱数据，确定所述待处理音频信号中各频带的能量；
52.有效带宽确定单元，被配置为执行基于所述各频带的能量，确定有效带宽；
53.有效带宽系数确定单元，被配置为执行基于所述有效带宽与采样频率，得到有效带宽系数。
54.在一个示例性的实施方式中，所述有效带宽确定单元，包括：
55.能量阈值确定单元，被配置为执行基于所述各频带的能量中的最大能量，确定能量阈值；
56.目标能量确定单元，被配置为执行确定各所述能量中小于所述能量阈值的目标能量；
57.频带点确定单元，被配置为执行确定所述目标能量中最小能量对应频带的频带点；
58.有效带宽确定子单元，被配置为执行基于所述频带点、所述采样频率和总频带数，确定有效带宽。
59.在一个示例性的实施方式中，所述预设编码码率范围包括预设编码码率上限和预设编码码率下限；所述目标编码码率确定单元，包括：
60.编码码率限值确定单元，被配置为执行基于所述有效带宽系数与目标预设编码码率上限的乘积得到目标编码码率上限，以及基于所述有效带宽系数与目标预设编码码率下限的乘积得到目标编码码率下限；
61.目标编码码率确定子单元，被配置为执行基于所述目标编码码率上限和目标编码码率下限所限定的目标编码码率范围，确定所述待处理音频信号对应的目标编码码率。
62.在一个示例性的实施方式中，所述码率编码系数还包括频谱稀疏度；所述码率编码系数确定单元还包括：
63.频谱质心确定单元，被配置为执行对各所述频带对应的能量进行加权平均处理，得到频谱质心；
64.频谱稀疏度确定单元，被配置为执行基于所述频谱质心与总频带数的比值，得到所述频谱稀疏度。
65.在一个示例性的实施方式中，所述目标编码码率确定子单元，包括：
66.码率差值确定单元，被配置为执行确定所述目标编码码率上限与所述目标编码码率下限之间的码率差值；
67.第一计算单元，被配置为执行确定所述频谱稀疏度与码率差值的乘积；
68.第二计算单元，被配置为执行根据所述乘积与所述目标编码码率下限的和值，确定所述待处理音频数据对应的目标编码码率。
69.根据本公开实施例的第三方面，提供一种电子设备，包括：
70.处理器；
71.用于存储所述处理器可执行指令的存储器；
72.其中，所述处理器被配置为执行所述指令，以实现上述第一方面的音频处理方法。
73.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面的音频处理方法。
74.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述第一方面的音频处理方法。
75.本公开的实施例提供的技术方案至少带来以下有益效果：
76.通过对待处理音频信号进行音频分类得到目标音频类别，并基于音频类别与预设编码码率范围之间的对应关系，确定该目标音频类别对应的目标预设编码码率范围，进而基于待处理音频信号的频谱数据确定码率编码系数，基于目标预设编码码率范围和该码率编码系数确定用于对待处理音频信号进行音频编码的目标编码码率，从而实现对于不同种类的音频采用不同的编码码率进行编码，在有效保证音频编码质量的同时，尽可能的降低了音频编码码率，进而降低了音频编码码流传输所需的带宽。
77.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
78.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
79.图1是根据一示例性实施例示出的一种音频处理方法的流程图。
80.图2是根据一示例性实施例示出的另一种音频处理方法的流程图。
81.图3是根据一示例性实施例示出的一种音频处理装置的结构框图；
82.图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
83.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
84.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
85.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
86.当音频传输过程中对音频进行编码时，由于受到传输带宽和音频编码质量的影响，一般情况下需要对音频编码码率进行限制。正常情况下，音频编码码率越高，音频编码码流所能恢复的音频质量越高，传输过程中所需的带宽也就越大。但是当音频编码码率达到某一阈值时，音频编码码流所能恢复的音频质量便达到峰值，不能再被人类听感所感知。因此，保证在人类所感知的音频质量不变的同时，应尽可能的降低音频编码码流传输所需要的带宽。
87.在实现本公开实施例的过程中，发明人发现相关技术中对于不同种类的音频采用的是同一码率进行编码，但是不同种类的音频对应的编码码率阈值(即大于该编码码率进行音频编码所能恢复的音频质量不再能被人类听感所感知)却不同。以利用aac(advanced audio coding，高级音频编码)对音频进行编码为例，当噪声的编码码率达到48kbps，语音的编码码率达到64kbps，音乐的编码码率达到96kbps时，随着编码码率的提升，噪声、语音和音乐的质量提升便不能再被人类听感所感知。因此，对于不同种类的音频采用同一码率进行编码，会对音频传输带宽造成极大的浪费，无法在保证音频编码质量的同时降低音频编码码流的传输带宽。
88.鉴于此，本公开实施例提供一种音频处理方法，该方法通过对待处理音频信号进行音频分类，并基于音频类别与预设编码码率范围之间的对应关系，确定目标音频类别对应的目标预设编码码率范围，进而基于待处理音频信号的频谱数据确定码率编码系数，基于目标预设编码码率范围和该码率编码系数确定用于对待处理音频信号进行音频编码的目标编码码率，从而实现对于不同种类的音频采用不同的编码码率进行编码，在保证音频编码质量的同时，尽可能的降低了音频编码码率，进而有效降低了音频编码码流传输所需的带宽。
89.需要说明的是，本公开实施例的音频处理方法可以应用于音频处理装置，该音频处理装置可以配置在电子设备中，电子设备可以是终端或者服务器。
90.其中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是边缘计算节点，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，
内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
91.图1是根据一示例性实施例示出的一种音频处理方法的流程图，如图1所示，以音频处理方法用于电子设备为例，包括以下步骤。
92.在步骤s101中，获取待处理音频信号，对所述待处理音频信号进行音频分类得到目标音频类别。
93.其中，待处理音频信号为预设时间长度的音频时域信号，该预设时间长度可以根据实际经验来设定，例如预设时间长度t可以为3秒。
94.目标音频类别可以是多个预设音频类别的任一类别，该多个预设音频类别例如可以包括噪声、语音和音乐。
95.具体的实施中，电子设备对于接收的输入音频信号，可以按照预设时间长度进行截断，从而得到待处理音频信号，进而对该待处理音频信号进行音频分类以得到该待处理音频信号的目标音频类别。
96.在一个示例性的实施方式中，上述步骤s101在实施时可以包括以下步骤：
97.基于所述待处理音频信号的频谱数据，提取所述待处理音频信号的声学特征；
98.将所述声学特征输入到音频分类模型中，得到所述音频分类模型输出的分类结果，其中所述分类结果指示目标音频类别。
99.具体的，待处理音频信号的频谱数据可以通过将待处理音频信号从时域变换到频域得到。假设预设时间长度t的待处理音频信号x表示为x(t)，其中t代表时间，0《t≤t，则经过短时傅里叶变换(short-timefouriertransform，stft)后，x的频谱数据可以表示为以下公式(1)：
100.x(n,k)＝stft(x(t))
ꢀꢀ
(1)
101.其中，n为帧索引，0《n≤n，n为总帧数；k频带点，0《k≤k，k为总频带数；stft(
·
)表示进行短时傅里叶变换处理，具体的处理过程可以参见相关技术中的描述，在此不再赘述。
102.具体的，声学特征可以是梅尔频率倒谱系数(mel frequency cepstral coefficients,mfcc)，则针对待处理音频信号x的频谱数据x(n,k)，可以通过以下公式(2)计算各帧对应的梅尔频率倒谱系数mel
x
(n,p)：
103.mel
x
(n,p)＝mfcc(x
16k
(n,k))
ꢀꢀ
(2)
104.其中，mfcc(
·
)表示梅尔频率倒谱系数计算，可以参见相关技术中关于mfcc的计算过程，在此不再赘述；fs表示待处理音频信号的采样频率，例如fs可以是16k。；
105.在得到每帧对应的梅尔频率倒谱系数之后，通过对各帧对应的梅尔频率倒谱系数取均值即可得到待处理音频信号x的梅尔频率倒谱系数mel(p)，示例性的，待处理音频信号x的梅尔频率倒谱系数mel(p)可以表示为以下公式(3)：
106.mel(p)＝ave(mel
x
(n,p))
ꢀꢀ
(3)
107.其中，ave(
·
)表示取平均计算。
108.在基于以上公式(1)～(3)得到待处理音频信号的声学特征如mel(p)后，将该mel(p)输入到预先训练好的音频分类模型中进行音频分类处理，从而得到音频分类模型输出的分类结果，该分类结果指示待处理音频信号所属的目标音频类别，例如可以是噪声、语音或音乐等类别。
109.其中，音频分类模型可以是神经网络模型，如卷积神经网络模型、深度神经网络模
型等等，本公开对于神经网络模型的类型不作具体限定，经过训练可以实现分类任务的神经网络模型均可以作为本公开实施例的音频分类模型。
110.上述实施方式，通过基于待处理音频信号的频谱数据提取得到声学特征，进而结合音频分类模型对声学特征进行音频分类从而可以快速、准确的确定待处理音频信号的音频类别，有利于提高音频处理的效率。
111.基于此，在一个示例性的实施方式中，在基于音频分类模型进行音频分类之前，该方法还可以包括训练音频分类模型，该音频分类模型的训练过程可以包括以下步骤：
112.获取样本音频信号以及对应的标注信息；
113.基于所述样本音频信号的频谱数据，提取所述样本音频信号的声学特征得到样本声学特征；
114.将所述样本声学特征输入到初始音频分类模型中进行音频分类，得到预测分类结果；所述预测分类结果指示属于参考音频类别的概率；
115.基于所述预测分类结果与所述标注信息之间的差异调整所述初始音频分类模型的模型参数，直至满足预设训练结束条件得到所述音频分类模型。
116.其中，样本音频信号对应的标注信息指示该样本音频信号的参考音频类别，该参考音频类别即为样本音频信号的实际音频类别，可以通过人工对样本音频信号的分析确定。示例性的，参考音频类别可以包括噪声、语音和音乐。
117.样本音频信号的频谱数据可以参考前述公式(1)计算得到，进而样本声学特征可以参考前述公式(2)至(3)计算得到，在此不再赘述。
118.初始音频分类模型可以是初始化的神经网络模型，在基于预测分类结果与标注信息之间的差异调整该初始音频分类模型的模型参数时，可以利用预设损失函数根据预测分类结果与标注信息之间的差异确定损失值，然后基于损失值进行反向传播调整初始音频分类模型的模型参数，并基于调整后的模型参数继续迭代训练直至满足预设训练结束条件得到音频分类模型。
119.其中，预设损失函数可以是交叉熵损失函数。预设训练结束条件可以是损失值到达预设损失阈值，也可以是迭代次数达到预设迭代次数阈值，还可以是相邻两次迭代的损失值之间的差值达到预设损失差阈值。
120.上述实施方式，通过机器学习的方式可以训练得到用于对多种音频类别进行分类的音频分类模型，使得本公开实施例的音频处理方式具有较大的灵活性，当有新增音频类别时，通过新增音频类别对应的样本音频信号来训练更新音频分类模型即可实现对该新增音频类别的分类处理。
121.在步骤s103中，基于音频类别与预设编码码率范围之间的对应关系，确定所述目标音频类别对应的目标预设编码码率范围。
122.其中，对应关系中的音频类别包括音频分类模型所能识别的音频类别。各音频类别对应的预设编码码率范围可以根据实际应用中的经验来设定。
123.示例性的，噪声对应的预设编码码率范围为32-48kbps，语音对应的预设编码码率范围为48-64kbps，音乐对应的预设编码码率范围为64-96kbps。
124.在确定了待处理音频信号的目标音频类别后，可以在音频类别与预设编码码率范围之间的对应关系中查找目标音频类别命中的目标对应关系，进而将该目标对应关系中的
预设编码码率范围确定为目标预设编码码率范围。
125.在步骤s105中，基于所述待处理音频信号的频谱数据，确定所述待处理音频信号的码率编码系数。
126.在步骤s107中，基于所述目标预设编码码率范围和所述码率编码系数，确定所述待处理音频信号对应的目标编码码率。
127.其中，所述目标编码码率用于对所述待处理音频信号进行音频编码处理。示例性的，音频编码处理可以采用高级音频编码对待处理音频信号进行编码。
128.具体的，基于码率编码系数可以对目标预设编码码率范围进行调整以得到目标编码码率范围，然后在该目标编码码率范围内确定目标编码码率，可以在确保音频编码质量的同时尽量降低目标编码码率，进而有效降低音频传输所需的带宽。
129.在一个示例性的实施方式中，码率编码系数可以包括有效带宽系数，该有效带宽系数表征待处理音频信号中有效频带宽度的占比，一般音频编码码率与有效频带宽度成正相关关系，即当有效音频带宽越高时，音频编码码率越大。
130.基于此，上述步骤s105在实施时可以包括以下步骤：
131.基于所述待处理音频信号的频谱数据，确定所述待处理音频信号中各频带的能量。
132.基于所述各频带的能量，确定有效带宽。
133.基于所述有效带宽与采样频率，得到有效带宽系数。
134.具体的，待处理音频信号的频谱数据可以参见前述公式(1)。
135.针对每个频带点，基于各帧中该频带点对应傅里叶变换的绝对值可以确定出各频带的能量，进而基于各频带的能量确定出有效带宽(即有效频带宽度)，基于有效频带宽度与音频采样频率一半的比值，可以得到有效带宽系数即有效带宽系数β
eb
可以表示为以下公式(4)：
136.β
eb
＝eb/(fs/2)
ꢀꢀ
(4)
137.其中，eb表示有效带宽；fs表示待处理音频信号的采样频率。
138.示例性的，待处理音频信号中各频带的能量可以通过以下公式(5)计算得到：
139.p(k)＝20*log10(ave(abs(x(n,k))))
ꢀꢀ
(5)
140.其中，p(k)表示频带点k所对应频带的能量；abs(
·
)表示取绝对值；ave(
·
)表示求平均。
141.上述实施例方式，通过待处理音频信号中各频带的能量，可以准确计算出待处理音频信号的有效带宽系数。
142.在一个示例性的实施方式中，上述基于所述各频带的能量确定有效带宽，可以包括：
143.基于所述各频带的能量中的最大能量，确定能量阈值；
144.确定各所述能量中小于所述能量阈值的目标能量；
145.确定所述目标能量中最小能量对应频带的频带点；
146.基于所述频带点、所述采样频率和总频带数，确定有效带宽。
147.其中，能量阈值可以基于最大能量与预设能量值的差值得到，该预设能量值可以根据实际经验设定，例如可以为60db，则能量阈值可以表示为p
max-60db，该p
max
为各频带对
应能量中的最大能量，即p
max
＝max(p(k))。
148.则目标能量中最小能量对应频带的频带点index_k可以表示为以下公式(6)：
149.index_k＝min(where(p(k)《(p
max-60db)))
ꢀꢀ
(6)
150.其中，where(
·
)用于返回满足设定条件的索引。
151.进而，在基于目标能量中最小能量对应频带的频带点、采样频率和总频带数确定有效带宽时可以基于以下公式(7)计算得到：
152.eb＝min(index_k*fs/fft_len,fs/2)
ꢀꢀ
(7)
153.其中，eb为有效带宽；index_k为目标能量中最小能量对应频带的频带点；fft_len为fft(fast fourier transform，快速傅里叶变换)长度；fs为音频采样频率。
154.在一个示例性的实施方式中，预设编码码率范围包括预设编码码率上限和预设编码码率下限，则目标预设编码码率范围包括目标预设编码码率上限和目标预设编码码率下限，进而上述步骤s107在基于目标预设编码码率范围和所述码率编码系数，确定所述待处理音频信号对应的目标编码码率时，可以包括：
155.基于所述有效带宽系数与目标预设编码码率上限的乘积得到目标编码码率上限，以及基于所述有效带宽系数与目标预设编码码率下限的乘积得到目标编码码率下限；
156.基于所述目标编码码率上限和目标编码码率下限所限定的目标编码码率范围，确定所述待处理音频信号对应的目标编码码率。
157.以(b
min
,b
max
)表示目标预设编码码率范围，其中b
min
表示目标预设编码码率下限，b
max
表示目标预设编码码率上限，则目标编码码率上限可以表示为可以表示为目标编码码率下限bmin可以表示为bmin＝βeb*bmin，其中，βeb为有效带宽系数。
158.那么，目标编码码率可以基于范围确定，例如可以从中选取一个码率作为目标编码码率，从而可以在保证音频编码质量的同时降低编码码率，进而降低音频传输带宽。
159.为了能够达到更好的编码效果，在一个示例性的实施方式中，码率编码系数还包括频谱稀疏度，该频谱稀疏度可以表征音频的复杂程度，通常频谱稀疏度也可以称之为频谱丰富度，一般频谱稀疏度与音频编码码率成正相关关系，即当频谱稀疏度越大时，音频编码码率越大。
160.基于此，上述步骤s105在基于所述待处理音频信号的频谱数据，确定所述待处理音频信号的码率编码系数时，还可以包括：
161.对各所述频带对应的能量进行加权平均处理，得到频谱质心；
162.基于所述频谱质心与总频带数的比值，得到所述频谱稀疏度。
163.其中，频谱质心是用于度量频谱中心的特征，一般频谱质心的值越大，表示音频信号的高频成分越多。具体的实施中，频谱质心可以通过以下公式(8)计算得到：
[0164][0165]
其中，c表示频谱质心；|x(k)|表示频带点k对应频带的幅度值，该值可以是各帧对应该频带点的幅度值求平均得到；k表示总频带数。
[0166]
则，频谱稀疏度sparsity
95
可以通过以下公式(9)计算得到：
[0167]
sparsity
95
＝c/k
ꢀꢀ
(9)
[0168]
上述实施方式中通过频谱质心确定频谱稀疏度，进而可以准确表征出音频信号的复杂程度。
[0169]
基于此，上述步骤s107在基于所述目标预设编码码率范围和所述码率编码系数，确定所述待处理音频信号对应的目标编码码率时，可以基于预设函数来确定目标编码码率，该预设函数中的参数包括目标编码码率上限、目标编码码率下限以及频谱稀疏度，其中，目标编码码率上、下限可以基于有效带宽系数对目标预设编码码率上、下限进行调整得到，也即在码率编码系数包括有效带宽系数和频谱稀疏度时，目标编码码率可以通过以下公式(10)表示：
[0170][0171]
其中，b
min
表示目标预设编码码率下限，b
max
表示目标预设编码码率上限，sparsity
95
表示频谱稀疏度，func()表示预设函数，ebo表示目标编码码率。
[0172]
在一个示例性的实施方式中，上述预设函数可以是线性函数，那么在基于目标编码码率上限和目标编码码率下限所限定的目标编码码率范围，确定待处理音频信号对应的目标编码码率时可以包括：
[0173]
确定所述目标编码码率上限与所述目标编码码率下限之间的码率差值；
[0174]
确定所述频谱稀疏度与码率差值的乘积；
[0175]
根据所述乘积与所述目标编码码率下限的和值，确定所述待处理音频数据对应的目标编码码率。
[0176]
具体的，可以将上述乘积(即频谱稀疏度与码率差值的乘积)与目标编码码率下限的和值作为待处理音频数据对应的目标编码码率。
[0177]
具体的实施中，目标编码码率可以通过以下公式(11)计算：
[0178][0179]
通过上述的线性函数可以快速、准确的计算出待处理音频信号的目标编码码率。
[0180]
为了更好的理解本公开实施例的技术方案，下面结合图2的流程示意图对本公开实施例的音频处理方法进行说明。
[0181]
如图2所示，待处理音频信号经过短时傅里叶变换后，基于短时傅里叶变换的结果和音频分类模型进行音频分类，输出待处理音频信号所属的音频类别即噪声/语音/音乐。
[0182]
此外，还进一步基于短时傅里叶变换的结果进行音频有效带宽检测和频谱稀疏度检测，进而得到有效带宽系数和频谱稀疏度。
[0183]
最后，基于音频分类结果所对应的预设编码码率范围和有效带宽系数、频谱稀疏度进行码率分配，得到目标编码码率，进而可以采用该目标编码码率对待处理音频信号进行音频编码。
[0184]
图3是根据一示例性实施例示出的一种音频处理装置的框图。参照图3，该音频处理装置300包括音频分类单元310、编码码率范围确定单元320、码率编码系数确定单元330和目标编码码率确定单元340，其中：
[0185]
音频分类单元310，被配置为执行获取待处理音频信号，对所述待处理音频信号进
行音频分类得到目标音频类别；
[0186]
编码码率范围确定单元320，被配置为执行基于音频类别与预设编码码率范围之间的对应关系，确定所述目标音频类别对应的目标预设编码码率范围；
[0187]
码率编码系数确定单元330，被配置为执行基于所述待处理音频信号的频谱数据，确定所述待处理音频信号的码率编码系数；
[0188]
目标编码码率确定单元340，被配置为执行基于所述目标预设编码码率范围和所述码率编码系数，确定所述待处理音频信号对应的目标编码码率；所述目标编码码率用于对所述待处理音频信号进行音频编码处理。
[0189]
在一个示例性的实施方式中，所述音频分类单元310，包括：
[0190]
声学特征提取单元，被配置为执行基于所述待处理音频信号的频谱数据，提取所述待处理音频信号的声学特征；
[0191]
分类单元，被配置为执行将所述声学特征输入到音频分类模型中，得到所述音频分类模型输出的分类结果；所述分类结果指示目标音频类别。
[0192]
在一个示例性的实施方式中，所述装置还包括训练单元，所述训练单元被配置为执行：
[0193]
获取样本音频信号以及对应的标注信息；所述标注信息指示所述样本音频信号的参考音频类别；
[0194]
基于所述样本音频信号的频谱数据，提取所述样本音频信号的声学特征得到样本声学特征；
[0195]
将所述样本声学特征输入到初始音频分类模型中进行音频分类，得到预测分类结果；所述预测分类结果指示属于所述参考音频类别的概率；
[0196]
基于所述预测分类结果与所述标注信息之间的差异调整所述初始音频分类模型的模型参数，直至满足预设训练结束条件得到所述音频分类模型。
[0197]
在一个示例性的实施方式中，所述码率编码系数包括有效带宽系数；所述码率编码系数确定单元330包括：
[0198]
频带能量确定单元，被配置为执行基于所述待处理音频信号的频谱数据，确定所述待处理音频信号中各频带的能量；
[0199]
有效带宽确定单元，被配置为执行基于所述各频带的能量，确定有效带宽；
[0200]
有效带宽系数确定单元，被配置为执行基于所述有效带宽与采样频率，得到有效带宽系数。
[0201]
在一个示例性的实施方式中，所述有效带宽确定单元，包括：
[0202]
能量阈值确定单元，被配置为执行基于所述各频带的能量中的最大能量，确定能量阈值；
[0203]
目标能量确定单元，被配置为执行确定各所述能量中小于所述能量阈值的目标能量；
[0204]
频带点确定单元，被配置为执行确定所述目标能量中最小能量对应频带的频带点；
[0205]
有效带宽确定子单元，被配置为执行基于所述频带点、所述采样频率和总频带数，确定有效带宽。
division multiple access，码分多址)、wcdma(wideband code division multiple access,宽带码分多址)、lte(long term evolution,长期演进)、电子邮件、sms(short messaging service，短消息服务)等。
[0221]
存储器420可用于存储软件程序以及模块，处理器480通过运行存储在存储器420的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器420还可以包括存储器控制器，以提供处理器480和输入单元430对存储器420的访问。
[0222]
输入单元430可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元330可包括触敏表面431以及其他输入设备432。触敏表面431，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面431上或在触敏表面431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器480，并能接收处理器480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面431。除了触敏表面431，输入单元430还可以包括其他输入设备432。具体地，其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0223]
显示单元440可用于显示由用户输入的信息或提供给用户的信息以及所述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元440可包括显示面板441，可选的，可以采用lcd(liquid crystal display，液晶显示器)、oled(organic light-emitting diode,有机发光二极管)等形式来配置显示面板441。进一步的，触敏表面431可覆盖显示面板441，当触敏表面431检测到在其上或附近的触摸操作后，传送给处理器480以确定触摸事件的类型，随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。其中，触敏表面431与显示面板441可以两个独立的部件来实现输入和输入功能，但是在某些实施例中，也可以将触敏表面431与显示面板441集成而实现输入和输出功能。
[0224]
所述终端还可包括至少一种传感器450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板441的亮度，接近传感器可在所述终端移动到耳边时，关闭显示面板441和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于所述终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
[0225]
音频电路460、扬声器461，传声器462可提供用户与所述终端之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号，传输到扬声器461，由扬声器461转换为声音信号输出；另一方面，传声器462将收集的声音信号转换为电信号，由音频电路360接收后转换为音频数据，再将音频数据输出处理器480处理后，经rf电路410以发送给比如另一终端，或者将音频数据输出至存储器420以便进一步处理。音频电路460还可能包括耳塞插孔，以提供外设耳机与所述终端的通信。
[0226]
wifi属于短距离无线传输技术，所述终端通过wifi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了wifi模块470，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
[0227]
处理器480是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行所述终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器480可包括一个或多个处理核心；优选的，处理器480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器480中。
[0228]
所述终端还包括给各个部件供电的电源490(比如电池)，优选的，电源可以通过电源管理系统与处理器480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源490还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0229]
尽管未示出，所述终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的音频处理方法的指令。
[0230]
在一个示例性的实施方式中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器420，上述指令可由装置400的处理器480执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0231]
在一个示例性的实施方式中，还提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述任一实施方式中提供的音频处理方法。
[0232]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0233]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。