一种采用联合特征与随机森林的伪装语音检测方法与流程

1.本发明属于伪装语音检测技术领域，具体涉及一种采用联合特征与随机森林的伪装语音检测方法。


背景技术：

2.自动说话人验证(asv,automatic speaker verification)系统，就是通过对说话人语音信号进行分析，并检测出待识别的说话人身份的技术。asv系统是一种无需直接接触便可完成识别的身份认证方式，检测设备成本低且便于操作是它的主要优势。虽然目前的asv系统识别目标语音的准确率较高，但以冒充目标说话人真实身份为目的的恶意欺骗攻击极大的降低了asv系统的安全性。
3.欺骗攻击的类型主要有语音合成、语音转换、人为模仿与语音回放。为了应对这些不同种类的欺骗攻击，需要完善说话人识别系统应对欺骗攻击时的检测性能，使asv系统具有反欺骗攻击的能力。在应用这种反欺骗攻击技术后，只有通过欺骗检测并被判定为真实语音的样本才能输入到asv系统中进一步认证。


技术实现要素：

4.基于现有技术中存在的上述不足，本发明的目的是提供一种采用联合特征与随机森林的伪装语音检测方法。
5.为了实现本发明的上述目的，采用如下技术方案：
6.一种采用联合特征与随机森林的伪装语音检测方法，包括以下步骤：
7.s1、从训练语音库中随机选取真语音和伪语音，分别对随机选取的各语音进行lbp局部纹理特征和cqcc声学特征的提取，并将lbp局部纹理特征和cqcc声学特征联合组成联合特征向量，以得到训练数据集；
8.s2、利用训练数据集对随机森林进行训练，以生成随机森林分类器；
9.s3、将待测语音进行lbp局部纹理特征和cqcc声学特征的提取，并将lbp局部纹理特征和cqcc声学特征联合组成待测联合特征向量，将待测联合特征向量输入随机森林分类器以对待测语音进行真伪检测。
10.作为优选方案，所述lbp局部纹理特征的提取，包括：
11.获取待提取语音的语谱图，利用lbp算法对待提取语音的语谱图进行分析，得到lbp局部纹理特征；
12.其中，待提取语音为随机选取的语音或待测语音。
13.作为优选方案，利用lbp算法对待提取语音的语谱图进行分析之前，先对语谱图进行分块，然后对每块语谱图分别利用lbp算法对待提取语音的语谱图进行分析，得到各块语谱图的lbp局部纹理特征组成的lbp局部纹理特征向量。
14.作为优选方案，所述cqcc声学特征的提取，包括：
15.先对待提取语音进行常量q变换得到频谱x
cq
(k)，然后得到对数功率谱log|x
cq
(k)
|2，之后将对数功率谱重采样转换为log|x
cq
(l)|2，最后对重采样后的对数能量谱作离散余弦变换，得到待提取语音的cqcc声学特征；
16.其中，k、l分别为重采样前、后的频带序号，待提取语音为随机选取的语音或待测语音。
17.作为优选方案，所述将lbp局部纹理特征和cqcc声学特征联合组成联合特征向量，包括：
18.采用主成分分析算法分别对lbp局部纹理特征和cqcc声学特征进行降维，然后将降维后的特征进行拼接，从而生成联合特征向量。
19.作为优选方案，所述步骤s2，包括以下步骤：
20.s21、假设训练数据集中共有n个矢量样本，从训练数据集中有放回地随机抽取n'个矢量样本作为训练集样本来训练决策树，其中，n'≤n；
21.s22、每个矢量样本包含m个属性，m为联合特征向量的维数；决策树分裂时，随机选择m'个属性，根据基尼指数完成决策树分裂，判断是否无法继续分裂；若是，则转至步骤s23；若否，则继续根据基尼指数完成决策树分裂；
22.s23、生成决策树，并判断决策树数量是否小于目标数量；若是，则返回至步骤s21；若否，则生成随机森林分类器。
23.本发明与现有技术相比，具有如下技术效果：
24.本发明提出通过使用局部二进制模式(local binary pattern,lbp)提取出语音信号语谱图中的纹理特征，并结合常数q倒谱系数(constant q cepstral coefficient,cqcc)这一声学特征得到联合特征，然后用获得的联合特征向量训练随机森林(random forest,rf)分类器对待检测语音进行真伪检测分类，有效提升asv系统的安全性。
附图说明
25.图1是本发明实施例的采用联合特征与随机森林的伪装语音检测方法的流程图；
26.图2是本发明实施例的lbp求解过程示例图；
27.图3是本发明实施例的lbp纹理特征的提取流程示意图；
28.图4是本发明实施例的cqcc声学特征的提取流程示意图；
29.图5是本发明实施例的联合特征的联合流程图；
30.图6是本发明实施例的随机森林的训练流程图。
具体实施方式
31.以下通过具体实施例对本发明的技术方案作进一步解释说明。
32.如图1所示，本发明实施例的采用联合特征与随机森林的伪装语音检测方法，包括以下步骤：
33.s1、从训练语音库中随机选取真语音和伪语音，分别对随机选取的各语音进行lbp局部纹理特征和cqcc声学特征的提取，并将lbp局部纹理特征和cqcc声学特征联合组成联合特征向量，以得到训练数据集；
34.具体地，获取随机选取的语音的语谱图，利用lbp算法对待提取语音的语谱图进行分析，得到lbp局部纹理特征。其中，为了提升伪装语音检测方法的检测效率以及准确性，需
要先对语谱图进行分块处理，然后对每块语谱图分别利用lbp算法对待提取语音的语谱图进行分析，得到各块语谱图的lbp局部纹理特征组成的lbp局部纹理特征向量。
35.cqcc声学特征的提取，包括：
36.先对随机选取的语音进行常量q变换得到频谱x
cq
(k)，然后得到对数功率谱log|x
cq
(k)|2，之后将对数功率谱重采样转换为log|x
cq
(l)|2，最后对重采样后的对数能量谱作离散余弦变换，得到待提取语音的cqcc声学特征；
37.其中，k、l分别为重采样前、后的频带序号。
38.上述两种特征提取完成之后，将lbp局部纹理特征和cqcc声学特征联合组成联合特征向量，由于lbp局部纹理特征与cqcc声学特征的维度不同，无法直接生成联合特征，并且特征参数维度过大，导致欺骗检测阶段计算量过大，影响伪装语音检测的效率。因此，上述两种特征联合的具体过程包括：
39.采用主成分分析算法分别对lbp局部纹理特征和cqcc声学特征进行降维，然后将降维后的特征进行拼接，从而生成联合特征向量。
40.s2、利用训练数据集对随机森林进行训练，以生成随机森林分类器；
41.其中，随机森林的训练，具体包括以下步骤：
42.s21、假设训练数据集中共有n个矢量样本，从训练数据集中有放回地随机抽取n'个矢量样本作为训练集样本来训练决策树，其中，n'≤n；
43.s22、每个矢量样本包含m个属性，m为联合特征向量的维数；决策树分裂时，随机选择m'个属性，根据基尼指数完成决策树分裂，判断是否无法继续分裂；若是，则转至步骤s23；若否，则继续根据基尼指数完成决策树分裂；
44.s23、生成决策树，并判断决策树数量是否小于目标数量；若是，则返回至步骤s21；若否，则生成随机森林分类器。
45.s3、将待测语音(即待验证语音)进行lbp局部纹理特征和cqcc声学特征的提取，并将lbp局部纹理特征和cqcc声学特征联合组成待测联合特征向量，将待测联合特征向量输入随机森林分类器以对待测语音进行真伪检测。
46.其中，lbp局部纹理特征和cqcc声学特征的提取以及两种特征的联合的具体过程可以参考步骤s1，在此不赘述。
47.以下详细介绍上述每个步骤的工作原理以及示例说明：
48.(1)lbp局部纹理特征的提取
49.lbp特征参数目前在图像识别领域有很好的表现，是一种效率高且分类效果好的纹理特征。lbp是通过比较目标图像相邻像素之间灰度值大小来描述目标的纹理特征，以一个图像中心点的像素的灰度值g
c
作为标准，相邻的所有像素点的灰度值g
i
与该中心像素点灰度值作比较，其中大于或等于g
c
的点编码为1，小于g
c
的点编码为0。同时规定左上角作为第一个数字并顺时针依次记录，于是就可以得到了一组由0和1组成的序列，这样组成的二进制数转化为十进制即完成了lbp基本运算。
50.lbp运算公式如下：
[0051][0052]
其中，g
c
为中心像素点的灰度值，r为半径形成一个原型区域中分布的像素点为g
i
(i＝1,
…
,n)，得到的lbp
n,r
为该中心像素点的lbp值。如图2所示，当r＝1时，一个图像像素点的lbp值求解过程示例。
[0053]
用lbp算法对待测的每段语音信号的语谱图进行纹理分析，为提升伪装语音检测系统整体性能，先对语谱图进行分块。本发明采用4
×
4的格式将整个语谱图均分为16块，每块分别进行lbp特征提取。提取lbp时选取采样半径r＝1，采样点数n＝8。
[0054]
lbp
8，1
模式中，通过图2中3
×
3的lbp处理语谱图之后，每个像素点的值都位于0～255之间，利用统计直方图的方法对每个像素点的值进行统计，每块语谱图就得到一个1
×
256维的特征向量。对于3
×
3的lbp来说，1
×
256维的特征向量里会有很多维是空的，这样就增加了许多无用的信息和计算量。因此，需要进行压缩处理，对3
×
3lbp的每个8位二进制数，如果0与1之间跳变超过2次就归为同一类。这样处理后，3
×
3的lbp原本256种情况就变成了59种情况，然后再对这59种可能情况的lbp值使用统计直方图进行统计，就得到了59维的特征向量。如图3所示，是用3
×
3的lbp提取纹理特征向量的示意图。对整个语谱图的16块区域进行同样的操作，就得到一个16
×
59维的特征矩阵。
[0055]
(2)cqcc声学特征的提取
[0056]
cqcc与传统声学特征提取方式相似，不过cqcc将传统特征提取所使用的短时傅里叶变换(short
‑
time fourier transform,stft)替换为常量q变换(constant q transform,cqt)。cqt最开始被应用于音乐识别中的乐音分析中，其主要优点是在低频段与高频段具有不同的频率分辨率和时间分辨率，从而避免了stft时频分辨率均匀分布的缺点。
[0057]
cqcc是基于cqt进行特征提取的，假定x(n)表示一帧语音信号，其cqt表示为：
[0058][0059]
式中，k＝1,2,
…
,k为频点的序号，是表示向下取整的运算符号。被分析频段的最小频率为f
min
，最大频率为f
max
，该频段被分割为n
o
个符合指数分布的八度音。再将每个八度音再分割为b个频带，即度音再分割为b个频带，即为a
k
(n)的复共轭，n
k
为可变窗长，是时频分析中动态窗口的长度，并且a
k
(n)的数学表达式为：
[0060][0061]
式中，f
k
是第k个滤波器频带的中心频率，f
s
表示采样频率，φ
k
表示相位偏移。c为正则因子，其数学表达式为：
[0062][0063]
式中，w(t)表示窗函数。k个频带的宽度分布符合十二平音率，故f
k
的数学表达式为：
[0064][0065]
式中，f1表示最低频带的中心频率。
[0066]
时间分辨率与频率分辨率的权衡参数q的数学表达式为：
[0067][0068]
公式(6)中q的数值只与b有关，在cqt过程中不发生变化，则n
k
的值为：
[0069][0070]
如图4所示，cqcc声学特征的提取，先对语音信号x(n)进行常量q变换得其频谱x
cq
(k)，然后得到能量谱|x
cq
(k)|2的对数及对数功率谱log|x
cq
(k)|2，之后重采样转换为log|x
cq
(l)|2，最后对重采样后的对数能量谱作离散余弦变换便可提取语音信号的cqcc系数，最终获得的cqcc特征向量，即：
[0071][0072]
式中,p＝0,1,...,l
‑
1,l为重新采样后的频带序号。
[0073]
(3)联合特征
[0074]
在欺骗攻击场景中，联合特征带有更多的语音信息，有着更好的表现。将声学特征cqcc与lbp纹理特征联合并组成联合特征，由于纹理特征与声学特征维度不同无法直接生成联合特征，并且特征参数维度过大，导致欺骗检测阶段计算量过大影响伪装语音检测系统整体性能。
[0075]
本发明采用主成分分析(principal component analysis,pca)分别先对cqcc与lbp特征进行降维，然后再将降维后的特征进行拼接，从而生成联合特征。
[0076]
其中，pca降维算法的具体流程如下：
[0077]
(a)首先输入由n个m维矢量构成的数据集x＝{x1,x2,
…
,x
i
,
…
,x
n
}，将x中每一个矢量x
i
减去均值矢量，即这样就得到了去中心化的数据集
[0078]
(b)构造协方差矩阵并对其做特征值分解，依次选取最大的n'个特征值对应的特征向量w1,w2,
…
,w
n
′
，得到特征向量矩阵w＝{w1,w2,
…
,w
n
′
}。其中t表示矩阵的转置运算。
[0079]
(c)将数据集中每一个样本向量进行降维，即得到降维后的n'维数据集z＝{z1,z2,...,z
n
}。
[0080]
联合特征的提取主要依赖于pca降维方法。假定x(n)是一段l帧的语音信号，首先计算该语音信号的语谱图，使用前述的lbp算法对语谱图进行分析并得到16
×
59维的纹理特征矩阵lbp。同时提取每帧语音信号的cqcc特征矢量，矢量的维数取60，这样对于一段l帧的语音信号来说，就得到60
×
l维的声学特征向量cqcc。再使用pca分别对矩阵lbp和cqcc
t
进行降维处理，并取n'＝1，这样就分别得到16
×
1维的lbp
′
和60
×
1维的cqcc
′
。最后将16
×
1维的lbp
′
和60
×
1维的cqcc
′
首尾拼接，就得到了76
×
1维的联合特征向量。这样，对于一段
任何时长的语音信号，经过联合特征提取过程后，最终生成76
×
1维的联合特征向量，具体的联合特征提取流程如图5所示。
[0081]
(4)随机森林分类器
[0082]
随机森林(random forest,rf)属于机器学习算法，可以有效地处理分类与回归问题，是一种基于决策树模型的强大的监督学习算法。rf采用了集成学习的思想，将多个弱学习器组成一个强学习器。rf通过随机选取数据样本来形成多个决策树从而形成森林结构，每一棵树都会得出一个分类结果。rf根据少数服从多数的原则，选出票数最高的分类结果作为整个森林的分类结果。如图6所示，rf的训练流程如下所示：
[0083]
(a)从语音库中随机选取真、伪语音，假设共有n个语音段，从每段语音提取一个76维的联合特征矢量，则共有n个矢量样本，形成数据集。从数据集中通过有放回抽取的方式随机提取n'(n'≤n)个矢量样本作为训练集样本来训练决策树。在该过程中可能存在被重复提取与没有被提取的样本。
[0084]
(b)每个样本包含m个属性，即联合特征矢量的维数。当决策树开始分裂时，从m个属性中随机选择m'个属性，其中m'的数量应远小于m；使用基尼指数作为分裂策略来选取这m'个属性的分裂属性，即分裂规则就是在待选属性中找出信息增益高于平均值的属性，然后找出信息增益率最高的属性。
[0085]
(c)对决策树的节点进行分裂，直到所有可能的值都已被使用时停止生长，从而最大限度生长决策树，避免剪枝；这样我们就得到了一棵决策树，将上述流程重复目标次数t从而生长出更多棵决策树，形成随机森林分类器。
[0086]
由于所有决策树之间是相互独立的，所以每个决策树的重要性相同，在本专利中使用随机森林用于分类时，每棵树都具有相同的权值，依据投票结果来决策最终的分类结果。本专利选取随机森林分类算法作为实现真、伪语音分类的分类器，使用包含真实语音与伪装语音的联合特征的数据集对随机森林系统进行训练，再对待认证语音集进行测试，即能实现对真实语音与伪装语音进行分类识别的效果。
[0087]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。