一种基于融合声纹特征的语音指令合法性判别方法与流程

1.本发明涉及语音识别产品的安全领域，具体涉及一种基于融合声纹特征的语音指令合法性判别方法。


背景技术：

2.语音活动端点检测技术(vad)对语音指令进行分离，以去除噪音段对说话人声纹特征的影响。传统的vad方法基于短时能量和短时平均过零率进行端点检测。
3.现有的大多数语音攻击检测方法采用单一的检测算法来检测某一种语音攻击，如申请号为cn201610220000.1的发明，采用长窗比例因子的回放语音攻击检测算法，检测的语音攻击只有语音重放攻击。然而现在的语音攻击多种多样，如重放攻击，模拟攻击，海豚攻击等等。只检测单一的语音攻击是完全不够的。
4.现有的语音攻击检测方法多数采用计算语音序列的相似度来抵御攻击，如申请号为cn201811621085.x的发明采用计算气爆音相似度的方式来判断语音是否为攻击语音，该方式计算较为复杂。本发明受卷积神经网络在图像识别领域中应用的启发，将融合声纹特征视为图像信息。以卷积神经网络模型为基础，对单一声纹特征逐一进行串行合并构建融合声纹特征。融合声纹特征符合卷积神经网络模型的输入特点，可以省略复杂的时序权重计算，提高模型的训练效率。
5.现有的语音攻击检测方法需要用户提供额外的身份认证。现有的一些语音攻击检测方法只针对某一具体的设备。


技术实现要素：

6.有鉴于此，本发明提供了一种基于融合声纹特征的语音指令合法性判别方法，本发明采用了结合卷积神经网络(cnn)和循环神经网络(rnn)模型来提高语音段与噪音段分离的准确率。通过cnn从原始的语音输入中自动学习语音信号的最佳表示，并将学习到的语音信号中间表示放入rnn网络中进行学习及预测。经过vad技术，可成功对语音段和噪音段进行分割，显著降低噪声对说话人声纹特征的影响。经过分离得到的噪音段将用于噪声音量检测，语音段将提取单一声纹特征。
7.本发明提供一种基于融合声纹特征的语音指令合法性判别方法，包括以下步骤：
8.s101：设备终端获取语音信号，并将所述语音信号转化为文字；
9.s102：将文字与设备终端语音唤醒库中的唤醒词进行匹配，若文字与唤醒词匹配成功，则进入步骤s103，否则流程结束；
10.s103：使用语音活动端点检测技术vad对所述语音信号进行分离，得到分离后的语音信号；
11.s104：对分离后的语音信号进行预处理，得到预处理后的语音信号；
12.s105：对预处理后的语音信号提取各个声纹特征，包括：语音段常数q变换倒谱系数cqcc特征、梅尔倒谱系数mfcc特征、语音段线性预测倒谱系数lpcc特征、语音段imfcc特
征和频率特征；
13.s106：对各个声纹特征逐一串行合并，得到融合声纹特征；
14.s107：将所述融合声纹特征输入至结合注意力机制和mfm激活函数的resnet网络进行训练，得到训练好的语音识别模型；
15.s108：利用训练好的语音识别模型检测语音攻击。
16.进一步地，步骤s104中，对分离后的语音信号进行预处理，具体包括：预加重处理、分帧处理和加窗处理；
17.预加重处理，具体如式(1)：
18.y(n)＝x(n)
‑
0.97*x(n
‑
1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
19.式(1)中，x(n)为分离后的语音信号；y(n)为预加重后的信号；
20.分帧处理：将预加重信号每n个采样点组成一帧；n为预设值；
21.加窗处理：将每帧信号乘以窗函数，得到加窗后信号，具体如式(2)：
22.s
w
(n)＝y(n)
×
w(n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
23.式(2)中，w(n)为窗函数，s
w
(n)为加窗后信号。
24.进一步地，步骤s105中，提取梅尔倒谱系数mfcc特征具体过程如下：
25.s201：对加窗后信号s
w
(n)进行快速傅里叶变换，得到变换后的信号；
26.s202：对变换后的信号进行mel滤波，得到滤波信号；
27.s203：计算滤波信号中每个滤波器组输出的对数能量；
28.s204：根据对数能量，使用离散余弦变换dct求解梅尔倒谱系数mfcc特征。
29.进一步地，步骤s105中，提取语音段imfcc特征具体过程为：将步骤s202中mel滤波替换为imel滤波，其余过程与提取梅尔倒谱系数mfcc特征保持不变，最终得到语音段imfcc特征。
30.进一步地，步骤s105中提取语音段常数q变换倒谱系数cqcc特征，具体过程为：对预处理后的语音信号进行cqt变换，得到cqt信号；根据cqt信号提取语音段常数q变换倒谱系数cqcc特征，如式(3)：
[0031][0032]
式(3)中，cqcc(p)为提取的语音段常数q变换倒谱系数cqcc特征；l为均匀重新采样频率区间的标号；p＝0,1,...,l
‑
1，l为均匀重新采样频率区间总数；x
cq
(l)为cqt信号。
[0033]
进一步地，步骤s105中提取语音段线性预测倒谱系数lpcc特征的具体过程如下：通过语音样本获取语音预测系数；根据所述语音预测系数，进行倒谱分析，得到语音段线性预测倒谱系数lpcc特征。
[0034]
步骤s106中，对各个声纹特征进行合并前，还对其进行标准化处理；标准化如式(4)所示：
[0035][0036]
式(4)中，x
′
为一维的声纹特征向量；为一维的声纹特征向量均值；s2为一维的声
纹特征向量标准差。
[0037]
本发明的有益效果是：本发明基于人声与机器声学特征的不同，利用合法语音指令与攻击语音指令声纹特征存在的差异性，分别提取待识别语音的mfcc、imfcc、cqcc、lpcc和频率特征，并利用卷积神经网络将这些特征进行融合，得到语音的融合特征。利用融合特征判断语音指令的合法性，无需用户提供额外的身份认证，可以有效检测并防御恶意语音欺诈攻击，显著提高了系统的可用性。解决了已有研究方案中针对应用程序修改加密传感器数据导致技术缺乏一般性或影响应用程序有效性的问题；改进了实施访问控制策略导致的检测攻击范围较窄和借助外部硬件导致的应用局限性问题。
附图说明
[0038]
图1是本发明一种基于融合声纹特征的语音指令合法性判别方法的流程示意图；
[0039]
图2为语音段提取的工作流程图；
[0040]
图3为去噪后的语音段预处理流程图；
[0041]
图4为语音特征提取的工作流程图；
[0042]
图5为特征融合流程图。
具体实施方式
[0043]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
[0044]
为了更好的解释说明，本发明先对相关专业概念进行释义如下：
[0045]
(1)梅尔倒谱系数(mfcc)是语音识别领域中最常用的特征之一。它描述人类的听觉感知，以达到拟合人类听觉系统的目的。mfcc特征是一种将低频部分放大，将高频部分压缩，从而获得类似于人类听觉感知的特征。
[0046]
(2)常数q变换倒谱系数(cqcc)，它可有效捕获特殊迹象并寻找攻击语音与真实语音之间的差距。
[0047]
(3)imfcc特征，主要是为了解决不同设备发出攻击语音的差异度集中在低频部分而提出，可以减小播放设备不同带来的误差，突出真实语音和重放语音之间的差异。
[0048]
(4)lpcc特征通常用于捕获通过说话者的声道特性表现出的说话者特定信息。
[0049]
请参考图1，本发明提供的一种基于融合声纹特征的语音指令合法性判别方法，具体包括以下步骤：
[0050]
s101：设备终端获取语音信号，并将所述语音信号转化为文字；
[0051]
设备终端可以为具备语音识别功能信号的终端，但对此不作限制；优选的，本发明中用百度短语音识别api将捕获到的音频识别为文字；
[0052]
s102：将文字与设备终端语音唤醒库中的唤醒词进行匹配，若文字与唤醒词匹配成功，则进入步骤s103，否则流程结束；
[0053]
请参考图2，为语音段提取的工作流程图；优选的，百度语音识别api返回json格式的语音识别结果，提取“result”字段数据作为语音识别内容，并与语音唤醒词库中用户使用的唤醒词(如：“hi，siri”、“小爱同学”等)进行匹配。若匹配成功，则推断该音频样本需要进行识别检测，进入后续步骤；
[0054]
s103：使用语音活动端点检测技术vad对所述语音信号进行分离，得到分离后的语音信号；
[0055]
优选的，本发明将语音信号转为wav格式，通过调用vad_extract.py脚本文件执行vad技术，分离噪声及语音段，生成噪声及语音段的wav文件并存入原始语音所目录下；
[0056]
通过组合使用java提供的runtime类和process类的方法实现vad_extract.py脚本文件的跨平台调用；runtime.getruntime()返回当前应用程序的runtime对象，该对象的exec()方法指示java虚拟机创建一个子进程执行指定的可执行程序，并返回与该子进程对应的process对象实例。volumedect类实现了将输入语音进行噪音段与语音段分离的功能，其中changetowav函数将传入的arm音频转化为wav格式。vad函数进行语音分离操作getvolume函数为对外接口，传入带噪语音路径即可得到对应噪音及语音段的wav文件路径；这里也可以采用其他相关方法，不用以作限制；
[0057]
s104：对分离后的语音信号进行预处理，得到预处理后的语音信号；
[0058]
优选的，预处理操作包括预加重操作、分帧处理和加窗处理；请参考图3，图3为去噪后语音段预处理流程图；
[0059]
(1)预加重操作，减轻噪声对信号的影响，尤其是尖锐噪声，突出高频部分。同时消除发声过程中声带和嘴唇的震动效应，以补偿语音信号受发音系统抑制的高频部分。具体公式下，其中x(n)为原始信号，即n时刻的语音采样值；y(n)为预加重后信号；0.97为预加重系数；
[0060]
y(n)＝x(n)
‑
0.97
·
x(n
‑
1)
[0061]
(2)分帧处理。将语音信号中每n个采样点集合成一个观测单位，分帧过程中，让相邻两帧之间有一段重叠区域。此重叠区域包含了m个取样点，通常m的值约为n的1/2或1/3。
[0062]
(3)加窗处理。将每一帧乘以窗函数，以增加每一帧的左端和右端的连续性。其中w(n)是窗函数(通常为汉明窗)，s
w
(n)是加窗后信号。
[0063]
s
w
(n)＝y(n)
×
w(n)
[0064]
s105：对预处理后的语音信号提取各个声纹特征，包括：语音段常数q变换倒谱系数cqcc特征、梅尔倒谱系数mfcc特征、语音段线性预测倒谱系数lpcc特征、语音段imfcc特征和频率特征；
[0065]
请参考图4，图4为语音特征提取流程图；提取mfcc特征具体如下：
[0066]
(1)对加窗信号s
w
(n)进行快速傅里叶变换，公式如下：
[0067][0068]
x
a
(k)为快速傅里叶变换后的信号；k为语音信号帧数的序号；n表示傅里叶变换的点数；
[0069]
(2)对傅里叶变换后的加窗信号进行mel滤波；
[0070]
(3)计算每个滤波器组输出的对数能量，公式如下：
[0071]
[0072]
i为滤波器组的编号；h
m
(i)为三角滤波器的频率响应；m为滤波器组的总数；
[0073]
(4)使用离散余弦变换(dct)求出mfcc特征，公式如下：
[0074][0075]
c(n)为mfcc特征；m是三角滤波器个数；
[0076]
提取imfcc特征：imfcc的提取过程与mfcc类似，主要区别在于将提取过程中的mel滤波器组更换为imel滤波器组。
[0077]
取语音段常数q变换倒谱系数(cqcc)特征：
[0078]
(1)对预处理后的语音帧进行cqt变换。离散时域信号的cqt特征x
cq
(k，n)定义如下：
[0079][0080]
其中k＝1,2,...,k是频率窗的索引，是a
k
(n)的复共轭函数，n
k
是可变窗函数的长度。基函数a
k
(n)定义如下：
[0081][0082]
其中，f
k
是窗k的中心频率，f
s
是采样率，φ
k
是相位偏移。比例因子c定义如下：
[0083][0084]
其中w(
·
)为窗函数。f
k
定义如下：
[0085][0086]
其中f1是最低频率区间的中心频率，b确定每个八度音程的箱数。
[0087]
q因子由下式给出：
[0088][0089]
对信号进行重建，对第一个k区间(低频)进行下采样操作和对剩余k
‑
k区间(高频)进行上采样操作，f
k
和f1之间的距离的公式如下所示：
[0090][0091]
其中k＝1,2,...,k是频率窗索引。距离是k的函数，寻找用于线性重采样的周期t
l
。相当于确定k
l
∈1,2,...,k的值，并得到t
l
：
[0092][0093]
解决上述问题只需要关注第一个间隔音阶。一旦t
l
在该间隔音程中被修复，较高的间隔音程的分辨率将比间隔音阶高出两倍。通过将第一个间隔音阶分割成具有周期t
l
的d个相等部分，通过求解k
l
可获得线性分辨率：
[0094][0095]
新的频率由下式给出：
[0096][0097]
该公式以间隔音阶作为单位，每一个间隔中均有不定个数的均匀样本，第j
‑
1个间隔中含有的样本为2d个。信号重建的算法采用多相抗混叠滤波器和样本插值方法以均匀采样率f
l
重新采样信号。
[0098]
(2)提取cqcc，公式如下：
[0099][0100]
其中p＝0，1，...，l
‑
1，l是均匀重新采样的频率区间。
[0101]
提取语音段线性预测倒谱系数(lpcc)特征。第m个语音样本可以通过其前个样本的线性组合来预测，即：
[0102]
s(m)≈a1s(m
‑
1) a2s(m
‑
2)
…
a
n
s(m
‑
n)
[0103]
其中a1，a2，a3...被称为线性预测系数，为一段连续语音分析帧上的常数。这些系数被用来预测语音样本。此外，预测误差(e(m))由下列公式计算得到：
[0104][0105]
其中s(m)和分别是原始语音信号和预测语音信号。为了计算一组唯一的预测系数，根据(e(m))的最小均方误差(mse)准则，求取mse期望值e
m
：
[0106][0107]
其中p是特定语音分析帧的数目。为了解决上述lpcc方程，必须使e
m
对每一个a
k
进行求偏导，其偏导数结果为0。
[0108][0109]
结果化简为：
[0110][0111][0112]
表示成自相关形式(yule
‑
walker方程)：
[0113][0114]
上式拆写为加权式子，即得到toeplize矩阵,使用levinson
‑
durbin算法来求解toeplize矩阵。求出预测系数后，进行倒谱分析。最终，可以使用下列递推式，计算lpcc特征。
[0115]
c
o
＝log
e
n，p＝1
[0116][0117][0118]
s106：对各个声纹特征逐一串行合并，得到融合声纹特征；
[0119]
请参考图5，图5为特征融合流程图；优选的，以卷积神经网络模型为基础，对之前提取的单一声纹特征逐一进行串行合并构建融合声纹特征，各声纹特征进行融合时进行标准化处理，最终得到融合声纹特征。标准化如下所示：
[0120][0121]
式中，x
′
为一维的声纹特征向量；为一维的声纹特征向量均值；s2为一维的声纹特征向量标准差。
[0122]
s107：将所述融合声纹特征输入至结合注意力机制和mfm激活函数的resnet网络进行训练，得到训练好的语音识别模型；
[0123]
将融合声纹特征传入改进后的resnet，首先经过独立自注意力层，利用注意力机制帮助模型对输入值的每个部分赋予不同的权重，抽取出更加关键及重要的信息。然后特征经过激活函数为mfm的卷积层，mfm操作类似于生物识别中的局部特征选择，其通过不同滤波器在每个位置选择最优特征，在反向传播时导致0、1梯度来抑制或激活神经元。最后经过全连接层输出结果。
[0124]
s108：利用训练好的语音识别模型检测语音攻击。
[0125]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明使用了一种基于融合声纹特征的语音指令合法性判别方案。本发明基于人声与机器声学特征的不同，利用合法语音指令与攻击语音指令声纹特征存在的差异性，分
别提取待识别语音的mfcc、imfcc、cqcc、lpcc和频率特征，并利用卷积神经网络将这些特征进行融合，得到语音的融合特征。利用融合特征判断语音指令的合法性，无需用户提供额外的身份认证，可以有效检测并防御恶意语音欺诈攻击，显著提高了系统的可用性。解决了已有研究方案中针对应用程序修改加密传感器数据导致技术缺乏一般性或影响应用程序有效性的问题；改进了实施访问控制策略导致的检测攻击范围较窄和借助外部硬件导致的应用局限性问题。
[0126]
在不冲突的情况下，本发明中上述实施例及实施例中的特征可以相互结合。
[0127]
以上所述仅为本发明的较佳实施例，并不用以限制本发明。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。