一种基于毫米波感知的非接触式声纹生物认证方法与流程

本发明涉及生物认证和无线技术领域，尤其涉及一种基于毫米波(millimeterwave，mmwave)感知的非接触式声纹生物认证方法。

背景技术：

声纹是一种混合生理特征和行为特征的生物特征，像指纹一样被认为是每个人都独一无二的生物特征。由于声控设备和服务的发展，基于声音的用户认证技术流行起来。亚马逊的echo和googlehome等商用声控设备都配备了语音认证功能来保证用户的信息安全。然而基于声纹的生物认证技术有很大的隐患。声纹认证是基于无向感知的方式，由于这个本质的弱点，声纹认证极易遭受重放攻击的威胁。

技术实现要素：

为了解决背景技术中的问题，本发明提供了一种基于毫米波感知的非接触式声纹生物认证方法，通过对毫米波探针收集到的调频连续波(fmcw)进行特征提取和分类后实现用户身份的认证

本发明采用的技术方案：

一种基于毫米波感知的非接触式声纹生物认证方法包括以下步骤

步骤一：声音震动的毫米波感知：使用一个高精度的毫米波探针感知喉咙的震动，这种感知是非接触式的，对用户的喉咙区域发射调频连续波(fmcw)，然后接收用户喉咙区域反射的带有声音震动信息的调频连续波；毫米波探针将接收的调频连续波的周期性线性调频信号转化为中频(if)信号，通过计算得到多个线性调频周期的中频信号快速傅里叶变换后的结果，并计算声音的震动位移信息；

步骤二：杂波抑制处理：将步骤一中多个线性调频周期的中频信号快速傅里叶变换后的结果进行第二次快速傅里叶变换得到距离多普勒矩阵，通过更新距离多普勒矩阵完成背景杂波的分离和动态杂波的去除；

步骤三：特征提取：从步骤二去除杂波后的距离多普勒矩阵中提取声源特征和声轨特征；

步骤四：用户识别：构建细粒度认证模型，将步骤三中提取的声源特征和声轨特征输入细粒度认证模型中得到用户的分类结果。

所述步骤一中的根据中频信号计算声音震动位移的具体过程为：

1.1)设一个线性调频周期为tr，根据中频信号获得第m个线性调频周期d(mtr)的震动位移的计算公式为；

其中，m为线性调频周期的编号，m＝0，1，2...，m-1；m为线性调频周期的数量；f0是载波频率；δψm是对第m个线性调频周期的中频信号进行快速傅里叶变换(fft)后的结果；

最终得到m个线性调频周期的震动位移。

δψm包含有第m个线性调频周期的距离信息。

1.2)通过平移变化对m个线性调频周期的震动位移进行身体运动补偿，即对线性调频周期的距离信息进行校准：

身体的随机运动是影响获取准确的声音震动数据的主要障碍，当人体运动幅度大于距离轮廓分辨率的一半时，将很难准确的计算出实际的中频信号傅里叶变换结果δψm，我们使用一种细粒度的距离分箱对准方法来解决这个问题，傅里叶变换后的信号包含了物体的距离信息，细粒度的距离分箱对准方法通过对原始的距离信息进行平移来消除身体运动补偿。

定义sm(l)为获取的第m个线性调频周期的距离信息，的值代表了第m个线性调频周期校准后的距离信息；其中，l＝0，1，2，..，l-1，l为第m个线性调频周期内采样点的数量，l为采样点的编号；

定义第m个线性调频周期的相对距离信息为qm(l)，具体为：

其中，qm-1(l)为第m-1个线性调频周期的相对距离信息；

所述相对距离信息qm(l)为校准后的距离信息与步骤1.1)获取的距离信息sm(l)之间的相对距离。

定义xm为sm(l)的平移距离，为最优平移距离，根据相对距离信息qm(l)计算最优平移距离最优平移距离通过最大化下列公式得到：

其中，sm-1(l-xm)表示第m-1个线性调频周期平移后的距离信息；

第m个线性调频周期校准后的距离信息为：

其中，j为单位复数，δ是向量[0，1，...，l-1]；

第m个线性调频周期的中频信号快速傅里叶变换(fft)后的结果为第m个线性调频周期校准后的距离信息；

从而得到m个线性调频周期的中频信号快速傅里叶变换后的结果，通过m个线性调频周期的中频信号快速傅里叶变换后的结果得到身体运动补偿后的震动位移信息。

所述步骤二具体为：

我们将背景杂波看作是由大量小物体影响产生的，这些背景杂波的振幅和相位都是随机的，但他们的频谱包络a遵循韦伯分布：

因此他们可以用如下方法进行杂波分离。

2.1)分离背景杂波：

将步骤1得到的m个线性调频周期的中频信号快速傅里叶变换后的结果进行第二次快速傅里叶变换得到距离多普勒矩阵(rdm)，然后对距离多普勒矩阵进行对数正则化；

将设定的杂波分离率代入杂波分离率的定义公式中计算阈值μ0，杂波的分离率通过人为设定，杂波的分离率定义公式为：

其中，γ是欧拉常数，pc为杂波分离率；

定义弹性矩阵弹性矩阵中每个元素定义如下：

其中，代表距离多普勒矩阵，为弹性矩阵中第i行的第j个元素，rij为距离多普勒矩阵中第i行第j个元素，为无偏估计，

对距离多普勒矩阵进行更新，具体过程如下：

j为01矩阵，ο为哈达玛积，sgn是符号函数；

最终得到更新后的距离多普勒矩阵，从而完成杂波分离；

2.2)去除动态杂波：由于行人、车辆等造成的杂波不遵循韦伯分布，上述步骤无法去除这些动态杂波。本发明使用跨越多个rdm的信息来消除行人和车辆移动引起的动态杂波。

持续发射调频连续波(fmcw)，得到n个连续的距离多普勒矩阵，每个距离多普勒矩阵包含m个线性调频周期，计算多个距离多普勒矩阵中物体的平均移动速度，确定单位时间移动距离大于距离轮廓分辨率δres的物体，并移除物体在距离多普勒矩阵中对应的值(该值为物体的速度)，进而实现对行人和车辆造成的动态杂波的去除。

二次傅里叶变换得到的距离多普勒矩阵包含了速度信息；距离多普勒矩阵中的物体为调频连续波探测到的所有障碍物。

所述步骤三中的声源特征为声门流倒谱系数(glottalflowcepstrumcoefficients，gfcc)、残余相位倒谱系数(residualphasecepstrumcoefficients,rpcc)、teager相位倒谱系数(teagerphasecepstrumcoefficients,tpcc)；

所述步骤三中的声轨特征为频谱特征，梅尔频率倒谱系数(melfrequencycepstralcoefficients,mfcc)，线性预测系数(lpc),线性预测倒谱系数(lpcc)和线频谱频率(lsp)。

3.1)声源特征提取：声源信号代表了声带的肌肉结构和张力，以及相关的声门脉冲参数，例如声门的闭合瞬时率，张开持续时间和张开程度。声带的振动模式不仅为语音生产提供了声音来源，而且还具有独特的非线性流动模式。本发明使用声门流倒谱系数(glottalflowcepstrumcoefficients，gfcc)表示说话人声门激励模式的频谱幅度特征。使用残余相位倒谱系数(residualphasecepstrumcoefficients,rpcc)表示潜在激励波形的相位信息。使用teager相位倒谱系数(teagerphasecepstrumcoefficients,tpcc)来衡量声音产生的能量。

3.2)声轨特征提取：本发明使用的声轨特征包括频谱特征，梅尔频率倒谱系数(melfrequencycepstralcoefficients,mfcc)，线性预测系数(lpc),线性预测倒谱系数(lpcc)和线频谱频率(lsp)。

所述步骤四中的细粒度认证模型包括基于费舍尔分(fisherscore)的特征选择模块和识别合法用户的集成分类器；

1)基于fisherscore的特征选择模块的具体操作为：使用割平面算法选择原始特征中费舍尔分最大的特征子集；所述原始特征为声源特征和声轨特征；

2)集成分类器由高斯混合模型-通用背景模型(gmm-ubm)、支持向量机和隐马尔可夫模型三种用于语音识别的算法融合得到；集成分类器的具体操作为：将原始特征中费舍尔分最大的特征子集输入集成分类器，使用回归模型对集成分类器的三种模型的权重进行调整，根据调整后的权重对三种模型的输出结果进行加权求和，最终得到是否为合法用户的分类结果。

细粒度认证模型的训练：选取已知身份信息用户的声纹震动信息，根据步骤一～步骤三提取声源特征和声轨特征作为样本数据集，将样本数据集分为训练集和测试集对细粒度认证模型进行训练。

所述割平面算法的训练优化使用岭回归算法和梯度下降算法。

一种基于毫米波感知的非接触式声纹生物认证系统包括硬件模块和软件模块，硬件模块包括声音震动的毫米波感知模块和杂波抑制处理模块，软件模块包括特征提取模块和用户认证模块。

本发明的有益效果：

本发明方法通毫米波探针定向获取用户声带的震动信息，实现了从信息获取、信号处理、特征提取到细粒度认证的端到端的生物认证系统。

本发明基于低成本、便携式、低能耗的硬件系统实现了安全非接触式的声纹认证系统，不但可以从本质上抵御重放攻击，而且可以方便的迁移到智能手机等移动设备的认证系统中。

附图说明

图1是基于毫米波感知的非接触式声纹生物认证方法的系统结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，本发明包括硬件模块和软件模块，硬件模块包括声音震动的毫米波感知模块和杂波抑制处理模块，软件模块包括特征提取模块和用户认证模块。

我们召集了41名被实验者(共包含21名男性和20名女性)采集他们的声纹震动信息，采集设备使用德州仪器的xwr毫米波探针。认证方法的具体过程如下：

1、毫米波探针将接收的调频连续波的周期性线性调频信号转化为中频(if)信号，根据中频(if)信号计算声音的震动位移信息；

1.1)设一个线性调频周期为tr，根据中频(if)信号获得第m个线性调频周期d(mtr)的震动位移可计算为；

其中，m为线性调频周期的编号，m＝0,1,…,m-1；m为线性调频周期的数量，f0是载波频率；δψm是对第m个线性调频周期的中频信号进行快速傅里叶变换(fft)后的结果；

1.2)为了去除人体运动影响，获得准确的if信号的傅里叶变换结果。对原始傅里叶变换后的信号进行处理。傅里叶变换后的线性调频周期的中频信号包含了距离信息。该方法通过对原始的距离信息进行平移来消除身体运动补偿。定义sm(l)为获取的第m个距离信息，其中m＝0，1，...，m-1，1＝0，1，..，l-1，m为信号序列的数量，l是距离的采样数。的值代表了校准后的距离大小。代表sm(l)的平移距离。定义第m个距离信息的相对距离信息qm(l)来将过去的效准信息作为可利用的知识。qm(l)形式化的定义为：

通过最大化下列公式得到最优的平移距离

最终可以得到校准后的距离信息：

其中δ是向量[0，1，...，l-1]。

2、在得到准确的傅里叶变换数据后，我们利用弹性算法去除符合韦伯分布的背景杂波。对if信号的傅里叶变换结果进行第二次快速傅里叶变换得到距离多普勒矩阵(rdm)。然后使用对数正则化的多普勒矩阵来分离杂波。

将人为设定的杂波分离率代入杂波分离率的定义公式中计算阈值μ0，杂波的分离率定义公式为：

其中，γ是欧拉常数，pc为杂波分离率；

定义一个弹性矩阵代表多普勒矩阵。

对距离多普勒矩阵进行更新，具体过程如下：

j为01矩阵，ο为哈达玛积，sgn是符号函数。

最终可以得到杂波分离后的距离多普勒矩阵(rdm)。但由于行人、车辆等造成的杂波不遵循韦伯分布，上述步骤无法去除这些动态杂波。接着使用跨越多个rdm的信息来消除这些用户信息中行人和车辆移动引起的动态杂波。二次傅里叶变换得到的距离多普勒矩阵包含了速度信息，我们计算多个多普勒矩阵中目标的平均移动速度，移除速度大于距离轮廓分辨率的物体(rdm的数量为16，移除平局速度大于0.11m/s的物体)，进而实现对行人和车辆造成的动态杂波的去除。

3、在收集到41个用户包含不同单词发音的数据后，我们使用基于零交叉率和根均方(thezerocrossrateandrootmeansquarein)语音分割算法将这些数据划分为数十万条样本。将这些样本随机划分到训练集和测试集中。

对这些数据提取声源特征(gfcc,rpcc,tpcc)和声轨特征(频谱特征，mfcc，lpc，lpcc，lsp)。然后使用费舍尔分(fisherscore)对提取到的声源特征和声轨特征进行特征选择。首先使用割平面算法选择原始特征中费舍尔分最大的子集，在割平面算法的优化过程中使用了岭回归算法和梯度下降算法。

最终使用高斯混合模型-通用背景模型(gmm-ubm)，支持向量机和隐马尔可夫模型这三种常用于语音识别的算法的融合模型进行分类。我们通过使用回归模型对三种模型的权重进行调整，并利用加权求和进行分类，最终实现对不同用户身份的认证。

最终使用f-socre对实验结果进行评估，得到平均96.27％的f-socre。