基于语图谱的噪声鲁棒的声纹自动识别方法及系统

本发明涉及语音处理，具体为一种基于语图谱的噪声鲁棒的声纹自动识别方法及系统。

背景技术：

1、声纹识别它是一种根据人的语音来辨别人的身份的技术，它融合了语言学、心理学、模式识别、计算机技术和语音信号处理等多学科的内容。它的应用领域有：(1)在电子商务交易、安全保卫等需要身份核对的场合；(2)反恐行动中对关键危险人物的跟踪定位、身份识别；(3)对多媒体文件中特定身份说话人的语音检索。说话人识别的研究始于20世纪60年代,bell实验室的l.g.kersta基于对语谱图的比较构建了最初的说话人识别系统。20世纪80年代以后，说话人识别的研究重点从最初的人耳听辨、语谱识别、概率统计方差分析等转到新的模式匹配方法上，如：隐马尔可夫模型、人工神经网络、高斯混合模型、支持向量机等。现在，说话人识别技术已经从理论研究进入到实际应用阶段，并迅速发展成具有广阔应用前景的科技产业。

2、受案和侦查的初始阶段，公安机关所掌握的线索可能只有些录音片段。运用方言语音识别技术提取犯罪嫌疑人的语音特征，对其母语方言进行判别和鉴定，有利于掌握嫌疑人地域身份特点和缩小案件侦查范围；声纹因人而异,方言语音识别技术的应用有利于甑别犯罪嫌疑人真实身份，排除嫌疑，能起到提供线索和审判证据的作用。相对于指纹识别、虹膜识别、人脸识别等生物特征识别，方言说话人识别有以下几方面优势：(1)其对声音的采集不涉及敏感的个人隐私,用户接受性强；(2)所需的采集设备成本低廉,具有非接触性，安装使用方便，且便于远程采集；(3)在某些应用场合(如电话)中,说话人的语音特征是较少甚至是唯一可以获取的生物特征；(4)隐蔽性好,易于在说话人不知情的情况下完成识别。

技术实现思路

1、为了解决以上的问题，本申请提供基于语图谱的噪声鲁棒的声纹自动识别方法及系统统，能够实现对于多人语音的识别。

2、为了达到上述目的，本申请实施例采用的技术方案如下：

3、第一方面，提供一种基于语图谱的噪声鲁棒的声纹自动识别方法，所述方法包括：对采集到的声音源信号进行白化处理得到白化信号，并基于白化分离模型将所述白化信号分离处理，得到分离后的多个目标声音信号；将所述目标声音信号进行多种特征提取，得到所述目标声音信号的mfcc、能量系数、短时过零率和短时频谱质心四种特征，并将mfcc、能量系数、短时过零率和短时频谱质心进行融合得到融合特征，并将所述目标声音信号进行傅里叶变换提取所述目标声音信号在多个时间位置上的频谱能量密度，并基于多个所述频谱能量密度以及多个时间位置构建所述目标声音信号的语图谱；将所述融合特征和所述语图谱分别通过第一识别模型进行初始识别得到第一初始识别结果和第二初始识别结果，所述第一识别结果和所述第二初始识别结果为目标识别概率，比较所述第一初始识别结果和所述第二初始识别结果的差值，当差值在预设置阈值范围内时，将所述语图谱作为待识别特征；基于识别模型对所述语图谱进行识别，得到识别结果。

4、进一步的，对采集到的声音源信号进行白化处理得到白化信号，构建所述声音源信号的融合信号矩阵，所述信号矩阵包括多个独立声音源信号所对应的声音信号矩阵以及噪音对应的噪音信号矩阵；对所述融合信号矩阵进行线性变换得到所述声音源信号的白化向量。

5、进一步，基于白化分离模型将所述白化信号降噪处理，得到降噪后的目标声音信号，包括：对所述混合矩阵进行反复的迭代直至混合矩阵收敛，并通过自然梯度算法与代价函数相结合得到一组新的混合矩阵为降噪后的目标声音信号。

6、进一步的，将所述目标声音信号进行傅里叶变换提取所述目标声音信号在多个时间位置上的功率谱，包括：对所述目标声音信号进行分帧处理，所述分帧长度一般为20ms，对分帧处理后的所述目标声音信号进行加窗处理，将加窗后的所述目标声音信号进行时域转换为频域数据，将所述目标语音信号中的频谱数据的频谱取模的平方,得到所述目标声音信号的功率谱，对所述功率谱进行取对数运算,得到语谱图。

7、进一步的，将加窗后的所述目标声音信号进行时域转换为频域数据，包括，基于傅里叶变换将所述目标声音信号进行时域转换，处理过程如下式：其中x(n)为是离散时域的语音信号，x(k)为频域的语音信号，n为傅里叶变换的点数。

8、进一步的，将所述目标语音信号中的频谱数据的频谱取模的平方，处理过程如下所示：

9、进一步的，将mfcc、能量系数、短时过零率和短时频谱质心进行融合得到融合特征，包括：将所述mfcc、能量系数、短时过零率和短时频谱质心分别进行最大值归一化处理并进行纵向拼接，得到尺寸为[170，173]的融合特征数组。

10、进一步的，所述第一识别模型和所述第二识别模型包括依次连接的卷积层、四个注意力模块和全局平均池化层和全连接层；所述卷积层的卷积核数量为64，步长为1，前两个所述注意力模块中的卷积核和池化核的数量为16，后两个所述注意力模块的卷积核池化核的数量为32，所述全连接层的激活函数为softmax函数。

11、进一步的，所述识别模型包括特征提取模块和特征处理模块，所述特征提取模块对所述语图谱进行转化为灰度图，并提取所述语图谱的纹理统计直方图和方向梯度统计直方图，并将所述纹理统计直方图和方向梯度统计直方图进行融合得到语图谱特征向量；所述特征处理模块包括bigru网络，所述bigru网络包括输入层、前向gru层和后向gru层以及输出层，所述前向gru层和所述后向gru层中设置有更新门和重置门。

12、第二方面，提供一种基于语图谱的噪声鲁棒的声纹自动识别系统，所述系统包括：信号分离模块，用于对采集到的声音源信号进行白化处理得到白化信号，并基于白化分离模型将所述白化信号分离处理，得到分离后的多个目标声音信号；特征提取模块，分别对所述目标声音信号进行特征提取以及语图谱构建，分别得到融合特征和语图谱；比较模块，分别用于对所述融合特征和所述语图谱通过第一识别模型和第二识别模型进行初始识别得到第一初始识别结果和第二初始识别结果，并比较所述第一初始识别结果和所述第二初始识别结果的差值，当差值在预设置阈值范围内时，将所述语图谱作为待识别特征；识别模块，基于识别模型对所述语图谱进行识别，得到识别结果。

13、第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

14、本申请实施例提供的技术方案中，本申请实施例采用计算听觉场景分析技术实现重叠语音的分离，使得分离后的每段语音只对应唯一的说话人，再对分离得到的每段语音分别进行方言说话人识别，从而可识别和鉴定出每个人的身份。

1.基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，对采集到的声音源信号进行白化处理得到白化信号，包括：构建所述声音源信号的融合信号矩阵，所述信号矩阵包括多个独立声音源信号所对应的声音信号矩阵以及噪音对应的噪音信号矩阵；对所述融合信号矩阵进行线性变换得到所述声音源信号的白化向量。

3.根据权利要求2所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，基于白化分离模型将所述白化信号降噪处理，得到降噪后的目标声音信号，包括：对所述混合矩阵进行反复的迭代直至混合矩阵收敛，并通过自然梯度算法与代价函数相结合得到一组新的混合矩阵为降噪后的目标声音信号。

4.根据权利要求1所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，将所述目标声音信号进行傅里叶变换提取所述目标声音信号在多个时间位置上的功率谱，包括：对所述目标声音信号进行分帧处理，所述分帧长度一般为20ms，对分帧处理后的所述目标声音信号进行加窗处理，将加窗后的所述目标声音信号进行时域转换为频域数据，将所述目标语音信号中的频谱数据的频谱取模的平方,得到所述目标声音信号的功率谱，对所述功率谱进行取对数运算,得到语谱图。

5.根据权利要求4所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，将加窗后的所述目标声音信号进行时域转换为频域数据，包括，基于傅里叶变换将所述目标声音信号进行时域转换，处理过程如下式：

6.根据权利要求5所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，将所述目标声音信号中的频谱数据的频谱取模的平方，处理过程如下所示：

7.根据权利要求1所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，将mfcc、能量系数、短时过零率和短时频谱质心进行融合得到融合特征，包括：将所述mfcc、能量系数、短时过零率和短时频谱质心分别进行最大值归一化处理并进行纵向拼接，得到尺寸为[170，173]的融合特征数组。

8.根据权利要求1所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，所述第一识别模型和所述第二识别模型包括依次连接的卷积层、四个注意力模块和全局平均池化层和全连接层；所述卷积层的卷积核数量为64，步长为1，前两个所述注意力模块中的卷积核和池化核的数量为16，后两个所述注意力模块的卷积核池化核的数量为32，所述全连接层的激活函数为softmax函数。

9.根据权利要求8所述的基于语图谱的噪声鲁棒的声纹自动识别方法，其特征在于，所述识别模型包括特征提取模块和特征处理模块，所述特征提取模块对所述语图谱进行转化为灰度图，并提取所述语图谱的纹理统计直方图和方向梯度统计直方图，并将所述纹理统计直方图和方向梯度统计直方图进行融合得到语图谱特征向量；所述特征处理模块包括bigru网络，所述bigru网络包括输入层、前向gru层和后向gru层以及输出层，所述前向gru层和所述后向gru层中设置有更新门和重置门。

10.基于语图谱的噪声鲁棒的声纹自动识别系统，其特征在于，所述系统包括：