说话人识别方法、装置、计算机设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种说话人识别方法、装置、计算机设备及存储介质。


背景技术：

2.说话人识别又叫语者验证，是语音处理的重要组成部分，属于生物识别技术的一种，目的是验证一段语音是否为目标说话人所说。说话人识别可以广泛地应用于与人相关的安全或娱乐领域，例如，在智能家居中限制部分家庭成员进行电器的语音控制，以降低儿童接触危险电器的可能。
3.鸡尾酒会场景是指嘈杂的环境中，存在多个说话人的场景。在鸡尾酒会场景的说话人识别中，针对单声道的说话人识别任务具有较大的难度，由于单声道语音缺少语音的空间信息，难以做到噪声滤除和目标说话人定位，且单声道语音中混合了人数不确定的多人语音，说话人识别尤为困难。传统的说话人识别技术，例如深度聚类等，虽然可以实现鸡尾酒会场景中的说话人识别，但是都需要一定的前提，例如，需要预先知道说话人的数量，或者对音频类型具有一定要求。当前提条件无法满足时，说话人识别的准确性就会显著降低。


技术实现要素：

4.本技术实施例的目的在于提出一种说话人识别方法、装置、计算机设备及存储介质，以解决说话人识别准确性较低的问题。
5.为了解决上述技术问题，本技术实施例提供一种说话人识别方法，采用了如下所述的技术方案：
6.获取混合语音以及目标说话人的参考语音；
7.通过参考提取模型从所述参考语音中提取参考语音表征；
8.将所述参考语音表征输入混合提取模型，以指示所述混合提取模型根据所述参考语音表征，从所述混合语音中获取所述目标说话人的估计掩膜，所述估计掩膜中的掩码与所述混合语音中的语音信号点一一对应；
9.将所述估计掩膜中的掩码和所述混合语音中的语音信号点对应相乘，得到所述目标说话人的预测语音；
10.计算所述预测语音和所述参考语音的概率线性判断得分；
11.当所述概率线性判断得分处于预设的分值区间时，确定所述混合语音中包含所述目标说话人的语音。
12.为了解决上述技术问题，本技术实施例还提供一种说话人识别装置，采用了如下所述的技术方案：
13.语音获取模块，用于获取混合语音以及目标说话人的参考语音；
14.参考提取模块，用于通过参考提取模型从所述参考语音中提取参考语音表征；
15.掩膜获取模块，用于将所述参考语音表征输入混合提取模型，以指示所述混合提取模型根据所述参考语音表征，从所述混合语音中获取所述目标说话人的估计掩膜，所述估计掩膜中的掩码与所述混合语音中的语音信号点一一对应；
16.预测获取模块，用于将所述估计掩膜中的掩码和所述混合语音中的语音信号点对应相乘，得到所述目标说话人的预测语音；
17.得分计算模块，用于计算所述预测语音和所述参考语音的概率线性判断得分；
18.确定模块，用于当所述概率线性判断得分处于预设的分值区间时，确定所述混合语音中包含所述目标说话人的语音。
19.为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：
20.获取混合语音以及目标说话人的参考语音；
21.通过参考提取模型从所述参考语音中提取参考语音表征；
22.将所述参考语音表征输入混合提取模型，以指示所述混合提取模型根据所述参考语音表征，从所述混合语音中获取所述目标说话人的估计掩膜，所述估计掩膜中的掩码与所述混合语音中的语音信号点一一对应；
23.将所述估计掩膜中的掩码和所述混合语音中的语音信号点对应相乘，得到所述目标说话人的预测语音；
24.计算所述预测语音和所述参考语音的概率线性判断得分；
25.当所述概率线性判断得分处于预设的分值区间时，确定所述混合语音中包含所述目标说话人的语音。
26.为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
27.获取混合语音以及目标说话人的参考语音；
28.通过参考提取模型从所述参考语音中提取参考语音表征；
29.将所述参考语音表征输入混合提取模型，以指示所述混合提取模型根据所述参考语音表征，从所述混合语音中获取所述目标说话人的估计掩膜，所述估计掩膜中的掩码与所述混合语音中的语音信号点一一对应；
30.将所述估计掩膜中的掩码和所述混合语音中的语音信号点对应相乘，得到所述目标说话人的预测语音；
31.计算所述预测语音和所述参考语音的概率线性判断得分；
32.当所述概率线性判断得分处于预设的分值区间时，确定所述混合语音中包含所述目标说话人的语音。
33.与现有技术相比，本技术实施例主要有以下有益效果：获取混合语音和目标说话人的参考语音，从参考语音中提取表征说话人声纹特性的参考语音表征；参考语音表征可以作为先验信息，基于先验信息可以在混合语音中准确地确定目标说话人的特征信息，得到估计掩膜；估计掩膜是对目标说话人的语音在混合语音中分布的预测，估计掩膜中的掩码与混合语音中的语音信号点一一对应，估计掩膜中的掩码和混合语音中的语音信号点对应相乘可以准确得到目标说话人的预测语音；再计算预测语音和参考语音的概率线性判断得分以进行进一步的确定，当得分处于预设的可信分值区间时，确定混合语音中包含目标
说话人的语音，进一步提高了说话人识别的准确性。
附图说明
34.为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本技术可以应用于其中的示例性系统架构图；
36.图2是根据本技术的说话人识别方法的一个实施例的流程图；
37.图3是根据本技术的说话人识别装置的一个实施例的结构示意图；
38.图4是根据本技术的计算机设备的一个实施例的结构示意图。
具体实施方式
39.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
40.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
41.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
42.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
43.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
44.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(moving picture expertsgroup audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving pictureexperts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
45.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
46.需要说明的是，本技术实施例所提供的说话人识别方法一般由服务器执行，相应地，说话人识别装置一般设置于服务器中。
47.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
48.继续参考图2，示出了根据本技术的说话人识别方法的一个实施例的流程图。所述的说话人识别方法，包括以下步骤：
49.步骤s201，获取混合语音以及目标说话人的参考语音。
50.在本实施例中，说话人识别方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式与终端进行通信。需要指出的是，上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
51.其中，参考语音可以是预先录制到的目标说话人说话的语音；混合语音可以包含多个说话人的语音和噪音，可能包含了目标说话人的语音；本技术需要识别混合语音中是否包含了目标说话人的语音。
52.具体地，混合语音通常由终端通过语音采集器从真实环境中获取，例如，可以由电视采集声音，得到混合语音。本技术中的混合语音可以是单声道语音，不包含空间信息。终端采集到混合语音后触发说话人识别指令，并将说话人识别指令和混合语音发送至服务器。服务器根据说话人识别指令，获取预先存储的目标说话人的参考语音。
53.步骤s202，通过参考提取模型从参考语音中提取参考语音表征。
54.其中，参考语音表征可以是从参考语音中提取到的特征数据，包含了目标说话人的声纹特性。
55.具体地，说话人识别可以依据说话人的声纹特性实现，服务器可以通过参考提取模型从参考语音中提取参考语音表征。这里的参考提取模型可以是训练完毕的神经网络，也可以是预设的语音处理算法组成的整体。
56.通常，混合语音是根据实时采集、实时处理的，而参考语音是预先准备好的，因此可以预先从参考语音中提取参考语音表征。当服务器接收到说话人识别指令后，根据说话人识别指令直接获取准备好的参考语音表征即可。
57.需要强调的是，为进一步保证上述参考语音表征的私密和安全性，上述参考语音表征还可以存储于一区块链的节点中。
58.本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
59.步骤s203，将参考语音表征输入混合提取模型，以指示混合提取模型根据参考语音表征，从混合语音中获取目标说话人的估计掩膜，估计掩膜中的掩码与混合语音中的语音信号点一一对应。
60.其中，估计掩膜是一种掩膜，是对目标说话人的语音在混合语音中分布的估计。
61.具体地，服务器将参考语音表征输入混合提取模型，参考语音记录了目标说话人的声纹特性，混合提取模型依据参考语音表征从混合语音中提取目标说话人的预测表征，预测表征是混合提取模型输出的、包含目标说话人声纹特性的特征数据。这里的混合提取
模型可以是训练完毕的神经网络，也可以是预设的语音处理算法组成的整体。
62.混合提取模型可以根据预测表征计算估计掩膜。估计掩膜由掩码构成，每个掩码是数字，数值可以是0或1。
63.混合语音由离散的语音信号点组成，每个语音信号点都对应有一个估计掩膜中的掩码。当掩码数值为0时，表示混合提取模型判定语音信号点中不包含目标说话人的语音信息；当掩码数值为1时，表示混合提取模型判定语音信号点中包含目标说话人的语音信息。
64.当混合语音中的语音信号点为时域图中的语音信号点时，每个语音信号点包含时间和幅度信息，估计掩膜为向量；当混合语音中的语音信号点为时频图中的语音信号点时，每个语音信号点包括时间、频率和幅度信息，语音信号点是矩阵形式，此时估计掩膜也是矩阵形式。
65.步骤s204，将估计掩膜中的掩码和混合语音中的语音信号点对应相乘，得到目标说话人的预测语音。
66.具体地，将估计掩膜中的掩码和混合语音中的语音信号点对应相乘，相乘时，将掩码数值与语音信号的幅度相乘，可以过滤掉混合语音中的无关语音，从而提取到目标说话人的预测语音。预测语音是混合提取模型判定的来自目标说话人的语音。
67.步骤s205，计算预测语音和参考语音的概率线性判断得分。
68.其中，概率线性判断得分用于衡量预测语音和参考语音的相似度，即衡量预测语音和参考语音是否来自同一个说话人的概率。
69.具体地，为了进一步验证预测语音和参考语音是否来自目标说话人，可以计算预测语音和参考语音的概率线性判断得分，即plda(probabilistic linear discriminant analysis)得分。概率线性判别分析(plda)是一种信道补偿算法，又称概率形式的lda算法(linear discriminant analysis，线性鉴别分析，常用于模式识别领域)，plda在计算中提供信道补偿，plda可以用于分类，衡量输入对象的相关性。
70.进一步的，上述步骤s205可以包括：通过概率线性判断器分别提取预测语音和参考语音的x
‑
vector表征；计算预测语音和参考语音x
‑
vector表征的对数似然比；将得到的对数似然比确定为预测语音和参考语音的概率线性判断得分。
71.其中，概率线性判断器可以是实现概率线性判别分析(plda)的模型。
72.具体地，将预测语音和参考语音输入概率线性判断器，由概率线性判断器提取预测语音的x
‑
vector表征，以及参考语音的x
‑
vector表征。x
‑
vector表征是一种plda算法中应用到的特征向量。
73.对数似然比可以衡量预测语音和参考语音的相似程度。概率线性判断器可以计算预测语音的x
‑
vector表征与参考语音的x
‑
vector表征的对数似然比，将对数似然比作为预测语音和参考语音的概率线性判断得分，即plda得分。
74.概率线性判断得分分值越高，预测语音和参考语音来自同一个目标说话人的概率越高。由于参考语音来自特定的目标说话人，因此概率线性判断得分越高时，预测语音来自特定的目标说话人的概率也越高。
75.本实施例中，从语音中提取x
‑
vector表征以计算对数似然比，将对数似然比作为概率线性判断得分，以便进一步判断预测语音和参考语音是否来自目标说话人，保证了目标说话人识别的准确性。
76.步骤s206，当概率线性判断得分处于预设的分值区间时，确定混合语音中包含目标说话人的语音。
77.具体地，可以预设分值阈值，当概率线性判断得分大于预设的分值阈值时，概率线性判断得分处于预设的分值区间，可以判定预测语音和参考语音来自同一个目标说话人，即混合语音中包含目标说话人的语音，实现了在混合语音中识别目标说话人。
78.本实施例中，获取混合语音和目标说话人的参考语音，从参考语音中提取表征说话人声纹特性的参考语音表征；参考语音表征可以作为先验信息，基于先验信息可以在混合语音中准确地确定目标说话人的特征信息，得到估计掩膜；估计掩膜是对目标说话人的语音在混合语音中分布的预测，估计掩膜中的掩码与混合语音中的语音信号点一一对应，估计掩膜中的掩码和混合语音中的语音信号点对应相乘可以准确得到目标说话人的预测语音；再计算预测语音和参考语音的概率线性判断得分以进行进一步的确定，当得分处于预设的可信分值区间时，确定混合语音中包含目标说话人的语音，进一步提高了说话人识别的准确性。
79.进一步的，上述步骤s201之前，还可以包括：
80.步骤s207，获取针对目标说话人的训练标准语音、训练参考语音和训练混合语音，训练混合语音是在训练标准语音中添加干扰语音得到的。
81.其中，训练标准语音和训练参考语音都是预先录制到的目标说话人的语音；训练混合语音是在训练标准语音中添加干扰语音得到的，干扰语音包括目标说话人以外的说话人的语音以及噪音。
82.具体地，本技术中的参考提取模型和混合提取模型可以基于神经网络构建。当参考提取模型和混合提取模型基于神经网络构建时，需要先通过模型训练得到参考提取模型和混合提取模型。
83.服务器获取针对目标说话人的训练标准语音、训练参考语音和训练混合语音，以进行模型训练。训练标准语音和训练参考语音来自于同一个说话人，语音内容可以不同。训练参考语音数量可以较少，但是训练标准语音应该保持在较大的数量。
84.步骤s208，根据训练标准语音、训练参考语音和训练混合语音对初始参考提取模型和初始混合提取模型进行训练，得到参考提取模型和混合提取模型。
85.其中，初始参考提取模型可以是尚未完成训练的参考提取模型；初始混合提取模型可以是尚未完成训练的混合提取模型。
86.具体地，初始参考提取模型和初始混合提取模型的训练可以同时进行，在训练中，训练参考语音和训练标准语音将起到监督学习中样本标签的作用，训练初始参考提取模型从训练参考语音中提取出参考语音表征，训练初始混合提取模型从训练混合语音中提取出目标说话人的预测语音。
87.本实施例中，获取针对目标说话人的训练标准语音、训练参考语音和训练混合语音以进行模型训练得到参考提取模型和混合提取模型，保证了可以依据模型进行说话人识别。
88.进一步的，上述步骤s208可以包括：通过初始参考提取模型从训练参考语音中提取参考语音表征；将参考语音表征输入初始混合提取模型，以指示初始混合提取模型根据参考语音表征，从训练混合语音中提取目标说话人的估计掩膜和预测语音；基于估计掩膜、
预测语音、训练标准语音和训练混合语音计算联合损失；根据联合损失对初始参考提取模型和初始混合提取模型进行调整，直至联合损失满足训练停止条件，得到参考提取模型和混合提取模型。
89.具体地，将训练参考语音输入初始参考提取模型，初始参考提取模型可以包括若干层顺序相连的参考表征提取层，每一层参考表征提取层都由参考表征提取网络和非线性变换层组成。
90.对于第一层参考表征提取层，参考表征提取网络对输入的训练参考语音进行处理，然后将处理结果输入非线性变换层进行非线性变换，得到第一层参考表征提取层的提取结果；第一层参考表征提取层的提取结果将输入第二层参考表征提取层，第二层参考表征提取层的参考表征提取网络对上一层的提取结果进行处理，然后将处理结果输入非线性变换层进行非线性变换，得到第二层参考表征提取层的提取结果，第二层参考表征提取层的提取结果将输入接下来的参考表征提取层，并迭代上述处理过程，直至最后一层参考表征提取层，最后一层参考表征提取层的提取结果将输入线性变换层进行线性变换，线性变换层的输出再输入均值池化层进行均值池化，将均值池化层的输出作为初始参考提取模型输出的参考语音表征。
91.初始参考提取模型提取到的参考语音表征记录了目标说话人的声纹特性，参考语音表征输入初始混合提取模型，以指示初始混合提取模型根据参考语音表征，从混合训练语音中提取记录目标说话人声纹特性的数据。初始参考提取模型对混合训练语音处理后，可以得到针对目标说话人的估计掩膜和预测语音。
92.然后可以计算模型损失，本技术基于估计掩膜、预测语音、训练标准语音和训练混合语音计算联合损失，联合损失既包含了掩膜相关的因素，又包含了语音相关的因素，具有更高的准确性。
93.服务器以减小联合损失为目标，调整初始参考提取模型和初始混合提取模型的模型参数，并对参数调整后的初始参考提取模型和初始混合提取模型进行迭代训练，直至联合损失满足预设的训练停止条件，则停止训练，得到参考提取模型和混合提取模型。其中，训练停止条件可以是联合损失小于预设的联合损失阈值。
94.本实施例中，初始参考提取模型从训练参考语音中提取参考语音表征后输入初始混合提取模型，以指示初始混合提取模型提取针对目标说话人的估计掩膜和预测语音；基于估计掩膜、预测语音、训练标准语音和训练混合语音计算联合损失，根据联合损失进行对模型进行调整，从而得到可以用于说话人识别的参考提取模型和混合提取模型。
95.进一步的，上述将参考语音表征输入初始混合提取模型，以指示初始混合提取模型根据参考语音表征，从训练混合语音中提取目标说话人的估计掩膜和预测语音的步骤可以包括：
96.将参考语音表征输入初始混合提取模型，以指示初始混合提取模型将参考语音表征作为先验信息，从训练混合语音中提取目标说话人的预测表征；将预测表征输入初始混合提取模型中的掩膜计算层，得到估计掩膜，估计掩膜中的掩码与训练混合语音中的语音信号点一一对应；将估计掩膜中的掩码和训练混合语音中的语音信号点进行对应点乘，得到目标说话人的预测语音。
97.具体地，参考语音表征输入初始混合提取模型后，将作为先验信息，指示初始混合
提取模型依据参考语音表征，从训练混合语音中提取目标说话人的预测表征。假如训练混合语音中包含了多个说话人，需要提取哪位说话人的预测表征，可以将该说话人训练参考语音中提取到的参考语音表征输入初始混合提取模型。即，参考语音表征不同，从训练混合语音中提取到的预测表征也不相同。
98.预测表征将输入初始混合提取模型中的掩膜计算层，掩膜计算层根据预测表征可以预测得到估计掩膜，估计掩膜中的掩码与训练混合语音中的每个语音信号点一一对应，估计掩膜可以是由0和1组成的向量或矩阵，掩码数值为1时，表示初始混合提取模型判断对应的语音信号点包含目标说话人的语音信息；估计掩膜数值为0时，表示初始混合提取模型判断对应的语音信号点不包含目标说话人的语音信息。
99.依据估计掩膜，可以将针对目标说话人的语音识别由回归问题转化为分类问题。将估计掩膜中的掩码和训练混合语音中的语音信号点进行对应点乘，掩码数值为0的语音信号点幅度降为0，因此可以去除训练混合语音中与目标说话人无关的语音，得到针对目标说话人的预测语音。
100.本实施例中，根据参考语音表征可以从训练混合语音中提取到目标说话人的预测表征，预测表征输入掩膜计算层可以得到估计掩膜，估计掩膜是模型对目标说话人语音分布的预测，估计掩膜中的掩码与训练混合语音中的语音信号点对应点乘后，可以准确快速地从训练混合语音中提取到目标说话人的预测语音。
101.进一步的，初始混合提取模型包括若干层顺序相连的预测表征提取层；上述将参考语音表征输入初始混合提取模型，以指示初始混合提取模型将参考语音表征作为先验信息，从训练混合语音中提取目标说话人的预测表征的步骤可以包括：
102.将参考语音表征和训练混合语音进行拼接，并输入第一层预测表征提取层，参考语音表征为先验信息，训练混合语音为来源信息，先验信息用于指示预测表征提取层从来源信息中提取预测表征；
103.对于第一层以后的预测表征提取层，将参考语音表征和预测表征进行拼接，并输入下一层预测表征提取层进行迭代，直至最后一层预测表征提取层，参考语音表征为先验信息，预测表征为来源信息，先验信息用于指示预测表征提取层从来源信息中提取预测表征；
104.将最后一层预测表征提取层输出的预测表征确定为目标说话人的预测表征。
105.具体地，初始混合提取模型包括若干层顺序相连的预测表征提取层，每一层预测表征提取层都由预测表征提取网络和非线性变换层组成。
106.可以将参考语音表征和训练混合语音进行拼接，输入第一层预测表征提取层，其中，参考语音表征将作为先验信息，训练混合语音将作为来源信息。预测表征提取层根据先验信息对来源信息进行处理，其中，预测表征提取网络的处理结果将输入非线性变换层进行非线性变换，得到第一层预测表征提取层的预测表征。
107.第一层预测表征提取层的预测表征与参考语音表征拼接后输入第二层预测表征提取层，其中，输入的预测表征作为来源信息，参考语音表征作为先验信息，第二层预测表征提取层的预测表征提取网络对来源信息进行处理，然后将处理结果输入非线性变换层进行非线性变换，得到第二层预测表征提取层的预测表征。
108.第二层预测表征提取层的预测表征将输入接下来的预测表征提取层，并且对于接
下来的预测表征提取层，都会将输入的预测表征作为来源信息，参考语音表征作为先验信息，并迭代上述预测表征的提取过程，直至最后一层预测表征提取层，最后一层预测表征提取层的输出将作为目标说话人的预测表征。
109.在一个实施例中，参考表征提取网络可以是blstm网络(bi
‑
directional long short
‑
term memory，双向长短期记忆人工神经网络)，也可以是fsmn网络(feedforward sequential memory networks，前馈序列记忆神经网络)；预测表征提取网络可以是blstm网络，也可以是fsmn网络。fsmn网络可以对信号的长时相关性进行建模，且具有较快的处理速度，但是blstm网络的处理效果相对更好。
110.在应用时，混合语音通常为实时输入、实时处理的，因此预测表征提取网络可以采用fsmn网络；且在实际应用中，参考语音是提前准备好的，参考语音表征也有较多的时间去获取，因此参考表征提取网络可以采用blstm网络，以保证提取效果。
111.可以根据实际应用场景确定参考表征提取网络和预测表征提取网络的具体结构。如果对识别准确率有较高的要求，则参考表征提取网络和预测表征提取网络都使用blstm网络；如果对训练时间和识别速度都有较高的要求，参考表征提取网络和预测表征提取网络可以使用fsmn网络。
112.参考表征提取网络和预测表征提取网络中的非线性变换层都可以采用gelu(gaussian error linear unit，高斯误差线性单元)激活函数。
113.本实施例中，初始混合提取模型包含多层预测表征提取层，且每一层都依据参考语音表征进行预测表征的提取，保证了最后得到的针对目标说话人预测表征的准确性。
114.进一步的，上述基于估计掩膜、预测语音、训练标准语音和训练混合语音计算联合损失的步骤可以包括：比对训练标准语音和训练混合语音，得到理想掩膜；根据估计掩膜和理想掩膜计算第一损失；根据预测语音、训练标准语音和训练混合语音计算第二损失；对第一损失和第二损失进行线性运算，得到联合损失。
115.具体地，由于训练混合语音是对训练标准语音添加干扰语音得到的，理想状态下的预测语音应该与训练标准语音一致，因此比对训练标准语音和训练混合语音，可以得到理想状态下目标说话人的语音在训练混合语音中的分布，比对结果即为理想掩膜(ideal binary mask，ibm)。
116.估计掩膜(estimated mask)是混合提取模型预测的目标说话人的语音在训练混合语音中的分布，因此，可以根据估计掩膜和理想掩膜计算掩膜层面的损失(mask approximation loss)，即第一损失，在一个实施例中，第一损失计算如下：
[0117][0118]
其中，m为估计掩膜，m
ibm
为理想掩膜，t代表平均的时间长度(语音处理时帧的时间长度)。
[0119]
在本技术的前文提到，理想状态下的预测语音应该与训练标准语音一致，第一损失是掩膜层面的损失，并未考虑相位的问题，因此可以根据预测语音、训练标准语音和训练混合语音计算语音相位层面的损失，即第二损失：
[0120]
[0121]
其中，其中，θ
x
和θ
y
分别是训练标准语音和训练混合语音的相位角，|x|和|y|分别是训练标准语音和训练混合语音的幅度，m是估计掩膜，m
·
|y|为预测语音，t代表平均的时间长度(语音处理时帧的时间长度)。
[0122]
然后以线性运算联合第一损失和第二损失，计算联合损失：
[0123][0124]
其中，0<λ<1。
[0125]
本实施例中，计算掩膜层面的第一损失，计算相位层面的第二损失，联立第一损失和第二损失得到的联合损失兼顾了掩膜和相位，提高了损失计算的准确性，保证了根据损失调整后得到的模型的准确性。
[0126]
本技术可以同时识别多个目标说话人。若要识别多个目标说话人，只需预先准备多个目标说话人的参考语音表征，混合提取模型会根据多个目标说话人的参考语音表征，从混合语音中提取多个预测语音，再计算概率线性判断得分。在训练时，针对每个目标说话人，分别准备训练标准语音、训练参考语音和训练混合语音，然后进行模型训练，使得训练得到的参考提取模型和混合提取模型可以针对每个目标说话人都能实现说话人识别。
[0127]
本技术可应用于智慧城市领域中，从而推动智慧城市的建设。具体地，可以应用于智慧安防中的身份识别，还可以应用于智慧社区中的智能家居。
[0128]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)等非易失性存储介质，或随机存储记忆体(random access memory，ram)等。
[0129]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0130]
进一步参考图3，作为对上述图2所示方法的实现，本技术提供了一种说话人识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0131]
如图3所示，本实施例所述的说话人识别装置300包括：语音获取模块301、参考提取模块302、掩膜获取模块303、预测获取模块304、得分计算模块305以及确定模块306，其中：
[0132]
语音获取模块301，用于获取混合语音以及目标说话人的参考语音。
[0133]
参考提取模块302，用于通过参考提取模型从参考语音中提取参考语音表征。
[0134]
掩膜获取模块303，用于将参考语音表征输入混合提取模型，以指示混合提取模型根据参考语音表征，从混合语音中获取目标说话人的估计掩膜，估计掩膜中的掩码与混合语音中的语音信号点一一对应。
[0135]
预测获取模块304，用于将估计掩膜中的掩码和混合语音中的语音信号点对应相乘，得到目标说话人的预测语音。
[0136]
得分计算模块305，用于计算预测语音和参考语音的概率线性判断得分。
[0137]
确定模块306，用于当概率线性判断得分处于预设的分值区间时，确定混合语音中包含目标说话人的语音。
[0138]
本实施例中，获取混合语音和目标说话人的参考语音，从参考语音中提取表征说话人声纹特性的参考语音表征；参考语音表征可以作为先验信息，基于先验信息可以在混合语音中准确地确定目标说话人的特征信息，得到估计掩膜；估计掩膜是对目标说话人的语音在混合语音中分布的预测，估计掩膜中的掩码与混合语音中的语音信号点一一对应，估计掩膜中的掩码和混合语音中的语音信号点对应相乘可以准确得到目标说话人的预测语音；再计算预测语音和参考语音的概率线性判断得分以进行进一步的确定，当得分处于预设的可信分值区间时，确定混合语音中包含目标说话人的语音，进一步提高了说话人识别的准确性。
[0139]
在本实施例的一些可选的实现方式中，说话人识别装置300还可以包括：训练获取模块以及模型训练模块，其中：
[0140]
训练获取模块，用于获取针对目标说话人的训练标准语音、训练参考语音和训练混合语音，训练混合语音是在训练标准语音中添加干扰语音得到的。
[0141]
模型训练模块，用于根据训练标准语音、训练参考语音和训练混合语音对初始参考提取模型和初始混合提取模型进行训练，得到参考提取模型和混合提取模型。
[0142]
本实施例中，获取针对目标说话人的训练标准语音、训练参考语音和训练混合语音以进行模型训练得到参考提取模型和混合提取模型，保证了可以依据模型进行说话人识别。
[0143]
在本实施例的一些可选的实现方式中，模型训练模块可以包括：参考提取子模块、混合提取子模块、损失计算子模块以及模型调整子模块，其中：
[0144]
参考提取子模块，用于通过初始参考提取模型从训练参考语音中提取参考语音表征。
[0145]
混合提取子模块，用于将参考语音表征输入初始混合提取模型，以指示初始混合提取模型根据参考语音表征，从训练混合语音中提取目标说话人的估计掩膜和预测语音。
[0146]
损失计算子模块，用于基于估计掩膜、预测语音、训练标准语音和训练混合语音计算联合损失。
[0147]
模型调整子模块，用于根据联合损失对初始参考提取模型和初始混合提取模型进行调整，直至联合损失满足训练停止条件，得到参考提取模型和混合提取模型。
[0148]
本实施例中，初始参考提取模型从训练参考语音中提取参考语音表征后输入初始混合提取模型，以指示初始混合提取模型提取针对目标说话人的估计掩膜和预测语音；基于估计掩膜、预测语音、训练标准语音和训练混合语音计算联合损失，根据联合损失进行对模型进行调整，从而得到可以用于说话人识别的参考提取模型和混合提取模型。
[0149]
在本实施例的一些可选的实现方式中，混合提取子模块可以包括：预测获取单元、预测输入单元以及点乘单元，其中：
[0150]
预测获取单元，用于将参考语音表征输入初始混合提取模型，以指示初始混合提
取模型将参考语音表征作为先验信息，从训练混合语音中提取目标说话人的预测表征。
[0151]
预测输入单元，用于将预测表征输入初始混合提取模型中的掩膜计算层，得到估计掩膜，估计掩膜中的掩码与训练混合语音中的语音信号点一一对应。
[0152]
点乘单元，用于将估计掩膜中的掩码和训练混合语音中的语音信号点进行对应点乘，得到目标说话人的预测语音。
[0153]
本实施例中，根据参考语音表征可以从训练混合语音中提取到目标说话人的预测表征，预测表征输入掩膜计算层可以得到估计掩膜，估计掩膜是模型对目标说话人语音分布的预测，估计掩膜中的掩码与训练混合语音中的语音信号点对应点乘后，可以准确快速地从训练混合语音中提取到目标说话人的预测语音。
[0154]
在本实施例的一些可选的实现方式中，初始混合提取模型包括若干层顺序相连的预测表征提取层；预测获取单元可以包括：第一输入子单元、拼接子单元以及确定子单元，其中：
[0155]
第一输入子单元，用于将参考语音表征和训练混合语音进行拼接，并输入第一层预测表征提取层，参考语音表征为先验信息，训练混合语音为来源信息，先验信息用于指示预测表征提取层从来源信息中提取预测表征。
[0156]
拼接子单元，用于对于第一层以后的预测表征提取层，将参考语音表征和预测表征进行拼接，并输入下一层预测表征提取层进行迭代，直至最后一层预测表征提取层，参考语音表征为先验信息，预测表征为来源信息，先验信息用于指示预测表征提取层从来源信息中提取预测表征。
[0157]
确定子单元，用于将最后一层预测表征提取层输出的预测表征确定为目标说话人的预测表征。
[0158]
本实施例中，初始混合提取模型包含多层预测表征提取层，且每一层都依据参考语音表征进行预测表征的提取，保证了最后得到的针对目标说话人预测表征的准确性。
[0159]
在本实施例的一些可选的实现方式中，损失计算子模块可以包括：语音比对单元、第一计算单元、第二计算单元以及损失运算单元，其中：
[0160]
语音比对单元，用于比对训练标准语音和训练混合语音，得到理想掩膜。
[0161]
第一计算单元，用于根据估计掩膜和理想掩膜计算第一损失。
[0162]
第二计算单元，用于根据预测语音、训练标准语音和训练混合语音计算第二损失。
[0163]
损失运算单元，用于对第一损失和第二损失进行线性运算，得到联合损失。
[0164]
本实施例中，计算掩膜层面的第一损失，计算相位层面的第二损失，联立第一损失和第二损失得到的联合损失兼顾了掩膜和相位，提高了损失计算的准确性，保证了根据损失调整后得到的模型的准确性。
[0165]
在本实施例的一些可选的实现方式中，得分计算模块305可以包括：表征提取子模块、似然比计算子模块以及似然比确定子模块，其中：
[0166]
表征提取子模块，用于通过概率线性判断器分别提取预测语音和参考语音的x
‑
vector表征。
[0167]
似然比计算子模块，用于计算预测语音和参考语音x
‑
vector表征的对数似然比。
[0168]
似然比确定子模块，用于将得到的对数似然比确定为预测语音和参考语音的概率线性判断得分。
[0169]
本实施例中，从语音中提取x
‑
vector表征以计算对数似然比，将对数似然比作为概率线性判断得分，以便进一步判断预测语音和参考语音是否来自目标说话人，保证了目标说话人识别的准确性。
[0170]
为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
[0171]
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41
‑
43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0172]
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0173]
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如说话人识别方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0174]
所述处理器42在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述说话人识别方法的计算机可读指令。
[0175]
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
[0176]
本实施例中提供的计算机设备可以执行上述说话人识别方法。此处说话人识别方法可以是上述各个实施例的说话人识别方法。
[0177]
本实施例中，获取混合语音和目标说话人的参考语音，从参考语音中提取表征说话人声纹特性的参考语音表征；参考语音表征可以作为先验信息，基于先验信息可以在混合语音中准确地确定目标说话人的特征信息，得到估计掩膜；估计掩膜是对目标说话人的语音在混合语音中分布的预测，估计掩膜中的掩码与混合语音中的语音信号点一一对应，估计掩膜中的掩码和混合语音中的语音信号点对应相乘可以准确得到目标说话人的预测
语音；再计算预测语音和参考语音的概率线性判断得分以进行进一步的确定，当得分处于预设的可信分值区间时，确定混合语音中包含目标说话人的语音，进一步提高了说话人识别的准确性。
[0178]
本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的说话人识别方法的步骤。
[0179]
本实施例中，获取混合语音和目标说话人的参考语音，从参考语音中提取表征说话人声纹特性的参考语音表征；参考语音表征可以作为先验信息，基于先验信息可以在混合语音中准确地确定目标说话人的特征信息，得到估计掩膜；估计掩膜是对目标说话人的语音在混合语音中分布的预测，估计掩膜中的掩码与混合语音中的语音信号点一一对应，估计掩膜中的掩码和混合语音中的语音信号点对应相乘可以准确得到目标说话人的预测语音；再计算预测语音和参考语音的概率线性判断得分以进行进一步的确定，当得分处于预设的可信分值区间时，确定混合语音中包含目标说话人的语音，进一步提高了说话人识别的准确性。
[0180]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
[0181]
显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。