一种身份识别方法和装置与流程

1.本公开涉及人工智能技术领域，尤其涉及一种身份识别方法和装置。


背景技术：

2.随着移动互联网的发展，用户获取信息的方式更加的碎片化和快速化。各种各样的新技术，多样化平台的涌现，都不同程度上分散着用户的注意力。视频发布平台则是其中的风口，用户会在视频发布平台上大量上传自己所拍的短视频，视频发布平台方需要对用户发布的视频和音频进行识别。而相关技术中，在对每天上传的数以亿计的音视频进行识别时，只能通过人工识别音视频中的说话人身份，在对人工识别不通过的音视频再进一步的限制，检测效率较低，且难以保证说话人身份识别的准确性。


技术实现要素：

3.本公开提供一种身份识别方法和装置，以至少解决相关技术中检测音视频中说话人身份的检测效率低且准确性低的问题。本公开的技术方案如下：
4.根据本公开实施例的第一方面，提供一种身份识别方法，所述方法包括；
5.获取待识别音频信息；
6.将所述待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待识别声纹特征；
7.将所述待识别声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，得到所述待识别音频信息中发声对象的身份识别结果。
8.作为一个可选的实施例，所述声纹特征匹配模型包括降维层、归一化处理层、特征匹配层、目标声纹确定层和识别结果获取层，所述将所述待识别声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，得到所述待识别音频信息中发声对象的身份识别结果包括：
9.在所述降维层中，对所述待识别声纹特征进行降维，得到降维特征数据；
10.在所述归一化处理层中，对所述降维特征数据进行归一化处理，得到归一化特征数据；
11.在所述特征匹配层中，对所述归一化特征数据和所述注册声纹特征进行匹配，得到声纹匹配值，所述声纹匹配值表征所述归一化特征数据和所述注册声纹特征间的匹配程度；
12.在所述目标声纹确定层中，根据所述声纹匹配值，确定与所述归一化特征数据对应的目标注册声纹特征；
13.在所述识别结果获取层中，根据所述目标注册声纹特征对应的身份信息，确定所述待识别音频信息中发声对象的身份识别结果。
14.作为一个可选的实施例，所述方法还包括：
15.获取注册音频信息；
16.将所述注册音频信息输入到声纹特征确定模型中进行声纹特征提取，得到注册声纹特征；
17.存储所述注册声纹特征。
18.作为一个可选的实施例，所述声纹特征确定模型包括音频特征提取网络、语音活动检测网络和声纹特征提取网络，所述将所述待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待识别声纹特征包括：
19.将所述待识别音频信息输入到所述音频特征提取网络中，对所述待识别音频信息进行特征提取，得到目标音频特征信息；
20.将所述目标音频特征信息输入到所述语音活动检测网络中进行语音活动检测，得到语音特征信息，所述语音特征信息表征所述目标音频特征信息中语音活动时段的特征信息；
21.将所述语音特征信息输入到所述声纹特征提取网络中，对所述语音特征信息进行声纹特征提取，得到所述待识别声纹特征。
22.作为一个可选的实施例，所述音频特征提取网络包括预处理层、频域特征提取层、滤波层和目标音频获取层，所述将所述待识别音频信息输入到所述音频特征提取网络中，对所述待识别音频信息进行特征提取，得到目标音频特征信息包括：
23.在所述预处理层中，对所述待识别音频信息进行预处理，得到音频帧信息；
24.在所述频域特征提取层中，对所述音频帧信息进行短时傅里叶变换，得到频域特征信息；
25.在所述滤波层中，对所述频域特征信息进行梅尔滤波，得到初始音频特征信息；
26.在所述目标音频获取层中，对所述初始音频特征信息进行离散余弦变换，得到所述目标音频特征信息。
27.作为一个可选的实施例，所述目标音频特征信息有多个，所述将所述目标音频特征信息输入到所述语音活动检测网络中进行语音活动检测，得到语音特征信息包括：
28.在所述语音活动检测网络中，确定每个目标音频特征信息中的语音活动起点和语音活动终点。
29.将每个目标音频特征信息中相邻的一组语音活动起点和语音活动终点间的音频特征数据作为所述语音特征信息。
30.作为一个可选的实施例，所述语音特征信息有多个，所述声纹特征提取网络包括多个声纹特征提取层，所述将所述语音特征信息输入到所述声纹特征提取网络中，对所述语音特征信息进行声纹特征提取，得到待识别声纹特征包括：
31.根据所述多个声纹特征提取层中每个声纹特征提取层的预设参数和所述语音特征信息，确定每个声纹特征提取层的输入特征信息；
32.在所述多个声纹特征提取层中，对所述输入特征信息进行线性整流，得到初始声纹特征；
33.在所述多个声纹特征提取层中，对所述初始声纹特征进行归一化处理，得到待识别声纹特征。
34.作为一个可选的实施例，所述方法还包括：
35.获取样本音频信息和所述样本音频信息对应的身份标注信息；
36.将所述样本音频信息输入到待训练声纹特征确定模型，对所述样本音频信息进行声纹特征提取，得到预测声纹特征；
37.将所述预测声纹特征输入到回归分类网络中，对所述预测声纹特征进行分类，得到所述预测声纹特征的预测身份标识信息；
38.根据所述预测身份标识信息和所述身份标注信息，确定声纹识别误差；
39.基于所述声纹识别误差，对所述待训练声纹特征确定模型进行训练，得到所述声纹特征确定模型。
40.作为一个可选的实施例，所述方法还包括：
41.获取多个注册音频信息和多个样本音频信息；
42.将所述多个注册音频信息输入所述声纹特征确定模型，得到多个参考声纹特征；
43.将所述多个样本音频信息输入所述声纹特征确定模型，得到多个样本声纹特征；
44.基于所述多个参考声纹特征和所述多个样本声纹特征，生成多组声纹训练数据和每组声纹训练数据的匹配标注信息；
45.将所述多组声纹训练数据输入到待训练声纹特征匹配模型中，对每组声纹训练数据中的参考声纹特征信息和样本声纹特征进行匹配，得到预测声纹匹配值；
46.根据所述预测声纹匹配值和所述匹配标注信息，确定匹配误差数据；
47.基于所述匹配误差数据，对所述待训练声纹特征匹配模型进行训练，得到所述声纹特征匹配模型。
48.根据本公开实施例的第二方面，提供一种身份识别装置，所述装置包括；
49.音频信息获取模块，被配置为执行获取待识别音频信息；
50.声纹特征确定模块，被配置为执行将所述待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待识别声纹特征；
51.声纹特征匹配模块，被配置为执行将所述待识别声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，得到所述待识别音频信息中发声对象的身份识别结果。
52.作为一个可选的实施例，所述声纹特征匹配模型包括降维层、归一化处理层、特征匹配层、目标声纹确定层和识别结果获取层，所述声纹特征匹配模块包括：
53.降维单元，被配置为执行在所述降维层中，对所述待识别声纹特征进行降维，得到降维特征数据；
54.归一化处理单元，被配置为执行在所述归一化处理层中，对所述降维特征数据进行归一化处理，得到归一化特征数据；
55.特征匹配单元，被配置为执行在所述特征匹配层中，对所述归一化特征数据和所述注册声纹特征进行匹配，得到声纹匹配值，所述声纹匹配值表征所述归一化特征数据和所述注册声纹特征间的匹配程度；
56.目标声纹确定单元，被配置为执行在所述目标声纹确定层中，根据所述声纹匹配值，确定与所述归一化特征数据对应的目标注册声纹特征；
57.识别结果获取单元，被配置为执行在所述识别结果获取层中，根据所述目标注册声纹特征对应的身份信息，确定所述待识别音频信息中发声对象的身份识别结果。
58.作为一个可选的实施例，所述装置还包括：
59.注册音频获取模块，被配置为执行获取注册音频信息；
60.注册音频特征提取模块，被配置为执行将所述注册音频信息输入到声纹特征确定模型中进行声纹特征提取，得到注册声纹特征；
61.注册声纹特征存储模块，被配置为执行存储所述注册声纹特征。
62.作为一个可选的实施例，所述声纹特征确定模型包括音频特征提取网络、语音活动检测网络和声纹特征提取网络，所述声纹特征确定模块包括：
63.音频特征提取单元，被配置为执行将所述待识别音频信息输入到所述音频特征提取网络中，对所述待识别音频信息进行特征提取，得到目标音频特征信息；
64.语音活动检测单元，被配置为执行将所述目标音频特征信息输入到所述语音活动检测网络中进行语音活动检测，得到语音特征信息，所述语音特征信息表征所述目标音频特征信息中语音活动时段的特征信息；
65.声纹特征提取单元，被配置为执行将所述语音特征信息输入到所述声纹特征提取网络中，对所述语音特征信息进行声纹特征提取，得到所述待识别声纹特征。
66.作为一个可选的实施例，所述音频特征提取网络包括预处理层、频域特征提取层、滤波层和目标音频获取层，所述音频特征提取单元包括：
67.预处理单元，被配置为执行在所述预处理层中，对所述待识别音频信息进行预处理，得到音频帧信息；
68.频域特征提取单元，被配置为执行在所述频域特征提取层中，对所述音频帧信息进行短时傅里叶变换，得到频域特征信息；
69.滤波单元，被配置为执行在所述滤波层中，对所述频域特征信息进行梅尔滤波，得到初始音频特征信息；
70.目标音频获取单元，被配置为执行在所述目标音频获取层中，对所述初始音频特征信息进行离散余弦变换，得到所述目标音频特征信息。
71.作为一个可选的实施例，所述目标音频特征信息有多个，所述语音活动检测单元包括：
72.语音活动端点确定单元，被配置为执行在所述语音活动检测网络中，确定每个目标音频特征信息中的语音活动起点和语音活动终点；
73.语音特征信息确定单元，被配置为执行将每个目标音频特征信息中相邻的一组语音活动起点和语音活动终点间的音频特征数据作为所述语音特征信息。
74.作为一个可选的实施例，所述语音特征信息有多个，所述声纹特征提取网络包括多个声纹特征提取层，所述声纹特征提取单元包括：
75.输入特征确定单元，被配置为执行根据所述多个声纹特征提取层中每个声纹特征提取层的预设参数和所述语音特征信息，确定每个声纹特征提取层的输入特征信息；
76.线性整流单元，被配置为执行在在所述多个声纹特征提取层中，对所述输入特征信息进行线性整流，得到初始声纹特征；
77.特征归一化单元，被配置为执行在所述多个声纹特征提取层中，对所述初始声纹特征进行归一化处理，得到待识别声纹特征。
78.作为一个可选的实施例，所述装置还包括：
79.第一标注信息获取模块，被配置为执行获取样本音频信息和所述样本音频信息对
应的身份标注信息；
80.预测声纹特征获取模块，被配置为执行将所述样本音频信息输入到待训练声纹特征确定模型，对所述样本音频信息进行声纹特征提取，得到预测声纹特征；
81.预测身份标识获取模块，被配置为执行将所述预测声纹特征输入到回归分类网络中，对所述预测声纹特征进行分类，得到所述预测声纹特征的预测身份标识信息；
82.声纹识别误差确定模块，被配置为执行根据所述预测身份标识信息和所述身份标注信息，确定声纹识别误差；
83.第一模型训练模块，被配置为执行基于所述声纹识别误差，对所述待训练声纹特征确定模型进行训练，得到所述声纹特征确定模型。
84.作为一个可选的实施例，所述装置还包括：
85.信息获取模块，被配置为执行获取多个注册音频信息和多个样本音频信息；
86.参考声纹特征获取模块，被配置为执行将所述多个注册音频信息输入所述声纹特征确定模型，得到多个参考声纹特征；
87.样本声纹特征获取模块，被配置为执行将所述多个样本音频信息输入所述声纹特征确定模型，得到多个样本声纹特征；
88.第二标注信息获取模块，被配置为执行基于所述多个参考声纹特征和所述多个样本声纹特征，生成多组声纹训练数据和每组声纹训练数据的匹配标注信息；
89.预测声纹匹配值获取模块，被配置为执行将所述多组声纹训练数据输入到待训练声纹特征匹配模型中，对每组声纹训练数据中的参考声纹特征信息和样本声纹特征进行匹配，得到预测声纹匹配值；
90.匹配误差数据获取模块，被配置为执行根据所述预测声纹匹配值和所述匹配标注信息，确定匹配误差数据；
91.第二模型训练模块，被配置为执行基于所述匹配误差数据，对所述待训练声纹特征匹配模型进行训练，得到所述声纹特征匹配模型。
92.根据本公开实施例的第三方面，提供一种电子设备，所述设备包括：
93.处理器；
94.用于存储所述处理器可执行指令的存储器；
95.其中，所述处理器被配置为执行所述指令，以实现如上述所述的身份识别方法。
96.根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述所述的身份识别方法。
97.根据本公开实施例的第四方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述所述的身份识别方法。
98.本公开的实施例提供的技术方案至少带来以下有益效果：
99.在对可疑音视频信息检测时，可以从可疑音视频信息中获取待识别音频信息，将待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待视频音频信息中发声对象的声纹特征。将待视频音频信息中发声对象的声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，将获取到的注册声纹特征对应的发声对象的身份信息作为待识别音频信息中发声对象的身份识别结果。该方法可以基于声纹特征确定
模型和声纹特征匹配模型确定待识别音频信息中发声对象的身份信息，提高身份识别的效率和准确性，并减少人力成本。
100.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
101.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
102.图1是根据一示例性实施例示出的一种身份识别方法的应用场景示意图。
103.图2是根据一示例性实施例示出的一种身份识别方法的流程图。
104.图3是根据一示例性实施例示出的一种身份识别方法在声纹特征确定模型中进行声纹特征提取的流程图。
105.图4是根据一示例性实施例示出的一种身份识别方法在音频特征提取网络中进行音频特征提取的的流程图。
106.图5是根据一示例性实施例示出的一种身份识别方法中提取待识别声纹特征的流程图。
107.图6是根据一示例性实施例示出的一种身份识别方法中声纹特征提取网络的结构示意图。
108.图7是根据一示例性实施例示出的一种身份识别方法注册声纹特征的获取方法。
109.图8是根据一示例性实施例示出的一种身份识别方法在声纹特征匹配模型中对待识别声纹特征和注册声纹特征进行匹配的流程图。
110.图9是根据一示例性实施例示出的一种身份识别方法中训练声纹特征确定模型的流程图。
111.图10是根据一示例性实施例示出的一种身份识别方法中训练声纹特征匹配模型的流程图。
112.图11是根据一示例性实施例示出的一种身份识别装置的框图。
113.图12是根据一示例性实施例示出的一种服务器侧电子设备的框图。
具体实施方式
114.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
115.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
116.图1是根据一示例性实施例示出的一种身份识别方法的应用场景示意图，应用场景包括服务器110和用户端120。服务器110预先将注册音频信息输入到声纹特征确定模型
中进行声纹特征提取，得到注册声纹特征。用户端120发布音频信息或者视频信息，服务器110获取音频信息或者从视频信息中提取音频信息，作为待识别音频信息。服务器110将待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待识别声纹特征。服务器110待识别声纹特征和注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，得到待识别音频信息中发声对象的身份识别结果。
117.在本公开实施例中，服务器110可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器110可以包括有网络通信单元、处理器和存储器等等。具体的，服务器110可以基于声纹特征确定模型和声纹特征匹配模型，确定待识别音频信息中发声对象的身份信息。
118.在本公开实施例中，用户端120包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中实体设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、unix、windows等。用户端120基于api(application programming interface，应用程序接口)将音频信息或视频信息发送给服务器110。
119.图2是根据一示例性实施例示出的一种身份识别方法的流程图，如图2所示，该方法用于服务器中，包括以下步骤。
120.s210.获取待识别音频信息；
121.作为一个可选的实施例，待识别音频信息可以为用户端发布的音频信息或服务器从用户端发布的视频信息中提取的音频信息。
122.s220.将待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待识别声纹特征；
123.作为一个可选的实施例，请参见图3，声纹特征确定模型包括音频特征提取网络、语音活动检测网络和声纹特征提取网络，将待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待识别声纹特征包括：
124.s310.将待识别音频信息输入到音频特征提取网络中，对待识别音频信息进行特征提取，得到目标音频特征信息；
125.s320.将目标音频特征信息输入到语音活动检测网络中进行语音活动检测，得到语音特征信息，语音特征信息表征目标音频特征信息中语音活动时段的特征信息；
126.s330.将语音特征信息输入到声纹特征提取网络中，对语音特征信息进行声纹特征提取，得到待识别声纹特征。
127.作为一个可选的实施例，音频特征提取网络用于将时域中的待识别音频信息转换成为频域中的目标音频特征信息。目标音频特征信息可以为梅尔频率倒谱系数((mel frequency cepstrum coefficient，mfcc)特征信息。梅尔频率倒谱系数为在梅尔标度频率域提取出来的倒谱参数，梅尔标度频域描述了人耳频率的非线性特性。
128.语音活动检测网络(voice activity detection，vad)用于将目标音频特征信息中发声对象未出声时的静音时段的特征信息去除，保留发声对象出声时语音活动时段的特征信息。vad可以检测语音活动的端点，从而区分语音活动时段的特征信息和静音时段的特征信息。
129.声纹特征提取网络用于对语音特征信息进行声纹特征提取，输出待识别声纹特
征。声纹特征提取网络可以为扩展的时延神经网络(extend time delay neural network，e
‑
tdnn)。在e
‑
tdnn中输入多帧语音帧特征信息。
130.基于声纹特征确定模型，对待识别音频信息进行特征提取，得到待识别声纹特征，可以提高特征提取的处理速度并减少特征提取的错误率。
131.作为一个可选的实施例，请参见图4，音频特征提取网络包括预处理层、频域特征提取层、滤波层和目标音频获取层，将待识别音频信息输入到音频特征提取网络中，对待识别音频信息进行特征提取，得到目标音频特征信息包括：
132.s410.在预处理层中，对待识别音频信息进行预处理，得到音频帧信息；
133.s420.在频域特征提取层中，对音频帧信息进行短时傅里叶变换，得到频域特征信息；
134.s430.在滤波层中，对频域特征信息进行梅尔滤波，得到初始音频特征信息；
135.s440.在目标音频获取层中，对初始音频特征信息进行离散余弦变换，得到目标音频特征信息。
136.作为一个可选的实施例，在预处理层中，对待识别音频信息进行预加重和分帧加窗处理，得到预处理后音频信息。对待识别音频信息进行预加重处理可以是将待识别音频信息通过一个高通滤波器，提升待识别音频信息中的高频部分。在对待识别音频信息进行预加重处理后，对预加重处理后的待识别音频信息进行分帧加窗处理，得到音频帧信息。作为一个可选的实施例，可以选择汉明窗来进行加窗处理。
137.在特征提取层中，对音频帧信息进行短时傅里叶变换(short
‑
time fourier transform，stft)，得到音频帧信息的频域特征信息，并取频域特征信息绝对值的平方。将频域特征信息绝对值的平方作为初始音频特征信息输入到滤波层中。
138.在滤波层可以用梅尔滤波器组进行滤波。梅尔滤波器组可以是梅尔尺度的三角带通滤波器组，梅尔尺度的三角带通滤波器组是预设个数的三角滤波器，设预设个数为m，每个三角滤波器的中心频率为f(m)，m＝1、2、
……
、m。各中心频率之间的间隔随着m值的减小而缩小，随着m值的增大而增宽。根据梅尔尺度的三角带通滤波器组，对初始音频特征信息进行滤波，得到滤波后音频特征信息。
139.在目标音频获取层中，滤波后音频特征信息为声带响应的频谱信息和输入激励的频谱信息的卷积，计算滤波后音频特征信息的对数能量，可以将声带响应的频谱信息和输入激励的频谱信息变换为声带响应的频谱信息和输入激励的频谱信息的和值。将对数能量进行离散余弦变换(discrete cosine transform，dct)后，得到目标音频特征信息，使得目标音频特征信息中低频部分的包络为声带响应的特征信息，高频部分为输入激励的特征信息。
140.基于音频特征提取网络，得到mfcc特征信息，可以更好地显示待识别语音信息中的声音信号。
141.作为一个可选的实施例，目标音频特征信息有多个，将目标音频特征信息输入到所述语音活动检测网络中进行语音活动检测，得到语音特征信息包括：
142.在语音活动检测网络中，确定每个目标音频特征信息中的语音活动起点和语音活动终点。
143.将每个目标音频特征信息中相邻的一组语音活动起点和语音活动终点间的音频
特征数据作为语音特征信息。
144.作为一个可选的实施例，在获取目标音频特征信息时，对待识别音频信息进行了分帧，例如分为10ms一帧的音频帧信息，则得到的目标音频特征信息与音频帧信息对应，因此目标音频特征信息有多个。计算每个目标音频特征信息中各个时刻的音频特征数据对应的语音能量，根据设置的语音能量阈值，确定当前时刻是否为语音活动起点或语音活动终点。若当前时刻的前一时刻的音频特征数据对应的语音能量小于语音能量阈值，且当前时刻的音频特征数据对应的语音能量大于语音能量阈值，则确定当前时刻以前为静音时段，当前时刻以后为语音活动时段，则当前时刻为语音活动起点。若当前时刻的前一时刻的音频特征数据对应的语音能量大于语音能量阈值，且当前时刻的音频特征数据对应的语音能量小于语音能量阈值，则确定当前时刻以后为静音时段，当前时刻以前为语音活动时段，则当前时刻为语音活动终点。
145.根据语音活动起点和语音活动终点，得到每个目标音频特征信息中相邻的一组语音活动起点和语音活动终点间的音频特征数据，将该音频特征数据作为语音特征信息。例如一个10ms的音频帧信息对应的目标音频特征信息中，前4ms的音频特征数据对应的语音能量小于语音能量阈值，后6ms的音频特征数据对应的语音能量大于语音能量阈值，则语音活动起点为第4ms，语音活动终点为第10ms，后6ms的音频特征数据为语音特征信息。
146.在设置语音能量阈值时，可以先计算目标音频特征信息中的噪音能量，基于噪音能量设置语音能量阈值。
147.基于语音活动检测，可以删除静音时段的特征信息，仅保留语音特征信息进行后续的计算，可以减少输入到后续网络中的特征，减少计算的复杂度。
148.作为一个可选的实施例，请参见图5，语音特征信息有多个，声纹特征提取网络包括多个按序排列的声纹特征提取层，将语音特征信息输入到声纹特征提取网络中，对语音特征信息进行声纹特征提取，得到待识别声纹特征包括：
149.s510.根据多个声纹特征提取层中每个声纹特征提取层的预设参数和语音特征信息，确定每个声纹特征提取层的输入特征信息；
150.s520.在多个声纹特征提取层中，对输入特征信息进行线性整流，得到初始声纹特征；
151.s530.在多个声纹特征提取层中，对初始声纹特征进行归一化处理，得到待识别声纹特征。
152.作为一个可选的实施例，声纹特征提取网络可以为具有多个声纹特征提取层的e
‑
tdnn网络。多个声纹特征提取层中的第一个声纹特征提取层的输入特征信息可以从语音特征信息中确定，其他声纹特征提取层的输入特征信息可以从每个声纹特征提取层的上一声纹特征提取层输出的信息中确定。在每个声纹特征提取层中，将线性整流单元(rectified linear unit，relu)作为激活函数，对输入特征信息进行线性整流，得到初始声纹特征，并对线性整流后的语音特征信息进行批量归一化(batchnorm)处理，得到每层对应的声纹特征，将最后一层的声纹特征作为待识别声纹特征。声纹特征提取层可以为七个。声纹特征提取层的预设参数为输入到声纹特征提取层的特征的时延参数。如图6所示，第一层声纹特征提取层的预设参数为(t
‑
2，t
‑
1，t，t 1，t 2)，映射到输出端的激活函数的权值个数为512。第二层声纹特征提取层的预设参数为(t
‑
4，t
‑
2，t，t 2，t 4)，映射到输出端的激活函数的
权值个数为512。第三层声纹特征提取层的预设参数为(t
‑
3，t，t 3)，第四层声纹特征提取层的预设参数为(t
‑
4，t，t 4)，映射到输出端的激活函数的权值个数为512。第五层声纹特征提取层到第七层声纹特征提取层的预设参数均为(t)，第五层声纹特征提取层映射到输出端的激活函数的权值个数为512，第六层声纹特征提取层映射到输出端的激活函数的权值个数为1500，第七层声纹特征提取层映射到输出端的激活函数的权值个数为512。例如，第一层声纹特征提取层的预设参数为(t
‑
2，t
‑
1，t，t 1，t 2)，t表示当前输入的语音特征信息，t
‑
2表示该语音特征信息左移两帧的语音特征信息，t 2表示该语音特征信息右移两帧的语音特征信息，t
‑
1表示该语音特征信息左移一帧的语音特征信息，t 1表示该语音特征信息右移一帧的语音特征信息，将这五个语音特征信息作为第一声纹特征提取层中的输入特征信息。
153.基于e
‑
tdnn网络对语音特征信息进行声纹特征提取，可以提高处理速度并减少错误率。
154.s230.将待识别声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，得到待识别音频信息中发声对象的身份识别结果。
155.作为一个可选的实施例，请参见图7，该方法还包括：
156.s710.获取注册音频信息；
157.s720.将注册音频信息输入到声纹特征确定模型中进行声纹特征提取，得到注册声纹特征；
158.s730.存储注册声纹特征。
159.作为一个可选的实施例，注册音频信息中的发声对象身份信息已知。将注册音频信息输入到声纹特征确定模型中进行声纹特征提取，得到注册声纹特征，该注册声纹特征为已知的发声对象身份信息的声纹特征。例如将说话人甲的音频信息作为注册音频信息，输入到声纹特征确定模型中进行声纹特征提取，得到甲的注册声纹特征。某一待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到的待识别声纹特征，在声纹特征匹配模型中，若该待识别声纹特征和甲的注册声纹特征匹配，则可以确定该待识别音频信息中的说话人的身份是甲。
160.基于声纹特征确定模型，对注册音频信息进行声纹特征提取，可以通过预存储注册声纹特征的方式增加已知发声对象，从而提高身份识别的覆盖率。
161.作为一个可选的实施例，请参见图8，声纹特征匹配模型包括降维层、归一化处理层、特征匹配层、目标声纹确定层和识别结果获取层，将待识别声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，得到待识别音频信息中发声对象的身份识别结果包括：
162.s810.在降维层中，对待识别声纹特征进行降维，得到降维特征数据；
163.s820.在归一化处理层中，对降维特征数据进行归一化处理，得到归一化特征数据；
164.s830.在特征匹配层中，对归一化特征数据和注册声纹特征进行匹配，得到声纹匹配值，所述声纹匹配值表征归一化特征数据和注册声纹特征间的匹配程度；
165.s840.在目标声纹确定层中，根据声纹匹配值，确定与归一化特征数据对应的目标注册声纹特征；
166.s850.在识别结果获取层中，根据目标注册声纹特征对应的身份信息，确定待识别音频信息中发声对象的身份识别结果。
167.作为一个可选的实施例，在降维层中可以利用线性判别分析(linear discriminant analysis，lda)的方法对待识别声纹特征进行降维，得到降维特征数据。在归一化处理层中，对降维特征数据先进行均值归一化(mean norm)，再进行长度归一化(length norm)，将长度不同的降维特征数据统一为同一长度，得到归一化特征数据。特征匹配层可以利用概率线性判别分析(probabilistic linear discriminant analysis,plda)对归一化特征数据和注册声纹特征间的相似度进行评分，得到声纹匹配值，声纹匹配值表征归一化特征数据和注册声纹特征间的匹配程度。根据声纹匹配值，确定与归一化特征数据最相似的注册声纹特征，将与归一化特征数据最相似的注册声纹特征作为目标注册声纹特征。将目标注册声纹特征对应的身份信息确定为待识别音频信息中发声对象的身份信息。
168.作为一个可选的实施例，将待识别音频信息a输入到声纹特征确定模型中进行声纹特征提取，得到的待识别声纹特征a1，在声纹特征匹配模型中，若该待识别声纹特征a和注册声纹特征b1的相似度评分最高，则将注册声纹特征b1作为目标注册声纹特征。若注册声纹特征b1对应的身份信息为说话人b，则待识别音频信息a中发声对象的身份信息为说话人b。
169.基于声纹特征匹配模型，对待识别声纹特征和注册声纹特征进行匹配，确定待识别音频信息中发声对象的身份信息，可以提高身份识别的准确率。
170.作为一个可选的实施例，请参见图9，如图9所示为对声纹特征确定模型进行训练的方法，该方法包括：
171.s910.获取样本音频信息和样本音频信息对应的身份标注信息；
172.s920.将样本音频信息输入到待训练声纹特征确定模型，对样本音频信息进行声纹特征提取，得到预测声纹特征；
173.s930.将预测声纹特征输入到回归分类网络中，对预测声纹特征进行分类，得到预测声纹特征的预测身份标识信息；
174.s940.根据预测身份标识信息和身份标注信息，确定声纹识别误差；
175.s950.基于声纹识别误差，对待训练声纹特征确定模型进行训练，得到声纹特征确定模型。
176.作为一个可选的实施例，声纹特征确定模型的训练方式为有监督的训练方式，获取样本音频信息和样本音频信息对应的身份标注信息，将样本音频信息输入到待训练声纹特征确定模型，对样本音频信息进行声纹特征提取，得到预测声纹特征。将预测声纹特征输入到回归分类网络(softmax)中，将预测声纹特征映射到[0，1]的区间上，确定预测身份标识信息，预测身份标识信息为0到1间的一个实数。身份标注信息可以表示为1，则可以根据预测身份标识信息和身份标注信息间的差值，计算声纹识别误差，声纹识别误差可以为交叉熵损失函数。基于交叉熵损失函数，对待训练声纹特征确定模型进行训练，使得预测身份标识信息逼近身份标注信息，当交叉熵损失函数达到预期训练效果时，得到声纹特征确定模型。
[0177]
在训练声纹特征确定模型时，增加回归分类网络，以确定预测声纹特征的预测身
份标识信息，可以根据预测身份标识信息和身份标注信息，确定声纹识别误差，从而对声纹特征确定模型进行训练，提高了对声纹特征确定模型进行训练的准确性和效率。
[0178]
作为一个可选的实施例，如图10所示为对声纹特征匹配模型进行训练的方法，该方法包括：
[0179]
s1010.获取多个注册音频信息和多个样本音频信息；
[0180]
s1020.将多个注册音频信息输入声纹特征确定模型，得到多个参考声纹特征；
[0181]
s1030.将多个样本音频信息输入声纹特征确定模型，得到多个样本声纹特征；
[0182]
s1040.基于多个参考声纹特征和多个样本声纹特征，生成多组声纹训练数据和每组声纹训练数据的匹配标注信息；
[0183]
s1050.将多组声纹训练数据输入到待训练声纹特征匹配模型中，对每组声纹训练数据中的参考声纹特征信息和样本声纹特征进行匹配，得到预测声纹匹配值；
[0184]
s1060.根据预测声纹匹配值和匹配标注信息，确定匹配误差数据；
[0185]
s1070.基于匹配误差数据，对待训练声纹特征匹配模型进行训练，得到声纹特征匹配模型。
[0186]
作为一个可选的实施例，获取多个注册音频信息和多个样本音频信息，将多个注册音频信息输入到已经训练好的声纹特征确定模型中，得到多个参考声纹特征，并将多个样本音频信息输入到已经训练好的声纹特征确定模型中，得到多个样本声纹特征。根据注册音频信息和样本音频信息中已知的发声对象的身份信息，确定与参考声纹特征对应的样本声纹特征，将参考声纹特征和对应的样本声纹特征作为一组声纹训练数据，并确定该组声纹训练数据的匹配标注信息，匹配标注信息为表示参考声纹特征和样本声纹特征完全匹配的标注信息。
[0187]
将多组声纹训练数据输入到待训练声纹特征匹配模型中，对每组声纹训练数据中的参考声纹特征信息和样本声纹特征进行相似度分值的计算，得到预测声纹匹配值。根据预测声纹匹配值和匹配标注信息间的差值，确定匹配误差数据。基于匹配误差数据，对待训练声纹特征匹配模型进行训练，使得预测声纹匹配值逼近匹配标注信息，当匹配误差数据达到预期训练效果时，得到声纹特征匹配模型。
[0188]
在训练声纹特征匹配模型时，利用已训练好的声纹特征确定模型获取匹配标注信息，从而根据待训练声纹特征匹配模型输出的预测声纹匹配值和匹配标注信息，确定匹配误差数据，从而对声纹特征匹配模型进行训练，提高了对声纹特征匹配模型进行训练的准确性和效率。
[0189]
作为一个可选的实施例，该方法可以应用在对可疑音视频信息进行检测上。服务器获取多个已知发声对象的注册音频信息，服务器将注册音频信息输入到声纹特征确定模型中，得到注册声纹特征，服务器存储注册声纹特征，每个注册声纹特征与一个发声对象的身份信息匹配。用户端向视频平台或短视频平台上传用户发布信息后，在平台审核阶段，服务器可以获取用户发布信息中的待识别音频信息，用户发布信息可以为视频信息或音频信息，当为视频信息时，服务器需要从视频信息中提取待识别音频信息，当为音频信息时，服务器可以直接将用户发布信息作为待识别音频信息。
[0190]
服务器将待识别音频信息输入到声纹特征确定模型中，经过声纹特征确定模型中的音频特征提取网络、语音活动检测网络和声纹特征提取网络，从声纹特征提取网络中输
出待识别声纹特征。服务器将待识别声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中，对待识别声纹特征和注册声纹特征间的相似度进行评分，输出声纹匹配值。获取声纹匹配值中的最大值，将最大值对应的注册声纹特征作为目标注册声纹特征。将与目标注册声纹特征匹配的发声对象的身份信息作为待识别音频信息中发声对象的身份识别结果。
[0191]
服务器根据身份识别结果，确定待识别音频信息中发声对象是否为合法对象，若该发声对象不为合法对象，则该用户发布信息不能通过平台审核。
[0192]
服务器也可以主动在视频平台或短视频平台上对可疑音视频信息进行寻找，当服务器基于声纹特征确定模型和声纹特征匹配模型，确定某个视频信息或音频信息中的发声对象不为合法对象时，删除该视频信息或音频信息。
[0193]
本公开实施例提供了一种身份识别方法，该方法包括：在对可疑音视频信息检测时，可以从可疑音视频信息中获取待识别音频信息，将待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待视频音频信息中发声对象的声纹特征。将待视频音频信息中发声对象的声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，将获取到的注册声纹特征对应的发声对象的身份信息作为待识别音频信息中发声对象的身份识别结果。该方法可以基于声纹特征确定模型和声纹特征匹配模型确定待识别音频信息中发声对象的身份信息，提高身份识别的效率和准确性，并减少人力成本。
[0194]
图11是根据一示例性实施例示出的一种身份识别装置框图。该装置包括：
[0195]
音频信息获取模块1110，被配置为执行获取待识别音频信息；
[0196]
声纹特征确定模块1120，被配置为执行将待识别音频信息输入到声纹特征确定模型中进行声纹特征提取，得到待识别声纹特征；
[0197]
声纹特征匹配模块1130，被配置为执行将待识别声纹特征和预存储的注册声纹特征输入到声纹特征匹配模型中进行声纹特征匹配，得到待识别音频信息中发声对象的身份识别结果。
[0198]
作为一个可选的实施例，声纹特征匹配模型1130包括降维层、归一化处理层、特征匹配层、目标声纹确定层和识别结果获取层，声纹特征匹配模块包括：
[0199]
降维单元，被配置为执行在降维层中，对待识别声纹特征进行降维，得到降维特征数据；
[0200]
归一化处理单元，被配置为执行在归一化处理层中，对降维特征数据进行归一化处理，得到归一化特征数据；
[0201]
特征匹配单元，被配置为执行在特征匹配层中，对归一化特征数据和注册声纹特征进行匹配，得到声纹匹配值，声纹匹配值表征归一化特征数据和注册声纹特征间的匹配程度；
[0202]
目标声纹确定单元，被配置为执行在目标声纹确定层中，根据声纹匹配值，确定与归一化特征数据对应的目标注册声纹特征；
[0203]
识别结果获取单元，被配置为执行在识别结果获取层中，根据目标注册声纹特征对应的身份信息，确定待识别音频信息中发声对象的身份识别结果。
[0204]
作为一个可选的实施例，该装置还包括：
[0205]
注册音频获取模块，被配置为执行获取注册音频信息；
[0206]
注册音频特征提取模块，被配置为执行将注册音频信息输入到声纹特征确定模型中进行声纹特征提取，得到注册声纹特征；
[0207]
注册声纹特征存储模块，被配置为执行存储注册声纹特征。
[0208]
作为一个可选的实施例，声纹特征确定模型1120包括音频特征提取网络、语音活动检测网络和声纹特征提取网络，声纹特征确定模块包括：
[0209]
音频特征提取单元，被配置为执行将待识别音频信息输入到音频特征提取网络中，对待识别音频信息进行特征提取，得到目标音频特征信息；
[0210]
语音活动检测单元，被配置为执行将目标音频特征信息输入到语音活动检测网络中进行语音活动检测，得到语音特征信息，语音特征信息表征目标音频特征信息中语音活动时段的特征信息；
[0211]
声纹特征提取单元，被配置为执行将语音特征信息输入到声纹特征提取网络中，对语音特征信息进行声纹特征提取，得到待识别声纹特征。
[0212]
作为一个可选的实施例，音频特征提取网络包括预处理层、频域特征提取层、滤波层和目标音频获取层，音频特征提取单元包括：
[0213]
预处理单元，被配置为执行在预处理层中，对待识别音频信息进行预处理，得到音频帧信息；
[0214]
频域特征提取单元，被配置为执行在频域特征提取层中，对音频帧信息进行短时傅里叶变换，得到频域特征信息；
[0215]
滤波单元，被配置为执行在滤波层中，对频域特征信息进行梅尔滤波，得到初始音频特征信息；
[0216]
目标音频获取单元，被配置为执行在目标音频获取层中，对初始音频特征信息进行离散余弦变换，得到目标音频特征信息。
[0217]
作为一个可选的实施例，目标音频特征信息有多个，语音活动检测单元包括：
[0218]
语音活动端点确定单元，被配置为执行在语音活动检测网络中，确定每个目标音频特征信息中的语音活动起点和语音活动终点；
[0219]
语音特征信息确定单元，被配置为执行将每个目标音频特征信息中相邻的一组语音活动起点和语音活动终点间的音频特征数据作为语音特征信息。
[0220]
作为一个可选的实施例，语音特征信息有多个，声纹特征提取网络包括多个声纹特征提取层，声纹特征提取单元包括：
[0221]
输入特征确定单元，被配置为执行根据多个声纹特征提取层中每个声纹特征提取层的预设参数和语音特征信息，确定每个声纹特征提取层的输入特征信息；
[0222]
线性整流单元，被配置为执行在在多个声纹特征提取层中，对输入特征信息进行线性整流，得到初始声纹特征；
[0223]
特征归一化单元，被配置为执行在多个声纹特征提取层中，对初始声纹特征进行归一化处理，得到待识别声纹特征。
[0224]
作为一个可选的实施例，装置还包括：
[0225]
第一标注信息获取模块，被配置为执行获取样本音频信息和样本音频信息对应的身份标注信息；
[0226]
预测声纹特征获取模块，被配置为执行将样本音频信息输入到待训练声纹特征确
定模型，对样本音频信息进行声纹特征提取，得到预测声纹特征；
[0227]
预测身份标识获取模块，被配置为执行将预测声纹特征输入到回归分类网络中，对预测声纹特征进行分类，得到预测声纹特征的预测身份标识信息；
[0228]
声纹识别误差确定模块，被配置为执行根据预测身份标识信息和身份标注信息，确定声纹识别误差；
[0229]
第一模型训练模块，被配置为执行基于声纹识别误差，对待训练声纹特征确定模型进行训练，得到声纹特征确定模型。
[0230]
作为一个可选的实施例，装置还包括：
[0231]
信息获取模块，被配置为执行获取多个注册音频信息和多个样本音频信息；
[0232]
参考声纹特征获取模块，被配置为执行将多个注册音频信息输入声纹特征确定模型，得到多个参考声纹特征；
[0233]
样本声纹特征获取模块，被配置为执行将多个样本音频信息输入声纹特征确定模型，得到多个样本声纹特征；
[0234]
第二标注信息获取模块，被配置为执行基于多个参考声纹特征和多个样本声纹特征，生成多组声纹训练数据和每组声纹训练数据的匹配标注信息；
[0235]
预测声纹匹配值获取模块，被配置为执行将多组声纹训练数据输入到待训练声纹特征匹配模型中，对每组声纹训练数据中的参考声纹特征信息和样本声纹特征进行匹配，得到预测声纹匹配值；
[0236]
匹配误差数据获取模块，被配置为执行根据预测声纹匹配值和匹配标注信息，确定匹配误差数据；
[0237]
第二模型训练模块，被配置为执行基于匹配误差数据，对待训练声纹特征匹配模型进行训练，得到声纹特征匹配模型。
[0238]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0239]
图12是根据一示例性实施例示出的一种用于服务器的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种身份识别方法。
[0240]
本领域技术人员可以理解，图12中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0241]
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中一种身份识别方法。
[0242]
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中一种身份识别方法。
[0243]
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的一种身份识别方法。
[0244]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0245]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0246]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。