语音数据的处理方法、装置、电子设备、存储介质及产品与流程

1.本技术涉及声纹识别技术领域，特别涉及一种语音数据的处理方法、装置、电子设备、存储介质及产品。


背景技术：

2.语音数据库用于存储多个已知身份信息的对象的语音数据，该语音数据库用于为身份识别等提供数据支持。其中，在采集到新的语音数据后，将该语音数据的声纹特征与语音数据库中的每个语音数据的声纹特征进行一一对比，以找到与该语音数据相匹配的目标语音数据，从而基于目标语音数据的身份信息，确定该语音数据对应的身份信息。
3.由于需要将语音数据的声纹特征与语音数据库中的每个语音数据的声纹特征一一进行对比，而进行声纹特征对比的过程复杂，使得对比耗时较长，从而导致语音数据的处理效率较低。


技术实现要素：

4.本技术实施例提供了一种语音数据的处理方法、装置、电子设备、存储介质及产品，能够提高语音数据的处理效率。所述技术方案如下：
5.一方面，提供了一种语音数据的处理方法，所述方法包括：
6.确定语音数据，所述语音数据为待处理的语音数据；
7.确定所述语音数据对应的人群特征，所述人群特征用于表示所述语音数据的对象所属的人群；
8.从多个语音数据集合中，确定所述人群特征对应的目标语音数据集合，所述多个语音数据集合为基于人群特征划分得到，且每个语音数据集合对应不同的人群特征；
9.从所述目标语音数据集合中，确定与所述语音数据匹配的目标语音数据，所述目标语音数据的声纹特征与所述语音数据的声纹特征相匹配。
10.在一种可能的实现方式中，所述语音数据对应的人群特征的确定过程包括：
11.将所述语音数据输入声纹识别模型，输出所述语音数据对应的人群特征，所述声纹识别模型用于识别所述语音数据对应的人群特征。
12.在一种可能的实现方式中，所述人群特征的数量为多个，所述声纹识别模型中包括多个分类任务模块，每个分类任务模块用于获取一个人群特征；
13.所述将所述语音数据输入声纹识别模型，输出所述语音数据对应的人群特征，包括：
14.将所述语音数据输入所述声纹识别模型，基于所述多个分类任务模块，确定所述语音数据对应的多个人群特征，输出所述多个人群特征。
15.在一种可能的实现方式中，所述多个人群特征包括性别和年龄，所述多个分类任务模块包括性别分类模块和年龄分类模块，所述将所述语音数据输入所述声纹识别模型，基于所述多个分类任务模块，确定所述语音数据对应的多个人群特征，包括：
16.将所述语音数据输入所述声纹识别模型，分别基于所述性别分类模块和年龄分类模块，确定所述语音数据对应的性别和年龄。
17.在一种可能的实现方式中，所述声纹识别模型的训练过程包括：
18.将样本语音数据输入初始声纹识别模型，输出每个分类任务模块对所述样本语音数据的预测结果；
19.对于每个分类任务模块，对比所述预测结果与所述样本语音数据的标记结果，得到对比结果；
20.确定所述对比结果对应的第一损失值；
21.基于所述多个分类任务模块的第一损失值，对所述初始声纹识别模型的模型参数进行调整，得到所述声纹识别模型。
22.在一种可能的实现方式中，所述基于所述多个任务模块的第一损失值，对所述初始声纹识别模型的模型参数进行调整，得到所述声纹识别模型，包括：
23.基于所述多个分类任务模块的第一损失值，分别对所述每个分类任务模块的模型参数进行调整；
24.确定校正后的每个分类任务模块的第二损失值和每个分类任务模块在当前时刻的权重；
25.对所述多个分类任务模块的第二损失值和权重加权求和，得到所述声纹识别模型的综合损失值；
26.基于所述综合损失值，再次对所述每个分类任务模块的模型参数进行调整，得到所述声纹识别模型。
27.在一种可能的实现方式中，所述每个分类任务模块在当前时刻的权重的确定过程包括：
28.对于每个分类任务模块，确定所述分类任务模块的权重调整参数和所述分类任务模块在当前时刻的衡量指标值；
29.基于所述衡量指标值，确定目标对数值，所述目标对数值与所述衡量指标值呈对数关系；
30.基于所述衡量指标值，确定目标差值，所述目标差值与所述衡量指标值呈负相关；
31.确定以所述目标差值为底数、所述权重调整参数为指数的指数值；
32.确定所述指数值与所述目标对数值的乘积的负数，得到所述分类任务模块的权重。
33.在一种可能的实现方式中，所述声纹识别模型还包括声纹分类模块，所述声纹分类模块用于确定与所述语音数据相匹配的目标语音数据，所述从所述目标语音数据集合中，确定与所述语音数据匹配的目标语音数据，包括：
34.将所述语音数据输入所述声纹识别模型，基于所述声纹分类模块，确定所述语音数据的声纹特征，基于所述声纹特征，从所述目标语音数据集合中确定所述目标语音数据。
35.在一种可能的实现方式中，所述人群特征的数量为多个，所述从多个语音数据集合中，确定所述人群特征对应的目标语音数据集合，包括：
36.分别确定每个人群特征对应的语音数据集合，所述语音数据集合包括与所述人群特征对应的至少一个语音数据；
37.获取所述多个人群特征分别对应的语音数据集合的交集，得到所述目标语音数据集合。
38.另一方面，提供了一种语音数据的处理装置，所述装置包括：
39.第一确定模块，用于确定语音数据，所述语音数据为待处理的语音数据；
40.第二确定模块，用于确定所述语音数据对应的人群特征，所述人群特征用于表示所述语音数据的对象所属的人群；
41.第三确定模块，用于从多个语音数据集合中，确定所述人群特征对应的目标语音数据集合，所述多个语音数据集合为基于人群特征划分得到，且每个语音数据集合对应不同的人群特征；
42.第四确定模块，用于从所述目标语音数据集合中，确定与所述语音数据匹配的目标语音数据，所述目标语音数据的声纹特征与所述语音数据的声纹特征相匹配。
43.在一种可能的实现方式中，所述第二确定模块，包括：
44.第一输入输出单元，用于将所述语音数据输入声纹识别模型，输出所述语音数据对应的人群特征，所述声纹识别模型用于识别所述语音数据对应的人群特征。
45.在一种可能的实现方式中，所述人群特征的数量为多个，所述声纹识别模型中包括多个分类任务模块，每个分类任务模块用于获取一个人群特征；
46.所述第一输入输出单元，包括：
47.输入输出子单元，用于将所述语音数据输入所述声纹识别模型，基于所述多个分类任务模块，确定所述语音数据对应的多个人群特征，输出所述多个人群特征。
48.在一种可能的实现方式中，所述多个人群特征包括性别和年龄，所述多个分类任务模块包括性别分类模块和年龄分类模块，所述输入输出子单元，用于将所述语音数据输入所述声纹识别模型，分别基于所述性别分类模块和年龄分类模块，确定所述语音数据对应的性别和年龄。
49.在一种可能的实现方式中，所述装置还包括：
50.输入输出模块，用于将样本语音数据输入初始声纹识别模型，输出每个分类任务模块对所述样本语音数据的预测结果；
51.对比模块，用于对于每个分类任务模块，对比所述预测结果与所述样本语音数据的标记结果，得到对比结果；
52.第五确定模块，用于确定所述对比结果对应的第一损失值；
53.调整模块，用于基于所述多个分类任务模块的第一损失值，对所述初始声纹识别模型的模型参数进行调整，得到所述声纹识别模型。
54.在一种可能的实现方式中，所述调整模块，包括：
55.第一调整单元，用于基于所述多个分类任务模块的第一损失值，分别对所述每个分类任务模块的模型参数进行调整；
56.第一确定单元，用于确定校正后的每个分类任务模块的第二损失值和每个分类任务模块在当前时刻的权重；
57.第二确定单元，用于对所述多个分类任务模块的第二损失值和权重加权求和，得到所述声纹识别模型的综合损失值；
58.第二调整单元，用于基于所述综合损失值，再次对所述每个分类任务模块的模型
参数进行调整，得到所述声纹识别模型。
59.在一种可能的实现方式中，所述第一确定单元，用于：
60.对于每个分类任务模块，确定所述分类任务模块的权重调整参数和所述分类任务模块在当前时刻的衡量指标值；
61.基于所述衡量指标值，确定目标对数值，所述目标对数值与所述衡量指标值呈对数关系；
62.基于所述衡量指标值，确定目标差值，所述目标差值与所述衡量指标值呈负相关；
63.确定以所述目标差值为底数、所述权重调整参数为指数的指数值；
64.确定所述指数值与所述目标对数值的乘积的负数，得到所述分类任务模块的权重。
65.在一种可能的实现方式中，所述声纹识别模型还包括声纹分类模块，所述声纹分类模块用于确定与所述语音数据相匹配的目标语音数据，所述第四确定模块，用于将所述语音数据输入所述声纹识别模型，基于所述声纹分类模块，确定所述语音数据的声纹特征，基于所述声纹特征，从所述目标语音数据集合中确定所述目标语音数据。
66.在一种可能的实现方式中，所述人群特征的数量为多个，所述第二确定模块，用于：
67.分别确定每个人群特征对应的语音数据集合，所述语音数据集合包括与所述人群特征对应的至少一个语音数据；
68.获取所述多个人群特征分别对应的语音数据集合的交集，得到所述目标语音数据集合。
69.另一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述至少一条指令由所述一个或多个处理器加载并执行以实现上述任一实现方式所述的语音数据的处理方法。
70.另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条指令，所述至少一条指令由处理器加载并执行，以实现上述任一实现方式所述的语音数据的处理方法。
71.另一方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述任一实现方式所述的语音数据的处理方法。
72.本技术实施例提供的技术方案的有益效果至少包括：
73.本技术实施例提供了一种语音数据的处理方法，由于该方法能够基于待处理的语音数据对应的人群特征来确定多个语音数据集合中的该人群特征对应的目标语音数据集合，使得该语音数据的比对范围缩小；进而再从目标语音数据集合中确定与该语音数据匹配的目标语音数据，就降低了比对的难度，减少了比对耗时，从而提高了对语音数据的处理效率。
附图说明
74.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
75.图1是本技术实施例提供的一种实施环境的示意图；
76.图2是本技术实施例提供的一种语音数据的处理方法的流程图；
77.图3是本技术实施例提供的一种语音数据的处理方法的流程图；
78.图4是本技术实施例提供的一种声纹识别模型的训练方法的流程图；
79.图5是本技术实施例提供的一种多任务学习深度网络的示意图；
80.图6是本技术实施例提供的一种语音数据的处理装置的框图；
81.图7是本技术实施例提供的一种终端的框图；
82.图8是本技术实施例提供的一种服务器的框图。
具体实施方式
83.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
84.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任意变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
85.本技术实施例提供了一种语音数据的处理方法的实施环境，参见图1，该实施环境包括电子设备。在一些实施例中，电子设备包括终端10，终端10上存储有声纹识别模型，该声纹识别模型用于确定与语音数据匹配的目标语音数据，目标语音数据为已知身份信息的语音数据。终端10获取待处理的语音数据后，基于声纹识别模型，确定与该语音数据匹配的目标语音数据，以基于目标语音数据的身份信息，确定该语音数据对应的身份信息。终端10为手机、平板电脑和pc(personal computer)设备等设备中的至少一种。
86.在一些实施例中，电子设备包括服务器20，服务器20上存储有声纹识别模型，该声纹识别模型用于确定与语音数据匹配的目标语音数据，目标语音数据为已知身份信息的语音数据。服务器20获取待处理的语音数据后，基于声纹识别模型，确定与该语音数据匹配的目标语音数据，以基于目标语音数据的身份信息，确定该语音数据对应的身份信息。服务器20可以为一台服务器、由多台服务器组成的服务器集群、云服务器、云计算平台和虚拟化中心中的至少一种。
87.在一些实施例中，电子设备包括终端10和服务器20，终端10上安装有提供声纹识别的目标应用，且终端10通过该目标应用能够实现与服务器20的数据传输、信息交互等功能。服务器20上存储有声纹识别模型，该声纹识别模型用于确定与语音数据匹配的目标语音数据，目标语音数据为已知身份信息的语音数据。终端10基于目标应用获取待处理的语音数据，且将语音数据发送给服务器20。服务器20接收语音数据后，基于声纹识别模型，确定与该语音数据匹配的目标语音数据，以基于目标语音数据的身份信息，确定该语音数据对应的身份信息。在本技术实施例中，以电子设备包括终端10和服务器20进行说明。
88.本技术实施例提供了一种语音数据的处理方法，参见图2，方法包括：
89.步骤201：确定语音数据，语音数据为待处理的语音数据；
90.步骤202：确定语音数据对应的人群特征，人群特征用于表示语音数据的对象所属的人群；
91.步骤203：从多个语音数据集合中，确定人群特征对应的目标语音数据集合，多个语音数据集合为基于人群特征划分得到，且每个语音数据集合对应不同的人群特征；
92.步骤204：从目标语音数据集合中，确定与语音数据匹配的目标语音数据，目标语音数据的声纹特征与语音数据的声纹特征相匹配。
93.在一种可能的实现方式中，语音数据对应的人群特征的确定过程包括：
94.将语音数据输入声纹识别模型，输出语音数据对应的人群特征，声纹识别模型用于识别语音数据对应的人群特征。
95.在一种可能的实现方式中，人群特征的数量为多个，声纹识别模型中包括多个分类任务模块，每个分类任务模块用于获取一个人群特征；
96.将语音数据输入声纹识别模型，输出语音数据对应的人群特征，包括：
97.将语音数据输入声纹识别模型，基于多个分类任务模块，确定语音数据对应的多个人群特征，输出多个人群特征。
98.在一种可能的实现方式中，多个人群特征包括性别和年龄，多个分类任务模块包括性别分类模块和年龄分类模块，将语音数据输入声纹识别模型，基于多个分类任务模块，确定语音数据对应的多个人群特征，包括：
99.将语音数据输入声纹识别模型，分别基于性别分类模块和年龄分类模块，确定语音数据对应的性别和年龄。
100.在一种可能的实现方式中，声纹识别模型的训练过程包括：
101.将样本语音数据输入初始声纹识别模型，输出每个分类任务模块对样本语音数据的预测结果；
102.对于每个分类任务模块，对比预测结果与样本语音数据的标记结果，得到对比结果；
103.确定对比结果对应的第一损失值；
104.基于多个分类任务模块的第一损失值，对初始声纹识别模型的模型参数进行调整，得到声纹识别模型。
105.在一种可能的实现方式中，基于多个任务模块的第一损失值，对初始声纹识别模型的模型参数进行调整，得到声纹识别模型，包括：
106.基于多个分类任务模块的第一损失值，分别对每个分类任务模块的模型参数进行调整；
107.确定校正后的每个分类任务模块的第二损失值和每个分类任务模块在当前时刻的权重；
108.对多个分类任务模块的第二损失值和权重加权求和，得到声纹识别模型的综合损失值；
109.基于综合损失值，再次对每个分类任务模块的模型参数进行调整，得到声纹识别模型。
110.在一种可能的实现方式中，每个分类任务模块在当前时刻的权重的确定过程包
括：
111.对于每个分类任务模块，确定分类任务模块的权重调整参数和分类任务模块在当前时刻的衡量指标值；
112.基于衡量指标值，确定目标对数值，目标对数值与衡量指标值呈对数关系；
113.基于衡量指标值，确定目标差值，目标差值与衡量指标值呈负相关；
114.确定以目标差值为底数、权重调整参数为指数的指数值；
115.确定指数值与目标对数值的乘积的负数，得到分类任务模块的权重。
116.在一种可能的实现方式中，声纹识别模型还包括声纹分类模块，声纹分类模块用于确定与语音数据相匹配的目标语音数据，将语音数据输入声纹识别模型，输出目标语音数据，包括：
117.将语音数据输入声纹识别模型，基于声纹分类模块，确定语音数据的声纹特征，基于声纹特征，从目标语音数据集合中确定目标语音数据。
118.在一种可能的实现方式中，人群特征的数量为多个，从多个语音数据集合中，确定人群特征对应的目标语音数据集合，包括：
119.分别确定每个人群特征对应的语音数据集合，语音数据集合包括与人群特征对应的至少一个语音数据；
120.获取多个人群特征分别对应的语音数据集合的交集，得到目标语音数据集合。
121.本技术实施例提供了一种语音数据的处理方法，参见图3，方法包括：
122.步骤301：终端确定语音数据，向服务器发送该语音数据。
123.其中，该语音数据为待处理的语音数据；该待处理的语音数据为采集的新的、需要确定身份信息的语音数据。该语音数据可以为终端实时获取的待处理的语音数据，也可以为终端预先从外部获取的需要处理的语音数据。可选的，该语音数据为仅包含语音信号的语音片段或包含语音信号和干扰噪声的语音片段。
124.其中，终端在确定语音数据中包括语音信号的情况下，确定该语音数据为待处理的语音数据，将该语音数据发送给服务器。在一种实现方式中，终端实时获取语音数据后，即将该语音数据实时发送给服务器。在另一种实现方式中，终端周期性的向服务器发送语音数据；可选的，终端将周期时间段内获取的语音数据打包发送给服务器。
125.步骤302：服务器接收语音数据。
126.在一些实施例中，服务器接收到多个语音数据，则服务器基于多个语音数据的排序，依次对每个语音数据进行处理；语音数据首先处理排序在前的语音数据，将剩余的语音数据进行存储。
127.步骤303：服务器确定语音数据对应的人群特征。
128.其中，人群特征用于表示语音数据的对象所属的人群。可选的，人群特征为性别、年龄、口音等中的至少一项。在一种实现方式中，服务器将语音数据输入声纹识别模型，输出该语音数据对应的人群特征。其中，声纹识别模型用于识别该语音数据对应的人群特征。
129.在一些实施例中，人群特征的数量为多个，声纹识别模型中包括多个分类任务模块，每个分类任务模块用于获取一个人群特征。在该实施例中，服务器将语音数据输入声纹识别模型，基于多个分类任务模块，确定语音数据对应的多个人群特征，输出多个人群特征。例如，多个人群特征包括性别和年龄，多个分类任务模块包括性别分类模块和年龄分类
模块，则服务器将语音数据输入声纹识别模型，分别基于性别分类模块和年龄分类模块，确定语音数据对应的性别和年龄。
130.需要说明的是，由于语音数据对应的性别、年龄等人群特征较明显，易被确定，使得语音数据对应的人群特征的确定过程效率较高。这样，在人群特征对应的语音数据集合中确定目标语音数据，会减少对比的范围，进而能够提高确定目标语音数据的效率。
131.步骤304：服务器从多个语音数据集合中，确定人群特征对应的目标语音数据集合。
132.其中，多个语音数据集合为基于人群特征划分得到，且每个语音数据集合对应不同的人群特征。需要说明的是，每个语音数据集合中包括至少一个语音数据，且每个语音数据集合中的每个语音数据为已知身份信息的语音数据。
133.在一种实现方式中，人群特征的数量为1个，多个语音数据集合分别基于该1个人群特征划分得到；可选的，人群特征为性别，则多个语音数据集合包括两个语音数据集合，该两个语音数据集合对应的人群特征分别为女性和男性。
134.在另一种实现方式中，人群特征的数量为多个，多个语音数据集合基于该多个人群特征划分得到；可选的，多个人群特征分别为性别和口音，多个语音数据集合中的每个语音数据集合均对应性别和口音两个人群特征。若性别包括男性和女性，口音包括南方口音和北方口音，则多个语音数据集合包括4个语音数据集合，分别对应的人群特征为女性且南方口音，女性且北方口音，男性且南方口音，男性且北方口音。在该实现方式中，通过提前将多个人群特征均对应的多个语音数据归集到同一语音数据集合，这样在确定语音数据对应的多个人群特征后，可直接找到该多个人群特征均对应的目标语音数据集合，准确度高。
135.在另一种实现方式中，人群特征的数量为多个，多个语音数据基于该多个人群特征划分得到；服务器分别确定每个人群特征对应的语音数据集合，语音数据集合包括与该人群特征对应的至少一个语音数据。服务器获取多个人群特征分别对应的语音数据集合的交集，得到目标语音数据集合。
136.可选的，多个人群特征包括性别和口音，多个语音数据集合包括男性、女性、南方口音、北方口音分别对应的4个语音数据集合。在服务器确定该语音数据的人群特征为女性且南方口音后，将女性对应的语音数据集合与南方口音对应的语音数据集合进行交集，得到人群特征女性且南方口音对应的目标语音数据集合。这样，避免了提前将全部人群特征对应的多个语音数据集合全部进行交集的过程，仅需对待处理的语音数据的对应的每个人群特征对应的语音数据集合进行交集，节约了资源，提高了处理效率。
137.步骤305：服务器从目标语音数据集合中，确定与语音数据匹配的目标语音数据，目标语音数据的声纹特征与语音数据的声纹特征相匹配。
138.在本技术实施例中，声纹识别模型还用于确定与语音数据相匹配的目标语音数据。在一种实现方式中，服务器将语音数据输入声纹识别模型，输出目标语音数据。其中，声纹识别模型还包括声纹分类模块，声纹分类模块用于确定与语音数据相匹配的目标语音数据，在该实现方式中，服务器将语音数据输入声纹识别模型，基于声纹分类模块，确定语音数据的声纹特征，基于该声纹特征，从目标语音数据集合中确定目标语音数据。
139.其中，待处理的语音数据的声纹特征和目标语音数据集合中的每个语音数据的声纹特征均为特征向量；将待处理的语音数据的声纹特征表示为第一特征向量，目标语音数
据集合中的每个语音数据的声纹特征表示为第二特征向量。服务器获取目标语音数据集合中的每个语音数据的第二特征向量后，将第一特征向量与多个第二特征向量分别进行相似度计算，得到多个对应的相似度，在多个相似度中的最高相似度大于预设阈值的情况下，将该最高相似度对应的语音数据作为目标语音数据。
140.在一种实施例中，声纹分类模块为与多个分类任务模块并列的分类任务模块，且为声纹识别模型的主要的任务分类模块，具有比其他分类任务模块更高的权重，该声纹分类模块共享前面多个分类任务模块的输出结果。在该实现方式中，声纹分类模块基于前面多个分类任务模块确定的人群特征对应的目标语音数据集合，确定与语音数据相匹配的目标语音数据。
141.在一种实现方式中，声纹识别模型还用于确定人群特征对应的目标语音数据集合，声纹识别模型存储有多个人群特征对应的语音数据集合。在该实现方式中，服务器将语音数据输入声纹识别模型后，该语音数据先经过多个分类任务模块处理得到目标语音数据集合后，再经过声纹分类模块的处理，直接输出与该语音数据匹配的目标语音数据。这样通过声纹识别模型，能够先基于性别分类模块、年龄分类模型等多个辅助的分类任务模块确定该语音数据所属的人群特征后，再从该人群特征中对应的目标语音数据集合中确定与语音数据匹配的目标语音数据，进而降低了语音数据的比对范围，从而提高了确定目标语音数据的效率。
142.步骤306：服务器向终端发送目标身份信息，目标身份信息为目标语音数据对应的身份信息。
143.在一种实现方式中，目标语音数据集合中的每个语音数据携带身份标签，用于表示该语音数据对应的身份信息。可选的，目标身份信息包括该目标身份信息对应的对象的姓名、身份证号码、住址、联系方式等信息。
144.步骤307：终端接收目标身份信息。
145.其中，终端接收目标身份信息后，即输出该目标身份信息。在一种实现方式中，终端上配置有显示屏幕，则可以通过显示屏幕显示该目标身份信息。在另一种实现方式中，终端上配置有播放器，则可以通过播放器播放该目标身份信息。
146.在本技术实施例中，通过利用多任务学习深度网络对语音数据进行性别和年龄等方面的聚类，减少了确实与语音数据匹配的目标语音数据的检索时长，且通过使声纹分类模块与性别分类模块、年龄分类模块等多个分类任务模块的输出结果共享，实现了多个分类任务模块的相互补充，提升了模型效果；这样由于对声纹识别时，加入了性别、年龄等人群特征辅助识别，进而提升了声纹识别的准确性，即提高了语音数据处理的准确性。在一些实施例中，通过本技术实施例提供的方法处理语音数据，能够减少确定与语音数据匹配的目标语音数据的检索时间25％，且提升声纹识别的准确率30％，即提升了处理语音数据的准确率。
147.本技术实施例提供了一种语音数据的处理方法，由于该方法能够基于待处理的语音数据对应的人群特征来确定多个语音数据集合中的该人群特征对应的目标语音数据集合，使得该语音数据的比对范围缩小；进而再从目标语音数据集合中确定与该语音数据匹配的目标语音数据，就降低了比对的难度，减少了比对耗时，从而提高了对语音数据的处理效率。
148.本技术实施例还提供了一种声纹识别模型的训练方法，参见图4，该方法包括：
149.步骤401：电子设备将样本语音数据输入初始声纹识别模型，输出每个分类任务模块对该样本语音数据的预测结果。
150.其中，样本语音数据已标注多个标签，分别用于标记每个分类任务模块对应的该样本语音数据的正确的分类结果。例如，多个分类任务模块包括性别分类模块和年龄分类模块，则样本语音数据包括性别标签和年龄标签。性别标签包括男性和女性中的至少一项，年龄标签包括0-10岁、10-20岁、20-30岁、30-60岁等多个年龄段中的至少一项。
151.需要说明的是，初始声纹识别模型为具有初步训练参数的模型，该初步训练参数为未经模型训练的参数。由于初始声纹识别模型的参数未经训练，因此，其输出的样本语音数据的预测结果与标签的标记结果有差异。在本技术实施例中，电子设备基于多任务学习深度网络对初始声纹识别模型进行模型训练。参见图5，图5为初始声纹识别模型对应的多任务学习深度网络的示意图，包括输入层、共享层和任务层；其中，输入层用于输入语音数据，共享层用于生成多个分类任务模块共享的底层特征，任务层包括多个并列的分类任务模块，多个任务分类模块并行训练并共享不同分类任务模块已得到的分类结果。
152.步骤402：电子设备对于每个分类任务模块，对比预测结果与样本语音数据的标记结果，得到对比结果。
153.其中，对比结果用于指示预测结果与标记结果是否匹配，对比结果包括预测结果与标记结果之间的误差值，若误差值为0，则说明预测结果与标记结果相同，对比结果指示预测结果与标记结果匹配。若误差值不为0，则说明预测结果与标记结果不匹配，对比结果指示预测结果与标记结果不匹配。例如，对于样本语音数据a，其标记结果为10-20岁，预测结果为20-30岁，则误差值不为0，预测结果与标记结果不同，对比结果指示预测结果与标记结果不匹配。
154.步骤403：电子设备确定对比结果对应的第一损失值。
155.在一种实现方式中，对比结果为标记结果与预测结果之间的误差值。
156.步骤404：电子设备基于多个分类任务模块的第一损失值，对初始声纹识别模型的模型参数进行调整，得到声纹识别模型。
157.该步骤包括以下步骤(1)-(4)：
158.(1)电子设备基于多个分类任务模块的第一损失值，分别对每个分类任务模块的模型参数进行调整。
159.其中，每个分类任务模块的第一损失值表征了该分类任务模块对应的精确度，将该第一损失值参与反向传播，调节整个多任务学习深度网络，进而可对该分类任务模块进行修正。
160.(2)电子设备确定校正后的每个分类任务模块的第二损失值和每个分类任务模块在当前时刻的权重。
161.其中，电子设备确定每个分类任务模块在当前时刻的权重包括：电子设备对于每个分类任务模块，确定分类任务模块的权重调整参数和分类任务模块在当前时刻的衡量指标值；电子设备基于衡量指标值，确定目标对数值，目标对数值与衡量指标值呈对数关系；电子设备基于衡量指标值，确定目标差值，目标差值与衡量指标值呈负相关；电子设备确定以目标差值为底数、权重调整参数为指数的指数值；电子设备确定指数值与目标对数值的
乘积的负数，得到分类任务模块的权重。在一种实现方式中，目标对数值为该衡量指标值以10为底的对数值，目标差值为数值1与衡量指标值之间的差值，电子设备确定每个分类任务模块在当前时刻的权重通过以下公式一得到。
162.公式一：
163.其中，wi(t)代表每个分类任务模块在当前时刻的权重，t为时间。γi为分类任务模块i的权重调整参数，用于调整分类任务模块i的权重，γi∈[1，2]。ki(t)代表每个分类任务模块在当前时刻的衡量指标值，即分类任务模块i分类难易程度的衡量指标。需要说明的是，ki(t)指的是kpi(key performance indicator，关键绩效指标)，ki(t)∈[0，1]，ki(t)与分类任务模块的分类准确率有关，且ki(t)与分类任务模块的训练难度成反比，准确率越高，则说明训练难度越小，ki(t)则越大；例如，多个分类任务模块分别为性别分类模块、年龄分类模块和声纹分类模块，性别分类模块、年龄分类模块和声纹分类模块的训练难度依次增大，准确率依次降低，则ki(t)依次增大。
[0164]
需要说明的是，每个分类任务模块的衡量指标值是随时间变化的。通过当前时刻的衡量指标值来确定分类任务模块在当前时刻的权重，能够实现对分类任务模块的权重的动态调整，且通过调整衡量指标值，能够调整分类任务模块的权重，使得更难训练的分类任务模块具有更高的权重，以提高更难训练的分类任务模块的分类准确率，从而提高了声纹识别模型的整体的准确率。可选的，将对应主要分类任务的声纹分类模块设定更高的权重。
[0165]
(3)电子设备对多个分类任务模块的第二损失值和权重加权求和，得到声纹识别模型的综合损失值。
[0166]
声纹识别模型的综合损失值通过以下公式二得到。
[0167]
公式二：l＝∑iwi*li[0168]
其中，li代表第i个任务的第二损失值，wi代表第i个任务的权重。
[0169]
(4)电子设备基于综合损失值，再次对每个分类任务模块的模型参数进行调整，得到声纹识别模型。
[0170]
其中，综合损失值用于表征声纹识别模型整体对应的精确度。电子设备在综合损失值不断变化的情况下，重复步骤(1)-(3)，对每个分类任务模块的模型参数不断进行调整，直到声纹识别模型的每个分类任务模块经过连续多次的迭代调整后，声纹识别模型的综合损失值不再下降，则结束训练，并确定综合损失值最小时的训练参数作为目标训练参数，将目标训练参数对应的声纹识别模型作为最终得到的声纹识别模型，目标训练参数包括每个分类任务模块的模型参数。
[0171]
在本技术实施例中，通过对声纹识别模型进行多任务学习训练，使得基于该声纹识别模型能够确定待处理的语音数据的性别、年龄等人群特征；进而从该人群特征对应的语音数据集合中确定与语音数据匹配的目标语音数据，能够提高确定目标语音数据的效率。
[0172]
本技术实施例还提供了一种语音数据的处理装置，参见图6，装置包括：
[0173]
第一确定模块601，用于确定语音数据，语音数据为待处理的语音数据；
[0174]
第二确定模块602，用于确定语音数据对应的人群特征，人群特征用于表示语音数据的对象所属的人群；
[0175]
第三确定模块603，用于从多个语音数据集合中，确定人群特征对应的目标语音数据集合，多个语音数据集合为基于人群特征划分得到，且每个语音数据集合对应不同的人群特征；
[0176]
第四确定模块604，用于从目标语音数据集合中，确定与语音数据匹配的目标语音数据，目标语音数据的声纹特征与语音数据的声纹特征相匹配。
[0177]
在一种可能的实现方式中，第二确定模块602，包括：
[0178]
第一输入输出单元，用于将语音数据输入声纹识别模型，输出语音数据对应的人群特征，声纹识别模型用于识别语音数据对应的人群特征。
[0179]
在一种可能的实现方式中，人群特征的数量为多个，声纹识别模型中包括多个分类任务模块，每个分类任务模块用于获取一个人群特征；
[0180]
第一输入输出单元，包括：
[0181]
输入输出子单元，用于将语音数据输入声纹识别模型，基于多个分类任务模块，确定语音数据对应的多个人群特征，输出多个人群特征。
[0182]
在一种可能的实现方式中，多个人群特征包括性别和年龄，多个分类任务模块包括性别分类模块和年龄分类模块，输入输出子单元，用于将语音数据输入声纹识别模型，分别基于性别分类模块和年龄分类模块，确定语音数据对应的性别和年龄。
[0183]
在一种可能的实现方式中，装置还包括：
[0184]
输入输出模块，用于将样本语音数据输入初始声纹识别模型，输出每个分类任务模块对样本语音数据的预测结果；
[0185]
对比模块，用于对于每个分类任务模块，对比预测结果与样本语音数据的标记结果，得到对比结果；
[0186]
第五确定模块，用于确定对比结果对应的第一损失值；
[0187]
调整模块，用于基于多个分类任务模块的第一损失值，对初始声纹识别模型的模型参数进行调整，得到声纹识别模型。
[0188]
在一种可能的实现方式中，调整模块，包括：
[0189]
第一调整单元，用于基于多个分类任务模块的第一损失值，分别对每个分类任务模块的模型参数进行调整；
[0190]
第一确定单元，用于确定校正后的每个分类任务模块的第二损失值和每个分类任务模块在当前时刻的权重；
[0191]
第二确定单元，用于对多个分类任务模块的第二损失值和权重加权求和，得到声纹识别模型的综合损失值；
[0192]
第二调整单元，用于基于综合损失值，再次对每个分类任务模块的模型参数进行调整，得到声纹识别模型。
[0193]
在一种可能的实现方式中，第一确定单元，用于：
[0194]
对于每个分类任务模块，确定分类任务模块的权重调整参数和分类任务模块在当前时刻的衡量指标值；
[0195]
基于衡量指标值，确定目标对数值，目标对数值与衡量指标值呈对数关系；
[0196]
基于衡量指标值，确定目标差值，目标差值与衡量指标值呈负相关；
[0197]
确定以目标差值为底数、权重调整参数为指数的指数值；
[0198]
确定指数值与目标对数值的乘积的负数，得到分类任务模块的权重。
[0199]
在一种可能的实现方式中，声纹识别模型包括声纹分类模块，声纹分类模块用于确定与语音数据相匹配的目标语音数据，第四确定模块604，，用于将语音数据输入声纹识别模型，基于声纹分类模块，确定语音数据的声纹特征，基于声纹特征，从目标语音数据集合中确定目标语音数据。
[0200]
在一种可能的实现方式中，人群特征的数量为多个，第二确定模块602，用于：
[0201]
分别确定每个人群特征对应的语音数据集合，语音数据集合包括与人群特征对应的至少一个语音数据；
[0202]
获取多个人群特征分别对应的语音数据集合的交集，得到目标语音数据集合。
[0203]
图7示出了本技术一个示例性实施例提供的终端700的结构框图。该终端700可以是便携式移动终端，比如：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0204]
通常，终端700包括有：处理器701和存储器702。
[0205]
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0206]
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本技术中方法实施例提供的语音数据的处理方法。
[0207]
在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。
[0208]
外围设备接口703可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不
加以限定。
[0209]
射频电路704用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0210]
显示屏705用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置在终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在另一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0211]
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0212]
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
[0213]
定位组件708用于定位终端700的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件708可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组
件。
[0214]
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0215]
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
[0216]
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
[0217]
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3d动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0218]
压力传感器713可以设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时，由处理器701根据用户对显示屏705的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0219]
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置在终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商logo时，指纹传感器714可以与物理按键或厂商logo集成在一起。
[0220]
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制显示屏705的显示亮度。具体地，当环境光强度较高时，调高显示屏705的显示亮度；当环境光强度较低时，调低显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
[0221]
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制显示屏705从息屏状态切换为亮屏状态。
[0222]
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包
括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0223]
图8是本公开实施例提供的一种服务器的框图，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)801和一个或一个以上的存储器802，其中，存储器802用于存储可执行指令，处理器801被配置为执行上述可执行指令，以实现上述各个方法实施例提供的语音数据的处理方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
[0224]
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器802，上述指令可由服务器800的处理器801执行以完成上述语音数据的处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是rom(read-only memory，只读存储器)、ram(random access memory，随机存取存储器)、cd-rom(compact disc read-only memory，只读光盘)、磁带、软盘和光数据存储设备等。
[0225]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储至少一条指令，至少一条指令由处理器加载并执行，以实现上述任一实现方式的语音数据的处理方法。
[0226]
本技术实施例还提供了一种计算机程序产品，计算机程序产品包括至少一条程序代码，至少一条程序代码由处理器加载并执行，以实现上述任一实现方式的语音数据的处理方法。
[0227]
在一些实施例中，本技术实施例所涉及的计算机程序可被部署在一个电子设备上执行，或者在位于一个地点的多个电子设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行，分布在多个地点且通过通信网络互连的多个电子设备可以组成区块链系统。
[0228]
本技术实施例提供了一种语音数据的处理方法，由于该方法能够基于待处理的语音数据对应的人群特征来确定多个语音数据集合中的该人群特征对应的目标语音数据集合，使得该语音数据的比对范围缩小；进而再从目标语音数据集合中确定与该语音数据匹配的目标语音数据，就降低了比对的难度，减少了比对耗时，从而提高了对语音数据的处理效率。
[0229]
以上仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。