一种基于神经网络的语种识别方法、装置及电子设备与流程

1.本发明属于数据信息处理技术领域，更具体的是涉及一种基于神经网络的语种识别方法、装置及电子设备。


背景技术：

2.在传统的招聘面试中常常是通过线下面对面的方式与应聘者进行交流。随着互联网技术的发展，现在越来越多的公司采用线上智能招聘系统与应聘者进行交互方式进行招聘面试。采用智能招聘系统面试的过程中，会有很多问题需要应聘者通过语音的方式进行回答。
3.在面试者通过语音进行回答的时候，很可能会切换语种进行回答，比如常见的中英文混合的方式。而现有技术通常是基于语音特征来判断语种并进行识别。但很多人的非母语的口语很差，使得非母语的发音方式常常接近母语，这种情况下很大概率会判断错语种，使得后续语音和文字转换过程中出现问题，导致面试结果存在很大偏差。


技术实现要素：

4.(一)要解决的技术问题
5.本发明旨在解决现有智能招聘系统中进行语音识别时，无法准确识别说话中途语种切换的语音的问题。
6.(二)技术方案
7.为解决上述技术问题，本发明的第一方面提出一种基于神经网络的语种识别方法，包括：
8.接收用户输入的音频数据，对所述音频数据进行特征提取；
9.将所述特征提取的数据发送至语种识别模型，得到候选语种第一概率值，选取排名靠前的n个候选语种，其中n为自然数；
10.将所述音频数据以及靠前的n个候选语种发送至语种确定模型，得到n个候选语种的第二概率值，根据n个候选语种的第二概率值确定所述音频数据所使用的语种。
11.根据本发明的优选实施方式，对所述音频数据进行特征提取具体为：对所述音频数据提取梅尔频率倒谱系数特征或梅尔滤波器组特征。
12.根据本发明的优选实施方式，将所述特征提取的数据发送至语种识别模型之前，还将所述特征提取的数据发送至切换判断模型。
13.根据本发明的优选实施方式，所述切换判断模型，以帧为单位判断语种是否发生了切换，得到所述音频信息语种切换次数，语种切换种类以及对应的持续时间。
14.根据本发明的优选实施方式，将所述音频数据以及靠前的n个候选语种发送语种确定模型，得到n个候选语种的第二概率值具体为：
15.根据所述音频数据以及靠前的n个候选语种确定n个候选语种的混淆度得分；
16.根据n个候选语种的第一概率值确定神经网络分数；
17.对所述n个候选语种的混淆度得分和神经网络分数加权求和，得到所述n个候选语种的第二概率值。
18.根据本发明的优选实施方式，确定n个候选语种的混淆度得分具体为：
19.将所述音频数据以及靠前的n个候选语种发送至识别引擎，转写出n个候选语种的文本，根据所述n个语种的文本计算n个候选语种的混淆度得分。
20.根据本发明的优选实施方式，所述神经网络分数为n个候选语种的后验概率值。
21.本发明第二方面提出一种基于神经网络的语种识别装置，包括：
22.特征提取模块，用于接收用户输入的音频数据，对所述音频数据进行特征提取；
23.语种识别模块，用于将所述特征提取的数据发送至语种识别模型，得到候选语种第一概率值，选取排名靠前的n个候选语种，其中n为自然数；
24.语种确定模块，用于将所述音频数据以及靠前的n个候选语种发送至语种确定模型，得到n个候选语种的第二概率值，根据n个候选语种的第二概率值确定所述音频数据所使用的语种。
25.根据本发明的优选实施方式，对所述音频数据进行特征提取具体为：对所述音频数据提取梅尔频率倒谱系数特征或梅尔滤波器组特征。
26.根据本发明的优选实施方式，将所述特征提取的数据发送至语种识别模型之前，还将所述特征提取的数据发送至切换判断模型。
27.根据本发明的优选实施方式，所述切换判断模型，以帧为单位判断语种是否发生了切换，得到所述音频信息语种切换次数，语种切换种类以及对应的持续时间。
28.根据本发明的优选实施方式，将所述音频数据以及靠前的n个候选语种发送语种确定模型，得到n个候选语种的第二概率值具体为：
29.根据所述音频数据以及靠前的n个候选语种确定n个候选语种的混淆度得分；
30.根据n个候选语种的第一概率值确定神经网络分数；
31.对所述n个候选语种的混淆度得分和神经网络分数加权求和，得到所述n个候选语种的第二概率值。
32.根据本发明的优选实施方式，确定n个候选语种的混淆度得分具体为：
33.将所述音频数据以及靠前的n个候选语种发送至识别引擎，转写出n个候选语种的文本，根据所述n个语种的文本计算n个候选语种的混淆度得分。
34.根据本发明的优选实施方式，所述神经网络分数为n个候选语种的后验概率值。
35.本发明第三方面提出一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的方法。
36.本发明第四方面还提出一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的方法。
37.(三)有益效果
38.本发明通过计算语音数据对应文本的混淆度得分和神经网络分数最终确定语音数据中使用语种信息，提高了语种识别的准确度，使得智能招聘系统更加完善。
附图说明
39.图1是本发明的一个实施例的一种基于神经网络的语种识别方法流程示意图；
40.图2是本发明的一个实施例一的流程示意图；
41.图3是本发明的一个实施例的一种基于神经网络的语种识别装置结构示意图；
42.图4是本发明的一个实施例的电子设备的结构示意图；
43.图5是本发明的一个实施例的计算机可读记录介质的示意图。
具体实施方式
44.在对于具体实施例的介绍过程中，对结构、性能、效果或者其他特征的细节描述是为了使本领域的技术人员对实施例能够充分理解。但是，并不排除本领域技术人员可以在特定情况下，以不含有上述结构、性能、效果或者其他特征的技术方案来实施本发明。
45.附图中的流程图仅是一种示例性的流程演示，不代表本发明的方案中必须包括流程图中的所有的内容、操作和步骤，也不代表必须按照图中所显示的的顺序执行。例如，流程图中有的操作/步骤可以分解，有的操作/步骤可以合并或部分合并，等等，在不脱离本发明的发明主旨的情况下，流程图中显示的执行顺序可以根据实际情况改变。
46.附图中的框图一般表示的是功能实体，并不一定必然与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理单元装置和/或微控制器装置中实现这些功能实体。
47.各附图中相同的附图标记表示相同或类似的元件、组件或部分，因而下文中可能省略了对相同或类似的元件、组件或部分的重复描述。还应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但是这些器件、元件、组件或部分不应受这些定语的限制。也就是说，这些定语仅是用来将一者与另一者区分。例如，第一器件亦可称为第二器件，但不偏离本发明实质的技术方案。此外，术语“和/或”、“及/或”是指包括所列出项目中的任一个或多个的所有组合。
48.为解决上述技术问题，本发明提出一种基于神经网络的语种识别方法，方法流程图如图1所示，包括：
49.s101、接收用户输入的音频数据，对所述音频数据进行特征提取。
50.在上述技术方案的基础上，进一步地，对所述音频数据进行特征提取具体为：对所述音频数据提取梅尔频率倒谱系数特征或梅尔滤波器组特征。
51.在面试过程中很多试题需要用户通过语音进行回答或讲解，此时接收用户的音频数据，对待测音进行特征提取，提取梅尔频率倒谱系数特征或梅尔滤波器组特征，在本实施方式中还加入音调特征以增强其可分辨性。因为不同种语言的发音频率，清浊音，以及是否送气都是不相同的，因此还额外加入频率的均值方差，过零率，色度特征，韵律特征。
52.s102、将所述特征提取的数据发送至语种识别模型，得到候选语种第一概率值，选取排名靠前的n个候选语种，其中n为自然数。
53.在本实施方式中，将经过特征提取的数据发送至语种识别模型，语种识别模型为基于深度学习的rnn网络模型，通过使用大量的语种数据进行训练获得，输入特征提取的数据后，输出一组候选语种的概率，按从大到小的顺序进行排列，选取n个高分候选语种作为备选语种。
54.在上述技术方案的基础上，进一步地，将所述特征提取的数据发送至语种识别模
型之前，还将所述特征提取的数据发送至切换判断模型。
55.在本实施方式中，由于说话过程中会有语种切换问题，因此设置切换判断模型，用于对语种的切换进行判断。
56.在上述技术方案的基础上，进一步地，所述切换判断模型，以帧为单位判断语种是否发生了切换，得到所述音频信息语种切换次数，语种切换种类以及对应的持续时间。
57.在本实施方式中，切换判断模型以帧为单位判断语种是否发生了切换，一帧通常为25毫秒。一旦切换判断模型侦测到了切换的发生，将会发出一个信号给到语种识别模型，语种识别模型将会输出从音频开始到当前时刻的结果以及当前音频的时长，同时重置掉之前的历史以免对后续结果发生干扰。直到音频结束。
58.下面通过一个例子进行说明。
59.时长60s的音频，说话人在1
‑
20s用中文随后在20
‑
40s换成英文，之后40
‑
60s又换回中文。这段音频进入语种识别模型的情况如下：
60.首先语种识别模型需要两部分信息，一部分是音频当前帧的特征，第二部分是之前帧音频所留下的历史特征。
61.语种识别模型会持续计算，1
‑
20s切换判断模型会一直给出未切换的信号，随后在20s时语种发生变化，切换判断模型会给出一个切换信号，此时切换判断模型会重置历史特征，而只保留当前帧的特征，同时根据当前时间点给出时间戳以及结果:“1～20s：a语种”，由于语种并未最终确定所以此时只是以a语种进行记录。
62.随后在20
‑
40s同上，一直是未切换的信号。直到40s时，情况同上，输出时间戳及结果：“20～40s：b语种”，同样40
‑
60s输出时间戳及结果：“40～60s：a语种”。
63.经过切换判断模型后，音频的语种切换信息包括：“1～20s：a语种；20～40s：b语种；40～60s：a语种”，切换次数3次，语种切换种类2种。
64.s103、将所述音频数据以及靠前的n个候选语种发送至语种确定模型，得到n个候选语种的第二概率值，根据n个候选语种的第二概率值确定所述音频数据所使用的语种。
65.在上述技术方案的基础上，进一步地，将所述音频数据以及靠前的n个候选语种发送语种确定模型，得到n个候选语种的第二概率值具体为：
66.根据所述音频数据以及靠前的n个候选语种确定n个候选语种的混淆度得分；
67.根据n个候选语种的第一概率值确定神经网络分数；
68.对所述n个候选语种的混淆度得分和神经网络分数加权求和，得到所述n个候选语种的第二概率值。
69.在本实施方式中，通过计算混淆度得分和神经网络分数加权求和的到候选语种的最终概率值，即第二概率值。通过这种方式确定的语种更加准确，在后续过程中进行语音识别等操作时出现错误的可能性会大大降低。
70.在上述技术方案的基础上，进一步地，确定n个候选语种的混淆度得分具体为：
71.将所述音频数据以及靠前的n个候选语种发送至识别引擎，转写出n个候选语种的文本，根据所述n个语种的文本计算n个候选语种的混淆度得分。
72.在本实施方式中根据n个候选语种对音频进行语音文字转换，转换成n个候选语种的文本，计算这些文本的混淆度。混淆度越高说明文本的内容越不像一句话。混淆度可以通过如下方式进行：
73.首先计算句子的概率，句子的概率为p(s)，计算公式如下：
74.p(s)＝p(w1，w2，
…
，w
k
)＝p(w1)p(w2|w1)
…
p(w
k
|w1，w2，
…
w
k
‑1)
75.其中，w为一个文字或词语，w1到w
k
组成句子s，k为正整数。比如“今天早餐吃油条”，k＝4，w1是今天，w2是早餐，w3是吃，w4是油条。p(w
k
|w1，w2，
…
w
k
‑1)为在第一个词w1至k
‑
1个词w
k
‑1出现的前提下出现第k个词w
k
的条件概率。混淆度与测试集上的句子概率相关，给测试集的句子赋予较高概率值的语言模型较好，当语言模型一致的前提下，测试集中的句子越像一句话，那么它的概率就越高，混淆度就越低。此时混淆度ppl(s)的计算公式如下：
[0076][0077]
在上述技术方案的基础上，进一步地，所述神经网络分数为n个候选语种的后验概率值。
[0078]
在本实施方式中，最后通过加权求和的方式计算混淆度得分和神经网络分数，获得第二概率值，按从大到小的顺序进行排序。结合音频的语种切换信息确定音频所使用的1个或多个语种，比如例子中语种切换种类2种，则排名靠前的2种语种为音频所使用的语种。
[0079]
下面通过实施例一对基于神经网络的语种识别方法的具体流程进行说明，流程图如图2所示。
[0080]
s1011、接收用户输入的音频数据；
[0081]
s1012、对所述音频数据进行特征提取；
[0082]
s2011、将所述特征提取的数据发送至语种识别模型，得到候选语种第一概率值；
[0083]
s2012、将所述特征提取的数据发送至切换判断模型，所述切换判断模型向所述语种识别模型发送音频的语种切换信息；
[0084]
s2013、选取排名靠前的n个候选语种，其中n为自然数；
[0085]
s3011、将所述音频数据以及靠前的n个候选语种发送至识别引擎，转写出n个候选语种的文本；
[0086]
s3012、根据所述n个语种的文本计算n个候选语种的混淆度得分；
[0087]
s3013、根据n个候选语种的第一概率值确定神经网络分数；
[0088]
s3014、对所述n个候选语种的混淆度得分和神经网络分数加权求和，得到所述n个候选语种的第二概率值；
[0089]
s3015、根据n个候选语种的第二概率值确定所述音频数据所使用的语种。
[0090]
图3是本发明的一个实施例的一种基于神经网络的语种识别装置300，包括：
[0091]
特征提取模块301，用于接收用户输入的音频数据，对所述音频数据进行特征提取。
[0092]
在上述技术方案的基础上，进一步地，对所述音频数据进行特征提取具体为：对所述音频数据提取梅尔频率倒谱系数特征或梅尔滤波器组特征。
[0093]
在面试过程中很多试题需要用户通过语音进行回答或讲解，此时接收用户的音频数据，对待测音进行特征提取，提取梅尔频率倒谱系数特征或梅尔滤波器组特征，在本实施方式中还加入音调特征以增强其可分辨性。因为不同种语言的发音频率，清浊音，以及是否送气都是不相同的，因此还额外加入频率的均值方差，过零率，色度特征，韵律特征。
[0094]
语种识别模块302，用于将所述特征提取的数据发送至语种识别模型，得到候选语
种第一概率值，选取排名靠前的n个候选语种，其中n为自然数。
[0095]
在本实施方式中，将经过特征提取的数据发送至语种识别模型，语种识别模型为基于深度学习的rnn网络模型，通过使用大量的语种数据进行训练获得，输入特征提取的数据后，输出一组候选语种的概率，按从大到小的顺序进行排列，选取n个高分候选语种作为备选语种。
[0096]
在上述技术方案的基础上，进一步地，将所述特征提取的数据发送至语种识别模型之前，还将所述特征提取的数据发送至切换判断模型。
[0097]
在本实施方式中，由于说话过程中会有语种切换问题，因此设置切换判断模型，用于对语种的切换进行判断。
[0098]
在上述技术方案的基础上，进一步地，所述切换判断模型，以帧为单位判断语种是否发生了切换，得到所述音频信息语种切换次数，语种切换种类以及对应的持续时间。
[0099]
在本实施方式中，切换判断模型以帧为单位判断语种是否发生了切换，一帧通常为25毫秒。一旦切换判断模型侦测到了切换的发生，将会发出一个信号给到语种识别模型，语种识别模型将会输出从音频开始到当前时刻的结果以及当前音频的时长，同时重置掉之前的历史以免对后续结果发生干扰。直到音频结束。
[0100]
下面通过一个例子进行说明。
[0101]
时长60s的音频，说话人在1
‑
20s用中文随后在20
‑
40s换成英文，之后40
‑
60s又换回中文。这段音频进入语种识别模型的情况如下：
[0102]
首先语种识别模型需要两部分信息，一部分是音频当前帧的特征，第二部分是之前帧音频所留下的历史特征。
[0103]
语种识别模型会持续计算，1
‑
20s切换判断模型会一直给出未切换的信号，随后在20s时语种发生变化，切换判断模型会给出一个切换信号，此时切换判断模型会重置历史特征，而只保留当前帧的特征，同时根据当前时间点给出时间戳以及结果:“1～20s：a语种”，由于语种并未最终确定所以此时只是以a语种进行记录。
[0104]
随后在20
‑
40s同上，一直是未切换的信号。直到40s时，情况同上，输出时间戳及结果：“20～40s：b语种”，同样40
‑
60s输出时间戳及结果：“40～60s：a语种”。
[0105]
经过切换判断模型后，音频的语种切换信息包括：“1～20s：a语种；20～40s：b语种；40～60s：a语种”，切换次数3次，语种切换种类2种。
[0106]
语种确定模块303，用于将所述音频数据以及靠前的n个候选语种发送至语种确定模型，得到n个候选语种的第二概率值，根据n个候选语种的第二概率值确定所述音频数据所使用的语种。
[0107]
在上述技术方案的基础上，进一步地，将所述音频数据以及靠前的n个候选语种发送语种确定模型，得到n个候选语种的第二概率值具体为：
[0108]
根据所述音频数据以及靠前的n个候选语种确定n个候选语种的混淆度得分；
[0109]
根据n个候选语种的第一概率值确定神经网络分数；
[0110]
对所述n个候选语种的混淆度得分和神经网络分数加权求和，得到所述n个候选语种的第二概率值。
[0111]
在本实施方式中，通过计算混淆度得分和神经网络分数加权求和的到候选语种的最终概率值，即第二概率值。通过这种方式确定的语种更加准确，在后续过程中进行语音识
别等操作时出现错误的可能性会大大降低。
[0112]
在上述技术方案的基础上，进一步地，确定n个候选语种的混淆度得分具体为：
[0113]
将所述音频数据以及靠前的n个候选语种发送至识别引擎，转写出n个候选语种的文本，根据所述n个语种的文本计算n个候选语种的混淆度得分。
[0114]
在本实施方式中根据n个候选语种对音频进行语音文字转换，转换成n个候选语种的文本，计算这些文本的混淆度。混淆度越高说明文本的内容越不像一句话。混淆度可以通过如下方式进行：
[0115]
首先计算句子的概率，句子的概率为p(s)，计算公式如下：
[0116]
p(s)＝p(w1，w2，
…
，w
k
)＝p(w1)p(w2|w1)
…
p(w
k
|w1，w2，
…
w
k
‑1)
[0117]
其中，w为一个文字或词语，w1到w
k
组成句子s，k为正整数。比如“今天早餐吃油条”，k＝4，w1是今天，w2是早餐，w3是吃，w4是油条。p(w
k
|w1，w2，
…
w
k
‑1)为在第一个词w1至k
‑
1个词w
k
‑1出现的前提下出现第k个词w
k
的条件概率。混淆度与测试集上的句子概率相关，给测试集的句子赋予较高概率值的语言模型较好，当语言模型一致的前提下，测试集中的句子越像一句话，那么它的概率就越高，混淆度就越低。此时混淆度ppl(s)的计算公式如下：
[0118][0119]
在上述技术方案的基础上，进一步地，所述神经网络分数为n个候选语种的后验概率值。
[0120]
在本实施方式中，最后通过加权求和的方式计算混淆度得分和神经网络分数，获得第二概率值，按从大到小的顺序进行排序。结合音频的语种切换信息确定音频所使用的1个或多个语种，比如例子中语种切换种类2种，则排名靠前的2种语种为音频所使用的语种。
[0121]
图4是本发明的一个实施例的电子设备的结构示意图，该电子设备包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行基于旋转角监测的车辆智能助力推行方法。
[0122]
如图4所示，电子设备以通用计算设备的形式表现。其中处理器可以是一个，也可以是多个并且协同工作。本发明也不排除进行分布式处理，即处理器可以分散在不同的实体设备中。本发明的电子设备并不限于单一实体，也可以是多个实体设备的总和。
[0123]
所述存储器存储有计算机可执行程序，通常是机器可读的代码。所述计算机可读程序可以被所述处理器执行，以使得电子设备能够执行本发明的方法，或者方法中的至少部分步骤。
[0124]
所述存储器包括易失性存储器，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以是非易失性存储器，如只读存储单元(rom)。
[0125]
可选的，该实施例中，电子设备还包括有i/o接口，其用于电子设备与外部的设备进行数据交换。i/o接口可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0126]
应当理解，图4显示的电子设备仅仅是本发明的一个示例，本发明的电子设备中还可以包括上述示例中未示出的元件或组件。例如，有些电子设备中还包括有显示屏等显示单元，有些电子设备还包括人机交互元件，例如按扭、键盘等。只要该电子设备能够执行存
储器中的计算机可读程序以实现本发明方法或方法的至少部分步骤，均可认为是本发明所涵盖的电子设备。
[0127]
图5是本发明的一个实施例的计算机可读记录介质的示意图。如图5所示，计算机可读记录介质中存储有计算机可执行程序，所述计算机可执行程序被执行时，实现本发明上述的基于旋转角监测的车辆智能助力推行方法。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0128]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0129]
通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等，本发明也可以由包含上述系统或部件的至少一部分的车辆来实现。本发明也可以由执行本发明的方法的计算机软件来实现，例如由机车端的微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现，例如计算机程序执行的某些方法步骤可以在机车端执行，另一部分可以在移动终端或智能头盔等中执行。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是cd
‑
rom，u盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。
[0130]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者电子设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。