基于人工智能的语音质检方法、装置、设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种基于人工智能的语音质检方法、装置、设备及存储介质。


背景技术：

2.为了提升服务质量，降低服务投诉率，需要对服务对话数据进行语音质检。在目前的语音质检方案中，通常是直接根据预设规则分析客户与客服之间产生的一整段音频，以判别出客服是否根据预设规则回应客户的诉求，由于客户的诉求具有一定的灵活性，导致这种质检方式的准确性低下，此外，由于难以从音频数据中提取到关键信息，导致需要对一整段音频进行分析，造成语音质检效率低下。


技术实现要素：

3.鉴于以上内容，有必要提供一种基于人工智能的语音质检方法、装置、设备及存储介质，能够提高语音质检的准确性及效率。
4.一方面，本发明提出一种基于人工智能的语音质检方法，所述基于人工智能的语音质检方法包括：
5.当接收到质检请求时，根据所述质检请求获取待质检音频，所述待质检音频中包括第一用户与第二用户的多轮对话信息；
6.根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频；
7.获取预先训练好的语音情感识别模型，所述语音情感识别模型包括语音处理网络及情感处理网络；
8.基于所述语音处理网络提取所述关键音频中的语音特征参数；
9.基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感；
10.剔除所述关键音频中所述第一用户的对话信息，得到目标音频；
11.对所述目标音频进行静音检测，得到所述第二用户的静音检测结果；
12.对所述目标音频进行语速检测，得到所述第二用户的语速检测结果；
13.根据所述目标情感、所述静音检测结果及所述语速检测结果生成质检结果。
14.根据本发明优选实施例，所述根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频包括：
15.对于任一轮对话信息进行傅里叶变换处理，得到多个变换结果；
16.根据预设特征模板对所述多个变换结果进行映射处理，得到多个音频特征；
17.计算每个音频特征与预设特征的特征相似度，并将所述特征相似度最大的音频特征确定为用户音频特征；
18.根据所述用户音频特征统计每轮对话信息中所述第一用户的语音时长作为所述音频时长；
19.将取值大于所述预设时长的音频时长所在的轮次确定为目标轮次；
20.根据所述目标轮次从所述待质检音频中提取所述关键音频。
21.根据本发明优选实施例，所述基于所述语音处理网络提取所述关键音频中的语音特征参数包括：
22.从所述语音处理网络中获取传递函数及加窗函数；
23.基于所述传递函数对所述关键音频进行预加重处理，得到第一音频；
24.对所述第一音频进行分帧处理，得到多个语音帧；
25.获取每个语音帧的帧元素，并计算所述帧元素与所述加窗函数的乘积，得到声谱图；
26.将所述声谱图输入至所述语音处理网络中的卷积特征提取层，得到所述语音特征参数。
27.根据本发明优选实施例，所述情感处理网络包括语气识别层及语义解析层，所述基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感包括：
28.基于所述语气识别层识别所述语音特征参数，得到语气信息；
29.将所述关键音频转换为文本信息，并基于所述语义解析层对所述文本信息进行解析，得到语义信息；
30.获取所述语气信息所对应的第一情感，并获取所述语义信息所对应的第二情感；
31.若所述第一情感与所述第二情感相同，则将所述第一情感或者所述第二情感确定为所述目标情感；或者
32.若所述第一情感与所述第二情感不同，获取所述语气信息所对应的语气分数及所述语义信息所对应的语义分数，对所述语气分数及所述语义分数进行加权和处理，得到情感分数，并将所述情感分数所对应的类型确定为所述目标情感。
33.根据本发明优选实施例，所述对所述目标音频进行语速检测，得到所述第二用户的语速检测结果包括：
34.从所述文本信息中提取与所述目标音频对应的信息作为目标文本；
35.统计所述目标文本的文本量，并统计所述目标音频的时长作为目标时长；
36.计算所述文本量在所述目标时长中的比值，得到所述语速检测结果。
37.根据本发明优选实施例，所述对所述目标音频进行静音检测，得到所述第二用户的静音检测结果包括：
38.从所述目标音频中获取多个目标帧；
39.从每个目标帧中提取目标语音特征；
40.将所述目标语音特征输入至预先训练好的静音分类器中，得到每个目标帧的类别结果；
41.根据所述类别结果及每个目标帧在所述目标音频中的时序信息检测所述目标音频中的语音出现帧及语音消失帧；
42.计算所述语音消失帧与所述语音出现帧之间的距离帧数；
43.计算所述距离帧数与所述多个目标帧的数量的比值，得到所述静音检测结果。
44.根据本发明优选实施例，所述根据所述目标情感、所述静音检测结果及所述语速检测结果生成质检结果包括：
45.获取所述目标情感所对应的分数区间，所述分数区间包括第一分数及第二分数，所述第一分数小于所述第二分数；
46.根据下列公式计算所述第一分数、所述静音检测结果及所述语速检测结果，得到第一质检信息：
[0047][0048]
其中，y是指所述第一质检信息，h是指所述第一分数，f是指所述静音检测结果，x是指所述语速检测结果；
[0049]
分析所述第二分数、所述静音检测结果及所述语速检测结果，得到第二质检信息；
[0050]
根据所述第一质检信息及所述第二质检信息生成所述质检结果。
[0051]
另一方面，本发明还提出一种基于人工智能的语音质检装置，所述基于人工智能的语音质检装置包括：
[0052]
获取单元，用于当接收到质检请求时，根据所述质检请求获取待质检音频，所述待质检音频中包括第一用户与第二用户的多轮对话信息；
[0053]
提取单元，用于根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频；
[0054]
所述获取单元，还用于获取预先训练好的语音情感识别模型，所述语音情感识别模型包括语音处理网络及情感处理网络；
[0055]
所述提取单元，还用于基于所述语音处理网络提取所述关键音频中的语音特征参数；
[0056]
识别单元，用于基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感；
[0057]
剔除单元，用于剔除所述关键音频中所述第一用户的对话信息，得到目标音频；
[0058]
检测单元，用于对所述目标音频进行静音检测，得到所述第二用户的静音检测结果；
[0059]
所述检测单元，还用于对所述目标音频进行语速检测，得到所述第二用户的语速检测结果；
[0060]
生成单元，用于根据所述目标情感、所述静音检测结果及所述语速检测结果生成质检结果。
[0061]
另一方面，本发明还提出一种电子设备，所述电子设备包括：
[0062]
存储器，存储计算机可读指令；及
[0063]
处理器，执行所述存储器中存储的计算机可读指令以实现所述基于人工智能的语音质检方法。
[0064]
另一方面，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被电子设备中的处理器执行以实现所述基于人工智能的语音质检方法。
[0065]
由以上技术方案可以看出，本发明通过所述音频时长与所述预设时长的比较提取所述关键音频，能够提取到所述待质检音频中的关键信息，避免对所述待质检音频中整个音频进行分析，提高质检效率，进而基于所述语音处理网络能够准确的提取到所述语音特
征参数，以提高所述情感处理网络对所述语音特征参数的识别准确性，从而能够准确的识别出所述目标音频所对应的目标情感，进一步地，通过对所述目标音频进行静音检测及语速检测，由于剔除了所述第一用户的对话信息对所述静音检测结果及所述语速检测结果的影响，因此能够提高所述静音检测结果及所述语速检测结果的准确性，通过所述目标情感、所述静音检测结果及所述语速检测结果能够从多个维度分析出所述待质检音频的质检结果，提高了所述质检结果的准确性。
附图说明
[0066]
图1是本发明基于人工智能的语音质检方法的较佳实施例的流程图。
[0067]
图2是本发明基于人工智能的语音质检装置的较佳实施例的功能模块图。
[0068]
图3是本发明实现基于人工智能的语音质检方法的较佳实施例的电子设备的结构示意图。
具体实施方式
[0069]
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
[0070]
如图1所示，是本发明基于人工智能的语音质检方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
[0071]
所述基于人工智能的语音质检方法可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0072]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0073]
所述基于人工智能的语音质检方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的计算机可读指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字信号处理器(digital signal processor，dsp)、嵌入式设备等。
[0074]
所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)、游戏机、交互式网络电视(internet protocol television，iptv)、智能穿戴式设备等。
[0075]
所述电子设备可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络电子设备、多个网络电子设备组成的电子设备组或基于云计算(cloud computing)的由大量主机或网络电子设备构成的云。
[0076]
所述电子设备所处的网络包括，但不限于：互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network，vpn)等。
[0077]
s10，当接收到质检请求时，根据所述质检请求获取待质检音频，所述待质检音频中包括第一用户与第二用户的多轮对话信息。
[0078]
在本发明的至少一个实施例中，所述质检请求可以由负责客服服务质量的监管用户触发生成，所述质检请求也可以在预设时间点触发生成。
[0079]
所述质检请求中携带有音频路径。
[0080]
所述待质检音频是指需要进行服务质量检测的音频片段。
[0081]
所述第一用户可以是客户，所述第二用户可以是客服。
[0082]
在本发明的至少一个实施例中，所述电子设备根据所述质检请求获取待质检音频包括：
[0083]
解析所述质检请求的报文，得到所述数据信息；
[0084]
从所述数据信息中提取路径信息；
[0085]
根据所述路径信息随机获取所述待质检音频。
[0086]
其中，所述路径信息中存储有多个没有进行质检的音频。
[0087]
通过所述路径信息能够快速获取到所述待质检音频。
[0088]
s11，根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频。
[0089]
在本发明的至少一个实施例中，所述音频时长是指每轮对话信息中所述第一用户的语音时长。
[0090]
所述预设时长可以根据具体业务场景用户提出诉求时的平均时长确定。
[0091]
所述关键音频中包含有所述第一用户与所述第二用户在交流过程的重点信息。
[0092]
在本发明的至少一个实施例中，所述电子设备根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频包括：
[0093]
对于任一轮对话信息进行傅里叶变换处理，得到多个变换结果；
[0094]
根据预设特征模板对所述多个变换结果进行映射处理，得到多个音频特征；
[0095]
计算每个音频特征与预设特征的特征相似度，并将所述特征相似度最大的音频特征确定为用户音频特征；
[0096]
根据所述用户音频特征统计每轮对话信息中所述第一用户的语音时长作为所述音频时长；
[0097]
将取值大于所述预设时长的音频时长所在的轮次确定为目标轮次；
[0098]
根据所述目标轮次从所述待质检音频中提取所述关键音频。
[0099]
其中，所述多个变换结果是指所述任一轮对话信息中多个音频语句经傅里叶变换处理后所得到的信息，不同用户对同一文本语句所对应的变换结果有所不同，同一用户对不同文本语句所对应的变换结果也有所不同，同一用户对不同文本语句所发出的语句音频所对应的变换结果在所述预设特征模板中属于同一数值区间。例如，用户a对于文本语句“这个我们也没有办法”所对应的变换结果为0.31，所述用户a对于文本语句“这个可以这样处理”所对应的变换结果为0.35，用户b对于文本语句“这个我们也没有办法”所对应的变换结果为0.41，所述预设特征模板包括：变换数值区间(0.30，0.35]所对应的特征为特征abc。
[0100]
所述多个音频特征包括不同用户的音色信息。
[0101]
通过对所述任一轮对话信息进行傅里叶变换处理后，基于所述预设特征模板对所
述多个变换结果进行映射，能够剔除同一用户对不同文本语句所发出的语句音频的差异带来的影响，提高所述多个音频特征的提取准确性，进而通过所述音频时长与所述预设时长的比较能够快速从所述待质检音频中提取到所述关键音频。
[0102]
s12，获取预先训练好的语音情感识别模型，所述语音情感识别模型包括语音处理网络及情感处理网络。
[0103]
在本发明的至少一个实施例中，所述语音情感识别模型可以用于识别音频所对应的情感信息。
[0104]
所述语音处理网络用于提取音频中的特征参数。
[0105]
所述情感处理网络用于从所述特征参数这一维度上分析音频情感，以及从音频这一维度上分析音频情感。
[0106]
s13，基于所述语音处理网络提取所述关键音频中的语音特征参数。
[0107]
在本发明的至少一个实施例中，所述语音特征参数是指能够用于识别出语气信息的参数信息。
[0108]
在本发明的至少一个实施例中，所述电子设备基于所述语音处理网络提取所述关键音频中的语音特征参数包括：
[0109]
从所述语音处理网络中获取传递函数及加窗函数；
[0110]
基于所述传递函数对所述关键音频进行预加重处理，得到第一音频；
[0111]
对所述第一音频进行分帧处理，得到多个语音帧；
[0112]
获取每个语音帧的帧元素，并计算所述帧元素与所述加窗函数的乘积，得到声谱图；
[0113]
将所述声谱图输入至所述语音处理网络中的卷积特征提取层，得到所述语音特征参数。
[0114]
其中，所述传递函数随着所述语音处理网络中的网络参数的不同而不同，例如，语音处理网络1中的预加重系数为0.92，则所述传递函数为语音处理网络2中的预加重系数为0.98，则所述传递函数为
[0115]
所述卷积特征提取层中包括多个卷积神经网络。
[0116]
通过所述传递函数对所述关键音频进行加重处理，能够实现对所述关键音频中的高频部分进行加重，提高了所述关键音频的高频分辨率，从而能够提高所述语音特征参数的提取准确性，通过对所述第一音频进行分帧处理，能够确保每个语音帧中信息的连续性，提高所述语音特征参数的提取效率，通过对每个语音帧进行加窗处理，能够对抽样的语音波形加以强调，进一步提高所述语音特征参数的提取准确性。
[0117]
s14，基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感。
[0118]
在本发明的至少一个实施例中，所述目标情感包括，但不限于：生气、高兴、害怕、悲伤、惊讶及中性等。
[0119]
在本发明的至少一个实施例中，所述情感处理网络包括语气识别层及语义解析层，所述电子设备基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目
标情感包括：
[0120]
基于所述语气识别层识别所述语音特征参数，得到语气信息；
[0121]
将所述关键音频转换为文本信息，并基于所述语义解析层对所述文本信息进行解析，得到语义信息；
[0122]
获取所述语气信息所对应的第一情感，并获取所述语义信息所对应的第二情感；
[0123]
若所述第一情感与所述第二情感相同，则将所述第一情感或者所述第二情感确定为所述目标情感；或者
[0124]
若所述第一情感与所述第二情感不同，获取所述语气信息所对应的语气分数及所述语义信息所对应的语义分数，对所述语气分数及所述语义分数进行加权和处理，得到情感分数，并将所述情感分数所对应的类型确定为所述目标情感。
[0125]
其中，所述语气信息用于表征所述关键音频中的语气。
[0126]
所述语义信息用于表征所述文本信息的语义。
[0127]
通过所述语气识别层识别所述语音特征参数，以及，通过所述语义解析层对所述文本信息进行解析，能够从多个维度上对所述关键音频的情感进行分析，提高所述目标情感的准确性。
[0128]
s15，剔除所述关键音频中所述第一用户的对话信息，得到目标音频。
[0129]
在本发明的至少一个实施例中，所述目标音频是指不包含有所述第一用户的对话信息的音频。
[0130]
在本发明的至少一个实施例中，所述电子设备剔除所述关键音频中所述第一用户的对话信息，得到目标音频包括：
[0131]
根据所述用户音频特征检测所述关键音频，得到所述第一用户的对话信息；
[0132]
将所述第一用户的对话信息从所述关键音频中剔除，得到所述目标音频。
[0133]
通过所述用户音频特征能够准确的检测出所述第一用户的对话信息，提高所述目标音频的准确性。
[0134]
s16，对所述目标音频进行静音检测，得到所述第二用户的静音检测结果。
[0135]
在本发明的至少一个实施例中，所述静音检测结果是指所述目标音频中静音帧的占比。
[0136]
在本发明的至少一个实施例中，所述电子设备对所述目标音频进行静音检测，得到所述第二用户的静音检测结果包括：
[0137]
从所述目标音频中获取多个目标帧；
[0138]
从每个目标帧中提取目标语音特征；
[0139]
将所述目标语音特征输入至预先训练好的静音分类器中，得到每个目标帧的类别结果；
[0140]
根据所述类别结果及每个目标帧在所述目标音频中的时序信息检测所述目标音频中的语音出现帧及语音消失帧；
[0141]
计算所述语音消失帧与所述语音出现帧之间的距离帧数；
[0142]
计算所述距离帧数与所述多个目标帧的数量的比值，得到所述静音检测结果。
[0143]
其中，所述静音分类器可以是基于vad算法构建生成的。
[0144]
所述类别结果包括目标帧为静音帧及目标帧不为静音帧。
[0145]
所述时序信息是指目标帧在所述目标音频中所处的位置序号。
[0146]
所述语音出现帧是指从静音结果向非静音结果转换的目标帧，所述语音消失帧是指从非静音结果向静音结果转换的目标帧。
[0147]
例如，所述目标音频中有5个目标帧，5个目标帧的类别结果分别为：第一个目标帧为静音帧、第二个目标帧为静音帧、第三个目标帧不为静音帧、第四个目标帧不为静音帧、第五个目标帧不为静音帧，则所述语音消失帧包括：第一帧，所述语音出现帧包括：第三帧，则所述距离帧数为2，则所述静音检测结果为静音帧在所述目标音频中的占比为0.4。
[0148]
通过所述静音分类器逐帧对所述多个目标帧进行分析，能够提高所述类别结果的准确性，进而根据所述类别结果及每个目标帧在所述目标音频中的时序信息能够准确的生成所述语音出现帧及所述语音消失帧，有利于所述静音检测结果的快速生成。
[0149]
s17，对所述目标音频进行语速检测，得到所述第二用户的语速检测结果。
[0150]
在本发明的至少一个实施例中，所述语速检测结果用于指示所述第二用户的发音速度。
[0151]
在本发明的至少一个实施例中，所述电子设备对所述目标音频进行语速检测，得到所述第二用户的语速检测结果包括：
[0152]
从所述文本信息中提取与所述目标音频对应的信息作为目标文本；
[0153]
统计所述目标文本的文本量，并统计所述目标音频的时长作为目标时长；
[0154]
计算所述文本量在所述目标时长中的比值，得到所述语速检测结果。
[0155]
通过从所述文本信息中提取所述目标文本，由于无需对所述目标音频再次进行文本转化，因此，能够提高所述目标文本的提取效率，进而提高所述语速检测结果的生成效率。
[0156]
s18，根据所述目标情感、所述静音检测结果及所述语速检测结果生成质检结果。
[0157]
在本发明的至少一个实施例中，所述质检结果是指所述待质检音频的质量检测结果。所述质检结果可以是一个数值区间。例如，所述质检结果为[0.82，0.86]。
[0158]
需要强调的是，为进一步保证上述质检结果的私密和安全性，上述质检结果还可以存储于一区块链的节点中。
[0159]
在本发明的至少一个实施例中，所述电子设备根据所述目标情感、所述静音检测结果及所述语速检测结果生成质检结果包括：
[0160]
获取所述目标情感所对应的分数区间，所述分数区间包括第一分数及第二分数，所述第一分数小于所述第二分数；
[0161]
根据下列公式计算所述第一分数、所述静音检测结果及所述语速检测结果，得到第一质检信息：
[0162][0163]
其中，y是指所述第一质检信息，h是指所述第一分数，f是指所述静音检测结果，x是指所述语速检测结果；
[0164]
分析所述第二分数、所述静音检测结果及所述语速检测结果，得到第二质检信息；
[0165]
根据所述第一质检信息及所述第二质检信息生成所述质检结果。
[0166]
通过上述实施方式，能够根据不同维度信息对所述待质检音频进行分析，能够提
高所述质检结果的准确性。
[0167]
由以上技术方案可以看出，本发明通过所述音频时长与所述预设时长的比较提取所述关键音频，能够提取到所述待质检音频中的关键信息，避免对所述待质检音频中整个音频进行分析，提高质检效率，进而基于所述语音处理网络能够准确的提取到所述语音特征参数，以提高所述情感处理网络对所述语音特征参数的识别准确性，从而能够准确的识别出所述目标音频所对应的目标情感，进一步地，通过对所述目标音频进行静音检测及语速检测，由于剔除了所述第一用户的对话信息对所述静音检测结果及所述语速检测结果的影响，因此能够提高所述静音检测结果及所述语速检测结果的准确性，通过所述目标情感、所述静音检测结果及所述语速检测结果能够从多个维度分析出所述待质检音频的质检结果，提高了所述质检结果的准确性。
[0168]
如图2所示，是本发明基于人工智能的语音质检装置的较佳实施例的功能模块图。所述基于人工智能的语音质检装置11包括获取单元110、提取单元111、识别单元112、剔除单元113、检测单元114及生成单元115。本发明所称的模块/单元是指一种能够被处理器13所获取，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
[0169]
当接收到质检请求时，获取单元110根据所述质检请求获取待质检音频，所述待质检音频中包括第一用户与第二用户的多轮对话信息。
[0170]
在本发明的至少一个实施例中，所述质检请求可以由负责客服服务质量的监管用户触发生成，所述质检请求也可以在预设时间点触发生成。
[0171]
所述质检请求中携带有音频路径。
[0172]
所述待质检音频是指需要进行服务质量检测的音频片段。
[0173]
所述第一用户可以是客户，所述第二用户可以是客服。
[0174]
在本发明的至少一个实施例中，所述获取单元110根据所述质检请求获取待质检音频包括：
[0175]
解析所述质检请求的报文，得到所述数据信息；
[0176]
从所述数据信息中提取路径信息；
[0177]
根据所述路径信息随机获取所述待质检音频。
[0178]
其中，所述路径信息中存储有多个没有进行质检的音频。
[0179]
通过所述路径信息能够快速获取到所述待质检音频。
[0180]
提取单元111根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频。
[0181]
在本发明的至少一个实施例中，所述音频时长是指每轮对话信息中所述第一用户的语音时长。
[0182]
所述预设时长可以根据具体业务场景用户提出诉求时的平均时长确定。
[0183]
所述关键音频中包含有所述第一用户与所述第二用户在交流过程的重点信息。
[0184]
在本发明的至少一个实施例中，所述提取单元111根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频包括：
[0185]
对于任一轮对话信息进行傅里叶变换处理，得到多个变换结果；
[0186]
根据预设特征模板对所述多个变换结果进行映射处理，得到多个音频特征；
[0187]
计算每个音频特征与预设特征的特征相似度，并将所述特征相似度最大的音频特征确定为用户音频特征；
[0188]
根据所述用户音频特征统计每轮对话信息中所述第一用户的语音时长作为所述音频时长；
[0189]
将取值大于所述预设时长的音频时长所在的轮次确定为目标轮次；
[0190]
根据所述目标轮次从所述待质检音频中提取所述关键音频。
[0191]
其中，所述多个变换结果是指所述任一轮对话信息中多个音频语句经傅里叶变换处理后所得到的信息，不同用户对同一文本语句所对应的变换结果有所不同，同一用户对不同文本语句所对应的变换结果也有所不同，同一用户对不同文本语句所发出的语句音频所对应的变换结果在所述预设特征模板中属于同一数值区间。例如，用户a对于文本语句“这个我们也没有办法”所对应的变换结果为0.31，所述用户a对于文本语句“这个可以这样处理”所对应的变换结果为0.35，用户b对于文本语句“这个我们也没有办法”所对应的变换结果为0.41，所述预设特征模板包括：变换数值区间(0.30，0.35]所对应的特征为特征abc。
[0192]
所述多个音频特征包括不同用户的音色信息。
[0193]
通过对所述任一轮对话信息进行傅里叶变换处理后，基于所述预设特征模板对所述多个变换结果进行映射，能够剔除同一用户对不同文本语句所发出的语句音频的差异带来的影响，提高所述多个音频特征的提取准确性，进而通过所述音频时长与所述预设时长的比较能够快速从所述待质检音频中提取到所述关键音频。
[0194]
所述获取单元110获取预先训练好的语音情感识别模型，所述语音情感识别模型包括语音处理网络及情感处理网络。
[0195]
在本发明的至少一个实施例中，所述语音情感识别模型可以用于识别音频所对应的情感信息。
[0196]
所述语音处理网络用于提取音频中的特征参数。
[0197]
所述情感处理网络用于从所述特征参数这一维度上分析音频情感，以及从音频这一维度上分析音频情感。
[0198]
所述提取单元111基于所述语音处理网络提取所述关键音频中的语音特征参数。
[0199]
在本发明的至少一个实施例中，所述语音特征参数是指能够用于识别出语气信息的参数信息。
[0200]
在本发明的至少一个实施例中，所述提取单元111基于所述语音处理网络提取所述关键音频中的语音特征参数包括：
[0201]
从所述语音处理网络中获取传递函数及加窗函数；
[0202]
基于所述传递函数对所述关键音频进行预加重处理，得到第一音频；
[0203]
对所述第一音频进行分帧处理，得到多个语音帧；
[0204]
获取每个语音帧的帧元素，并计算所述帧元素与所述加窗函数的乘积，得到声谱图；
[0205]
将所述声谱图输入至所述语音处理网络中的卷积特征提取层，得到所述语音特征参数。
[0206]
其中，所述传递函数随着所述语音处理网络中的网络参数的不同而不同，例如，语
音处理网络1中的预加重系数为0.92，则所述传递函数为语音处理网络2中的预加重系数为0.98，则所述传递函数为
[0207]
所述卷积特征提取层中包括多个卷积神经网络。
[0208]
通过所述传递函数对所述关键音频进行加重处理，能够实现对所述关键音频中的高频部分进行加重，提高了所述关键音频的高频分辨率，从而能够提高所述语音特征参数的提取准确性，通过对所述第一音频进行分帧处理，能够确保每个语音帧中信息的连续性，提高所述语音特征参数的提取效率，通过对每个语音帧进行加窗处理，能够对抽样的语音波形加以强调，进一步提高所述语音特征参数的提取准确性。
[0209]
识别单元112基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感。
[0210]
在本发明的至少一个实施例中，所述目标情感包括，但不限于：生气、高兴、害怕、悲伤、惊讶及中性等。
[0211]
在本发明的至少一个实施例中，所述情感处理网络包括语气识别层及语义解析层，所述识别单元112基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感包括：
[0212]
基于所述语气识别层识别所述语音特征参数，得到语气信息；
[0213]
将所述关键音频转换为文本信息，并基于所述语义解析层对所述文本信息进行解析，得到语义信息；
[0214]
获取所述语气信息所对应的第一情感，并获取所述语义信息所对应的第二情感；
[0215]
若所述第一情感与所述第二情感相同，则将所述第一情感或者所述第二情感确定为所述目标情感；或者
[0216]
若所述第一情感与所述第二情感不同，获取所述语气信息所对应的语气分数及所述语义信息所对应的语义分数，对所述语气分数及所述语义分数进行加权和处理，得到情感分数，并将所述情感分数所对应的类型确定为所述目标情感。
[0217]
其中，所述语气信息用于表征所述关键音频中的语气。
[0218]
所述语义信息用于表征所述文本信息的语义。
[0219]
通过所述语气识别层识别所述语音特征参数，以及，通过所述语义解析层对所述文本信息进行解析，能够从多个维度上对所述关键音频的情感进行分析，提高所述目标情感的准确性。
[0220]
剔除单元113剔除所述关键音频中所述第一用户的对话信息，得到目标音频。
[0221]
在本发明的至少一个实施例中，所述目标音频是指不包含有所述第一用户的对话信息的音频。
[0222]
在本发明的至少一个实施例中，所述剔除单元113剔除所述关键音频中所述第一用户的对话信息，得到目标音频包括：
[0223]
根据所述用户音频特征检测所述关键音频，得到所述第一用户的对话信息；
[0224]
将所述第一用户的对话信息从所述关键音频中剔除，得到所述目标音频。
[0225]
通过所述用户音频特征能够准确的检测出所述第一用户的对话信息，提高所述目
标音频的准确性。
[0226]
检测单元114对所述目标音频进行静音检测，得到所述第二用户的静音检测结果。
[0227]
在本发明的至少一个实施例中，所述静音检测结果是指所述目标音频中静音帧的占比。
[0228]
在本发明的至少一个实施例中，所述检测单元114对所述目标音频进行静音检测，得到所述第二用户的静音检测结果包括：
[0229]
从所述目标音频中获取多个目标帧；
[0230]
从每个目标帧中提取目标语音特征；
[0231]
将所述目标语音特征输入至预先训练好的静音分类器中，得到每个目标帧的类别结果；
[0232]
根据所述类别结果及每个目标帧在所述目标音频中的时序信息检测所述目标音频中的语音出现帧及语音消失帧；
[0233]
计算所述语音消失帧与所述语音出现帧之间的距离帧数；
[0234]
计算所述距离帧数与所述多个目标帧的数量的比值，得到所述静音检测结果。
[0235]
其中，所述静音分类器可以是基于vad算法构建生成的。
[0236]
所述类别结果包括目标帧为静音帧及目标帧不为静音帧。
[0237]
所述时序信息是指目标帧在所述目标音频中所处的位置序号。
[0238]
所述语音出现帧是指从静音结果向非静音结果转换的目标帧，所述语音消失帧是指从非静音结果向静音结果转换的目标帧。
[0239]
例如，所述目标音频中有5个目标帧，5个目标帧的类别结果分别为：第一个目标帧为静音帧、第二个目标帧为静音帧、第三个目标帧不为静音帧、第四个目标帧不为静音帧、第五个目标帧不为静音帧，则所述语音消失帧包括：第一帧，所述语音出现帧包括：第三帧，则所述距离帧数为2，则所述静音检测结果为静音帧在所述目标音频中的占比为0.4。
[0240]
通过所述静音分类器逐帧对所述多个目标帧进行分析，能够提高所述类别结果的准确性，进而根据所述类别结果及每个目标帧在所述目标音频中的时序信息能够准确的生成所述语音出现帧及所述语音消失帧，有利于所述静音检测结果的快速生成。
[0241]
所述检测单元114对所述目标音频进行语速检测，得到所述第二用户的语速检测结果。
[0242]
在本发明的至少一个实施例中，所述语速检测结果用于指示所述第二用户的发音速度。
[0243]
在本发明的至少一个实施例中，所述检测单元114对所述目标音频进行语速检测，得到所述第二用户的语速检测结果包括：
[0244]
从所述文本信息中提取与所述目标音频对应的信息作为目标文本；
[0245]
统计所述目标文本的文本量，并统计所述目标音频的时长作为目标时长；
[0246]
计算所述文本量在所述目标时长中的比值，得到所述语速检测结果。
[0247]
通过从所述文本信息中提取所述目标文本，由于无需对所述目标音频再次进行文本转化，因此，能够提高所述目标文本的提取效率，进而提高所述语速检测结果的生成效率。
[0248]
生成单元115根据所述目标情感、所述静音检测结果及所述语速检测结果生成质
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器13是所述电子设备1的运算核心和控制中心，利用各种接口和线路连接整个电子设备1的各个部分，及执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等。
[0264]
示例性的，所述计算机可读指令可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该计算机可读指令段用于描述所述计算机可读指令在所述电子设备1中的执行过程。例如，所述计算机可读指令可以被分割成获取单元110、提取单元111、识别单元112、剔除单元113、检测单元114及生成单元115。
[0265]
所述存储器12可用于存储所述计算机可读指令和/或模块，所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块，以及调用存储在存储器12内的数据，实现所述电子设备1的各种功能。所述存储器12可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器，例如：硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。
[0266]
所述存储器12可以是电子设备1的外部存储器和/或内部存储器。进一步地，所述存储器12可以是具有实物形式的存储器，如内存条、tf卡(trans-flash card)等等。
[0267]
所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
[0268]
其中，所述计算机可读指令包括计算机可读指令代码，所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)。
[0269]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0270]
结合图1，所述电子设备1中的所述存储器12存储计算机可读指令实现一种基于人工智能的语音质检方法，所述处理器13可执行所述计算机可读指令从而实现：
[0271]
当接收到质检请求时，根据所述质检请求获取待质检音频，所述待质检音频中包
括第一用户与第二用户的多轮对话信息；
[0272]
根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频；
[0273]
获取预先训练好的语音情感识别模型，所述语音情感识别模型包括语音处理网络及情感处理网络；
[0274]
基于所述语音处理网络提取所述关键音频中的语音特征参数；
[0275]
基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感；
[0276]
剔除所述关键音频中所述第一用户的对话信息，得到目标音频；
[0277]
对所述目标音频进行静音检测，得到所述第二用户的静音检测结果；
[0278]
对所述目标音频进行语速检测，得到所述第二用户的语速检测结果；
[0279]
根据所述目标情感、所述静音检测结果及所述语速检测结果生成质检结果。
[0280]
具体地，所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
[0281]
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0282]
所述计算机可读存储介质上存储有计算机可读指令，其中，所述计算机可读指令被处理器13执行时用以实现以下步骤：
[0283]
当接收到质检请求时，根据所述质检请求获取待质检音频，所述待质检音频中包括第一用户与第二用户的多轮对话信息；
[0284]
根据所述多轮对话信息中所述第一用户的音频时长及预设时长从所述待质检音频中提取关键音频；
[0285]
获取预先训练好的语音情感识别模型，所述语音情感识别模型包括语音处理网络及情感处理网络；
[0286]
基于所述语音处理网络提取所述关键音频中的语音特征参数；
[0287]
基于所述情感处理网络识别所述语音特征参数及所述关键音频，得到目标情感；
[0288]
剔除所述关键音频中所述第一用户的对话信息，得到目标音频；
[0289]
对所述目标音频进行静音检测，得到所述第二用户的静音检测结果；
[0290]
对所述目标音频进行语速检测，得到所述第二用户的语速检测结果；
[0291]
根据所述目标情感、所述静音检测结果及所述语速检测结果生成质检结果。
[0292]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0293]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0294]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的
含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0295]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
[0296]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。