语音相似度确定方法及设备、程序产品与流程

技术特征：

1.一种基于语音交互的语音相似度确定方法，其特征在于，包括：

播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；

获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；

确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。

2.根据权利要求1所述的方法，其特征在于，所述提取所述评测音频中与所述标准发音特征相对应的评测发音特征，包括：

基于语音识别模型的编码器，提取所述评测音频中与所述标准发音特征相对应的评测发音特征。

3.根据权利要求2所述的方法，其特征在于，与所述示范音频对应的标准发音特征是对多个参考发音特征进行融合得到的，每一参考发音特征是利用所述编码器对每一参考音频进行特征提取所得到的，各所述参考音频是使用所述指定语言朗读所述指定内容的音频，所述示范音频是所述参考音频中的任一个音频。

4.根据权利要求1所述的方法，其特征在于，确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度，包括：

根据所述标准发音特征和所述评测发音特征，确定时间规整函数；

根据所述时间规整函数、所述标准发音特征、所述评测发音特征，确定多个对齐点组合，其中，每一所述对齐点组合中包括所述标准发音特征中的一个标准特征点和所述评测发音特征中的一个评测特征点；

根据每个所述对齐点组合中包括的标准特征点与所述评测特征点，确定与每个所述对齐点组合对应的特征差异；

根据每个所述对齐点组合的特征差异，确定所述评测音频与所述示范音频之间的相似度。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取映射函数、与所述示范音频对应的配置信息；其中，所述配置信息用于指示评测音频的相似度与分值之间的映射关系；

根据所述映射函数、与所述示范音频对应的配置信息，将所述评测音频与所述示范音频之间的相似度映射为分值。

6.根据权利要求5所述的方法，其特征在于，所述配置信息包括最大分值、与最大分值对应的相似度、最小分值、与最小分值对应的相似度。

7.根据权利要求6所述的方法，其特征在于，与所述最大分值对应的相似度是多个参考相似度的平均值，每一所述参考相似度是每一所述参考发音特征与所述标准发音特征之间的相似度。

8.根据权利要求6所述的方法，其特征在于，与所述最小分值对应的相似度是多个白噪音相似度的平均值，每一所述白噪音相似度是每一白噪音特征与所述标准发音特征之间的相似度，每一所述白噪音特征是利用所述编码器对每一预设白噪音音频进行特征提取所得到的。

9.根据权利要求2、3、5-8任一项所述的方法，其特征在于，在所述播放示范音频之前，还包括：

响应于启动指令，向服务器发送数据请求指令；

接收所述编码器、所述示范音频、与所述示范音频对应的标准发音特征。

10.根据权利要求2、3、5-8任一项所述的方法，其特征在于，所述语音识别模型是采用语音识别数据对初始模型进行训练得到的；

用于提取发音特征的所述编码器，是利用多种语言类别的音频数据对所述语音识别模型中的编码器进行训练得到的。

11.根据权利要求2、3、5-8任一项所述的方法，其特征在于，所述编码器为三层的长短期记忆网络。

12.一种数据请求指令的处理方法，其特征在于，应用于服务器，所述方法包括：

接收数据请求指令；

根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；

其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。

13.一种语音相似度确定装置，其特征在于，包括：

获取单元，用于播放示范音频，并获取用户的评测音频；其中，所述示范音频是使用指定语言朗读指定内容的音频；

特征提取单元，用于获取与所述示范音频对应的标准发音特征，并提取所述评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音；

分析单元，用于确定所述标准发音特征与所述评测发音特征之间的特征差异，并根据所述特征差异确定所述评测音频与所述示范音频之间的相似度。

14.一种数据请求指令的处理装置，其特征在于，所述装置设置于服务器中，所述装置包括：

接收单元，用于接收数据请求指令；

发送单元，用于根据所述数据请求指令向用户终端发送基于语音识别模型的编码器、示范音频、与所述示范音频对应的标准发音特征；

其中，所述示范音频是使用指定语言朗读指定内容的音频，所述编码器用于提取评测音频中与所述标准发音特征相对应的评测发音特征，其中，所述标准发音特征用于反映所述指定内容在所述指定语言下的特异性发音。

15.一种电子设备，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并配置为由所述处理器执行以实现如权利要求1-11或12任一种所述的方法。

16.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

所述计算机程序被处理器执行以实现如权利要求1-11或12任一种所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11或12中任一项所述的方法。

技术总结
本实施例提供的语音相似度确定方法及设备、程序产品，涉及语音技术，包括播放示范音频，并获取用户的评测音频；其中，示范音频是使用指定语言朗读指定内容的音频；获取与示范音频对应的标准发音特征，并提取评测音频中与标准发音特征相对应的评测发音特征，其中，标准发音特征用于反映指定内容在指定语言下的特异性发音；确定标准发音特征与评测发音特征之间的特征差异，并根据特征差异确定评测音频与示范音频之间的相似度。本申请的方案中，能够在评测音频中提取与示范音频对应的标准发音特征相对应的评测发音特征，从而使用于实现跟读相似度分析功能的模块体量较小。

技术研发人员：夏瑞;屠明;丁辰;郑炜明
受保护的技术使用者：脸萌有限公司
技术研发日：2021.02.07
技术公布日：2021.06.11