一种用于辅助训练口语的方法、系统及装置与流程

本技术属于辅助学习领域，特别涉及一种用于辅助训练口语的方法、系统及装置。

背景技术：

1、随着智能学习终端普及，居家口语自主练习得到广泛应用，可支持汉语、英语等多语种诵读训练。居家练习缺少教师现场指导，口语发音评测纠错主要依靠设备自动完成。

2、当前主流口语评测方案以专业标准音频作为唯一基准进行刚性比对，忽略学习者嗓音生理带来的个体差异，将合理范围内的轻微发音偏差判定为错误，评测容错率低，容易打击练习积极性。学生诵读时经常出现无意识重复叠读字词的现象，现有技术缺少音频预处理清洗机制，重复读音会造成语音字词对齐错位，引发整段语句识别误判。

3、同时，多数设备的发音评判数据库为静态数据库，无法结合学习者练习产生的有效样本迭代更新，难以适配不同年龄段学习者发音特点，识别精度不能随使用持续优化。部分方案依赖云端完成声学运算，必须联网才能使用，原始语音上传云端存在隐私泄露风险，还会带来网络传输时延，交互反馈卡顿。

4、居家练习环境复杂，易受环境杂音干扰，现有设备缺少降噪以及夜间练习的音频适配策略，学习者难以定位发音问题根源，只能盲目跟读；部分纠错弹窗遮挡诵读文本，打断朗读节奏，训练效率不高。

5、因此，亟需一种新的口语训练方法，提高训练效率和质量。

技术实现思路

1、本技术的目的是提供了一种用于辅助训练口语的方法、系统及装置，以解决难以对诵读的语言进行准确判断的问题。

2、本技术的技术方案是：一种用于辅助训练口语的方法，包括：

3、采集一定数量的学习者的各个语句的历史音频数据和对应的标准音频数据，分别建立历史音频数据库和标准音频数据库；建立历史音频数据库与标准音频数据库对应语句之间的关联关系；

4、采集历史音频数据库和标准音频数据库内每个语句中每个字或词发音的音调、响度和音色数据；分别统计标准语句和历史音频数据库中语句中字或词的音调、响度和音色数据；获取发音正确的字或词的音调、响度及音色数据，建立三维发音区间生成模型；

5、根据学习者指定的段落或者语句，在学习者发音完成后，采集并生成当前音频数据；段落包括若干个语句；通过发音对当前音频数据的每个字或词进行识别，获取当前音频数据每个字或词的音调、响度和音色数据，形成当前发音语句；

6、从三维发音区间生成模型中查找对应段落或者语句的发音正确的每个字或词的音调、响度及音色数据；在对应段落或者语句中，通过音调、响度和音色对正确发音语句和当前发音语句中的每个字或词分别比对，得到当前发音语句中发音不正确的字或词；

7、将发音不正确的字或词发送给学习者，当学习者再次诵读后，再次通过三维发音区间生成模型进行识别，直至对应语句全部的字或词发音正确。

8、优选地，当对应语句全部的字或词发音正确后，采集当前学习者的发音正确的音频数据，存储至历史音频数据库，并重新统计历史音频数据库中每个语句中每个字或词发音的音调、响度和音色数据；迭代获取新的发音正确的字或词的音调、响度及音色数据，更新三维发音区间生成模型。

9、优选地，采用标记的方式建立历史音频数据库与标准音频数据库对应语句之间的关联关系，先对标准音频数据库中的每个标准语句设置第一标记，而后对于历史音频数据库中的多个对应语句设置第二标记，将第一标记与第二标记进行对应关联。

10、优选地，建立三维发音区间生成模型的具体方法为：将统计的标准语句的每个字或词的音调、响度和音色数据作为标准值；而后统计历史音频数据库中每个字或词的音调、响度和音色数据，将音色数据转化为对应的声纹向量，而后将对应字或词的音调、响度以及声纹向量作为标准值进行合并，以对应标准值为基点，选择音调、响度以及声纹向量的设定比例作为正确的发音范围，得到发音正确的每个字或词的音调、响度以及声纹向量数据；整理生成正确发音语句，建立三维发音区间生成模型。

11、优选地，对每个字或词进行识别的具体方法为：对每个语句中的字或词设置独立编号，而后通过进行音调、响度和声纹向量数据判断是否出现连续相同发音，若是则再次通过发音判断该连续相同发音的后一个发音是否为下一个字或者词的正确发音，若否，则判断学习者对同一字重复诵读，进而删除重复诵读的字或词。

12、优选地，对每个字或词分别比对时，先获取正确发音语句中每个字或词的音调、响度以及声纹向量的正确的发音范围；而后获取当前发音语句中每个字或者词的音调、响度以及声纹向量数据，先判断对应的字或词的音调和响度是否处于正确发音语句中每个字或词的音调和响度的正确的发音范围内，若是，再通过声纹向量进行音色的输出范围匹配，若匹配成功，则认为该字或词发音正确。

13、优选地，通过声纹向量进行音色的输出范围匹配，为：

14、对两段音频a和b，分别提取声纹向量：

15、，；

16、其中，为编码器；对声纹向量进行l2归一化：

17、，；

18、计算归一化后的声纹向量的余弦相似度：

19、；

20、s的输出范围为，当：

21、；

22、判断属于同音色，其中为设定的音色范围阈值。

23、优选地，采集特定数量的学习者连续的发音语句后，对采集的所有语句的停顿频次、语句中音调与响度的波动范围进行统计，当语句中音调和响度的波动范围超过设定范围，且语句的停顿频次超过设定次数后，降低当前的口语训练难度等级。

24、本技术的第二种技术方案是：一种用于辅助训练口语的系统，包括：

25、音频数据库建立模块，用于采集一定数量的学习者的各个语句的历史音频数据和对应的标准音频数据，分别建立历史音频数据库和标准音频数据库；建立历史音频数据库与标准音频数据库对应语句之间的关联关系；

26、三维发音区间生成模型建立模块，用于采集历史音频数据库和标准音频数据库内每个语句中每个字或词发音的音调、响度和音色数据；分别统计标准语句和历史音频数据库中语句中字或词的音调、响度和音色数据；获取发音正确的字或词的音调、响度及音色数据，建立三维发音区间生成模型；

27、音频数据采集模块，用于根据学习者指定的段落或者语句，在学习者发音完成后，采集并生成当前音频数据；段落包括若干个语句；通过发音对当前音频数据的每个字或词进行识别，获取当前音频数据每个字或词的音调、响度和音色数据，形成当前发音语句；

28、音频数据比对模块，用于从三维发音区间生成模型中查找对应段落或者语句的发音正确的每个字或词的音调、响度及音色数据；在对应段落或者语句中，通过音调、响度和音色对正确发音语句和当前发音语句中的每个字或词分别比对，得到当前发音语句中发音不正确的字或词；

29、音频数据重复纠正模块，用于将发音不正确的字或词发送给学习者，当学习者再次诵读后，再次通过三维发音区间生成模型进行识别，直至对应语句全部的字或词发音正确。

30、优选地，还包括三维发音区间生成模型更新模块，用于当对应语句全部的字或词发音正确后，采集当前学习者的发音正确的音频数据，存储至历史音频数据库，并重新统计历史音频数据库中每个语句中每个字或词发音的音调、响度和音色数据；迭代获取新的发音正确的字或词的音调、响度及音色数据，更新三维发音区间生成模型。

31、优选地，所述音频数据库建立模块中，采用标记的方式建立历史音频数据库与标准音频数据库对应语句之间的关联关系，先对标准音频数据库中的每个标准语句设置第一标记，而后对于历史音频数据库中的多个对应语句设置第二标记。

32、本技术的第三种技术方案是：一种用于辅助训练口语的装置，包括音频感知采集层、声学特征计算处理层、口语纠错交互决策层和数据迭代存储同步层；

33、所述音频感知采集层设置有进行音频数据采集的拾音模组和多级音频降噪算法并能够进行音频数据采集，所述声学特征计算处理层配置本地的音频处理npu，所述音频处理npu能够在本地进行音频特征提取、发音区间判定和音频数据比对；所述多级音频降噪算法用于在音频采集过程中过滤环境杂音；音频感知采集层内还配置夜间练习子模式，夜间练习子模式下降低拾音增益，同时压低跟读提示音的输出音量。

34、优选地，所述口语纠错交互决策层中，除输出发音不正确的字或词之外，还输出音调、响度、音色三维维度偏差明细，并推送针对性跟读练习。

35、优选地，所述数据迭代存储同步层，用于本地持久化存储历史音频数据库、标准音频数据库和三维发音区间生成模型；所述数据迭代存储同步层内置识别数据库更新模块，达标音频入库、发音特征重算在练习间隙后台静默执行。

36、本技术的用于辅助训练口语的方法、系统及装置，通过分别基于历史音频数据库和标准音频数据库的三维发音区间生成模型，从而设置发音数据正确数据的识别范围，建立发音识别的余度；当学习者的发音落入到设定的音调、响度及音色数据内时，即可在发音不太标准的情况下实现发音是否正确的准确识别，从而有效提升发音识别的效率和质量。