一种基于多模态学习的儿童外语发音纠正系统

本发明涉及语音分析，特别是一种基于多模态学习的儿童外语发音纠正系统。

背景技术：

1、随着智能语音处理、计算机辅助语言学习、语音识别及多模态感知技术的发展，面向外语学习场景的发音评测与纠正技术已从早期基于模板匹配、隐马尔可夫模型的单一声学评分模式，逐步演进到结合深度神经网络、时序建模、语音识别和视觉感知的综合分析模式。现有技术通常通过采集学习者语音信号，对发音时长、韵律节奏、频谱相似度或音段边界进行分析，并结合语音识别过程中的定位结果，并结合儿童口型视频、唇部运动轨迹等视觉信息，以提升复杂噪声环境下的检测稳定性和发音分析精度。因此，围绕儿童发音的时序骨架构建、窗口约束检测、发音段重构、音视协同分析以及语音识别辅助下的发音纠正，已经成为持续深化的重要技术方向。

2、然而，现有相关方法仍存在以下两方面不足：一方面，现有方案多侧重于整句评分、粗粒度音段匹配及语音识别后的结果比对，缺乏面向儿童局部发音波动特征的骨架约束映射与重构机制，导致在连读、错位、边界重叠及局部节奏异常情况下，难以稳定形成与标准发音相匹配的发音段序列，进而降低语音识别条件下发音分析的精细度；另一方面，现有发音纠正方法多将偏差视为孤立误差项，通常仅给出单点评分、识别偏差提示或简单纠错信息，缺少对发音偏移特征之间时序传导关系和主导偏差链的解析，因而难以生成具有针对性的参数级纠正信息，解释性与纠正有效性均受到限制。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种基于多模态学习的儿童外语发音纠正系统解决发音段重构不准和偏差归因不清问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、本发明提供了一种基于多模态学习的儿童外语发音纠正系统，其包括，骨架构建模块，采集多模态标准参考数据和儿童跟读采集数据，并进行多模态时序协同解析，构建目标发音时序骨架；窗口检测模块，基于目标发音时序骨架，对儿童跟读采集数据进行归一化映射，获取儿童跟读预计窗口序列，并执行跨模态变化检测，获取边界候选点集合；发音段重构模块，将边界候选点集合和目标发音时序骨架进行骨架约束竞争重构，生成儿童候选发音序列；对齐校准模块，基于儿童候选发音序列和目标发音时序骨架，执行骨架约束对齐校准，构建发音参数对照结构；归因纠正模块，采用主导偏差链解耦归因算法，对发音参数对照结构执行发音偏差成因分解，生成儿童外语发音纠正信息。

5、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述多模态标准参考数据包括目标文本、标准发音音频和标准口型视频；

6、所述儿童跟读采集数据包括儿童实时跟读语音和儿童口型视频。

7、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述构建目标发音时序骨架，具体步骤如下：

8、对目标文本进行发音转写，获取目标发音序列，结合标准发音音频和标准口型视频进行时序对应分析，建立音视时序对应关系；

9、将目标发音序列与音视时序对应关系进行协同关联，构建目标发音时序骨架。

10、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述基于目标发音时序骨架，对儿童跟读采集数据进行归一化映射，获取儿童跟读预计窗口序列，具体步骤如下：

11、基于目标发音时序骨架，对儿童跟读采集数据执行整体时长缩放，形成初始映射窗口序列；

12、对儿童跟读采集数据进行局部发音波动定位，形成局部波动位置序列，并依据局部波动位置序列对初始映射窗口序列执行窗口牵引校准，获取儿童跟读预计窗口序列。

13、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述获取边界候选点集合，具体步骤如下：

14、基于儿童跟读预计窗口序列，对儿童实时跟读语音进行语音变化检测，获取语音边界候选点；

15、对儿童口型视频进行口型动作变化检测，获取口型边界候选点；

16、提取语音边界候选点和口型边界候选点之间的时序对应关系，并采用音视协同边界融合算法进行协同筛选，获取边界候选点集合。

17、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述将边界候选点集合和目标发音时序骨架进行骨架约束竞争重构，生成儿童候选发音序列，具体步骤如下：

18、提取目标发音时序骨架中的目标发音顺序关系和时序关系，对边界候选点集合进行顺序锚定配对，生成候选边界对；

19、采用竞争消解算法计算区间归属优先值，并依据区间归属优先值对候选边界对进行主导区间锁定和邻接区间回吸重构，确定目标发音区间；

20、依据目标发音区间，对儿童实时跟读语音进行连续发音切分，生成儿童候选发音序列。

21、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述基于儿童候选发音序列和目标发音时序骨架，执行骨架约束对齐校准，具体步骤如下：

22、对目标发音时序骨架进行骨架定位展开，获取目标发音区间；

23、对儿童候选发音序列进行发音定位展开，获取发音定位序列；

24、对目标发音区间和发音定位序列执行落区校正和跨区校正，形成校准关联组。

25、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述发音参数对照结构是对校准关联组执行错位归整，并采用区间吸附重组算法计算区间吸附强度进行吸附重组构建的。

26、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述采用主导偏差链解耦归因算法，对发音参数对照结构执行发音偏差成因分解，具体步骤如下：

27、对发音参数对照结构进行偏差展开解析，获取发音偏移特征项；

28、将发音偏移特征项进行邻接关联分析，建立时序相邻关系，并对相邻发音偏移特征项进行传导检验，建立影响传递关系；

29、依据时序相邻关系和影响传递关系，对发音偏移特征项进行链式连接，形成偏差链候选组；

30、基于偏差链候选组，通过主导偏差链竞争筛选算法计算主导筛选值，并依据主导筛选值对偏差链候选组进行主导筛选，生成偏差链归因特征。

31、作为本发明所述基于多模态学习的儿童外语发音纠正系统的一种优选方案，其中，所述生成儿童外语发音纠正信息，具体步骤如下：

32、对偏差链归因特征执行解耦归因处理，构建偏差归因结构，并执行发音参数反投影重构，生成纠正参数组；

33、对纠正参数组执行发音修正轨迹重建，生成儿童外语发音纠正信息。

34、本发明有益效果为：通过目标发音时序骨架的约束，对连续儿童跟读语音中的边界冲突、边界重叠及局部错位进行竞争消解，生成儿童候选发音序列，再对发音参数对照结构中的发音偏移特征项进行链式归因和主导筛选，形成具有因果层级关系的偏差链并完成纠正参数重构，不仅提高了儿童发音定位与分段的准确性，还提升了语音识别条件下儿童外语发音纠正的针对性、解释性和训练有效性。