一种便携式实时反馈语言学习系统的制作方法

1.本发明涉及语言学习技术领域，具体为一种便携式实时反馈语言学习系统。


背景技术：

2.随着全球各个国家合作程度不断加深，由于语言不通而影响交流一直是一个难题。当前语言学习大多依赖从事语言工作职业的教师授课完成，自主学习方法较少且有很多局限性，如果没有相关专业人员的指导，语言学习极易发生错误。
3.目前智能学习软件学习口语发音纠错方式单一且不能依据不同语言学习需求的用户智能学习，因此针对现有语言学习方法及应用的不足，提出了一种便携式实时反馈语音学习系统。


技术实现要素：

4.本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于现有语言学习系统中存在的问题，提出了本发明。
6.因此，本发明的目的是提供一种便携式实时反馈语言学习系统，能够在方便携带的使用的情况下实现语言学习功能，能够及时反馈用户所需改进的发音部分并提供正确发音教学。
7.为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：
8.一种便携式实时反馈语言学习系统，其包括显示模块、通信模块、控制模块、语音库模块、语言传输模块；
9.所述显示模块：用于实现用户与本系统信息交互，所述交互信息包括学习语言选择目标学习语句，学习阶段选择，语言分析报告；
10.所示显示模块，通过usb接口或蓝牙连接方式与显示设备连接(包括工业显示屏、手机、ipad、电脑等)，配合相应app即可实现人机信息交互；
11.所述控制模块：用于接收显示模块输入的需求，并将语言传输模块输入的数字量信号通过滑窗离散傅里叶变换方法将音强音色音高输出波形并与语料库波形进行对比，并设置有usb接口，实现与上位机进行传输；
12.所述语言传输模块：包括语音播报模块，语言转化模块、麦克风模块，麦克风模块用于采集语音信号，语音转换模块将采集到的语音信号进行a/d转换为数字信号送至控制器模块中，语音播报模块用于播放目标语句的正确发音；
13.所述语音库模块包括多国语言库及各个语句的音高音强音色等标准发音，以及单词的发音技巧及举例解析；
14.步骤1、用户选择学习语言、目标学习阶段以及相关语句；
15.步骤2、在语音信息库中进行匹配目标语句，并通过控制模块语音识别模块输出至语音播报模块，进行示范教学；
16.步骤3、采集用户发音内容，将用户发音内容通过语言识别模块以数字量信号输入至控制模块，；
17.步骤4、在控制模块中利用滑窗离散傅里叶变换方法将其语音学习发音内容按照音高、音色、音强进行谐波提取分析；
18.步骤5、将提取到的用户音高、音色、音强与信息库标准发音进行对比，基与残差理论分别将音长、音高、音强进行输出；
19.步骤6、基于s5部分残差生成报告，各部分发音指标与当前学习阶段设置残差阈值进行对比，将残差超出设置阈值部分定义为发音不规范部分在显示模块中显示；
20.步骤7、将发音不规范部分在标准语音库中标准音频、发音方法以及示例教学在显示模块及语音播报模块传递给用户。
21.所述s4步骤还包括：
22.一种便携式反馈式语言学习系统，将采集到的语音信号经过语音识别处理后，转换为数字信号传输至控制器，采用滑窗离散傅里叶变换方法，进行谐波提取分析，在显示模块中实时显示语音信号波形(即对应的音强，音长，音高)。
23.所述s4步骤还包括：
24.利用滑窗离散傅里叶变换算法对频率波动的敏感性，将采集到的语音信号进行离散化处理分为n个信号片段，然后通过加滑窗处理，取出信号片段进行傅里叶变换，以观察该片段内信号的频率分量，实现对谐波信号的幅值和相位信息重建。
25.所述s4步骤还包括：
26.对于任意周期性函数都可以用正弦、余弦函数构成的无穷级数来表示，即：
[0027][0028]
根据欧拉公式可化为：
[0029][0030]
其中，c0为恒定的直流常量；ω1代表周期函数基频的角频率；代表各次谐波的初相位；m
n
代表各级三角函数的幅值，n≥2为各次谐波幅值，n＝1时为基波幅值；a
n
代表n次谐波的余弦系数；b
n
代表n次谐波的正弦系数。
[0031]
根据三角函数的奇偶性，等式可等效为：
[0032][0033]
根据傅里叶变换的定义，上式为傅里叶级数展开的复指数形式。作为傅里叶级数
的升级，傅里叶变换因为能够实现信号在时域和频域的转换，能够通过时频转换对信号进行的分解，将连续的周期分量转化为频域内离散的频谱分量。在数学上，对于满足u(t)∈l2(r)的连续时间信号u(t)，其连续傅里叶变换可以定义为：
[0034][0035]
x(ω)的傅里叶逆变换为：
[0036][0037]
在实际应用语音校正系统信号分析时，根据傅里叶级数原理，对任意有限带宽的周期性语音信号u(t)，设其周期为t，频带带宽从基波角频率ω到n
max
ω，其傅里叶变换表达式为：
[0038][0039]
根据n次谐波的正弦系数an和余弦系数bn可以得到该次谐波信号的幅值mn和初相角信息：
[0040][0041][0042]
根据傅里叶变换的表达式可知，通过傅里叶变换即可实现对语音谐波信号的频谱分析。在实际采用傅里叶级数方法是，大多需要经过数字处理方法实现，即离散傅里叶变换。对于离散傅里叶变换，它在时域、频域上的自变量都是离散的。对于经过采样、a/d转换处理成离散时域信号的有限长语音信号u(n)，按照n个采样数据为一组，构成一个采样时间窗，进行离散傅里叶变换，即：
[0043][0044]
所述s4步骤还包括：
[0045]
离散傅里叶变换的作用实际上是将有限长序列在频域内离散化；
[0046]
对于语音校正系统谐波信号u(t)，周期为t，根据式对应的其离散傅里叶变换表达式为：
[0047][0048][0049]
式中k＝0,1,2,...,n
‑
1；
[0050]
所述s4步骤还包括：
[0051]
针对语音校正系统实时性高的要求，采用滑窗离散傅里叶变换算法；
[0052]
对n个采样数据构成的采样时间窗进行迭代更新，加入新的实时采样数据代替原有部分对语音谐波信号进行分析检测。
[0053]
根据式,其对应的滑窗傅里叶的提取n次语音信号谐波分量可表示为：
[0054][0055]
式中，n
new
代表最新采样点，u
n
(kτ)代表第k时刻采样数据。a
n
代表n次谐波余弦系数，b
n
代表n次谐波的正弦系数。
[0056]
则正弦因子，余弦因子可写为如下形式：
[0057][0058][0059]
在一个周期内，每进行一次数据更新，需要把得出的新迭代值重新放在旧迭代值的存储空间内，在分析谐波过程中对实时性要求较高的场合具有强实用性。因此应用与本设备进行实时语音监测校正。
[0060]
所述s5步骤还包括：
[0061]
用户实际发音与语音库谐波对比部分；
[0062]
基于残差理论对用户发音的每个单词的音高音色音强与标准语音库进行对比，所述残差序列表达式：
[0063]
其中，为用户的实际输出；y为标准语音库的输出。
[0064]
残差序列均方和：
[0065][0066]
其中n为样本的数量。
[0067]
根据残差值的大小是否超出目标学习设定阈值判别发音是否需要继续学习阈值检测的判别式为：
[0068][0069]
其中ε0为检测阈值，是判别系统是否发生故障的决定性因素，残差值超过阈值，则
需要继续学习。
[0070]
所述s1步骤还包括：
[0071]
用户根据自身学习情况输入目标学习语言、学习阶段，系统对应不同学习阶段设置不同的容错阈值，即对于口语水平要求低的用户其容错阈值较大；
[0072]
所述s2步骤还包括：
[0073]
所述语言库包括各国标准发音以及各个地区方言，用户可根据不同需求选择其目标学习语言。
[0074]
与现有技术相比，本发明的有益效果是：将采集到的语音信号经过语音识别处理后，转换为数字信号传输至控制器，采用滑窗离散傅里叶变换方法进行谐波提取分析，将语音信号波形(即对应的音强，音长，音高)实时显示，并基于残差理论将语言库中对应语句波形进行对比，判断其发音是否正确。本设备携带方便，能够满足非母语学习者及发音不标准用户根据其需求解决语言发音问题。
附图说明
[0075]
为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0076]
图1是本发明实施实例提供的一种便携式自反馈语言学习系统结构框图；
[0077]
图2是本发明实施实例提供的一种便携式自反馈语言学习系统三维原理图；
[0078]
图3是本发明实施实例提供的一种便携式自反馈语言学习系统流程图；
[0079]
图4是本发明实施实例提供的一种便携式自反馈语言学习系统时域信号数字处理流程图；
[0080]
图5是本发明实施实例提供的一种便携式自反馈语言学习系统滑窗离散傅里叶变换数据迭代过程示意图。
具体实施方式
[0081]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
[0082]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。
[0083]
其次，本发明结合示意图进行详细描述，在详述本发明实施方式时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0084]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
[0085]
实施例1
[0086]
本发明的结构原理图如图1所示，结构特征包括显示模块、控制模块、语音库模块、
语言传输模块。下面对各个模块分别进行描述；
[0087]
所述显示模块：用于实现用户与本系统信息交互，所述交互信息包括学习语言选择目标学习语句，学习阶段选择，语言分析报告；
[0088]
所示显示模块，通过usb接口或蓝牙连接方式与显示设备连接(包括工业显示屏、手机、ipad、电脑等)，配合相应app即可实现人机信息交互；
[0089]
所述控制模块：用于接收显示模块输入的需求，并将语言传输模块输入的数字量信号通过滑窗离散傅里叶变换方法将音强音色音高输出波形并与语料库波形进行对比，并设置有usb接口，实现与上位机进行传输；
[0090]
所述语言传输模块：包括语音播报模块，语言转化模块、麦克风模块，麦克风模块用于采集语音信号，语音转换模块将采集到的语音信号进行a/d转换为数字信号送至控制器模块中，语音播报模块用于播放目标语句的正确发音；
[0091]
所述语音库模块包括多国语言库及各个语句的音高音强音色等标准发音，以及单词的发音技巧及举例解析；
[0092]
图3是实施实例提供的一种便携式自反馈语言学习系统流程图，其实施流程共分为7步，包括：
[0093]
step1、用户选择学习语言、目标学习阶段以及相关语句；
[0094]
用户根据自身学习情况输入目标学习语言、学习阶段，系统对应不同学习阶段设置不同的容错阈值，即对于口语水平要求低的用户其容错阈值较大；
[0095]
step2、在语音信息库中进行匹配目标语句，并通过控制模块语音识别模块输出至语音播报模块，进行示范教学；
[0096]
step3、采集用户发音内容，语音转换模块将采集到的语音信号进行a/d转换为数字信号送至控制器模块中，其转换过程时域信号数字处理流程如图3所示；
[0097]
step4、利用滑窗离散傅里叶变换方法将其语音学习发音内容按照音高、音色、音强进行谐波提取分析；
[0098]
图4是实施实例提供的一种便携式自反馈语言学习系统滑窗离散傅里叶变换数据迭代过程示意
[0099]
对于任意周期性函数都可以用正弦、余弦函数构成的无穷级数来表示，即：
[0100][0101]
根据欧拉公式可化为：
[0102][0103]
其中，c0为恒定的直流常量；ω1代表周期函数基频的角频率；代表各次谐波的初相位；m
n
代表各级三角函数的幅值，n≥2为各次谐波幅值，n＝1时为基波幅值；a
n
代表n次
谐波的余弦系数；b
n
代表n次谐波的正弦系数。根据三角函数的奇偶性，等式可等效为：
[0104][0105]
根据傅里叶变换的定义，上式为傅里叶级数展开的复指数形式。作为傅里叶级数的升级，傅里叶变换因为能够实现信号在时域和频域的转换，能够通过时频转换对信号进行的分解，将连续的周期分量转化为频域内离散的频谱分量。在数学上，对于满足u(t)∈l2(r)的连续时间信号u(t)，其连续傅里叶变换可以定义为：
[0106][0107]
x(ω)的傅里叶逆变换为：
[0108][0109]
在实际应用语音校正系统信号分析时，根据傅里叶级数原理，对任意有限带宽的周期性语音信号u(t)，设其周期为t，频带带宽从基波角频率ω到n
max
ω，其傅里叶变换表达式为：
[0110][0111]
根据n次谐波的正弦系数an和余弦系数bn可以得到该次谐波信号的幅值mn和初相角信息：
[0112][0113][0114]
根据傅里叶变换的表达式可知，通过傅里叶变换即可实现对语音谐波信号的频谱分析。在实际采用傅里叶级数方法是，大多需要经过数字处理方法实现，即离散傅里叶变换。对于离散傅里叶变换，它在时域、频域上的自变量都是离散的。对于经过采样、a/d转换处理成离散时域信号的有限长语音信号u(n)，按照n个采样数据为一组，构成一个采样时间窗，进行离散傅里叶变换，即：
[0115][0116]
所述s4步骤还包括：
[0117]
离散傅里叶变换的作用实际上是将有限长序列在频域内离散化；
[0118]
对于语音校正系统谐波信号u(t)，周期为t，对应的其离散傅里叶变换表达式为：
[0119][0120]
[0121]
其中k＝0,1,2,...,n
‑
1；
[0122]
所述s4步骤还包括：
[0123]
针对语音校正系统实时性高的要求，采用滑窗离散傅里叶变换算法；
[0124]
对n个采样数据构成的采样时间窗进行迭代更新，加入新的实时采样数据代替原有部分对语音谐波信号进行分析检测。
[0125]
根据式,其对应的滑窗傅里叶的提取n次语音信号谐波分量可表示为：
[0126][0127]
式中，n
new
代表最新采样点，u
n
(kτ)代表第k时刻采样数据。a
n
代表n次谐波余弦系数，b
n
代表n次谐波的正弦系数。对应n次谐波信息与式相同。
[0128]
则正弦因子，余弦因子可写为如下形式：
[0129][0130][0131]
在一个周期内，每进行一次数据更新，需要把得出的新迭代值重新放在旧迭代值的存储空间内，在分析谐波过程中对实时性要求较高的场合具有强实用性。因此应用与本设备进行实时语音监测校正。
[0132]
如图1所示step5、将提取到的用户音高、音色、音强与信息库标准发音进行对比，基与残差理论分别将音长、音高、音强进行输出；
[0133]
基于残差理论对用户发音的每个单词的音高音色音强与标准语音库进行对比，所述残差序列表达式：
[0134][0135]
其中，为用户的实际输出；y为标准语音库的输出。
[0136]
残差序列均方和：
[0137][0138]
其中n为样本的数量。
[0139]
step6、基于s5部分残差生成报告，各部分发音指标与当前学习阶段设置残差阈值
进行对比，将残差超出设置阈值部分定义为发音不规范部分在显示模块中显示；
[0140]
根据残差值的大小是否超出目标学习设定阈值判别发音是否需要继续学习阈值检测的判别式为：
[0141][0142]
其中ε0为检测阈值，是判别系统是否发生故障的决定性因素，残差值超过阈值，则需要继续学习。
[0143]
step7、将发音不规范部分在标准语音库中标准音频、发音方法以及示例教学在显示模块及语音播报模块传递给用户。
[0144]
虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。