一种基于语音识别技术的课程教学评价实现方法与流程

1.本发明涉及课程教学评价的技术领域，具体涉及一种基于语音识别技术的课程教学评价实现方法。


背景技术：

2.本发明中提出了一种基于语音识别技术的课教学评价方法，该方法在教学评价方面应用具有重要的作用和意义。在课程教学评价方法中引入语音识别技术是一次创新应用。
3.文献“申请公布号是cn110428173a的中国发明专利”公开了一种基于教学大数据的开放式实训课程评价系统与方法。该方法由开放式实训课程评价方法、学习者设备、学习者表现和教务系统组成，克服了单一课程框架下的评价方法局限性。该方法的局限性在于实现了开放式的实训课程评价，没有对非开放性课程教学方面进行评价。
4.文献“申请公布号是cn109801108a的中国发明专利”公开了一种基于区块链技术的课程评价共享方法。该方法通过在区块链中写入机构课程信息，注册后的用户通过消费虚拟币的形式解锁课程信息和课程评价信息，利用区块链技术实现课程评价的共享方法。该方法的局限性在于依据用户个人的喜好解锁课程评价内容，实现共享，没有从根本上解决教师评价的方法。
5.文献”申请公布号是cn111191928a的中国发明专利”公开了一种基于机器学习的慕课课程质量评价方法。该方法首先对慕课平台上课程特征参数进行提取，构建质量评价系统，通过质量评价系统对课程的报名参与学习人数和评价人数进行动态分析，产生课程规范之作为评价标准。该方法的局限性是针对线上课程评价，不能解决线下课程教师授课的评价。
6.文献“申请公布号是cn112561323a的中国发明专利”公开了一种基于学生评价与产出导向的课程教学质量评价系统及方法。该方法通过增加产出导向数据来调整各个教学目标的权重因子，结合各个教学目标的完成度来实现教学课程的综合评价。该方法局限性在于依赖学生评价和产出导向，不能直接对教师授课质量进行评价。


技术实现要素：

7.为了解决上述技术问题，本发明提出了一种基于语音识别技术的课程教学评价实现方法；能有效的解决上述技术问题。
8.本发明通过以下技术方案实现：
9.一种基于语音识别技术的课程教学评价实现方法，适用于课程教学评价；具体包括以下步骤：
10.步骤1：构建课程语料信息库，所述课程语料库包含该课程领域专业术语、口语；
11.步骤2：设置用于课程教学评价用户信息库，所述的用户信息库为非该课程专业课教师信息库；
12.步骤3：构建用于课程教学评价的语音识别模型；
13.步骤4：课程关键字处理；所述课程关键字处理包括关键字提取；
14.步骤5：评估课程教学效果。
15.进一步的，步骤1所述的语料信息库包括课程教学语料库。
16.进一步的，步骤2所述的课程教学评价用户信息库中设置有针对授课课教师的信息库的语音数据识别功能，所述的语音识别功能包括：对授课教师语音进行语音识别转换和对授课语音的特征提取。
17.进一步的，所述的通过语音数据对专业课授课教师进行语音识别的具体步骤包括：
18.步骤2.1：语音数据预处理：通过倒谱均值归一化方法对语音进行降噪处理，再对降噪处理的语音数据依次预加重处理和加窗分帧处理；
19.步骤2.2：语音数据特征处理：将步骤2.1中进行预加重处理的语音数据采用感知线性预测系数的方法进行感知线性预测分析，通过感知线性预测分析得到plp系数，求出一系列的倒谱系数作为语音特征向量序列；
20.步骤2.3：语音模型预训练：将步骤2.2中提取的语音特征向量序列作为训练数据集,通过高通滤波器进行训练后得到初步hmm0序列集合；接下来使用步骤2.2所得到的语音特征向量序列与hmm0序列集合使用维比特算法进行强制对齐，之后生成映射数据 statetosenoneidmap，接下来生成dnn训练集合的数据对 featuresenoneidpairs(statetosenoneidmap,statealignment)；然后将语音特征向量序列使用dnn模型进行预训练；
21.步骤2.4：语音模型训练：将步骤2.3中得到的hmm0序列集合和已生成的映射数据statetosenoneidmap，作为dnn
‑
hmm模型的参数进行训练，生成hmm模型序列。使用数据对featuressenoneidpairs 估计先验概率prior，再使用反向传播算法进行计算得到dnn序列，通过使用dnn序列、hmm模型序列和先验概率prior输出生成概率序列序列p(x|w)；
22.步骤2.5：语音模型识别，将课程教师授课语音序列x，使用已训练的模型p(x|w)计算生成x的生成概率，计算表达式如下：
23.v
t
(j)＝argmax
i＝1
v
t
‑1(j)b
ij
(x
t
)；
24.其中，v
t
(j)是通过维特比算法计算得到的，表示输出状态达到结束时候的序列；vt
‑
1表示上一次迭代的结果；(j)输入数据序列的编号；x
t
表示观察序列；b
ij
(x
t
)表示从状态s
i
到s
j
观察序列发生转移的概率；si和sj表示一个序列中不同的状态；
25.步骤2.6：针对步骤2.5计算出的生成概率通过每个关键字选择生成概率最大的的识别结果作为已识别出的关键字记录为中文关键字序列，选择方法方法如下：
26.w＝argmax
w
p(x|w)；
27.其中，w代表识别出来的关键词；p(x|w)表示生成模型的概率。
28.进一步的，步骤2.3中所述的将语音特征向量序列作为训练数据集，通过高通滤波器进行训练，训练的具体步骤如下：
29.步骤a：使用一种混合高斯模型的混合高级随机变量对特征序列进行预训练，它的概率密度函数为：
[0030][0031]
上式中，混合权重为正实数，其值的和为1：n 表示随机向量x服从均值向量为μ
m
、协方差为的高斯分布；μ
m
表示均值向量μ的第m个元素；表示第m个方差元素；完整的dnn 模型参数如下：
[0032]
λ＝{(w，b；o
m
，y
m
)，0≤m≤m}；
[0033]
其中，{w，b}表示dnn模型参数，o
m
表示第m个观察向量，y
m
表示第m个观察向量对应的输出向量；m表示输入序列不同的向量编号；
[0034]
步骤b：设定学习率和停止准则；所述的学习率设定参考如下公式：
[0035][0036]
其中，∈
s
表示每一帧的学习率，∈表示学习率，m
b
表示帧的数量；学习率表达式如下公式：
[0037][0038]
其中，t是表示当前样本数量，c是一个常量；
[0039]
停止准则为：当∈
s
对深层网络取值为0.8e
‑4，对浅层网络取值为 0.3e
‑3，在第二阶段取值为1.25e
‑2，第三阶段取值为0.8e
‑6；
[0040]
步骤c：初始化dnn模型参数：dnn模型中的初始化方法常采用生成随机数的方法进行初始化，dnn中使用一个取值范围在 [
‑
0.05，0.05]的正态分布随机初始化权重矩阵；偏差系数b
l
一般被初始化为0；
[0041]
步骤d：把特征向量x(n)输入dnn网络中，通过dnn网络进行计算第1层至第l
‑
1层的激活向量，接下来判断任务类型采用不同的方法进行计算dnn的输出，使用dnn的每隔输出节点来估计连续密度 hmm的某个状态的后验概率，之后将后因概率转换成似然度；
[0042]
步骤e：模型修正：使用权重衰减的方法进行模型修正，权重衰减的数学表达如下所示：
[0043][0044]
其中，w
ij
是矩阵w中的第i行j列的值；此时训练准则表达式如下：
[0045][0046]
其中，是训练集s上优化的经验损失函数；
[0047]
步骤f：判断是否满足步骤(b)的停止准则，当深层网络学习率满足条件，则进入下一层学习，否则，停止训练。
[0048]
进一步的，步骤3所述的构建用于课程教学评价的语音识别模型，具体步骤如下：
[0049]
步骤3.1：语音信号采集：采集内容包括课程教师讲授内容、学生课堂回答内容，以及学生跟老师交互过程产生的语音信号；
[0050]
步骤3.2：基于深度学习方法将教师讲课语音进行关键字识别；
[0051]
步骤3.3：对于步骤3.2识别的结果形成识别序列。
[0052]
进一步的，步骤4所述的对课程关键字提取处理包括：将步骤 3.3中形成的概率序列输出对应文关键词文本序列，并以分隔符为分界点进行累加统计，统计结果记为keycount。
[0053]
进一步的，步骤5所述的评估课程教学包括：
[0054]
步骤5.1：统计课程语义库中词条数量，统计总数记作total；
[0055]
步骤5.2：定义课程教学评估结果为课程匹配度，记作t，课程匹配度的计算方法如下：
[0056][0057]
其中，t代表课程匹配度；keycount表示从语音中匹配成功的关键字的条数；total表示课程语义库中词条数量。
[0058]
有益效果
[0059]
本发明提出的一种基于语音识别技术的课程教学评价实现方法，与传统的现有技术相比较，其具有以下有益效果：
[0060]
(1)本技术方案利用语音识别技术，将语音识别技术运用到课程教学的评价中；主要采用了基于深度神经网络
‑
隐马尔可夫混合模型的语音识别方法，通过隐马尔可夫模型和深度神经网络对语音信号的处理和训练，并将该技术应用于课程教学评价。
[0061]
(2)本技术方案通过dnn
‑
hmm模型对传统语音进行识别， dnn
‑
hmm模型在语音识别领域中具有重要的作用和意义。在面对语音识别问题时，研究者们会选择隐马尔可夫模型与神经网络相结合的方法融入到语音识别中去。通过神经网络并行、容错、可以硬件实现以及自我学习的特性与传统声学模型的结合，提高了语音识别的准确率。
[0062]
(3)本技术方案结合课程教学的特点和规律，以提升各大高校学生课程教育效果为目的，涵盖了高校中培养方案课程的效果评价内涵，具备在各大高等院校的推广潜力和实用性。
附图说明
[0063]
图1是本发明的处理流程图。
具体实施方式
[0064]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0065]
如图1所示，一种基于语音识别技术的课程教学评价实现方法，适用于课程教学评价；具体包括以下步骤：
[0066]
步骤1：构建课程语料信息库；语料信息库包括课程教学语料库，所述课程语料库包含该课程领域专业术语、口语。
[0067]
步骤2：设置用于课程教学评价用户信息库，所述的用户信息库为非该课程专业课教师的信息库；所述的课程教学评价用户信息库中设置有针对授课课教师的信息库的语音数据识别功能，所述的语音识别功能包括：对授课教师语音进行语音到文字的识别转换和对授课语音的特征提取。
[0068]
通过语音数据对专业课授课教师进行语音识别的具体步骤包括：
[0069]
步骤2.1：语音数据预处理：通过倒谱均值归一化方法对语音进行降噪处理，再对降噪处理的语音数据依次进行预加重处理和加窗分帧处理。
[0070]
步骤2.2：语音数据特征处理：将步骤2.1中进行预加重处理的语音数据采用感知线性预测系数的方法进行感知线性预测分析，通过感知线性预测分析得到plp系数，求出一系列的倒谱系数作为语音特征向量序列。
[0071]
步骤2.3：语音模型预训练：将步骤2.2中提取的语音特征向量序列作为训练数据集，通过高通滤波器进行训练后得到初步hmm0序列集合；接下来使用步骤2.2所得到的语音特征向量序列与hmm0序列集合使用维比特算法进行强制对齐，之后生成映射数据 statetosenoneidmap，接下来生成dnn训练集合的数据对featuresenoneidpairs(statetosenoneidmap，statealignment)；然后将语音特征向量序列使用dnn模型进行预训练。
[0072]
所述的将语音特征向量序列作为训练数据集，通过高通滤波器进行训练，训练的具体步骤如下：
[0073]
步骤a：使用一种混合高斯模型的混合高级随机变量对特征序列进行预训练，它的概率密度函数为：
[0074][0075]
上式中，混合权重为正实数，其值的和为1：n表示随机向量x服从均值向量为μ
m
、协方差为的高斯分布；μ
m
表示均值向量μ的第m个元素；表示第m个方差元素；完整的dnn模型参数如下：
[0076]
λ＝{(w，b；o
m
，y
m
)，0≤m≤m}；
[0077]
其中，{w，b}表示dnn模型参数；o
m
表示第m个观察向量；y
m
表示第m个观察向量对应的输出向量。
[0078]
步骤b：设定学习率和停止准则；所述的学习率设定参考如下公式：
[0079][0080]
其中，∈
s
表示每一帧的学习率，∈表示学习率，m
b
表示帧的数量；学习率表达式如下公式：
[0081][0082]
其中，t是表示当前样本数量，c是一个常量。
[0083]
停止准则为：当∈
s
对深层网络取值为0.8e
‑4，对浅层网络取值为 0.3e
‑3，在第二阶段取值为1.25e
‑2，第三阶段取值为0.8e
‑6。
[0084]
步骤c：初始化dnn模型参数：dnn模型中的初始化方法常采用生成随机数的方法进行初始化，dnn中使用一个取值范围在[
‑
0.05，0.05]的正态分布随机初始化权重矩阵；偏差系数b
l
一般被初始化为0。
[0085]
步骤d：把特征向量x(n)输入dnn网络中，通过dnn网络进行计算第1层至第l
‑
1层的激活向量，接下来判断任务类型采用不同的方法进行计算dnn的输出，使用dnn的每隔输出
节点来估计连续密度 hmm的某个状态的后验概率，之后将后因概率转换成似然度。
[0086]
步骤e：模型修正：使用权重衰减的方法进行模型修正，权重衰减的数学表达如下所示：
[0087][0088]
其中，w
ij
是矩阵w中的第i行j列的值；此时训练准则表达式如下：
[0089][0090]
其中，是训练集s上优化的经验损失函数；
[0091]
步骤f：判断是否满足步骤(b)的停止准则，当深层网络学习率满足条件，则进入下一层学习，否则，停止训练。
[0092]
步骤2.4：语音模型训练：将步骤2.3中得到的hmm0序列集合和已生成的映射数据statetosenoneidmap，作为dnn
‑
hmm模型的参数进行训练，生成hmm模型序列。使用数据对featuressenoneidpairs 估计先验概率prior，再使用反向传播算法进行计算得到dnn序列，通过使用dnn序列、hmm模型序列和先验概率prior输出生成概率序列序列p(x|w)。
[0093]
步骤2.5：语音模型识别，将课程教师授课语音序列x，使用已训练的模型p(x|w)计算生成x的生成概率，计算表达式如下：
[0094]
v
t
(j)＝argmax
i＝1
v
t
‑1(j)b
ij
(x
t
)；
[0095]
其中，v
t
(j)是通过维特比算法计算得到的，表示输出状态达到结束时候的序列；vt
‑
1表示上一次迭代的结果；(j)输入数据序列的编号；x
t
表示观察序列；b
ij
(x
t
)表示从状态s
i
到s
j
观察序列发生转移的概率；si和sj表示一个序列中不同的状态。
[0096]
步骤2.6：针对步骤2.5计算除的生成概率通过每个关键字选择生成概率最大的的识别结果作为已识别出的关键字记录为中文关键字序列，选择方法方法如下：
[0097]
w＝argmax
w
p(x|w)；
[0098]
其中，w代表识别出来的关键词序列；p(x|w)表示生成模型的概率。
[0099]
步骤3：构建用于课程教学评价的语音识别模型；具体步骤如下：
[0100]
步骤3.1：语音信号采集：采集内容包括课程教师讲授内容、学生课堂回答内容，以及学生跟老师交互过程产生的语音信号；
[0101]
步骤3.2：基于深度学习方法将教师讲课语音进行课程关键字识别；
[0102]
步骤3.3：对于步骤3.2识别的结果进行内容理解和量化评估。
[0103]
步骤4：对课程语音信号特征进行提取处理，所述语音信号特征提取处理包括关键字提取、关键字比对。具体步骤如下：
[0104]
将步骤3.3中形成的概率序列输出对应文关键词文本序列，并以分隔符为分界点进行统计，统计结果记为keycount。
[0105]
步骤5所述的评估课程教学包括：
[0106]
步骤5.1统计课程语义库中词条数量，统计总数记作total；
[0107]
步骤5.2定义课程教学评估结果为课程匹配度，记作t，课程匹配度的计算方法如下：
[0108][0109]
其中，t代表课程匹配度；keycount表示从语音中匹配成功的关键字的条数；total表示课程语义库中词条数量。