一种基于语音识别技术的课程教学评价实现方法与流程

技术特征：
1.一种基于语音识别技术的课程教学评价实现方法，适用于课程教学评价；其特征在于：具体包括以下步骤：步骤1：构建课程语料信息库，所述课程语料库包含该课程领域专业术语、口语；步骤2：设置用于课程教学评价用户信息库，所述的用户信息库为非该课程专业课教师信息库；步骤3：构建用于课程教学评价的语音识别模型；步骤4：课程关键字处理；所述课程关键字处理包括关键字提取；步骤5：评估课程教学效果。2.根据权利要求1所述的一种基于语音识别技术的课程教学评价实现方法，其特征在于：步骤1所述的语料信息库包括课程教学语料库。3.根据权利要求1所述的一种基于语音识别技术的课程教学评价实现方法，其特征在于：步骤2所述的课程教学评价用户信息库中设置有针对授课课教师的信息库的语音数据识别功能，所述的语音识别功能包括：对授课教师语音进行语音识别转换和对授课语音的特征提取。4.根据权利要求3所述的一种基于语音识别技术的课程教学评价实现方法，其特征在于：所述的通过语音数据对专业课授课教师进行语音识别的具体步骤包括：步骤2.1：语音数据预处理：通过倒谱均值归一化方法对语音进行降噪处理，再对降噪处理的语音数据依次预加重处理和加窗分帧处理；步骤2.2：语音数据特征处理：将步骤2.1中进行预加重处理的语音数据采用感知线性预测系数的方法进行感知线性预测分析，通过感知线性预测分析得到plp系数，求出一系列的倒谱系数作为语音特征向量序列；步骤2.3：语音模型预训练：将步骤2.2中提取的语音特征向量序列作为训练数据集，通过高通滤波器进行训练后得到初步hmm0序列集合；接下来使用步骤2.2所得到的语音特征向量序列与hmm0序列集合使用维比特算法进行强制对齐，之后生成映射数据statetosenoneidmap，接下来生成dnn训练集合的数据对featuresenoneidpairs(statetosenoneidmap，statealignment)；然后将语音特征向量序列使用dnn模型进行预训练；步骤2.4：语音模型训练：将步骤2.3中得到的hmm0序列集合和已生成的映射数据statetosenoneidmap，作为dnn
‑
hmm模型的参数进行训练，生成hmm模型序列。使用数据对featuressenoneidpairs估计先验概率prior，再使用反向传播算法进行计算得到dnn序列，通过使用dnn序列、hmm模型序列和先验概率prior输出生成概率序列序列p(x|w)；步骤2.5：语音模型识别，将课程教师授课语音序列x，使用已训练的模型p(x|w)计算生成x的生成概率，计算表达式如下：v
t
(j)＝argmax
i＝1
v
t
‑1(j)b
ij
(x
t
)；其中，v
t
(j)是通过维特比算法计算得到的，表示输出状态达到结束时候的序列；vt
‑
1表示上一次迭代的结果；(j)输入数据序列的编号；x
t
表示观察序列；b
ij
(x
t
)表示从状态s
i
到s
j
观察序列发生转移的概率；si和sj表示一个序列中不同的状态；步骤2.6：针对步骤2.5计算出的生成概率通过每个关键字选择生成概率最大的的识别结果作为已识别出的关键字记录为中文关键字序列，选择方法方法如下：
w＝argmax
w
p(x|w)；其中，w代表识别出来的关键词；p(x|w)表示生成模型的概率。5.根据权利要求4所述的一种基于语音识别技术的课程教学评价实现方法，其特征在于：步骤2.3中所述的将语音特征向量序列作为训练数据集，通过高通滤波器进行训练，训练的具体步骤如下：步骤a：使用一种混合高斯模型的混合高级随机变量对特征序列进行预训练，它的概率密度函数为：上式中，混合权重为正实数，其值的和为1：n表示随机向量x服从均值向量为μ
m
、协方差为的高斯分布；μ
m
表示均值向量μ的第m个元素；表示第m个方差元素；完整的dnn模型参数如下：λ＝{(w，b；o
m
，y
m
)，0≤m≤m}；其中，{w，b}表示dnn模型参数，o
m
表示第m个观察向量，y
m
表示第m个观察向量对应的输出向量；步骤b：设定学习率和停止准则；所述的学习率设定参考如下公式：其中，∈
s
表示每一帧的学习率，∈表示学习率，m
b
表示帧的数量；学习率表达式如下公式：其中，t是表示当前样本数量，c是一个常量；停止准则为：当∈
s
对深层网络取值为0.8e
‑4，对浅层网络取值为0.3e
‑3，在第二阶段取值为1.25e
‑2，第三阶段取值为0.8e
‑6；步骤c：初始化dnn模型参数：dnn模型中的初始化方法常采用生成随机数的方法进行初始化，dnn中使用一个取值范围在[
‑
0.05，0.05]的正态分布随机初始化权重矩阵；偏差系数b
l
一般被初始化为0；步骤d：把特征向量x(n)输入dnn网络中，通过dnn网络进行计算第1层至第l
‑
1层的激活向量，接下来判断任务类型采用不同的方法进行计算dnn的输出，使用dnn的每隔输出节点来估计连续密度hmm的某个状态的后验概率，之后将后因概率转换成似然度；步骤e：模型修正：使用权重衰减的方法进行模型修正，权重衰减的数学表达如下所示：其中，w
ij
是矩阵w中的第i行j列的值；此时训练准则表达式如下：其中，是训练集s上优化的经验损失函数；步骤f：判断是否满足步骤(b)的停止准则，当深层网络学习率满足条件，则进入下一层学习，否则，停止训练。6.根据权利要求1所述的一种基于语音识别技术的课程教学评价实现方法，其特征在
于：步骤3所述的构建用于课程教学评价的语音识别模型，具体步骤如下：步骤3.1：语音信号采集：采集内容包括课程教师讲授内容、学生课堂回答内容，以及学生跟老师交互过程产生的语音信号；步骤3.2：基于深度学习方法将教师讲课语音进行关键字识别；步骤3.3：对于步骤3.2识别的结果形成识别序列。7.根据权利要求1所述的一种基于语音识别技术的课程教学评价实现方法，其特征在于：步骤4所述的对课程关键字提取处理包括：将步骤3.3中形成的概率序列输出对应文关键词文本序列，并以分隔符为分界点进行累加统计，统计结果记为keycount。8.根据权力要球所述的一种基于语音识别技术的课程教学评价实现方法，其特征在于：步骤5所述的评估课程教学包括：步骤5.1统计课程语义库中词条数量，统计总数记作total；步骤5.2定义课程教学评估结果为课程匹配度，记作t，课程匹配度的计算方法如下：其中，t代表课程匹配度；keycount表示从语音中匹配成功的关键字的条数；total表示课程语义库中词条数量。

技术总结
本发明公开了一种基于语音识别技术的课程教学评价实现方法，适用于课程教学评价；具体包括以下步骤：（1）建立课程语音语料库；（2）设置用于课程教学评价用户信息库；（3）构建用于课程教学评价的语音识别模型；（4）课程关键字处理；（5）课程教学评估效果。本发明改变了传统的课程教学的评价方式，结合语音识别技术，用以兼顾不同高校课程评价的需求，具有理论价值和实际意义。值和实际意义。值和实际意义。


技术研发人员：杨豪 赵炳起 王冬冬 曹苏群 刘巍 夏晶晶 张虹 李凤梅 周勇 陈祥 崔志亮 丁耀祥
受保护的技术使用者：淮阴工学院
技术研发日：2021.09.13
技术公布日：2022/1/3