一种基于深度神经网络视觉识别的口语学习方法及系统

1.本发明涉及计算机信息处理领域，尤其涉及一种基于深度神经网络视觉识别的口语学习 方法及系统。


背景技术：

2.非汉语母语学习者通常存在口型发音纠正难，缺乏汉语教师精准化个性化指导等问题。 其中口型、舌头的发音位置是中文学习中一大难点，如平舌音、翘舌音、前后鼻音，稍有不 同便会发出另外的声音，扭曲原有想表达的意思。初学者常常难以发现自身存在的问题，需 要有较高中文水平的老师常常指点改正。但受限于时间、精力、成本，相当多中文学习者并 不具备这样的线下教学环境和条件。同时，现阶段市面上的中文学习软件应用尚且只能通过 语音识别，判断发音正确与否，并不能对口型进行矫正，严重影响学习效率。


技术实现要素：

3.本发明的目的是提供一种基于深度神经网络视觉识别的口语学习方法及系统，旨在解决 汉语口语学习用户汉语发音不规范的问题，对用户口型进行评分和纠正。
4.本发明所采用的第一技术方案是：一种基于深度神经网络视觉识别的口语学习方法，包 括以下步骤：
5.基于口语标准教学视频构建口部发音图像数据集；
6.对口部发音图像数据集进行变换预处理，得到预处理后的数据集；
7.根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据，得到连贯序列；
8.基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学习评分模型；
9.采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得到评分结果。
10.进一步，所述基于口语标准教学视频构建口部发音图像数据集这一步骤，其具体包括：
11.获取口语标准教学视频；
12.对口语标准教学视频进行分帧处理，每经过预设时间输出一帧图像，得到不同时刻的口 部发音图像；
13.对不同时刻的口部发音图像设置分类标签并构建口部发音图像数据集。
14.进一步，所述对口部发音图像数据集进行变换预处理，得到预处理后的数据集这一步骤， 其具体包括：
15.基于srcnn算法对口部发音图像数据集的图像进行超分辨率重建处理；
16.按照预设的规范尺寸修正口部发音图像数据集的图像尺寸；
17.将口部发音图像数据集的图像进行rgb均值修正处理；
18.基于图像的点运算修正像素灰度；
19.得到预处理后的数据集。
20.进一步，所述根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据，得 到连贯序列这一步骤，其具体包括：
21.对预处理后的数据集中的图像进行特征点识别，并记录对应的时间戳，得到口型信息和 舌型信息；
22.根据口型信息和舌型信息获取对应的空间三维坐标信息，得到三维坐标；
23.根据三维坐标、数据集的签名信息和时间戳进行整合排序；
24.基于时间戳，对三维坐标、数据集的签名信息进行整合排序，得到连贯序列。
25.进一步，所述基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学习 评分模型这一步骤，其具体包括：
26.将分类标签存放在连贯序列对应的对象中；
27.基于yolo模型将物体类别和位置统一为一个回归问题，设置前向传播函数和损失函数， 得到口语学习评分模型；
28.基于连贯序列和分类标签对yolo模型进行预测，得到预测结果；
29.将预测结果输入到随机森林当中，并由每棵决策树进行分类预测，得到投票得分结果， 结合分类标签验证，得到训练完成的口语学习评分模型。
30.进一步，所述采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得到 评分结果这一步骤，其具体包括：
31.基于摄像头和录音器录制用户的发音视频，得到用户发音视频；
32.基于特征点提取用户发音视频中每帧图像的口型特征和舌型特征；
33.将口型特征和舌型特征进行融合，得到口舌融合特征；
34.将口舌融合特征按照用户发音视频对应的时间戳进行整合排序，得到排序后的融合特征；
35.将排序后的融合特征输入训练完成的口语学习评分模型，对排序后的融合特征与标准发 音进行相似度匹配，输出评分，得到评分结果。
36.进一步，所述相似度匹配的计算公式如下：
[0037][0038]
上式中，finfeature
stand
表示标准发音的口舌融合特征，finfeaturej表示用户的口舌融 合特征，k表示惩罚因子。
[0039]
本发明所采用的第二技术方案是：一种基于深度神经网络视觉识别的口语学习系统，包 括：
[0040]
数据集构建模块，基于口语标准教学视频构建口部发音图像数据集；
[0041]
预处理模块，用于对口部发音图像数据集进行变换预处理，得到预处理后的数据集；
[0042]
整合模块，用于根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据， 得到连贯序列；
[0043]
训练模块，基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学
习评 分模型；
[0044]
评分模块，用于采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得 到评分结果。
[0045]
本发明方法及系统的有益效果是：本发明通过构建的口型学习评分模型能够准确地捕捉 到用户嘴形运动特性和唇舌开合幅度及其变化情况，并能准确地重完成用户口型评分和发音 纠正任务。
附图说明
[0046]
图1是本发明一种基于深度神经网络视觉识别的口语学习方法的步骤流程图；
[0047]
图2是本发明一种基于深度神经网络视觉识别的口语学习系统的结构框图；图3是本发明具体实施例人脸特征点示意图。
具体实施方式
[0048]
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编 号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的 执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0049]
如图1所示，本发明提供了一种基于深度神经网络视觉识别的口语学习方法，该方法包 括以下步骤：
[0050]
s1、基于口语标准教学视频构建口部发音图像数据集；
[0051]
s1.1、获取口语标准教学视频；
[0052]
s1.2、对口语标准教学视频进行分帧处理，每经过预设时间输出一帧图像，得到不同时 刻的口部发音图像；
[0053]
s1.3、对不同时刻的口部发音图像设置分类标签并构建口部发音图像数据集。
[0054]
具体地，将输入的视频流按时间序列进行分帧处理，每间隔10帧截取一帧，将视频流转 化为定态图片的形式，按照分帧后的图像分割归总为多个标签类别，得出多分类标签，构建 标准口型样本集s。
[0055]
s2、对口部发音图像数据集进行变换预处理，得到预处理后的数据集；
[0056]
s2.1、基于srcnn算法对口部发音图像数据集的图像进行超分辨率重建处理；
[0057]
s2.2、按照预设的规范尺寸修正口部发音图像数据集的图像尺寸；
[0058]
s2.3、将口部发音图像数据集的图像进行rgb均值修正处理；
[0059]
s2.4、基于图像的点运算修正像素灰度；
[0060]
s2.5、得到预处理后的数据集。
[0061]
具体地，所述的超分辨率处理使图像清晰度更高，以此让用户口型特征提取更明显；所 述的修改尺寸操作包括裁剪图像尺寸与转换图像大小：此处使用零像素点让图像变成s*s形 状，避免来回allocate显存，加快后续模型运算速度；转换图像大小则根据最大池化的方式来 将图像转化为256x256大小；所述的rgb均值修正根据视频流每帧图像的r、g、b三原色 通道中的平均灰度值，将图像的灰度值从[0,255]区间修改为[-127,128]区间；所述的像素归一 化将所述图像乘以系数1/255，将图像的灰度区间从[-127,128]映射为[-1,1]。经过上述数据预 处理环节的图像张量将作为口型特征提取环节的输入。
[0062]
s3、根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据，得到连贯序 列；
[0063]
s3.1、对预处理后的数据集中的图像进行特征点识别，并记录对应的时间戳，得到口型 信息和舌型信息；
[0064]
s3.2、根据口型信息和舌型信息获取对应的空间三维坐标信息，得到三维坐标；
[0065]
s3.3、根据三维坐标、数据集的签名信息和时间戳进行整合排序；
[0066]
s3.4、基于时间戳，对三维坐标、数据集的签名信息进行整合排序，得到连贯序列。
[0067]
具体地，主要按照唇形轮廓三维坐标以及数据集的签名信息和时间戳进行整合排序以及 根据时间序列变化进行对口型特征点和舌型特征点提取并整合为连贯数据，得到口型信息和 舌型信息，并记录对应的时间戳。首先口型关键提取环节从唇形和舌型发音部位处，每帧图 像中提取出具有最大置信度的20个口型关键点的三维坐标，将口型信息和舌型信息转换为对 应空间的三维坐标信息，得到对应三维坐标；采用了一个基于热图的生成式姿态估计神经网 络。所述姿态估计神经网络以带有残差连接模块的深层特征融合模型为特征提取器，将输出 层特征修改为尺寸为64的66通道热图，其中1通道热图包括了图像中人体位置的置信度， 20通道包括了该人体对应的关键口型点置信度，36通道包括了关键口型点在摄像机平面中的 二维信息，36通道包括了口型点位置因降采样而导致的偏移。对上述66通道进行非极大值 抑制处理，再选出上述人体位置置信度最大位置的关键口型点信息，即可得到一组三维关键 口型点数据。同理可得舌型点数据。
[0068]
s4、基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学习评分模型；
[0069]
s4.1、将分类标签存放在连贯序列对应的对象中；
[0070]
s4.2、基于yolo模型将物体类别和位置统一为一个回归问题，设置前向传播函数和损 失函数，得到口语学习评分模型；
[0071]
s4.3、基于连贯序列和分类标签对yolo模型进行预测，得到预测结果；
[0072]
s4.4、将预测结果输入到随机森林当中，并由每棵决策树进行分类预测，得到投票得分 结果，结合分类标签验证，得到训练完成的口语学习评分模型。
[0073]
具体地，通过人工标注之后数据之后输出样本的预测结果(得到预测概率分布，预测概率 分布包括用户在嘴唇全闭合，全闭合且唇内卷，微张平缓，微张且翘，平缓半张，o型半张， 半张且翘，平缓半张，o型张开，全张开共10个标签一一对应下的概率)；根据样本真实类 别标签和模型预测结果计算相应的损失函数值(该损失函数值为预测概率分布与真实概率分 布之间的差异度)；然后模型在梯度下降下，反向传播算法优化中的参数，完成的训练，得到 训练好的深度神经网络模型，之后通过图像的识别完成初步评分模型。
[0074]
多分类预测的类别损失函数的计算公式如下：
[0075][0076]
上式中，m表示分类标签的数量，符号函数取值0或者1，如果样本i的真实类别等于c 取1，否则取0，p
ic
表示口型样本数据为c的真实概率。
[0077]
s5、采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得到评分结果。
[0078]
s5.1、基于摄像头和录音器录制用户的发音视频，得到用户发音视频；
[0079]
s5.2、基于特征点提取用户发音视频中每帧图像的口型特征和舌型特征；
[0080]
s5.3、将口型特征和舌型特征进行融合，得到口舌融合特征；
[0081]
s5.4、将口舌融合特征按照用户发音视频对应的时间戳进行整合排序，得到排序后的融 合特征；
[0082]
s5.5、将排序后的融合特征输入训练完成的口语学习评分模型，对排序后的融合特征与 标准发音进行相似度匹配，输出评分，得到评分结果。
[0083]
具体地，对于视频画面中用户的唇形轮廓及舌头使用dlib库建立特征点，通过计算并记 录视频流中特征点之间相对位置变化时的信息，即可初步完成对口型和舌型变化的信息提取； 再将这些信息传入具有记忆力的神经网络(lstm)，通过神经网络正向传播来提取口型和 舌型的时序特征信息，并对网络最后的输出基于训练完成的口语学习评分模型进行处理后分 类，即可完成口型和舌型的识别操作。
[0084]
另外，还包括根据比对信息判断用户整体动作的快慢程度和幅度，具体为判断从开始发 音到结束发音的间隔时间戳小于第一预设阈值，判定用户的语速为快速；在连续的两个时间 戳内，倘若关键点位移坐标大于第二预设阈值，判定该用户的张合程度过大。将用户的口形 张合幅度、张合顺序、唇部张合角度、舌型位置信息按时间戳与系统内标准指标进行对比， 比对后进行加权平均，最后将所得偏差值作为标准差异度判定，用标准分数减去差异度作为 基于原始的加工评分。
[0085]
特征提取公式如下：
[0086]
feature＝sortmax(lstm([dlib(x0)，dlib(x1)，...，dlib(xi)]
t
))
[0087]
上式中，xi表示第i帧画面，dlib(
·
)表示建立特征点，lstm(
·
)表示时序特征信息提取， sortmax表示归一化操作，feature表示提取到的特征。
[0088]
特征融合公式如下：
[0089]
finfeature＝α*feature
mouth
(1-α)*feature
tongue
[0090]
上式中，α∈[0，1]表示权重因子，其值越大时表示口型特征更重要，反之则为舌型特征。
[0091]
相似度匹配公式如下：
[0092][0093]
上式中，finfeature
stand
表示标准发音的口舌融合特征，finfeaturej表示用户的口舌融 合特征，k表示惩罚因子。
[0094]
如图2所示，一种基于深度神经网络视觉识别的口语学习系统，包括：
[0095]
数据集构建模块，基于口语标准教学视频构建口部发音图像数据集；
[0096]
预处理模块，用于对口部发音图像数据集进行变换预处理，得到预处理后的数据集；
[0097]
整合模块，用于根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据， 得到连贯序列；
[0098]
训练模块，基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学习评 分模型；
[0099]
评分模块，用于采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得 到评分结果。
[0100]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与 上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0101]
一种基于深度神经网络视觉识别的口语学习装置：
[0102]
至少一个处理器；
[0103]
至少一个存储器，用于存储至少一个程序；
[0104]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所 述一种基于深度神经网络视觉识别的口语学习方法。
[0105]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与 上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
[0106]
一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指 令在由处理器执行时用于实现如上所述一种基于深度神经网络视觉识别的口语学习方法。
[0107]
上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现 的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也 相同。
[0108]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉 本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等 同的变形或替换均包含在本技术权利要求所限定的范围内。