一种基于深度神经网络视觉识别的口语学习方法及系统

技术特征：
1.一种基于深度神经网络视觉识别的口语学习方法，其特征在于，包括以下步骤：基于口语标准教学视频构建口部发音图像数据集；对口部发音图像数据集进行变换预处理，得到预处理后的数据集；根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据，得到连贯序列；基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学习评分模型；采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得到评分结果。2.根据权利要求1所述一种基于深度神经网络视觉识别的口语学习方法，其特征在于，所述基于口语标准教学视频构建口部发音图像数据集这一步骤，其具体包括：获取口语标准教学视频；对口语标准教学视频进行分帧处理，每经过预设时间输出一帧图像，得到不同时刻的口部发音图像；对不同时刻的口部发音图像设置分类标签并构建口部发音图像数据集。3.根据权利要求2所述一种基于深度神经网络视觉识别的口语学习方法，其特征在于，所述对口部发音图像数据集进行变换预处理，得到预处理后的数据集这一步骤，其具体包括：基于srcnn算法对口部发音图像数据集的图像进行超分辨率重建处理；按照预设的规范尺寸修正口部发音图像数据集的图像尺寸；将口部发音图像数据集的图像进行rgb均值修正处理；基于图像的点运算修正像素灰度；得到预处理后的数据集。4.根据权利要求3所述一种基于深度神经网络视觉识别的口语学习方法，其特征在于，所述根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据，得到连贯序列这一步骤，其具体包括：对预处理后的数据集中的图像进行特征点识别，并记录对应的时间戳，得到口型信息和舌型信息；根据口型信息和舌型信息获取对应的空间三维坐标信息，得到三维坐标；基于时间戳，对三维坐标、数据集的签名信息进行整合排序，得到连贯序列。5.根据权利要求4所述一种基于深度神经网络视觉识别的口语学习方法，其特征在于，所述基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学习评分模型这一步骤，其具体包括：将分类标签存放在连贯序列对应的对象中；基于yolo模型将物体类别和位置统一为一个回归问题，设置前向传播函数和损失函数，得到口语学习评分模型；基于连贯序列和分类标签对yolo模型进行预测，得到预测结果；将预测结果输入到随机森林当中，并由每棵决策树进行分类预测，得到投票得分结果，结合分类标签验证，得到训练完成的口语学习评分模型。6.根据权利要求5所述一种基于深度神经网络视觉识别的口语学习方法，其特征在于，所述采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得到评分结果这
一步骤，其具体包括：基于摄像头和录音器录制用户的发音视频，得到用户发音视频；基于特征点提取用户发音视频中每帧图像的口型特征和舌型特征；将口型特征和舌型特征进行融合，得到口舌融合特征；将口舌融合特征按照用户发音视频对应的时间戳进行整合排序，得到排序后的融合特征；将排序后的融合特征输入训练完成的口语学习评分模型，对排序后的融合特征与标准发音进行相似度匹配，输出评分，得到评分结果。7.根据权利要求6所述一种基于深度神经网络视觉识别的口语学习方法，其特征在于，所述相似度匹配的计算公式如下：上式中，finfeature
stand
表示标准发音的口舌融合特征，finfeature
j
表示用户的口舌融合特征，k表示惩罚因子。8.一种基于深度神经网络视觉识别的口语学习系统，其特征在于，包括：数据集构建模块，基于口语标准教学视频构建口部发音图像数据集；预处理模块，用于对口部发音图像数据集进行变换预处理，得到预处理后的数据集；整合模块，用于根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据，得到连贯序列；训练模块，基于yolo模型构建口语学习评分模型并训练，得到训练完成的口语学习评分模型；评分模块，用于采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得到评分结果。

技术总结
本发明公开了一种基于深度神经网络视觉识别的口语学习方法及系统，该方法包括：构建口部发音图像数据集；对口部发音图像数据集进行变换预处理，得到预处理后的数据集；根据预处理后的数据集提取口型和舌型的变化信息并整合为连贯数据，得到连贯序列基于YOLO模型构建口语学习评分模型并训练，得到训练完成的口语学习评分模型；采集用户的发音视频并基于训练完成的口语学习评分模型进行评分，得到评分结果。该系统包括：数据集构建模块、预处理模块、整合模块、训练模块和评分模块。本发明能够解决汉语口语学习用户汉语发音不规范的问题。本发明作为一种基于深度神经网络视觉识别的口语学习方法及系统，可广泛应用于计算机信息处理领域。处理领域。处理领域。


技术研发人员：黄尚樱
受保护的技术使用者：广东工业大学
技术研发日：2022.03.21
技术公布日：2022/7/21