一种基于语音识别的言语功能自动评估系统和方法与流程

技术特征：
1.一种基于语音识别的言语功能自动评估系统，包括语音端点检测模块、语音识别模块和评估模块，所述语音识别模块分别与所述语音端点检测模块和所述评估模块具有通信连接，其中：所述语音端点检测模块被配置为从连续语音流中检测出语音信号的起点和终点，以提取待评估的语音段；所述语音识别模块被配置为基于经训练的声学模型，对待评估语音段进行特征提取，并输入至深度神经网络模型，以识别出对应的词序列；所述评估模块被配置针对所识别出的词序列，结合呼吸功能的评价指标、发声功能的评价指标和构音功能的评价指标来评估言语功能。2.根据权利要求1所述的基于语音识别的言语功能自动评估系统，其特征在于，所述语音识别模块包括前端处理单元、声学模型、语言模型、发音字典和解码器，所述解码器分别与所述前端处理单元、语言模型、声学模型、发音字典具有通信连接，其中：所述前端处理单元用于提取语音信号的声学特征，所述声学模型用于获得给定音素状态条件下的观察概率，所述解码器用于基于声学模型输出的音素观察概率，在所述发音词典和所述语言模型的知识源组成的搜索空间中，获得语音信号对应的词序列。3.根据权利要求1所述的基于语音识别的言语功能自动评估系统，其特征在于，输入至所述声学模型的语音特征是：将语音信号按25ms帧长和10ms帧移分帧后提取13维的感知线性预测特征和3维的基频特征；将提取13维的感知线性预测特征和3维的基频特征进行拼接，获得16维的特征，对该16维特征进行倒谱均值规整、线性判别分析、最大似然线性变换、受限最大似然回归，得到40维的特征；使用连续11帧拼接的440维特征作为所述声学模型的输入的语音特征。4.根据权利要求1所述的基于语音识别的言语功能自动评估系统，其特征在于，所述声学模型是深度神经网络-隐马尔可夫混合模型，隐马尔可夫模型用于对语音信号的时序属性建模，深度神经网络用于对语音信号的观察概率建模，所述声学模型的训练过程包括：基于经训练的高斯混合-隐马尔可夫模型对训练集语音数据做强制对齐，获得帧级别对齐的有监督数据；执行深度置信神经网络预训练，获得初始化模型；使用帧级别对齐的有监督数据，对初始化模型基于交叉熵准则和反向传播算法训练得到深度神经网络-隐马尔可夫混合模型。5.根据权利要求1所述的基于语音识别的言语功能自动评估系统，其特征在于，所述声学模型的训练集是学前儿童的语音训练数据，音频为短句，内容包括日常用语、儿童歌谣、故事书、命令交互式句子。6.根据权利要求1所述的基于语音识别的言语功能自动评估系统，其特征在于，所述呼吸功能的评价指标是持续音长，所述发声功能的评价指标是响度和音调，所述构音功能的评价指标包括口腔轮替运动速率和构音语音功能。7.根据权利要求6所述的基于语音识别的言语功能自动评估系统，其特征在于，所述构音语音功能评估包括：从评估预料库中选择标准文本；
基于被试儿童朗读的该标准文本，生成被试语音并提取声学特征，与标准文本一起输入到声学模型，并通过计算每个音素发音的gop得分获得构音清晰度和易读错声母临床含义。8.根据权利要求7所述的基于语音识别的言语功能自动评估系统，其特征在于，根据以下步骤更新所述评估预料库：根据评估语料构建一张声母和对应语料的映射表，每个声母对应一个包含该声母的单词或句子的列表；第一次评估时，将每个声母对应语料被选中的概率设置为相等；在后续评估中，基于被试儿童在历史评估中对声母的发音错误率，更新每个声母对应语料被选择的概率权重。9.一种基于语音识别的言语功能自动评估方法，包括以下步骤：从连续语音流中检测出语音信号的起点和终点，以提取出待评估的语音段；基于经训练的声学模型，对待评估语音段进行特征提取，并输入至深度神经网络模型，以识别出对应的词序列；针对所识别出的词序列，结合呼吸功能的评价指标、发声功能的评价指标和构音功能的评价指标来评估言语功能。10.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求9所述的基于语音识别的言语功能自动评估方法的步骤。

技术总结
本发明公开了一种基于语音识别的言语功能自动评估系统和方法。该系统包括语音端点检测模块、语音识别模块和评估模块，所述语音识别模块分别与所述语音端点检测模块和所述评估模块具有通信连接，其中所述语音端点检测模块被配置为从连续语音流中检测出语音信号的起点和终点，以提取待评估的语音段；所述语音识别模块被配置为基于经训练的声学模型，对待评估语音段进行特征提取，并输入至深度神经网络模型，以识别出对应的词序列；所述评估模块被配置针对所识别出的词序列，结合呼吸功能的评价指标、发声功能的评价指标和构音功能的评价指标来评估言语功能。本发明能够更全面和准确地评估言语功能，尤其适用于儿童的言语功能分析。分析。分析。


技术研发人员：莫贵明 苏荣锋 王岚 燕楠
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：2020.04.03
技术公布日：2021/10/11