基于声学文本融合的驾驶员尖锐高音识别预警方法及系统与流程

技术特征：

1.基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，包括如下步骤：

获取驾驶员在行车过程中的声音信号，将所述声音信号在时域和频域上进行特征信息计算转化，得到所述声音信号每帧的短时能量数值、短时平均过零率数值以及mel频率倒谱系数mfcc数值，并将所述声音信号转化为文本信息；

基于特征信息计算转化结果以及文本信息转化结果，分别构建音频数据特征向量集和文本样本集；

分别构建声学尖锐高音识别模型和文本尖锐高音识别模型，并通过所述音频数据特征向量集和文本样本集分别对所述声学尖锐高音识别模型和文本尖锐高音识别模型进行训练，通过训练好的所述声学尖锐高音识别模型和文本尖锐高音识别模型分别对驾驶员进行尖锐高音的识别；

对所述声学尖锐高音识别模型和文本尖锐高音识别模型的识别结果进行融合，得到驾驶员的尖锐高音识别结果；

基于驾驶员的尖锐高音识别结果，进行预警。

2.根据权利要求1所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，在对所述声音信号在时域和频域上进行特征信息转化之前，通过加窗函数对所述声音信号进行分帧处理，分帧处理后，第i帧所述声音信号yi(n)如下式所示：

yi(n)＝w(n)*x(i-1)*inc n)，0≤n≤l-1，1≤i≤fn

式中，x(n)为所述声音信号的时域信号，w(n)为加窗函数，n＝0，1,2,...l-1，i＝1,2,…fn，l为帧长，inc为帧移长度，fn为分帧后的总帧数。

3.根据权利要求2所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，在时域中分析，第i帧所述声音信号yi(n)的短时能量e(i)如下式所示：

4.根据权利要求2所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，在时域中分析，第i帧所述声音信号yi(n)的短时平均过零率z(i)如下式所示：

式中，sgn[*]是符号函数。

5.根据权利要求2所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，在频域中分析，第i帧所述声音信号yi(n)的mfcc通过梅尔频率与hz频率之间的非线性对应关系计算得到；所述mfcc的计算过程包括：预加重，分帧，加窗，快速傅里叶变换fft，梅尔滤波器组滤波，离散余弦变换dct。

6.根据权利要求1所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，构建所述音频数据特征向量集的方法包括：

利用短时过零率获取音频端点，通过所述音频端点对所述声音信号进行分段截取，并求得在所述分段截取的时间内，所述声音信号的短时能量、短时平均过零率以及mfcc的最大值、最小值、均值、标准差，得到若干维声学特征，对所述声学特征进行数据归一化处理后得到所述音频数据特征向量集；

构建所述文本样本集的方法包括：

将所述文本信息进行分词、停留词过滤、词性标注的预处理后，利用tf-idf算法构建特征词典，通过所述特征词典对预处理后的所述文本信息进行标注，得到所述文本样本集。

7.根据权利要求1所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，所述声学尖锐高音识别模型基于高斯混合聚类算法进行构建，所述声学尖锐高音识别模型如下式所示：

其中，为多元高斯分布，即一个混合成分；μk，∑k为模型参数，μk为第k个混合成分的均值；∑k为第k个混合成分的协方差矩阵，t表示聚类结果的数量，即混合成分的数量；αk表示混合系数，即选择k个混合成分的概率。

8.根据权利要求1所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，所述文本尖锐高音识别模型基于朴素贝叶斯算法进行构建，所述文本尖锐高音识别模型如下式所示：

其中,p(x|ca)是条件概率，p(ca)是类先验概率，x为样本特征向量；α为分类类别；m为分类类别总数。

9.根据权利要求1所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，其特征在于，基于自适应权值算法对所述声学尖锐高音识别模型和文本尖锐高音识别模型的识别结果进行融合，得到驾驶员的尖锐高音识别结果。

10.基于声学文本融合的驾驶员尖锐高音识别预警系统，其特征在于，用于执行权利要求1-9任一项所述的基于声学文本融合的驾驶员尖锐高音识别预警方法，包括：登录及注册模块、声学数据转化模块、文本数据转化模块、数据采集处理模块、检测识别模块、数据存储模块、预警模块；

所述登录及注册模块用于驾驶员进行账号注册及登录，同时，用于保存驾驶员的私人信息，还用于驾驶员进行预警目标人员的设定；

所述声学数据转化模块用于在时域和频域上对驾驶员的声音信号进行特征信息转化；

所述文本数据转化模块用于将驾驶员的声音信号转化为文本信息；

所述数据采集处理模块用于将所述声学数据转化模块、文本数据转化模块的特征信息转化结果以及文本信息转化结果进行预处理后分别构建为音频数据特征向量集和文本样本集，传送至所述检测识别模块；

所述检测识别模块用于构建并训练声学尖锐高音识别模型和文本尖锐高音识别模型，并基于训练好的所述声学尖锐高音识别模型和文本尖锐高音识别模型分别对驾驶员进行尖锐高音的识别，通过对所述声学尖锐高音识别模型和文本尖锐高音识别模型识别结果的融合，得到驾驶员的尖锐高音识别结果；

所述数据存储模块用于对驾驶员发出的声音信号、尖锐高音识别结果进行保存；

所述预警模块基于驾驶员的尖锐高音识别结果进行预警。

技术总结
本发明公开基于声学文本融合的驾驶员尖锐高音识别预警方法及系统,所述方法包括：获取驾驶员在行车过程中的声音信号，将声音信号在时域和频域上进行特征信息计算转化，并将声音信号转化为文本信息；基于转化结果，分别构建音频数据特征向量集和文本样本集；构建并训练声学尖锐高音识别模型和文本尖锐高音识别模型，通过训练好的声学尖锐高音识别模型和文本尖锐高音识别模型分别对驾驶员进行尖锐高音的识别；对二者的识别结果进行融合，得到驾驶员的尖锐高音识别结果；基于尖锐高音识别结果进行预警。本发明能够快速准确地驾驶员尖锐高音进行识别，为驾驶员情绪辨识和汽车安全辅助驾驶系统的研究提供了一种全新、便捷、经济的方法。

技术研发人员：王晓原;李尚卿;李浩;张杨;王瀚卿;刘士杰
受保护的技术使用者：青岛科技大学
技术研发日：2021.05.24
技术公布日：2021.08.24