一种基于智能手环和热红外摄像机的驾驶人情绪识别方法及系统

1.本发明涉及情绪识别、驾驶人状态监视领域，具体而言涉及一种基于智能手环和热红外摄像机的驾驶人情绪识别方法及系统。


背景技术：

2.情绪是对环境中相关事物的预期和判断过程的心理反馈，它影响着人的生理行为。驾驶人作为驾驶活动的主体，是道路交通系统中信息的接受者和处理者，其情绪状态对其认识、意志和行为都有重要影响，直接影响着行车安全。现有研究表明，愤怒的情绪伴随更快的反应、更多的侵略性驾驶行为；快乐的情绪伴随更快的车速和超车行为；悲伤的情绪伴随较小的车速变化和较慢的反应能力。
3.目前，驾驶员情绪识别和干预在汽车人机交互领域受到广泛关注，现有研究认为情绪检测和干预系统会通过识别及调整驾驶人的情绪状态以改善驾驶安全性和舒适性。智能车辆的新型人机界面系统也为解决这一问题提供了条件。其中，精确的驾驶员情绪识别是开发情绪感知人机界面系统的前提。因此，准确识别驾驶员情绪对于提高智能车辆的驾驶安全性和舒适性至关重要。
4.现有对驾驶人情绪识别的方法主要集中于通过面部的多重信息检测，包括基于表情的判断方法和基于面部动作的判断方法，然而，由于人的情绪的隐蔽性和面部形态和表现力各异，基于面部信息对驾驶人情绪开展辨识仍然是一个具有开放性的挑战。而从生理信号中识别情绪状态，如通过脑电图、肌电图和心率测量，可有效提高识别精度，逐渐在测量情绪领域得到了广泛的应用。然而，具有侵入式的设备势必对驾驶人完成驾驶任务的安全性带来影响。


技术实现要素：

5.本发明的目的在于提供一种驾驶人情绪识别方法及系统。旨在通过车载设备及不干扰驾驶行为的穿戴式设备，获取驾驶人准确的生理信号参数，通过对驾驶人不同情绪状态下的多生理参数的数据分析，提取关键特征，基于随机森林训练驾驶人情绪识别模型，从而采用该模型识别驾驶人情绪。
6.为实现上述目的，本发明的技术方案如下：
7.本发明的第一方面，提供一种基于智能手环和热红外摄像机的驾驶人情绪识别方法，其包含如下步骤：
8.步骤1，采集驾驶人在不同情绪下驾驶时的生理信号：基于智能手环获取驾驶人心电、皮电数据，通过热红外摄像机获取驾驶人的面部鼻尖温度；
9.步骤2，利用统计域、时频域分析方法分别对所述的心电、皮电和鼻尖温度数据进行分析与特征提取；
10.步骤3，建立驾驶人情绪的训练样本集s和测试样本集，其中训练样本集si＝{s1,
s2,s3,s3,s5}，si是第i类情绪的样本集，其中i＝1,2,3,4,5并且所建立的特征集为x＝{hrv
wep
,gsr
wep
,hr
wep
,pi
sd
,hr
avg
}，利用随机森林分类器对所述样本进行分类和识别。
11.作为本发明一种基于智能手环和热红外摄像机的驾驶人情绪识别方法的进一步优选方案，在步骤1中，提取驾驶人的情绪生理信号具体包括如下步骤：
12.步骤1.1，不同情绪驾驶行为的产生：让驾驶人在驾驶之前观看不同情感类型的视频进而诱导其产生不同的情绪，每种情绪诱导成功后，驾驶人在该情绪下开始跟车驾驶任务；
13.步骤1.2，对驾驶人的生理信号进行信号预处理：为排除不同驾驶人之间的个体差异，将获取的情绪诱导下的各参数数据减去无情绪状态(基线状态)下的参数数据，同时通过小波阈值去噪对数据进行降噪处理。
14.作为本发明一种基于智能手环和热红外摄像机的驾驶人情绪识别方法的进一步优选方案，在步骤2中，对驾驶人生理信号数据进行特征提取包括如下步骤：
15.步骤2.1，将手环获得的心电、皮电参数进行统计域、时频域分析，将热红外摄像机获得的鼻尖温度转换成鼻尖血液灌注值后进行统计域、时频域分析；
16.步骤2.2，采用因子分析进行特征提取，获得驾驶人情绪识别的特征参数集x＝{hrv
wep
,gsr
wep
,hr
wep
,pi
sd
,hr
avg
}，分别为心率变异性的小波包熵、皮电的小波包熵、心率的小波包熵、鼻尖血液灌注值的标准差、心率的平均值。
17.作为本发明一种基于智能手环和热红外摄像机的驾驶人情绪识别方法的进一步优选方案，在步骤3中，对驾驶人情绪的分类和识别包括如下步骤：
18.步骤3.1，根据步骤1中的实验及步骤2中的特征提取，将相关数据处理形成训练集和测试集；
19.步骤3.2，利用随机森林分类器对所述样本进行分类和识别，得到驾驶人情绪识别模型。
20.本发明的第二方面，提供一种基于智能手环和热红外摄像机的驾驶人情绪识别系统，其包含如下方面：
21.驾驶人生理信号采集模块，所述的生理信号采集采用可穿戴式的手环和车载的热红外成像摄像机，由可穿戴智能手环获取心电、皮电数据，由热红外摄像机获取驾驶人脸部鼻尖周围温度数据；
22.驾驶人情绪判定模块，根据上述基于智能手环和热红外摄像机的驾驶人情绪识别方法判定驾驶人的情绪状态，判定模块可内置于车载设备或智能手机；
23.驾驶人情绪输出提醒模块，根据情绪判断模块的结果，由车载设备或智能手机对危险情绪进行语音输出与提醒。
24.本发明采用以上的技术和方案与现有技术相比，本发明的优点在于：
25.(1)驾驶人情绪识别的方法采用了心电、皮电的生理参数与红外热成像视频中鼻尖温度的特征参数，同时在数据处理过程中进行了多种域值的融合，使得驾驶人的情绪特征更加明显，有效提高了识别的准确性；
26.(2)基于智能手环和热红外摄像机的驾驶人情绪识别系统，可避免采用面部图像识别中由于情绪的隐蔽性、面部形态和表现力各异而导致识别精度不高的缺点，生理信号准确地反映了驾驶人的情绪可提高驾驶人情绪识别的精度；另一方面，智能手环和非接触
式的热红外成像在佩戴和安装上也易于为驾驶人接受。
附图说明
27.图1：基于智能手环和热红外摄像机的驾驶人情绪识别系统的框架图。
28.图2：基于智能手环和热红外摄像机的驾驶人情绪识别方法的具体流程图。
29.图3：生理参数数据处理流程图
30.图4：为实施例中某驾驶员心率信号降噪前后图
31.图5：为因子分析法进行特征提取的碎石图
具体实施方式
32.结合附图对本发明的具体实施方式进行描述，以便以后的研究人员更好的理解本发明。
33.图1是基于智能手环和热红外摄像机的驾驶人情绪识别系统的框架图，介绍了驾驶人情绪识别系统的前后端设备及系统的工作流程。图2是基于智能手环和热红外摄像机的驾驶人情绪识别方法的具体流程图。整体上介绍了本发明中驾驶人情绪识别的思路。首先，获取不同情绪下驾驶人的皮电、心电和鼻尖温度生理参数；其次，对获得的生理数据进行数据处理与分析、进行特征指标的建立和特征提取；再次，将驾驶人不同情绪状态下的特征参数形成数据集，采用随机森林模型训练模型，从而实现对驾驶人情绪的准确识别。
34.步骤1，采集驾驶人在不同情绪下驾驶时的生理信号：基于智能手环获取驾驶人心电、皮电数据，通过红外热成像摄像机获取驾驶人的面部鼻尖温度，具体如下：
35.步骤1.1，不同情绪驾驶行为的产生：让驾驶人在驾驶之前观看不同情感类型的视频进而诱导其产生不同的情绪，每种情绪诱导成功后，驾驶人在该情绪下开始跟车驾驶任务；
36.步骤1.2，对驾驶人的生理信号进行信号预处理：为排除不同驾驶员之间的个体差异，将获取的情绪诱导下的各参数数据(分别为心率hr’、皮电gsr’、心率变异性hrv’、鼻尖温度t’)减去无情绪状态(基线状态)下的参数数据(分别为心率hr0、皮电gsr0、心率变异性hrv0、鼻尖温度t0)，然后通过小波阈值去噪方法对数据进行降噪处理，处理后的各参数数据分别为心率hr、皮电gsr、心率变异性hrv、鼻尖温度t；
37.小波阈值法对信号数据进行降噪：首先对信号进行小波分解，获得最后一层的近似系数和各层的细节系数，通过设定一定的阈值，对各层次细节系数作相应的处理，再将处理后的小波系数重构，达到降噪的目的。
38.根据相关理论，阈值设定为：
[0039][0040]
式中，cd1为第一层细节系数，n为信号长度，i为小波分解的层数，ti为第i层细节系数的阈值。
[0041]
系数处理方式为：
[0042][0043]
式中，x为相应层的细节系数；alpha为系数，取值范围为0到1；取0时为硬阈值处理方式，取1时为软阈值处理方式；
[0044]
使用小波阈值法对参数数据进行处理，alpha取0.5，小波函数选用db3，分解层数为4层，某驾驶人心率信号降噪前后结果见图4。
[0045]
步骤2，对驾驶人生理信号数据进行特征提取包括如下步骤：
[0046]
步骤2.1，将手环获得的心电、皮电参数进行统计域、时频域分析，将热红外摄像机获得的鼻尖温度转换成鼻尖血液灌注值后进行统计域、时频域分析；
[0047]
将n个心率信号作为心率信号序列hr(n)，将n个皮电信号作为皮电信号序列gsr(n)，将n个心率变异性信号作为心率变异性信号序列hrv(n),将n个鼻尖温度作为鼻尖温度序列t(n)；其中n＝1,2,3,...,n
[0048]
血液灌注值函数如下所示：
[0049]
pi(n)＝0.0644
×e0.3536t(n)
/1000；其中n＝1,2,3,...,n；t(n)为鼻尖温度序列
[0050]
统计域分析均值与标准差如下所示:
[0051]
心率、心率变异性、皮电、鼻尖血液灌注值的均值：
[0052]
其中：n＝1,2,3,...,n
[0053]
其中：n＝1,2,3,...,n
[0048]
其中：n＝1,2,3,...,n
[0054]
其中：n＝1,2,3,...,n
[0055]
标准差：
[0056][0057][0058][0059]
[0060]
其中n＝1,2,3,...,n
[0061]
n＝1,2,3,...,n
[0062]
n＝1,2,3,...,n
[0063]
n＝1,2,3,...,n
[0064]
时频域分析小波包熵如下所示：将获取的参数进行时频域数据处理。采用db3小波基对生理参数信号(心率hr、皮电gsr、心率变异性hrv、鼻尖血液灌注值pi)进行4尺度小波包分解，进而得到第4尺度对应频段小波包系数，从而计算各生理参数信号的小波包熵；
[0065]
我们获得的信号经小波包分解后的第i层所对应的小波包系数分别为d(i,0),d(i,1),d(i,2),...,d(i.2
i-1
)，其对应的小波包节点能量为：
[0066]ei,j
＝|d(i,j)|2[0067]
第i层小波包节点总能量为：
[0068][0069]
小波包节点能量所占的比率为：
[0070][0071]
小波包熵可以表示为：
[0072]
wep＝-∑p
i,j
ln p
i,j
[0073]
式中i为小波包分解的层数，其中i＝4；
[0074]
j为第i层的第j个节点,其中j＝1,2,3,...,2
i-1
[0075]
步骤2.2，采用因子分析进行特征提取，该过程具体如下：
[0076]
采用因子分析方法将统计域与时频域的特征参数进行特征提取，通过对特征参数进行因子分析提取，前5个因子的总方差解释达到73.8％；再从每个因子中选出所占权重投影较大的参数，从而构成最能代表前5个公因子的5个参数，最终获得驾驶人情绪识别的特征参数集x＝{hrv
wep
,gsr
wep
,hr
wep
,pi
sd
,hr
avg
}，分别为心率变异性的小波包熵、皮电的小波包熵、心率的小波包熵、鼻尖血液灌注值的标准差、心率的平均值。
[0077]
步骤3，对驾驶人情绪的分类和识别包括如下步骤：
[0078]
步骤3.1，根据步骤1中的实验及步骤2中的特征提取，将相关数据处理形成训练集和测试集；驾驶人情绪的训练样本集s和测试样本集，si＝{s1,s2,s3,s3,s5}，其中，si是第i类情绪的样本集，其中i＝1,2,3,4,5；建立的特征集x＝{hrv
wep
,gsr
wep
,hr
wep
,pi
sd
,hr
avg
}分别表示为心率变异性的小波包熵、皮电的小波包熵、心率的小波包熵、鼻尖血液灌注值的标准差、心率的平均值。
[0079]
步骤3.2，利用随机森林分类器对所述样本进行分类和识别，得到驾驶人情绪识别
模型，将训练集与测试集按照3:1的比例随机划分，训练集用于模型的训练，从而生成预测模型，再用测试集进行识别与测试，最终经过验证，随机森林模型的识别率可达90％以上。
[0080]
输入参数：
[0081]
x＝{hrv
wep
,gsr
wep
,hr
wep
,pi
sd
,hr
avg
}
[0082]
输出向量：
[0083]
y＝{0,1,2,3,4}分别表示的情绪为中性、悲伤、恐惧、开心、愤怒。
[0084]
本发明的第二方面，提供一种基于智能手环和热红外摄像机的驾驶人情绪识别系统，其包含如下方面：
[0085]
驾驶人生理信号采集模块，所述的生理信号采集采用可穿戴式的手环和车载的热红外成像摄像机，由可穿戴智能手环获取心电、皮电数据，由热红外摄像机获取驾驶人脸部鼻尖周围温度数据；
[0086]
驾驶人情绪判定模块，根据上述基于智能手环和热红外摄像机的驾驶人情识别方法判定驾驶人的情绪状态，判定模块可内置于车载设备或智能手机；
[0087]
驾驶人情绪输出提醒模块，根据情绪判断模块的结果，由车载设备或智能手机对危险情绪进行语音输出与提醒。上述后两种模块可以通过车载设备或智能手机中的app功能搭建实现。