一种基于计算机的健康驾驶辅助方法及系统

1.本发明涉及大数据技术领域，尤其涉及一种基于计算机的健康驾驶辅助方法及系统。


背景技术：

2.随着大数据技术的成熟，将大数据平台应用于各行各业已经成为了发展趋势，在智能交通系统的发展中，大数据技术同样不可或缺，合理的利用大数据处理平台，可以有效的解决海量交通流数据的分析和处理难题。
3.目前，随着社会经济的发展，车辆逐渐增多，交通事故也频繁发生，而驾驶员的因素时引发交通事故的主要原因，其中，驾驶员的状态可能会直接影响到驾驶员开车时的注意力。
4.但在现有技术中，对驾驶员的状态进行检测的方法，在复杂环境下往往无法准确对驾驶员的状态进行识别，且无法帮助驾驶员舒缓不良情绪，实用性不高。


技术实现要素：

5.为了现有技术存在的上述技术缺陷，本发明提供了一种基于计算机的健康驾驶辅助方法及系统，可以有效解决背景技术中的问题。
6.为了解决上述技术问题，本发明提供的技术方案具体如下：本发明实施例公开了一种基于计算机的健康驾驶辅助方法，包括以下步骤：实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
7.在上述任一方案中优选的是，在车辆内设置图像采集装置，并通过所述图像采集装置实时采集驾驶员图像，通过以下步骤对采集的驾驶员图像进行人脸定位：将采集的驾驶员图像进行色彩转换，使图像肤色点分布于ycrcb空间内；通过函数对图像肤色点进行判别，并提取s(i,j)=1的肤色点，以生成驾驶员的面部图像；其中，s(i,j)为图像中的肤色点。
8.在上述任一方案中优选的是，对驾驶员的面部图像进行处理，以得到驾驶员的眼部与嘴部区域；
眼部区域的筛选条件为；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；wf与hf分别为面部区域的宽与高；（x0,y0）为双眼矩形区域的左上角坐标，we与he分别为眼部区域的宽与高；嘴部区域的筛选条件为
ꢀꢀ
；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；wf与hf分别为面部区域的宽与高；(x1，y1)为嘴部区域的左上角坐标 ；wm与hm分别表示嘴部区域的宽与高。
9.在上述任一方案中优选的是，通过对驾驶员的眼部和嘴部进行特征识别，以判断驾驶员的当前情绪状态；驾驶员的情绪状态包括积极状态、消极状态和平稳状态，积极状态包括兴奋情绪和喜悦情绪，消极状态包括呆滞情绪、悲伤情绪和愤怒情绪。
10.在上述任一方案中优选的是，根据驾驶员的情绪状态预先对不同情绪状态下的人脸面部图像进行汇总，以建立情绪表情库，情绪表情库内存储有兴奋情绪面部图像集、喜悦情绪面部图像集、呆滞情绪面部图像集、悲伤情绪面部图像集、愤怒情绪面部图像集和平稳状态人脸图像集。
11.在上述任一方案中优选的是，通过以下步骤对驾驶员的情绪状态进行识别：将情绪表情库内的图像进行处理，以得到图像的眼部与嘴部区域；对驾驶员的面部图像预处理，进行一级小波变换分解，提取包含图像特征的子带图像，以去除图像中无关信息；对子带图像频谱特征进行处理，去除低相应特征点，保留高辨识度的特征点，得到候选特征点集；建立尺度空间，筛选候选特征点集中具有尺度不变性且精准稳定的orb特征点；通过hamming距离将驾驶员的面部图像与情绪表情库内的图像进行特征匹配；以匹配度最高的情绪表情库的图像情绪类别确定驾驶员的面部图像的情绪状态。
12.在上述任一方案中优选的是，设置识别周期，并以当前周期内驾驶员的面部图像的情绪状态确定驾驶员的情绪状态，当驾驶员的情绪状态为非平稳状态时，通过所述车载声音输出装置输出大数据音乐库内与驾驶员情绪状态相对应的曲目，直至驾驶员的情绪状态为平稳状态时，停止输出曲目。
13.在上述任一方案中优选的是，当驾驶员的情绪状态为消极状态时，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断，若判定驾驶员为可能疲劳驾驶状态，则对驾驶
员进行可能疲劳驾驶验证，若验证为可能疲劳驾驶状态，则判定驾驶员为疲劳驾驶状态，若验证为非可能疲劳驾驶状态，则判定驾驶员为非疲劳驾驶状态；若判定为疲劳驾驶状态，则对驾驶员进行光感或语音提醒。
14.在上述任一方案中优选的是，通过以下步骤对驾驶员进行可能疲劳驾驶验证：在驾驶员座椅上均匀设置若干压力传感器，对驾驶员大腿及臀部左右取对称采集点，通过公式计算压力分布不对称系数c(u)；式中，n为压力采集点的总个数，pl为左侧压力传感器采集点的压力值，pr为右侧压力传感器采集点的压力值；设置时间阈值t，若在t内，c(u)恒大于0.5，则表示驾驶员为可能疲劳驾驶状态，反之则表示驾驶员为非可能疲劳驾驶状态。
15.第二方面，一种基于计算机的健康驾驶辅助系统，所述系统包括：采集模块，用于实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；识别模块，用于建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；判断模块，用于若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
16.与现有技术相比，本发明的有益效果：本发明通过实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓；可以有效的帮助驾驶员调整情绪状态，且可以对驾驶员的不良驾驶状态进行预警，能够在一定程度上降低交通事故发生的几率，能够合理的辅助驾驶员进行健康驾驶。
附图说明
17.附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
18.图1是本发明基于计算机的健康驾驶辅助方法的流程图；图2是本发明基于计算机的健康驾驶辅助系统的模块示意图。
具体实施方式
19.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并
不用于限定本发明。
20.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
21.在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
22.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
23.为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
24.如图1所示，本发明提供了一种基于计算机的健康驾驶辅助方法，所述方法包括以下步骤：步骤1，实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征。
25.具体的，在车辆内设置图像采集装置，并通过所述图像采集装置实时采集驾驶员图像，为消除所述图像采集装置在采集图像时可见光的影响，在本实施例中，通过中心波长为850nm的红外滤波摄像头和红外黑白摄像机获取驾驶员的图像。
26.进一步的，由于亚洲人群的肤色在ycrcb空间内的cr和cb值的范围为108≤cb≤123和135≤cr≤156，则通过以下步骤对采集的驾驶员图像进行人脸定位，其中ycrcb即yuv，主要用于优化彩色视频信号的传输，使其向后相容老式黑白电视，与rgb视频信号传输相比，它最大的优点在于只需占用极少的频宽(rgb要求三个独立的视频信号同时传输)，其中"y"表示明亮度(luminance或luma)，也就是灰阶值;而"u"和"v" 表示的则是色度(chrominance或chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色，"亮度"是透过rgb输入信号来建立的，方法是将rgb信号的特定部分叠加到一起，"色度"则定义了颜色的两个方面
─
色调与饱和度，分别用cr和cb来表示，其中，cr反映了rgb输入信号红色部分与rgb信号亮度值之间的差异，而cb反映的是rgb输入信号蓝色部分与rgb信号亮度值之间的差异：将采集的驾驶员图像进行色彩转换，使图像肤色点分布于ycrcb空间内；通过函数对图像肤色点进行判别，并提取s(i,j)=1的肤色点，以生成驾驶员的面部图像；其中，s(i,j)为图像中的肤色点。
27.进一步的，对驾驶员的面部图像进行处理，以得到驾驶员的眼部与嘴部区域；眼部区域的筛选条件为；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；wf与hf分别为面部区域的宽与高；（x0,y0）为双眼矩形区域的左上角坐标，we与he分别为眼部区域的宽与高；嘴部区域的筛选条件为；xf与yf分别为驾驶员面部矩形框的左上方原点坐标值；wf与hf分别为面部区域的宽与高；(x1，y1)为嘴部区域的左上角坐标 ；wm与hm分别表示嘴部区域的宽与高。
28.步骤2，建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态。
29.具体的，由于在不同的情绪状态下，驾驶员的面部特征区别较大，通过对驾驶员的眼部和嘴部进行特征识别，以判断驾驶员的当前情绪状态；驾驶员的情绪状态包括积极状态、消极状态和平稳状态，其中，积极状态包括兴奋情绪和喜悦情绪，消极状态包括呆滞情绪、悲伤情绪和愤怒情绪。
30.进一步的，根据驾驶员的情绪状态预先对不同情绪状态下的人脸面部图像进行汇总，以建立情绪表情库，其中，情绪表情库内存储有兴奋情绪面部图像集、喜悦情绪面部图像集、呆滞情绪面部图像集、悲伤情绪面部图像集、愤怒情绪面部图像集和平稳状态人脸图像集。
31.进一步的，通过以下步骤对驾驶员的情绪状态进行识别：将情绪表情库内的图像进行处理，以得到图像的眼部与嘴部区域；对驾驶员的面部图像预处理，进行一级小波变换分解，提取包含图像特征的子带图像，以去除图像中无关信息；对子带图像频谱特征进行处理，去除低相应特征点，保留高辨识度的特征点，得到候选特征点集；建立尺度空间，筛选候选特征点集中具有尺度不变性且精准稳定的orb特征点；通过hamming距离将驾驶员的面部图像与情绪表情库内的图像进行特征匹配；以匹配度最高的情绪表情库的图像情绪类别确定驾驶员的面部图像的情绪状态。
32.进一步的，通过haar小波函数对驾驶员的面部图像进行分解预处理，其中，haar小
波为紧支集正交小波基函数，其定义式为：；尺度函数为：，其中，x均指代面部图像中的源频率信号；进而，通过haar小波函数分别对驾驶员的面部图像的行与列进行一级小波变换分解，得到面部图像的4个子带图像ll，hl，lh，hh；将hl和lh叠加，得到面部图像的水平和垂直方向上的频谱特征。
33.进一步的，通过以下步骤对子带图像频谱特征进行处理：根据公式，对其变量求导得到尺度k下的小波母函数，由小波母函数与图像函数的卷积运算得到图像在尺度k下的水平及垂直方向上的小波变换系数；由水平方向和垂直方向上的小波系数求得小波梯度向量，向量的模为该点的灰度强度；通过小波分解后选取的子带图像上的任一点与其周围领域的梯度模值比较进行非极大值抑制，保留极大值点作为待定特征点；设置固定灰度阈值，判断待定特征点的灰度值是否大于固定灰度阈值，若大于固定灰度阈值，则记为候选特征点，若小于固定灰度阈值，则将该点剔除。
34.进一步的，通过以下步骤建立尺度空间并筛选候选特征点集中具有尺度不变性且精准稳定的orb特征点：通过高斯核g(x,y,δ)对原图像s(x,y)进行尺度变换，得到不同尺度下的图像尺度函数l(x,y,δ)=g(x,y,δ)
×
s(x,y)，通过公式建立高斯金字塔和高斯差分金字塔dog，dog为相邻两尺度空间函数之差，公式为： ，式中，k为同届金字塔中相邻两层的尺度因子比例系数，δ为尺度因子，x、y分别指代原图像s（x,y）中的横坐标与纵坐标；对图像进行小波变换处理后得到候选特征点集，在dog金字塔空间内进行极值点
检测，寻找局部极值点，对得到的极值点进行检验，去除不稳定的边缘相应，得到精准极值点的位置和尺度，其中，去除边缘极值点的方法为计算检测极值点的主曲率比值，将主曲率比值大于8的极值点剔除；得到具有精确特征点后，利用灰度质心法求得特征点的主方向，通过brief算子对特征点描述得到二值码串特征描述子，生成旋转不变性和尺度不变性的特征点。
35.步骤3，若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
36.具体的，由于音乐对人体心理可以产生导向作用，可以通过不同风格的音乐曲目对驾驶员的情绪状态进行引导，以实现舒缓驾驶员的情绪状态，使其情绪状态归为平稳状态。
37.进一步的，通过大数据汇总不同风格的曲目，以建立大数据音乐库，并通过车载声音输出装置输出大数据音乐库中的曲目；其中，大数据音乐库内存储有舒缓兴奋曲库、舒缓喜悦曲库、舒缓呆滞曲库、舒缓悲伤曲库和舒缓愤怒曲库。
38.进一步的，设置识别周期，并以当前周期内驾驶员的面部图像的情绪状态确定驾驶员的情绪状态，当驾驶员的情绪状态为非平稳状态时，通过所述车载声音输出装置输出大数据音乐库内与驾驶员情绪状态相对应的曲目，直至驾驶员的情绪状态为平稳状态时，停止输出曲目。
39.进一步的，由于当驾驶员的情绪状态为消极状态时，可能出现疲劳驾驶的情况，则当驾驶员的情绪状态为消极状态时，对驾驶员进行疲劳驾驶判定，若判定为疲劳驾驶状态，则对驾驶员进行光感或语音提醒。
40.进一步的，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断，若判定驾驶员为可能疲劳驾驶状态，则对驾驶员进行可能疲劳驾驶验证，若验证为可能疲劳驾驶状态，则判定驾驶员为疲劳驾驶状态，若验证为非可能疲劳驾驶状态，则判定驾驶员为非疲劳驾驶状态。
41.进一步的，根据驾驶员的嘴部区域图像进行可能疲劳驾驶状态判断包括以下步骤：对嘴部区域图像通过二值化处理，将图像转换为灰度图像，优选的二值化阈值为0.4，得到嘴部二值化图像，并利用腐蚀处理，减少图像中非嘴部区域对检测的干扰。
42.对二值图进行连通区域标记，比较各区域的面积大小，选择面积最大区域为嘴部连通域，该面积由区域内的白色像素个数表示；采用sobel边缘检测算法提取连通域边缘，计算对应边缘的周长，即边缘像素点个数。
43.通过公式 计算嘴部二值区域的圆形度e，判断嘴部的张开或闭合；其中 e∈[0，1]，a为面积；p为周长；当 e《0.5时，嘴部处于闭合状态；当0.5《e《0.8时，嘴部处于正常张开状态(如说话等情况)；当e》0.8时，嘴部处于打哈欠状态。
[0044]
通过公式，优选的t为10s，当f≥0.2，则
判定驾驶员为可能疲劳驾驶状态。
[0045]
进一步的，通过以下步骤对驾驶员进行可能疲劳驾驶验证：在驾驶员座椅上均匀设置若干压力传感器，对驾驶员大腿及臀部左右取对称采集点，通过公式 计算压力分布不对称系数c(u)；其中，n为压力采集点的总个数，pl为左侧压力传感器采集点的压力值，pr为右侧压力传感器采集点的压力值；设置时间阈值t，若在t内，c(u)恒大于0.5，则表示驾驶员为可能疲劳驾驶状态，反之则表示驾驶员为非可能疲劳驾驶状态。
[0046]
如图2所示，本发明还提供了一种基于计算机的健康驾驶辅助系统，所述系统包括：采集模块，用于实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；识别模块，用于建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；判断模块，用于若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓。
[0047]
与现有技术相比，本发明的有益效果是：本发明通过实时采集驾驶员图像，并根据采集的驾驶员图像对驾驶员进行人脸检测，以得到驾驶员的面部特征；建立情绪表情库，将驾驶员的面部特征与情绪表情库进行比对，以识别当前驾驶员的情绪状态；若驾驶员的情绪状态为积极状态，则对驾驶员进行情绪舒缓，若驾驶员的情绪状态为消极状态，则对驾驶员进行疲劳检测，并进行情绪舒缓；可以有效的帮助驾驶员调整情绪状态，且可以对驾驶员的不良驾驶状态进行预警，能够在一定程度上降低交通事故发生的几率，能够合理的辅助驾驶员进行健康驾驶。
[0048]
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。