基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备与流程

1.本公开涉及驾驶安全防护技术领域，尤其涉及一种基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备。


背景技术：

2.疲劳驾驶是造成交通事故的重要原因之一，高效精准检测驾驶员的驾驶状态并准确给出适当的报警提醒能有效避免驾驶员疲劳驾驶，进而避免交通事故的发生。驾驶过程中真实疲劳闭眼的危险等级比低头向下看分神的危险等级要高，相应给出的告警等级也不同，这时就需要准确区分这两种状态。如果这两种状态无法区分，会导致驾驶员检测系统给出错误的报警提醒从而引起驾驶员的反感也无法发挥报警提醒作用。
3.目前对于疲劳驾驶的检测主要采用的方法是：基于头部姿态俯仰角的方法，根据检测到的人脸区域估计人体头部的俯仰角，根据俯仰角的变化来判断是否存在低头动作。
4.基于头部姿态俯仰角的方法，由于摄像头俯仰朝向不同、驾驶员身高和驾驶时坐姿习惯不同，驾驶员低头俯仰角变化都会有所不同，这时很难准确判断出低头动作。另外，由于平面视角原因,驾驶员低头向下看和真实疲劳闭眼时，图像画面中眼睛状态很类似，很多场景下即使是人肉眼也无法准确判断是否是闭眼。因此，低头时眼睛状态与闭眼状态类似，采用头部俯仰角标定的方法，很容易造成闭眼误判，无法实时给出准确的报警提醒。


技术实现要素：

5.鉴于此，本公开实施例提供一种基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备，旨在能准确区分驾驶员真疲劳闭眼和向下看动作，进而给出准确的报警提醒。
6.为了实现上述目的，本发明提供如下技术方案：
7.一种基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法，包括：
8.实时获取车载驾驶主动红外图像，对该红外图像进行驾驶员人脸检测，并确定面部器官位置和头部姿态俯仰角；
9.根据驾驶员眼睛部位的特征点得到眼睛区域，判断眼睛睁开和闭合状态，并分类保存眼睛判断状态以及对应的头部姿态俯仰角数值；
10.获取驾驶员正常驾驶状态的头部俯仰角标定值，实时比较当前俯仰角与标定值的大小，如果当前俯仰角小于标定值，则开始累积低头报警时间，当低头报警累积时间达到设定报警时间阈值t1时给出低头报警；
11.获取驾驶员低头动作累积时间和低头全过程累积时间，当所述低头全过程累积时间和低头动作累积时间均不超过设定阈值t2，而且眼睛状态为闭合时，则开始累积闭眼报警时间，当闭眼报警累积时间达到设定阈值t3时给出疲劳报警。
12.进一步地，所述低头动作累积时间的累积条件为：当前帧角度和上一帧角度都低
于0
°
。
13.进一步地，所述低头全过程累积时间的累积条件为：当前帧角度低于俯仰角标定值并且当前帧角度与最小角度相差不超过设定角度阈值angle1。
14.进一步地，在对获取的红外图像进行驾驶员人脸检测前还包括，对该红外图像进行预处理，所述预处理的过程包括：对图像进行缩放和滤波处理，以平衡图像对比度，去除噪声。
15.进一步地，在进行所述驾驶员人脸检测时，利用mtcnn检测人脸，将人脸按照置信度大小进行排序，输出最大的人脸，即为驾驶员人脸。
16.进一步地，通过pfld检测算法检测人脸面部器官位置，所述人脸面部器官位置包括眼睛、鼻子、嘴巴位置。
17.进一步地，根据驾驶员眼睛部位的特征点得到眼睛区域后还包括，先将区域太小的眼睛状态过滤，再利用深度学习分类器判断眼睛睁开和闭合状态。
18.进一步地，所述俯仰角标定值的获取过程包括：在驾驶员正常驾驶状态时进行第一次初始标定，当满足稳定状态时不断更新标定值；其中，所述正常驾驶状态为驾驶员睁眼并且俯仰角大于o
°
；所述稳定状态为正常驾驶状态持续设定时间段。
19.本发明还提供一种基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识装置，包括：
20.数据获取模块，用于获取辨识驾驶员疲劳驾驶的监控数据，其中，所述监控数据包括车辆行驶状态数据、驾驶员面部图像数据及头部姿态俯仰角数据中的至少三类数据；
21.数据处理和疲劳程度识别模块，所述数据处理和疲劳程度识别模块在执行所存储的计算机程序时实现上述的基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法的步骤，用于根据所述监控数据，辨识驾驶员真实疲劳闭眼和低头向下看动作；
22.报警模块，用于根据对驾驶员真实疲劳闭眼和低头向下看动作的辨识结果，输出报警提示。
23.本发明还提供一种电子设备，包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上述的基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法。
24.本发明的基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备，其有益效果在于：本发明与传统的基于头部姿态俯仰角的方法相比，适应性好，能够准确区分驾驶员真疲劳闭眼和向下看动作，并且能适应更多场景，报警判断准确率高，能更好的发挥提醒作用，减少疲劳事故发生率。
附图说明
25.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
26.图1为本发明的驾驶员状态辨识方法一种实施例中的整体流程示意图；
27.图2为本发明的驾驶员状态辨识方法一种实施例中的判断真实疲劳闭眼和低头向下看步骤的流程示意图。
具体实施方式
28.下面结合附图对本公开实施例进行详细描述。
29.以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
30.要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
31.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
32.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
33.本公开实施例提供一种基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法，包括：
34.实时获取车载驾驶主动红外图像，对该红外图像进行驾驶员人脸检测，并确定面部器官位置和头部姿态俯仰角；
35.根据驾驶员眼睛部位的特征点得到眼睛区域，判断眼睛睁开和闭合状态，并分类保存眼睛判断状态以及对应的头部姿态俯仰角数值；
36.获取驾驶员正常驾驶状态的头部俯仰角标定值，实时比较当前俯仰角与标定值的大小，如果当前俯仰角小于标定值，则开始累积低头报警时间，当低头报警累积时间达到设定报警时间阈值t1时给出低头报警；
37.获取驾驶员低头动作累积时间和低头全过程累积时间，当所述低头全过程累积时间和低头动作累积时间均不超过设定阈值t2，而且眼睛状态为闭合时，则开始累积闭眼报警时间，当闭眼报警累积时间达到设定阈值t3时给出疲劳报警。
38.本发明的技术方案是基于车载主动红外图像，利用传统的图像模式识别方法检测驾驶员人脸、定位人脸关键点(眼睛、鼻子、嘴巴)并估计人头部姿态的俯仰角，再利用深度学习的方法对眼睛状态(睁眼、闭眼)进行判断，保存判断结果和头部俯仰角度，并根据判断真实疲劳闭眼和低头向下看的逻辑给出相应的报警提醒，流程图如图1所示。
39.该方法的具体步骤如下：
40.s1、输入红外图像
41.获得车载驾驶主动红外图像；
42.s2、预处理
43.为了平衡图像对比度，并且去除噪声，降低计算量，利用图像双线性差值、直方图均衡化和中值滤波器分别对图像进行缩放和滤波处理，输出处理后的图像；
44.s3、人脸检测
45.利用mtcnn(multi
‑
task cascaded convolutional networks)检测人脸，即人脸位置；将人脸按照置信度大小进行排序，输出最大的人脸，即为驾驶员人脸；
46.mtcnn算法是一种基于深度学习的人脸检测和人脸对齐方法，它可以同时完成人脸检测和人脸对齐的任务，相比于传统的算法，它的性能更好，检测速度更快。
47.s4、关键点定位
48.利用pfld(pfld:a practical facial landmark detector)检测算法检测人脸关键点，输出人脸的关键点(眼睛、鼻子、嘴巴)位置和头部姿态俯仰角；
49.s5、眼睛状态检测、过滤
50.根据眼睛部位的特征点得到眼睛区域，将区域太小的眼睛状态过滤，并利用深度学习分类器判断眼睛睁开和闭合状态；
51.s6、保存分类结果和俯仰角数值
52.将分类得到的眼睛状态和俯仰角数值都保存起来；
53.s7、判断真实疲劳闭眼和低头向下看
54.本部分是本发明的关键技术，通过对驾驶员正常驾驶状态的标定获得俯仰角的标定值p_most，然后实时比较当前俯仰角pitch与标定值的大小，如果小于标定值，则开始累积低头报警时间t_go，当低头报警时间达到设定报警时间阈值t1时给出低头报警；当低头报警累积时间不超过设定阈值t2，而且眼睛状态为闭合时，开始累积闭眼报警时间，当闭眼报警累积时间达到设定阈值t3时给出疲劳报警。具体流程如图2所示。
55.1、初始化：分别对这些参数赋初值：俯仰角标定角p_most，闭眼时间t_closed，低头全过程时间t_go，低头动作时间t_stop；
56.2、俯仰角标定：正常驾驶状态(睁眼并且俯仰角大于0度)第一次初始标定，当满足稳定状态(正常状态持续一段时间)时不断更新标定值；标定值为稳定状态持续时间内，按照正态分布取一定置信区间的统计值：
[0057][0058]
上式中，t为稳定的时间范围，α为置信区间，std(.)为均方根。
[0059]
3、低头动作时间累积条件：当前帧角度和上一帧角度都低于0度；
[0060]
4、低头全过程时间累积条件：当前帧角度低于标定角度p_most并且当前帧角度与最小角度相差不超过设定角度阈值angle1；
[0061]
5、闭眼时间累积条件：低头动作累加时间和低头全过程时间取最大值，最大值不超过设定时间阈值t2，并且眼睛为闭眼状态。
[0062]
s8、报警提醒
[0063]
当低头报警累积时间累积达到报警时间阈值t1时给出低头报警，否则就判断闭眼报警累积时间是否达到闭眼报警时间阈值t3，如果达到就给出疲劳报警。
[0064]
实施例1
[0065]
初始化：俯仰角标定角p_most，闭眼时间t_closed，低头全过程时间t_go，低头动作时间t_stop俯仰角标定：正常驾驶状态(睁眼并且俯仰角大于0度)第一次初始标定：p_most＝10度。后面稳定状态(满足正常状态而且持续6秒俯仰角不超过8度变化)，p_most作为标定值，否则后面在此进行统计与更新。
[0066]
例如：p_most＝10度。且后续统6s内，俯仰角两帧之间的差值<8度，认为是稳定状态，输出p_most。
[0067]
更新低头动作时间累积条件：当前帧角度和上一帧角度都低于0度低头全过程时间累积条件：当前帧角度低于标定角度p_most并且当前帧角度与最小角度相差不超过10度闭眼时间累积条件：低头动作累加时间和低头全过程时间取最大值，最大值不超过t2＝450ms。如果低头动作<450ms,且眼睛为闭合状态，开始累积闭眼时间，当闭眼时间超过t1＝2.5s时，触发疲劳报警。如果t2>450ms,则闭眼逻辑清除，不触发闭眼报警，如果低头时间在继续累积，且累积时间>t3＝2.5s，则触发低头报警。
[0068]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。