一种驾驶员检测系统、方法、终端设备及计算机存储介质与流程

1.本发明涉及驾驶安全检测技术领域，尤其涉及一种驾驶员检测系统、方法、终端设备及计算机存储介质。


背景技术：

2.随着社会的发展，汽车已经成为了普遍的代步工具进入了千家万户，随之而来的安全驾驶问题也逐渐称为人们关注的重点。
3.据统计，目前造成车祸最主要的原因为疲劳驾驶，驾驶疲劳是指驾驶员在驾驶车辆时由于种种原因产生的生理机能或者心理机能的失调，从而使驾驶员对周边环境的感知能力减弱以及对车辆的操纵能力下降，偏离正常的驾驶行为。据统计，因疲劳驾驶而引发的交通事故占比高达40％以上，其次为酒后驾车、车辆故障、违反交通法规等。
4.公开号为cn109740477a的中国专利申请公开了一种驾驶员疲劳检测系统，基于深度学习和信息融合的驾驶员疲劳状态检测系统及方法，实现了即使在光照、姿态变化等复杂条件下均能精确获取驾驶员的面部信息，并进行融合决策准确判断驾驶员状态并预警，能够有效的预防驾驶员疲劳驾驶，减少因驾驶疲劳引发的交通事故。
5.该技术根据驾驶员的面部信息，比如左右眼闭眼状态、嘴部张开状态以及头部位姿进行驾驶员疲劳状态的检测。但是由于面部信息仅是驾驶员的外在体现，仅靠面部信息并不一定能够直接判断出其是否处于疲劳状态，比如有些人清醒状态下的面部信息就与其他人疲劳状态下的面部信息相似，会造成误判，持续性发出预警信息反而会干扰驾驶员的正常行车安全。因此现有的技术存在疲劳检测不准确的缺陷，为了保障行车安全，如何开发一种更准确的驾驶员检测系统是接待解决的难题之一。


技术实现要素：

6.为了解决背景技术中提到的至少一个技术问题，本发明的目的在于提供一种驾驶员检测系统、方法、终端设备及计算机存储介质，能够结合驾驶员的心率参数以及面部信息进行疲劳状态的检测，保障行车安全。
7.为实现上述目的，本发明提供如下技术方案：一种驾驶员检测系统，包括摄像头，设置于驾驶位，用于拍摄驾驶员的面部图像；可穿戴设备，穿戴于驾驶员手臂，实时检测驾驶员的心率参数；控制模块，将检测到的心率参数与心率阈值比较，若检测到的心率参数低于第一阈值的持续时间达到第一规定时间，则控制所述摄像头拍摄驾驶员的正面图像；目标检测模块，检测所述正面图像中的眼睛和嘴巴，获得眼睛边界框和嘴巴边界框；判断模块，若眼睛边界框的宽高比大于第二阈值和/或嘴巴边界框的宽高比小于第三阈值的持续时间达到第二规定时间，则判定驾驶员处于疲劳状态，发出预警信息。
8.进一步的，所述摄像头包括：第一摄像头，设置于驾驶位的前方，用于拍摄驾驶员的正面图像。
9.进一步的，所述摄像头还包括：第二摄像头，设置于驾驶位的侧方，用于拍摄驾驶员的侧面图像；检测所述侧面图像中的眼睛和嘴巴，分别获得辅助眼睛边界框和辅助嘴巴边界框；连接所述辅助眼睛边界框和辅助嘴巴边界框的中心点的第一连接线，计算驾驶员头部的倾斜角度；根据所述倾斜角度对所述眼睛边界框的宽高比与嘴巴边界框的宽高比进行校正。
10.进一步的，所述倾斜角度的计算内容包括：jd1，第二摄像头获取驾驶员开始一段时间内的侧面图像；jd2，间隔检测所述侧面图像中的眼睛和嘴巴，分别获得若干辅助眼睛边界框和辅助嘴巴边界框；jd3，选取多个所述辅助眼睛边界框的中心点的最小外接圆所在圆心作为第一辅助点；选取多个所述辅助嘴巴边界框的中心点的最小外接圆所在圆心作为第二辅助点；jd4，连接所述第一辅助点和第二辅助点求得辅助连接线；jd5，求解所述第一连接线和辅助连接线的夹角，为驾驶员头部的倾斜角度。
11.进一步的，所述校正的方法如下：将所述眼睛边界框的宽高比乘以所述倾斜角度的余弦值即得到校正后的眼睛边界框的宽高比；将所述嘴巴边界框的宽高比乘以所述倾斜角度的余弦值即得到校正后的嘴巴边界框的宽高比。
12.一种驾驶员检测方法，包括以下步骤：s1，检测驾驶员的心率参数；s2，将检测到的心率参数与心率阈值比较，若检测到的心率参数低于第一阈值的持续时间达到第一规定时间，则拍摄驾驶员的正面图像；s3，检测所述正面图像中的眼睛和嘴巴，获得眼睛边界框和嘴巴边界框；s4，若眼睛边界框的宽高比大于第二阈值和/或嘴巴边界框的宽高比小于第三阈值的持续时间达到第二规定时间，则判定驾驶员处于疲劳状态，发出预警信息。
13.进一步的，所述s4中还进行眼睛边界框的宽高比和嘴巴边界框的宽高的校正，包括：拍摄驾驶员的侧面图像；检测所述侧面图像中的眼睛和嘴巴，分别获得辅助眼睛边界框和辅助嘴巴边界框；连接所述辅助眼睛边界框和辅助嘴巴边界框的中心点的第一连接线，计算驾驶员头部的倾斜角度；根据所述倾斜角度对所述眼睛边界框的宽高比与嘴巴边界框的宽高比进行校正。
14.进一步的，所述倾斜角度的计算内容包括：jd1，第二摄像头获取驾驶员开始一段时间内的侧面图像；jd2，间隔检测所述侧面图像中的眼睛和嘴巴，分别获得若干辅助眼睛边界框和辅助嘴巴边界框；jd3，选取多个所述辅助眼睛边界框的中心点的最小外接圆所在圆心作为第一辅助点；选取多个所述辅助嘴巴边界框的中心点的最小外接圆所在圆心作为第二辅助点；
jd4，连接所述第一辅助点和第二辅助点求得辅助连接线；jd5，求解所述第一连接线和辅助连接线的夹角，为驾驶员头部的倾斜角度。
15.一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于驾驶员检测方法。
16.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于驾驶员检测方法。
17.与现有技术相比，本发明的有益效果是：本发明结合驾驶员的心率参数以及面部信息进行疲劳状态的检测；具体的，先实时检测驾驶员的心率参数，当检测到心率参数持续性低于阈值的时候，再进行面部信息的判断，两者结合能够进一步提升疲劳状态判断的准确性，保障行车安全。
附图说明
18.图1为本发明的系统结构示意图。
19.图2为本发明一实施例的初始状态下的正面图像示意图。
20.图3为本发明一实施例的实时检测的正面图像示意图。
21.图4为本发明一实施例的初始状态下的侧面图像示意图。
22.图5为本发明一实施例的实时检测的侧面图像示意图。
具体实施方式
23.下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.实施例一：请参阅图1，本实施例提出一种驾驶员检测系统，包括摄像头，设置于驾驶位，用于拍摄驾驶员的面部图像；具体的，所述摄像头包括第一摄像头，设置于驾驶位的前方，用于拍摄驾驶员的正面图像。
25.可穿戴设备，穿戴于驾驶员手臂，实时检测驾驶员的心率参数；控制模块，将检测到的心率参数与心率阈值比较，若检测到的心率参数低于第一阈值的持续时间达到第一规定时间，则控制所述摄像头拍摄驾驶员的正面图像；所述第一阈值由该驾驶员行驶开始的前一段时间确定，比如选取该驾驶员行驶开始的前1分钟的心率数据，取平均值的0.7倍作为第一阈值。当行驶过程中检测到心率参数低于该第一阈值的持续时间达到5s时，则认为该驾驶员存在疑似疲劳驾驶的风险。所述第一规定时间的选取可调整，可以是3s，5s，10s等。
26.目标检测模块，如图2所示，利用预先训练好的深度学习网络模型检测所述正面图像中的眼睛和嘴巴，获得眼睛边界框a1和嘴巴边界框b1。检测目标的边界框i表现为（xi，yi，wi，hi），其中（xi，yi）为边界框的中心点坐标，wi为边界框的宽度，hi为边界框的高度。如初始状态下，检测到的眼睛边界框a1=（x
a1
，y
a1
，w
a1
，h
a1
）,嘴巴边界框b1=（x
b1
，y
b1
，w
b1
，h
b1
）。同理，
如图3所示，实时检测到的眼睛边界框a2=（x
a2
，y
a2
，w
a2
，h
a2
）,嘴巴边界框b2=（x
b2
，y
b2
，w
b2
，h
b2
）。值得一提的是，正面图像中，会检测到两只眼睛，本方案一律采用左眼为准。
27.判断模块，若眼睛边界框的宽高比w
a2
/h
a2
大于第二阈值和/或嘴巴边界框的宽高比w
b2
/h
b2
小于第三阈值的持续时间达到第二规定时间，则判定驾驶员处于疲劳状态，发出预警信息。
28.指的一体的是，所述第二阈值、第三阈值有初始状态即该驾驶员行驶开始的前一段时间的正面图像确定，具体的，第一摄像头获取驾驶员形式开始的前1分钟的正面图像；间隔检测所述正面图像中的眼睛和嘴巴，分别获得若干眼睛边界框a1=（x
a1
，y
a1
，w
a1
，h
a1
）和若干嘴巴边界框b1=（x
b1
，y
b1
，w
b1
，h
b1
）；求得若干眼睛宽高比w
a1
/h
a1
的平均值w
a0
/h
a0
的1.3倍作为第二阈值，求得若干嘴巴宽高比w
b1
/h
b1
的平均值w
b0
/h
b0
的0.7倍作为第三阈值。
29.当驾驶员处于疲劳状态时，主要体现在眯眼与打哈欠两种体现，而对比图2和图3可知，在眯眼时，眼睛的宽高比会增大；同理，打哈欠时，嘴巴的宽高比会降低。
30.同时，驾驶员眨眼和说话同样会导致眼睛宽高比和嘴巴宽高比的变化，为了避免此些原因导致的误判，提升检测准确性，本方案提出了宽高比的持续时间参数，如设定第二规定时间为1s，基本可以避免由于驾驶员眨眼和说话导致的误判。
31.以上内容中，是基于驾驶员头部处于竖直状态下的检测，但是难免会出现头部倾斜的情况，次状态下，会导致检测到的眼睛、嘴巴的高度小于实际值。基于此，本方案的摄像头还包括：第二摄像头，设置于驾驶位的侧方，用于拍摄驾驶员的侧面图像；如图5所示，检测所述侧面图像中的眼睛和嘴巴，分别获得辅助眼睛边界框a2’和辅助嘴巴边界框b2’；连接所述辅助眼睛边界框和辅助嘴巴边界框的中心点的第一连接线l2，计算驾驶员头部的倾斜角度β；根据所述倾斜角度对所述眼睛边界框的宽高比与嘴巴边界框的宽高比进行校正。
32.具体的，进一步的，所述倾斜角度的计算内容包括：jd1，如图4所示，初始状态下，第二摄像头获取驾驶员开始一段时间内的侧面图像；jd2，利用预先训练好的深度学习网络模型间隔检测所述侧面图像中的眼睛和嘴巴，分别获得若干辅助眼睛边界框a1’和辅助嘴巴边界框b1’；jd3，选取多个所述辅助眼睛边界框的中心点的最小外接圆所在圆心作为第一辅助点；选取多个所述辅助嘴巴边界框的中心点的最小外接圆所在圆心作为第二辅助点，图中为了避免图片杂乱，仅标识其中一个辅助眼睛边界框和一个辅助嘴巴边界框，并分别以其中心点作为第一辅助点和第二辅助点；jd4，连接所述第一辅助点和第二辅助点求得辅助连接线l1；jd5，求解所述第一连接线l2和辅助连接线的夹角l1，为驾驶员头部的倾斜角度β。
33.所述校正的方法如下：将所述眼睛边界框的宽高比wa2/ha2乘以所述倾斜角度β的余弦值即得到校正后的眼睛边界框的宽高比wa2/ha2*cosβ；将所述嘴巴边界框的宽高比wb2/hb2乘以所述倾斜
角度β的余弦值即得到校正后的嘴巴边界框的宽高比wb2/hb2*cosβ。通过校正，可以使得检测结果更接近实际值，检测准确性更高。
34.实施例二：本实施例提出一种驾驶员检测方法，包括以下步骤：s1，检测驾驶员的心率参数；s2，将检测到的心率参数与心率阈值比较，若检测到的心率参数低于第一阈值的持续时间达到第一规定时间，则拍摄驾驶员的正面图像；s3，检测所述正面图像中的眼睛和嘴巴，获得眼睛边界框和嘴巴边界框；s4，若眼睛边界框的宽高比大于第二阈值和/或嘴巴边界框的宽高比小于第三阈值的持续时间达到第二规定时间，则判定驾驶员处于疲劳状态，发出预警信息。
35.所述s4中还进行眼睛边界框的宽高比和嘴巴边界框的宽高的校正，包括：拍摄驾驶员的侧面图像；检测所述侧面图像中的眼睛和嘴巴，分别获得辅助眼睛边界框和辅助嘴巴边界框；连接所述辅助眼睛边界框和辅助嘴巴边界框的中心点的第一连接线，计算驾驶员头部的倾斜角度；根据所述倾斜角度对所述眼睛边界框的宽高比与嘴巴边界框的宽高比进行校正。
36.所述倾斜角度的计算内容包括：jd1，第二摄像头获取驾驶员开始一段时间内的侧面图像；jd2，间隔检测所述侧面图像中的眼睛和嘴巴，分别获得若干辅助眼睛边界框和辅助嘴巴边界框；jd3，选取多个所述辅助眼睛边界框的中心点的最小外接圆所在圆心作为第一辅助点；选取多个所述辅助嘴巴边界框的中心点的最小外接圆所在圆心作为第二辅助点；jd4，连接所述第一辅助点和第二辅助点求得辅助连接线；jd5，求解所述第一连接线和辅助连接线的夹角，为驾驶员头部的倾斜角度。
37.该检测方法的原理与实施例一的检测系统中的内容相同，在此不再赘述。
38.实施例三：本实施例提出一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例二所述的基于驾驶员检测方法。
39.实施例四：本实施例提出一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例二所述的基于驾驶员检测方法。
40.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。