基于红外相机的乘客体温及疲劳驾驶行为检测系统及方法与流程

1.本发明涉及车辆安全领域，特别是涉及一种基于红外相机的乘客体温及疲劳驾驶行为检测系统及方法。


背景技术：

2.目前在道路上的各个关卡的人员体温检测多以人工为主，由工作人员手持体温检测设备对过往车辆内人员检测，效率低且容易导致交叉感染；而室外的红外热成像仪虽然可以完成非接触式测温，但在室外仪器易受到环境温湿度等因素的影响，准确率无法保证。
3.现有的疲劳驾驶检测有：
①
对司机行为的检测判断疲劳驾驶，即通过各类的传感器检测驾驶员对油门踏板、刹车踏板和方向盘的操作以及行车速度来判断是否为疲劳驾驶，但是因为每个人的操作习惯可能会有很大的不同，且对于车辆的改装会过于繁琐，目前无法找到可以推广的方案；
②
基于司机的生理特征检测判断疲劳驾驶，通过对司机的面部进行人脸检测，对眼睛、嘴部重点监测，但是因为实际环境多变以及受到普通相机的限制，仅仅依靠眼睛或嘴部去判断疲劳驾驶不够客观，准确率不高。
③
在道路上设置断点，通过计算驾驶员的驾驶时间判断驾驶员是否疲劳驾驶，缺点是需要过高的人力物力且每个人身体状况不同也无法有一个统一的疲劳驾驶标准。
④
利用深度学习对单个视觉特征如zhang f等人检测眼睛状态、chao yan等人通过检测手部区域去判断是否为疲劳驾驶，这样运行速度过慢达不到实时性；且方法单一，受到实际因素影响会是错误率过高。
4.因此，开发基于红外相机检测乘客的体温及疲劳行为检测系统及方法，即检测了体温又能判断驾驶员是否疲劳驾驶且对疲劳驾驶进行警示干预，这是一个亟待解决的技术问题。


技术实现要素：

5.本发明的目的是提供一种基于红外相机乘客体温及疲劳驾驶行为检测系统及方法系统及方法，以解决上述现有技术存在的问题，提高检测效率和准确性，提示司机疲劳驾驶存在的风险并且能够对车辆进行实时检测。
6.为实现上述目的，本发明提供了如下方案：本发明公开了一种基于红外相机的乘客体温及疲劳驾驶行为检测系统，包括：
7.测温模块，用于判断测量体温是否异常；
8.疲劳驾驶检测模块，用于判断司机是否存在疲劳驾驶；
9.中央处理器，用于接受车内温度传感器所输出的车内温度；
10.提示装置，用于对车内异常行为的播报；
11.通讯模块，用于对车内异常行为传递到网络上；
12.云平台，接收信息并能够对周围的车辆进行警报；
13.所述中央处理器分别与所述测温模块、所述疲劳驾驶检测模块、所述提示装置和所述通讯模块连接，所述通讯模块还与所述云平台连接。
14.优选地，所述测温模块包括车顶处能够对乘客进行红外测温的红外相机，设为红外相机1号机。
15.优选地，所述疲劳驾驶检测模块包括红外相机2号机，用于采集人脸信息。
16.优选地，所述提示装置为车内喇叭和显示器；所述车内喇叭用于判断司机状态为疲劳，对司机进行提示，所述显示器用于显示体温异常的成员的当前体温及位置。
17.一种基于红外相机的乘客体温及疲劳驾驶行为检测方法，其特征在于，包括以下步骤：
18.s1.将车顶处红外相机1号机对乘客进行一次测温，并且结合车内温度判断车内人员是否存在体温异常，未存在体温异常则对司机进行疲劳驾驶检测；
19.s2.司机前方的红外相机2号机对司机的人脸进行对准，红外相机2号机拍摄到司机脸部的2/3及以上，完成对准；
20.s3.红外相机2号机对司机的人脸信息进行采集，获得司机的人脸信息连续帧，基于mtcnn对人脸连续帧进行特征提取，采用yolov3对人脸特征中眼睛的闭合时间和嘴巴的打哈欠时长进行检测，构建疲劳驾驶模型，基于疲劳驾驶模型、眼睛的闭合时间和嘴巴的打哈欠时长，判断司机是否疲劳驾驶；
21.s4.建立云平台，预先对车辆信息进行储存，每次车辆启动后，乘客的体温及司机的驾驶行为都会通过车联网技术传输到云平台上，若车发送警告，则向云平台上传地点、时间信息；此时云平台再向本地区有本系统的车辆发送提示。
22.优选地，所述s1中，具体为若第一次测温时存在有体温异常的乘客，则需要对体温异常的乘客进行记录并提示所有车内成员该乘客体温可能异常；然后再隔一段时间再次检测该乘客体的体温，结合车内温度，进行第二次判断是否异常，若再次出现体温异常则向所有成员发出提示；若该乘客体温恢复正常则消除警告。
23.优选地，所述s2中红外相机2号机未拍摄到所述司机脸部的2/3及以上，提示司机调整红外相机角度，直到拍摄到所述司机脸部的2/3及以上，关闭提示。
24.优选地，所述s3中构建的疲劳驾驶模型为计算5秒内眼睛的闭合时间采用perclo的p80准则：瞳孔被眼睑覆盖超过80％的面积，则认为眼睛是闭合的，若闭合时间≥30％，则认定为疲劳，若连续两秒眼睛闭合，则认定为疲劳；嘴部长宽比≥50％即认为打哈欠，5秒内打哈欠时间≥15％，且眼睛闭合时间≥15％，则认定为疲劳；5秒内若头部偏移角度≥60
°
的时间≥30％，则认定为疲劳。
25.本发明公开了以下技术效果：
26.本发明的疲劳驾驶检测系统不依赖于车体改装，只需要驾驶员前侧安装一个红外相机，成本低廉；本发明有效地在白天和夜晚进行检测，特别是在夜间，比起普通的相机更有效；而夜间正是疲劳驾驶频发时间段；本发明结合了眼睛、嘴部和头部转角多个外表特征，且结合深度学习的神经网络检测更加准确，提高了判断疲劳驾驶的准确度；提示装置采用车载喇叭警示，该方法方便高效，同时也提示了其他驾驶员的存在疲劳驾驶的风险；本技术还采取了云平台收集各个车辆的实时信息，对各个车辆有了一个实时汇报的功能。
附图说明
27.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明系统的结构示意图；
29.图2为本发明系统的流程示意图；
30.图3为本发明疲劳驾驶中人脸检测68个特征点的示意图；
31.图4为mtcnn网络参数传输示意图；
32.图5为yolov3网络参数示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
35.本发明提供基于红外相机的乘客体温及疲劳驾驶行为检测系统及方法，包括红外相机1号机、测温模块、中央处理器、红外相机2号机、疲劳驾驶检测模块、通讯模块、车载喇叭、显示器和云平台，所述中央处理器分别与所述测温模块、所述疲劳驾驶检测模块、所述提示装置和所述通讯模块连接，所述通讯模块还与所述云平台连接,提示装置包括车内喇叭和显示器，疲劳驾驶检测模块包括红外相机2号机，用于采集人脸信息，测温模块为包括车顶处能够对乘客进行红外测温的红外相机，设为红外相机1号机,如图1所示。
36.(1)测温模块
37.如图2所示，车顶处有能够拍摄到所有人的红外相机，设为红外相机1号机。所述红外相机1号机能够对乘客进行红外测温。当车启动时，所述红外相机1号机对乘客进行第一次测温，然后结合车内的温度，判断车内成员体温是否存在异常，需要对体温异常的乘客进行记录并且提示车内成员中该体温异常的成员体温可能异常；再隔一段时间再次检测该成员的体温，结合车内温度，进行第二次判断是否异常，如果恢复正常则清楚警告，若再次异常则发出向所有成员发出提示。
38.采用中央处理器接受车内温度传感器所输出的车内温度，若车内温度∈[15℃，26℃]，则将车内成员的正常体温设为[36℃，37℃]；若车内温度低于15℃，车内成员的正常体温设为[35.8℃，37℃]；若车内温度高于26℃，车内乘员的正常体温设为[36℃，37.2℃]。当存在成员体温不在正常体温区间时，司机的操作显示器上会显示该成员的位置以及体温，并通过车载喇叭对所有成员进行提示：“该位置的成员体温可能存在异常”。对于第一次测温存在异常的成员，中央处理器在30分钟过后第二次判断该成员是否仍为异常体温，则认定该成员体温为异常。再次通过车载喇叭对所有成员提示：“该位置的成员体温存在异常”。在第一次对所有成员测温后，对于存在体温异常的成员，司机可向中央处理器输入是否提前知晓该成员的讯息，若输入则不进行第二次测温。
[0039]
(2)疲劳驾驶检测模块
[0040]
当红外相机1号机启动后，位于司机前方的红外相机也随即启动，该红外相机设为红外相机2号机。对司机人脸首先进行对准，所述红外相机2号机能够保证拍摄到司机脸部的大部分，若视角不好则提示司机调整相机角度；所述红外相机2号机首先对司机人脸进行判断，采用中央处理器判断人脸拍摄到的范围是否大于人脸的2/3，若低于人脸的2/3，则提示司机调整红外相机角度；若大于等于人脸的2/3，则不再提示司机调整红外相机角度。
[0041]
(3)预设疲劳驾驶模型
[0042]
所述红外相机2号机对司机进行人脸检测判断司机是否存在疲劳驾驶。该系统是基于mtcnn(multi
‑
task cascaded convolutional networks) yolov3网络。mtcnn对司机人脸进行检测，采集各部位连续帧的特征，yolov3完成对眼睛是否闭合和嘴巴打哈欠的检测。与预设的疲劳驾驶模型相比较，若匹配模型，则认定该司机在这段时间内专注度不够，存在疲劳驾驶的可能，通过车载喇叭提示司机注意休息，警惕疲劳驾驶带来的风险，提高注意力；红外相机在夜间也有着良好的检测能力，而疲劳驾驶多发于夜间，所以红外相机在疲劳驾驶检测中有着特定的优势。且结合深度学习的神经网络检测会更加精确。本发明中的mtcnn yolov3网络结构的疲劳驾驶检测优点在于：比起传统方法，利用了深度学习神经网络，使得检测率会大大提高。
[0043]
mtcnn网络如图4所示，分别是proposal network(p
‑
net)、refine network(r
‑
net)、output network(o
‑
net)。对输入的图片不断resize，得到图片金字塔。将图片金字塔输入到p
‑
net中，得到大量的候选框。然后经过r
‑
net进行精调。最后输入到o
‑
net中，得到最后的人脸的bbox坐标，如图3所示。得到人脸坐标后，将人眼和嘴巴区域输入到yolov3网络中。建立yolov3人眼睁闭、打哈欠检测模型。用yolov3对司机的人眼和嘴巴区域进行检测，获取框图坐标及检测结果的置信度。对所有类别进行遍历，将所有置信度大于阈值的类别根据框图坐标进行画框并标注类别。为进一步优化上述技术方案，预先选取yolov3作为网络结构，特别的，对疲劳驾驶模型数据集分出睁眼、闭眼、打哈欠、闭嘴等几类训练集进行训练。为锚点打标签，将真实标签的box的交并比大于0.7的锚点为正标签，交并比小于0.3的锚点为负标签。输出置信度大于0.8的检测框，每一帧都会输出检测类别，即睁眼、闭眼、打哈欠、闭嘴四类，若匹配则置1，不匹配置0。累计5秒内所有帧的检测类别，若匹配预设的模型，则认定为疲劳驾驶。头部姿态判断疲劳或不专心驾驶是通过实时头部姿态的旋转角度。如图5所示，检测2d人脸的关键点。3d人脸模型匹配。通过世界坐标系、相机坐标系、图像中心坐标系和像素坐标系的关系，求解3d点到对应2d点的转换关系。根据旋转矩阵求解欧拉角，具体为：
[0044][0045]
其中：是三维坐标，是旋转矩阵，是平移向量，f
x
，f
y
是焦距，c
x
，c
y
是光心，是二维坐标。
[0046]
根据旋转矩阵求解欧拉角。具体公式为：
[0047][0048][0049][0050]
按照yaw
‑
pitch
‑
roll依次旋转，矩阵描述为：
[0051][0052]
欧拉角可按如下求解：
[0053]
θ
y
＝a tan2(
‑
r
xz
，r
zz
)
[0054][0055]
θ
z
＝a tan2(
‑
r
yx
，r
yy
)
[0056]
从而得到头部旋转角的三个参数yaw(偏航角)、pitch(俯仰角)、roll(旋转角)，当三个角度绝对值在5秒内≥30
°
的时间≥30％，则认定为疲劳或不专心驾驶。预先设置疲劳认定的标准：计算5秒内眼睛的闭合时间(采用perclo的p80准则：瞳孔被眼睑覆盖超过80％的面积，则认为眼睛是闭合的)，若闭合时间≥30％，则认定为疲劳，若连续两秒眼睛闭合，则认定为疲劳；嘴部长宽比≥50％即认为打哈欠，5秒内打哈欠时间≥15％，且眼睛闭合时间≥15％，则认定为疲劳；5秒内若头部偏移角度≥60
°
的时间≥30％，则认定为疲劳或不专心驾驶。
[0057]
(4)建立云平台
[0058]
云平台能够预先对车辆信息进行存储，每次车辆启动后，车内成员的体温及司机的驾驶行为都会通过车联网技术传输到云平台。若车发送警告，则会向云平台上传地点、时间信息；此时云平台再向该地区有该系统的车辆发送提示。当车内存在成员第二次测温异常，司机存在疲劳驾驶的行为时，中央处理器通过车联网将该车辆的位置信息发送至云平台。云平台接收到信息后，将该信息以及车牌等车辆信息广播到该车辆附近的区域，所有与云平台相连的车辆都能收到信息，提示其余车辆注意安全。所有联入云平台的车辆在云平台上都有数据库，记录该车的车牌、车身、车况信息，以及车辆所有人的信息，且该云平台可
收集到该车最近的交通行为。
[0059]
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。