一种驾驶疲劳检测方法及装置与流程

技术特征：
1.一种驾驶疲劳检测方法，其特征在于，包括：步骤s1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；步骤s2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；步骤s3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的lstm神经网络模型中，得到驾驶疲劳检测结果。2.根据权利要求1所述的驾驶疲劳检测方法，其特征在于，所述步骤s2对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。3.根据权利要求1所述的驾驶疲劳检测方法，其特征在于，所述步骤s2对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。4.根据权利要求1所述的驾驶疲劳检测方法，其特征在于，所述lstm神经网络模型的训练过程是：通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述lstm神经网络模型。5.根据权利要求1-4任一项所述的驾驶疲劳检测方法，其特征在于，得出驾驶疲劳检测结果后，通过视觉和/或听觉的方式对驾乘人员进行提醒。6.一种驾驶疲劳检测装置，其特征在于，包括：摄像头，安装在车辆内部并位于驾乘人员前方，用于采集驾乘人员面部图像；毫米波雷达，安装在驾乘人员座椅的椅背内部，用于采集驾乘人员背部振动信息；计算平台，安装在车辆内部，与所述摄像头和毫米波雷达电连接，用于对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；还将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的lstm神经网络模型中，得到驾驶疲劳检测结果。7.根据权利要求6所述的驾驶疲劳检测装置，其特征在于，所述计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
8.根据权利要求6所述的驾驶疲劳检测装置，其特征在于，所述计算平台对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。9.根据权利要求6所述的驾驶疲劳检测装置，其特征在于，所述lstm神经网络模型的训练过程是：通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述lstm神经网络模型。10.根据权利要求6-9任一项所述的驾驶疲劳检测装置，其特征在于，还包括显示屏，与所述计算平台电连接，用于根据驾驶疲劳检测结果，显示对驾乘人员进行提醒的信息。

技术总结
本发明公开一种驾驶疲劳检测方法及装置，其中，驾驶疲劳检测方法包括：步骤S1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；步骤S2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；步骤S3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的LSTM神经网络模型中，得到驾驶疲劳检测结果。本发明分别利用摄像头采集驾乘人员面部信息，利用毫米波雷达采集驾乘人员心率呼吸信息，避免了仅使用摄像头时无法应对遮挡、光照变化和对环境变化敏感等问题，具有全天候工作能力。具有全天候工作能力。具有全天候工作能力。


技术研发人员：尹超凡 钟力阳 何俏君 谷俊 徐梓峰 黄大年
受保护的技术使用者：广州汽车集团股份有限公司
技术研发日：2020.04.07
技术公布日：2021/10/11