异常驾驶行为的监控方法、装置、终端设备和存储介质与流程

1.本技术属于智能监控技术领域，尤其涉及一种异常驾驶行为的监控方法、装置、终端设备和存储介质。


背景技术：

2.许多交通事故是由于驾驶员错误或危险的异常驾驶行为导致的，因此，对驾驶员的异常驾驶行为进行监测具有重要的应用价值。
3.近年来，市面上出现了多种类型的驾驶员状态监测系统，其中大部分系统的实现原理是通过驾驶员的生理反应特征实现异常驾驶行为的监测。由于在光线复杂变化或光线不足的环境下，驾驶员生理反应特征的识别准确率降低，导致驾驶员异常驾驶行为检测的准确率随之下降。为了解决这一问题，现有的系统一般采用红外补光模式工作。红外补光模式要求长时间打开红外补光灯，以采集驾驶员的红外图像，而长时间打开红外补光灯将导致整个系统的能耗增加、机器发热严重，甚至会影响机器的使用寿命。


技术实现要素：

4.本技术实施例提供一种异常驾驶行为的监控方法、装置、终端设备和存储介质，可以在有效检测驾驶员异常驾驶行为的同时，减少监控过程中所需的能耗。
5.本技术实施例第一方面提供一种异常驾驶行为的监控方法，包括：
6.获取驾驶员的初始可见光图像；
7.对所述初始可见光图像进行图像识别，确定所述初始可见光图像中与所述驾驶员关联的目标图像区域；
8.对所述目标图像区域进行曝光处理，得到目标可见光图像；
9.利用所述目标可见光图像，确定所述驾驶员存在的异常驾驶行为。
10.在本技术的一些实施方式中，所述对所述目标图像区域进行曝光处理，得到目标可见光图像，包括：确定所述目标图像区域和非目标图像区域的曝光权重，其中，所述非目标图像区域为所述初始可见光图像中除所述目标图像区域以外的其他图像区域，所述目标图像区域的曝光权重大于所述非目标图像区域的曝光权重；利用所述曝光权重对所述初始可见光图像进行曝光处理，得到所述目标可见光图像。
11.在本技术的一些实施方式中，确定所述初始可见光图像中与所述驾驶员关联的目标图像区域，包括：若所述初始可见光图像满足处理条件，则确定所述初始可见光图像中与所述驾驶员关联的目标图像区域；其中，所述处理条件包括所述驾驶员在所述可见光图像中人脸区域的面积大小大于面积阈值、所述驾驶员的脸部朝向与参考方向的偏转角小于角度阈值中的至少一项。
12.在本技术的一些实施方式中，所述获取驾驶员的初始可见光图像，包括：获取由摄像头对所述驾驶员进行拍摄得到的初始可见光图像，所述摄像头的成像靶面的尺寸大小大于预设尺寸值。
13.在本技术的一些实施方式中，所述异常驾驶行为包括：抽烟行为、打电话行为和疲劳驾驶行为中的至少一项。
14.在本技术的一些实施方式中，在确定所述驾驶员存在所述疲劳驾驶行为时，所述监控方法还包括：利用所述目标可见光图像，确定所述驾驶员的眼部特征信息和嘴部特征信息；根据所述眼部特征信息计算第一疲劳参考值，并根据所述嘴部特征信息计算第二疲劳参考值；根据所述第一疲劳参考值和所述第二疲劳参考值，对所述疲劳驾驶行为进行分级。
15.在本技术的一些实施方式中，在所述获取驾驶员的初始可见光图像之后，所述监控方法还包括：若所述初始可见光图像满足红外补光条件，则控制红外补光灯开启；在所述红外补光灯开启后，采集所述驾驶员的初始红外图像；利用所述初始红外图像，确定所述驾驶员存在的异常驾驶行为。
16.本技术实施例第二方面提供的一种异常驾驶行为的监控装置，包括：
17.可见光图像获取单元，用于获取驾驶员的初始可见光图像；
18.可见光图像识别单元，用于对所述初始可见光图像进行图像识别，确定所述初始可见光图像中与所述驾驶员关联的目标图像区域；
19.曝光处理集单元，用于对所述目标图像区域进行曝光处理，得到目标可见光图像；
20.异常驾驶行为确定单元，用于利用所述目标可见光图像，确定所述驾驶员存在的异常驾驶行为。
21.本技术实施例第三方面提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
22.本技术实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述监控方法的步骤。
23.本技术实施例第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的监控方法。
24.在本技术的实施方式中，通过获取驾驶员的初始可见光图像，对初始可见光图像进行图像识别，确定初始可见光图像中与驾驶员关联的目标图像区域，进而对目标图像区域进行曝光处理，得到目标可见光图像，以利用目标可见光图像，确定驾驶员存在的异常驾驶行为，一方面，由于与驾驶员关联的目标图像区域内含有与驾驶员相关的生理反应特征信息，通过曝光处理提高目标图像区域的亮度，可以使得生理反应特征的识别准确率得到提高，进而使异常驾驶行为的识别准确率得到提高，另一方面，由于能够通过可见光图像进行异常驾驶行为的识别，不需要开启红外补光灯规避环境光的干扰，能够避免因长时间开启红外补光灯而导致的能耗增加、机器发热及机器寿命缩短的问题。
附图说明
25.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
26.图1是本技术实施例提供的一种异常驾驶行为的监控方法的实现流程示意图；
27.图2是本技术实施例提供的步骤s201的具体实现流程示意图；
28.图3是本技术实施例提供的红外补光的具体实现流程示意图；
29.图4是本技术实施例提供的驾驶员状态监测系统的架构示意图；
30.图5是本技术实施例提供的一种异常驾驶行为的监控装置的结构示意图；
31.图6是本技术实施例提供的终端设备的结构示意图。
具体实施方式
32.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护。
33.许多交通事故是由于驾驶员错误或危险的异常驾驶行为导致的，因此，对驾驶员的异常驾驶行为进行监测具有重要的应用价值。
34.近年来，市面上出现了多种类型的驾驶员状态监测系统，其中大部分系统的实现原理是通过驾驶员的生理反应特征实现异常驾驶行为的监测。由于在光线复杂变化或光线不足的环境下，驾驶员生理反应特征的识别准确率降低，导致驾驶员异常驾驶行为检测的准确率随之下降。为了解决这一问题，现有的系统一般采用红外补光模式工作。红外补光模式要求长时间打开红外补光灯，以采集驾驶员的红外图像，而长时间打开红外补光灯将导致整个系统的能耗增加、机器发热严重，甚至会影响机器的使用寿命。
35.此外，部分司机会佩戴防红光眼镜，这些系统也会因防红光眼镜而无法获取驾驶员的眼球生物特征信息，进而导致无法识别出驾驶员的异常驾驶行为，不能有效地避免因异常驾驶行为引起的交通事故。
36.本技术正是针对上述问题提出的异常驾驶行为的监控方法。
37.为了说明本技术的技术方案，下面通过具体实施例来进行说明。
38.图1示出了本技术实施例提供的一种异常驾驶行为的监控方法的实现流程示意图，该方法可以应用于终端设备上，可适用于需在有效检测驾驶员异常驾驶行为的同时，减少监控过程中所需能耗的情形。
39.其中，上述终端设备可以为车载设备、路侧设备，或其他需检测驾驶员行为的智能设备。
40.具体的，上述异常驾驶行为的监控方法可以包括以下步骤s101至步骤s104。
41.步骤s101，获取驾驶员的初始可见光图像。
42.在本技术的实施方式中，上述终端设备可以获取由自带的摄像头采集到的可见光图像，也可以通过无线或有线连接的方式，获取由其他设备采集并发送的可见光图像，进而将获取到的可见光图像作为初始可见光图像。
43.可见光图像是指摄像头在工作波段处于400nm至650nm范围内采集到的图像。
44.为了提高生理反应特征的识别准确率，在本技术的一些实施方式中，上述获取驾驶员的初始可见光图像可以包括：获取由摄像头对驾驶员进行拍摄得到的初始可见光图像，其中，摄像头的成像靶面的尺寸大小大于预设尺寸值。
45.在本技术的一些实施方式中，成像靶面用于表征摄像头感光部分的大小，在相同分辨率情况下，成像靶面的尺寸大小越大，则其单位像素的面积也越大，成像质量也会越好。因此，使用成像靶面尺寸大的摄像头对驾驶员进行拍摄，所得到的初始可见光图像的成像质量较好，能够更好地识别出其中驾驶员的生理反应特征。
46.需要说明的是，上述预设尺寸值的具体取值可以根据实际情况进行调整。
47.在本技术的一些实施方式中，所述的摄像头可以在检测到驾驶室内(或驾驶位上)的驾驶员时，对驾驶室内(或驾驶位上)的驾驶员进行实时拍摄，得到一帧或多帧初始可见光图像。
48.步骤s102，对初始可见光图像进行图像识别，确定初始可见光图像中与驾驶员关联的目标图像区域。
49.其中，图像识别的方式可以根据实际情况进行选择，一些实施方式中，终端设备可以将初始可见光图像输入至预设的图像识别模型中，得到前述第一特征信息。其中，预设的图像识别模型可以是卷积神经网络(convolutional neural networks，cnn)、基于区域的卷积神经网络(region with cnn features，rcnn)或其他神经网络模型。
50.在本技术的实施方式中，基于对初始可见光图像进行图像识别，终端设备可以提取与驾驶员关联的特征信息，进而利用与驾驶员关联的特征信息，确定初始可见光图像中与驾驶员关联的目标图像区域。
51.其中，上述与驾驶员关联的特征信息可以包括人物特征点。人物特征点可以具体包括人脸特征点(如眼部特征点、嘴部特征点、耳部特征点)、手部特征点等。基于人物特征点，终端设备可以确定与驾驶员关联的目标图像区域。
52.上述与驾驶员关联的目标图像区域可以为含有驾驶员的生理反应特征信息的图像区域，例如可以包括驾驶员的手部图像区域、人脸图像区域等。
53.具体的，在本技术的一些实施方式中，终端设备可以基于人脸特征点，确定能够围住所有脸部特征点的最小外接四边形作为人脸图像区域，并将人脸图像区域作为与驾驶员关联的目标图像区域。在本技术的另一些实施方式中，终端设备可以基于手部特征点，确定手部轮廓，并将手部轮廓所围区域作为手部图像区域，并将手部图像区域作为与驾驶员关联的目标图像区域。
54.步骤s103，对目标图像区域进行曝光处理，得到目标可见光图像。
55.在本技术的实施方式中，终端设备可以对目标图像区域进行曝光处理，使得目标可见光图像中目标图像区域的亮度相较初始可见光图像得到提升，进而提高生理反应特征信息的识别准确率。
56.具体的，在本技术的一些实施方式中，如图2所示，上述对目标图像区域进行曝光处理，得到目标可见光图像，可以具体包括步骤s201至步骤s202。
57.步骤s201，确定目标图像区域和非目标图像区域的曝光权重。
58.其中，非目标图像区域为初始可见光图像中除目标图像区域以外的其他图像区域。
59.在本技术的一些实施方式中，可以将非目标图像区域进一步划分成多个子图像区域，划分的方式可以根据实际情况进行选择，例如可以采用均等划分的方式。
60.上述曝光权重用于确定对对应的图像区域进行曝光处理时的曝光程度，曝光权重
越高，则对应的图像区域经曝光处理后亮度提升的程度越高。在本技术的实施方式中，目标图像区域的曝光权重大于非目标图像区域的曝光权重。
61.在本技术的一些实施方式中，终端设备可以统计目标图像区域内各个像素点像素值的平均值作为目标图像区域的参考值；同样的，对每个非目标图像区域划分出的子图像区域，可以用相同的方式得到其对应的参考值。进而，终端设备可以计算目标图像区域和所有子图像区域参考值的平均值。
62.若目标图像区域的参考值低于上述参考值的平均值，则终端设备可以将目标图像区域的曝光权重设置为a，同时将所有子图像区域的曝光权重设置为b，其中，a大于b。若目标图像区域的参考值高于各个图像区域参考值的平均值，则终端设备可以将目标图像区域的曝光权重设置为c，同时将所有子图像区域的曝光权重设置为d，其中，c大于d，且c小于或等于a。
63.在本技术的另一些实施方式中，终端设备也可以依据目标图像区域的参考值和上述参考值的平均值之间的差值所在的取值区间，为目标图像区域赋予与取值区间关联的曝光权重值。同理，对所有子图像区域也可以赋予与其对应的取值区间关联的曝光权重值。
64.在本技术的另一些实施方式中，终端设备还可以确定出目标图像区域和所有子图像区域对应的像素值直方图，然后基于像素值直方图确定目标图像区域和所有子图像区域对应的统计量。所述的统计量可以表征对应的图像区域与其他图像区域在像素值上的误差量。基于统计量所在的取值区间，终端设备可以为目标图像区域或任意的子图像区域赋予与对应的取值区间关联的曝光权重值。
65.在本技术的另一些实施方式中，终端设备还可以接收用户在终端设备上触发的输入操作，进而获取输入操作中携带的曝光权重。
66.步骤s202，利用曝光权重对初始可见光图像进行曝光处理，得到目标可见光图像。
67.其中，上述曝光处理可以通过直方图均衡、gamma变换、对数变换、区域直方图均衡，或者其他现有的图像曝光算法实现。
68.本技术一些的实施方式中，经曝光处理，目标可见光图像中的与驾驶员关联的目标图像区域的亮度可以得到提升，且相较于非目标图像区域的亮度更高，有利于从目标可见光图像中提取出准确的生理反应特征信息。
69.在本技术的另一些实施方式中，终端设备也可以单独对目标图像区域进行曝光处理，将初始可见图像中的目标图像区域替换为经曝光处理后得到的目标图像区域，得到目标可见光图像。
70.步骤s104，利用目标可见光图像，确定驾驶员存在的异常驾驶行为。
71.在本技术的实施方式中，终端设备可以通过对目标可见光图像进行图像识别，得到用于进行异常驾驶行为识别的、与驾驶员关联的特征信息。其中，与驾驶员关联的特征信息可以具体包括驾驶员自身的人物特征信息、与驾驶员关联的物品的物品特征信息中的至少一项特征信息。
72.需要说明的是，图像识别的实现方式可以参看步骤s102的说明，本技术对此不进行赘述。
73.上述人物特征信息除了前述人物特征点和脸部图像区域以外，还可以包括基于人物特征确定出的人物动作、人脸朝向、眼部开合程度、嘴部开合程度中的一项或多项特征信
息。
74.其中，人物动作可以包括驾驶员的手部动作、眼部动作以及嘴部动作等，在一些实施方式中，终端设备可以基于多帧连续的目标可见光图像中的人物特征点确定人物动作。人脸朝向指人脸所朝的方向，终端设备可以根据目标可见光图像中脸部特征点之间的相对位置确定。
75.上述与驾驶员关联的物品可以指在特定人物特征信息的预设距离范围内出现的物品。物品特征信息可以指物品的物品特征点、颜色特征、轮廓特征中的一项或多项，能够用于确定与驾驶员关联的物品的物品类型。
76.相应的，基于与驾驶员关联的特征信息，终端设备可以确定驾驶员是否存在包括：抽烟行为、打电话行为和疲劳驾驶行为中的至少一项异常驾驶行为。
77.例如，基于同时位于耳部特征点及手部特征点预设距离范围内的物品的物品特征信息，终端设备可以确定该物品(也即与驾驶员关联的物品)的物品类型是否为通讯设备，若是，则可以确认驾驶员存在打电话行为。基于位于嘴部特征点预设距离范围内的物品的物品特征信息，终端设备可以确定该物品(也即与驾驶员关联的物品)的物品类型是否为电子烟，若是，则可以确认驾驶员存在吸烟行为。
78.又例如，终端设备可以确定驾驶员的眨眼频率、眼部的平均开合程度和打哈欠频率，如果满足眨眼频率大于第一频率阈值、眼部的平均开合程度小于程度阈值，或者打哈欠频率大于第二频率阈值中至少一项，则可以确认驾驶员存在疲劳驾驶行为。其中，第一频率阈值、程度阈值、第二频率阈值的具体取值可以根据实际情况进行调整。
79.在确定驾驶员存在疲劳驾驶行为时，终端设备还可以对疲劳驾驶行为进行分级。
80.具体的，终端设备可以利用目标可见光图像，确定驾驶员的眼部特征信息和嘴部特征信息；其中，眼部特征信息可以包括眨眼频率和眼部的平均开合程度，嘴部特征信息可以包括打哈欠频率。然后，终端设备可以根据眼部特征信息，计算第一疲劳参考值，并根据嘴部特征信息，计算第二疲劳参考值。接着，根据第一疲劳参考值和第二疲劳参考值，对疲劳驾驶行为进行分级
81.在一些实施方式中，终端设备可以对第一疲劳参考值和第二疲劳参考值进行加权相加，拟合得到最终的疲劳值，并依据最终的疲劳值所在的区间范围，对疲劳驾驶行为进行分级。例如，可以依据最终的疲劳值所在的区间范围，将驾驶员的疲劳等级划分为正常、轻度和重度三种等级。
82.在确定驾驶员存在异常驾驶行为之后，终端设备可以通过语音播报或控制提示灯闪烁等方式，对驾驶员进行报警提醒，直至识别到驾驶员停止该异常驾驶行为。
83.对于已经识别到的异常驾驶行为，终端设备可以对其进行记录，并上传至云平台。
84.在本技术的实施方式中，通过获取驾驶员的初始可见光图像，对初始可见光图像进行图像识别，确定初始可见光图像中与驾驶员关联的目标图像区域，进而对目标图像区域进行曝光处理，得到目标可见光图像，以利用目标可见光图像，确定驾驶员存在的异常驾驶行为，一方面，由于与驾驶员关联的目标图像区域内含有与驾驶员相关的生理反应特征信息，通过曝光处理提高目标图像区域的亮度，可以使得生理反应特征的识别准确率得到提高，进而使异常驾驶行为的识别准确率得到提高，另一方面，由于能够通过可见光图像进行异常驾驶行为的识别，不需要开启红外补光灯规避环境光的干扰，能够避免因长时间开
启红外补光灯而导致的能耗增加、机器发热及机器寿命缩短的问题。
85.在本技术的一些实施方式中，上述确定初始可见光图像中与驾驶员关联的目标图像区域，包括：若初始可见光图像满足处理条件，则确定初始可见光图像中与驾驶员关联的目标图像区域。
86.经过对初始可见光图像进行图像识别，终端设备可以得到驾驶员在可见光图像中人脸区域，以及驾驶员的脸部朝向。
87.相应的，上述处理条件可以包括驾驶员在可见光图像中人脸区域的面积大小大于面积阈值、驾驶员的脸部朝向与参考方向的偏转角小于角度阈值中的至少一项。
88.具体的，当人脸区域的面积大小大于面积阈值时，说明终端设备能够较好地识别出脸部特征点，进而能够准确地确定驾驶员存在的异常驾驶行为，此时，终端设备可以确认初始可见光图像满足处理条件，并进一步确定初始可见光图像中与驾驶员关联的目标图像区域。
89.当脸部朝向与参考方向的偏转角小于角度阈值时，说明终端设备能够较好地识别出脸部特征点，进而能够准确地确定驾驶员存在的异常驾驶行为，此时，终端设备可以确认初始可见光图像满足处理条件，并进一步确定初始可见光图像中与驾驶员关联的目标图像区域。
90.其中，参考方向可以为驾驶员的脸部正对采集初始可见光图像的摄像头的方向，或者，可以为驾驶员当前驾驶的车辆的行驶方向。
91.在本技术的另一些实施方式中，如果初始可见光图像不满足处理条件，说明初始可见光图像不满足异常驾驶行为的识别需求，此时，终端设备可以重新采集初始可见光图像，再重新判断初始可见光图像是否满足处理条件。
92.本技术的实施方式中，通过在初始可见光图像满足处理条件时，确定初始可见光图像中与驾驶员关联的目标图像区域，能够确保初始可见光图像能够满足异常驾驶行为的识别需求，进而提高异常驾驶行为的识别准确率。
93.考虑到实际应用中，一些终端设备可以兼容使用红外补光模式，在本技术的一些实施方式中，如图3所示，在获取驾驶员的初始可见光图像之后，上述监控方法还包括步骤s301至步骤s303。
94.步骤s301，若初始可见光图像满足红外补光条件，则控制红外补光灯开启。
95.其中，上述补光条件是指需要对当前场景进行红外补光，以满足异常驾驶行为识别需求的条件。当前场景即驾驶员所在的场景，可以具体指驾驶室。
96.当初始可见光图像满足补光条件时，说明初始可见光图像不能够满足异常驾驶行为的识别需求，但能够通过红外补光的方式满足异常驾驶行为的识别需求，此时，终端设备可以控制红外补光灯开启。
97.而当初始可见光图像不满足补光条件时，说明初始可见光图像能够满足异常驾驶行为的识别需求，终端设备可以执行步骤s102至步骤s104，实现对驾驶舱存在的异常驾驶行为的识别。
98.在本技术的一些实施方式中，上述补光条件可以包括在初始可见光图像内与驾驶员关联的特征信息中，第一预设类型的特征信息的信息量小于预设值。
99.具体的，第一预设类型可以为实现异常驾驶行为识别的生理反应特征信息对应的
类型。当在初始可见光图像内与驾驶员关联的特征信息中，第一预设类型的特征信息的信息量小于预设值时，说明实现异常驾驶行为识别的生理反应特征信息不足，不能够满足对驾驶员存在的异常驾驶行为进行识别的需要。此时，终端设备可以控制红外补光灯开启。
100.例如，第一预设类型可以为人眼特征点。当眼部特征点的数量小于预设值时，则控制红外补光灯开启。
101.在本技术的另一些实施方式中，上述补光条件还可以包括在初始可见光图像内与驾驶员关联的特征信息中存在第二预设类型的特征信息中。
102.具体的，第二预设类型可以为影响生理反应特征信息识别的物品的物品特征信息。当在初始可见光图像内与驾驶员关联的特征信息中存在第二预设类型的特征信息时，说明当前场景中出现了影响初始可见光图像中生理反应特征信息识别的物品，导致实现异常驾驶行为识别的生理反应特征信息不足，不能够满足对驾驶员存在的异常驾驶行为进行识别的需要。此时，终端设备可以控制红外补光灯开启。
103.例如，第二预设类型可以指墨镜特征点，在初始可见光图像内与驾驶员关联的特征信息中存在墨镜特征点，说明驾驶员佩戴了墨镜，而墨镜将影响初始可见光图像中的眼部特征点的识别，此时，终端设备可以控制红外补光灯开启。
104.步骤s302，在红外补光灯开启后，采集驾驶员的初始红外图像。
105.同样的，上述终端设备可以获取由自带的摄像头采集到的红外图像，也可以通过无线或有线连接的方式，获取由其他设备采集并发送的红外图像，进而将获取到的红外图像作为初始可见光图像。
106.其中，红外图像是指摄像头在工作波段处于780nm至1000nm范围内采集到的图像。相较于可见光图像，红外图像可以更好地避免环境光对生理反应特征的识别的干扰。
107.步骤s303，利用初始红外图像，确定驾驶员存在的异常驾驶行为。
108.其中，利用初始红外图像确定驾驶员存在的异常驾驶行为的具体实现方式，可以参看前述利用目标可见光图像确定驾驶员存在的异常驾驶行为的具体实现方式，其区别仅在于使用的图像不同，本技术对此不再进行赘述。
109.在本技术的实施方式中，通过在初始可见光图像满足补光条件时，控制红外补光灯开启，并在红外补光灯开启后，采集驾驶员的初始红外图像，以利用初始红外图像，确定驾驶员存在的异常驾驶行为，使得红外补光灯仅需在初始可见光图像满足补光条件时开启，能够避免因长时间开启红外补光灯而导致的能耗增加、机器发热及机器寿命缩短的问题。并且，可以帮助在可见光信息不能够满足异常驾驶行为识别需求时，使终端设备进入红外补光模式，进而利用红外信息进行异常驾驶行为的识别，提高了异常驾驶行为的准确性和有效性。
110.在本技术的一些实施方式中，如图4所示，上述终端设备内可以安装有驾驶员状态监测系统，该系统可以划分为输入层、分析决策层以及输出层。
111.其中，输入层用于采集驾驶员的初始可见光图像及初始红外图像。
112.分析决策层用于进行图像识别及对初始可见光图像中的目标图像区域进行曝光处理，然后利用目标可见光图像确定驾驶员存在的异常驾驶行为以及对异常驾驶行为进行分级。分析决策层还可以用于判断初始可见光图像是否满足补光条件及处理条件，如果初始可见光图像满足补光条件则控制进入红外补光模式，以使输入层在红外补光灯开启后，
采集驾驶员的初始红外图像。
113.输出层则用于在驾驶员存在异常驾驶行为时进行报警，同时可以进行异常驾驶行为的记录和上传。
114.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为根据本技术，某些步骤可以采用其它顺序进行。
115.如图5所示为本技术实施例提供的一种异常驾驶行为的监控装置500的结构示意图，所述异常驾驶行为的监控装置500配置于终端设备上。
116.具体的，所述异常驾驶行为的监控装置500可以包括：
117.可见光图像获取单元501，用于获取驾驶员的初始可见光图像；
118.可见光图像识别单元502，用于对所述初始可见光图像进行图像识别，确定所述初始可见光图像中与所述驾驶员关联的目标图像区域；
119.曝光处理集单元503，用于对所述目标图像区域进行曝光处理，得到目标可见光图像；
120.异常驾驶行为确定单元504，用于利用所述目标可见光图像，确定所述驾驶员存在的异常驾驶行为。
121.在本技术的一些实施方式中，上述曝光处理集单元503可以具体用于：确定所述目标图像区域和非目标图像区域的曝光权重，其中，所述非目标图像区域为所述初始可见光图像中除所述目标图像区域以外的其他图像区域，所述目标图像区域的曝光权重大于所述非目标图像区域的曝光权重；利用所述曝光权重对所述初始可见光图像进行曝光处理，得到所述目标可见光图像。
122.在本技术的一些实施方式中，上述可见光图像识别单元502可以具体用于：若所述初始可见光图像满足处理条件，则确定所述初始可见光图像中与所述驾驶员关联的目标图像区域；其中，所述处理条件包括所述驾驶员在所述可见光图像中人脸区域的面积大小大于面积阈值、所述驾驶员的脸部朝向与参考方向的偏转角小于角度阈值中的至少一项。
123.在本技术的一些实施方式中，上述可见光图像获取单元501可以具体用于：获取由摄像头对所述驾驶员进行拍摄得到的初始可见光图像，所述摄像头的成像靶面的尺寸大小大于预设尺寸值。
124.在本技术的一些实施方式中，上述异常驾驶行为包括：抽烟行为、打电话行为和疲劳驾驶行为中的至少一项。
125.在本技术的一些实施方式中，上述异常驾驶行为包括：抽烟行为、打电话行为和疲劳驾驶行为中的至少一项。
126.在本技术的一些实施方式中，上述异常驾驶行为的监控装置500还可以包括分级单元，用于在确定所述驾驶员存在所述疲劳驾驶行为时，利用所述目标可见光图像，确定所述驾驶员的眼部特征信息和嘴部特征信息；根据所述眼部特征信息计算第一疲劳参考值，并根据所述嘴部特征信息计算第二疲劳参考值；根据所述第一疲劳参考值和所述第二疲劳参考值，对所述疲劳驾驶行为进行分级。
127.在本技术的一些实施方式中，上述异常驾驶行为确定单元504还可以具体用于：若所述初始可见光图像满足红外补光条件，则控制红外补光灯开启；在所述红外补光灯开启
后，采集所述驾驶员的初始红外图像；利用所述初始红外图像，确定所述驾驶员存在的异常驾驶行为。
128.需要说明的是，为描述的方便和简洁，上述异常驾驶行为的监控装置500的具体工作过程，可以参考图1至图4所述方法的对应过程，在此不再赘述。
129.如图6所示，为本技术实施例提供的一种终端设备的示意图。该终端设备6可以包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如异常驾驶行为的监控程序。所述处理器60执行所述计算机程序62时实现上述各个异常驾驶行为的监控方法实施例中的步骤，例如图1所示的步骤s101至s104。或者，所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能，例如图5所示的可见光图像获取单元501、可见光图像识别单元502、曝光处理集单元503和异常驾驶行为确定单元504。
130.所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
131.例如，所述计算机程序可以被分割成：可见光图像获取单元、可见光图像识别单元、曝光处理集单元和异常驾驶行为确定单元。
132.各单元具体功能如下：可见光图像获取单元，用于获取驾驶员的初始可见光图像；可见光图像识别单元，用于对所述初始可见光图像进行图像识别，确定所述初始可见光图像中与所述驾驶员关联的目标图像区域；曝光处理集单元，用于对所述目标图像区域进行曝光处理，得到目标可见光图像；异常驾驶行为确定单元，用于利用所述目标可见光图像，确定所述驾驶员存在的异常驾驶行为。
133.所述终端设备可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
134.所称处理器60可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
135.所述存储器61可以是所述终端设备的内部存储单元，例如终端设备的硬盘或内存。所述存储器61也可以是所述终端设备的外部存储设备，例如所述终端设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器61还可以既包括所述终端设备的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
136.需要说明的是，为描述的方便和简洁，上述终端设备的结构还可以参考方法实施
例中对结构的具体描述，在此不再赘述。
137.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
138.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
139.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对各个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
140.在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
141.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
142.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
143.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，
例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
144.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。