行车安全监控方法、装置、车辆及存储介质与流程

1.本发明涉及自动控制领域，尤其涉及一种行车安全监控方法、装置、车辆及存储介质。


背景技术：

2.随着社会经济发展，人们对于自身人身安全越来越重视，其中汽车司机每天会接送各式各样的乘客，难免会碰到有歹意的乘客，因此，如何准确监控行车安全成为当前亟待解决的技术问题，但是现在通常是仅仅将乘客人脸信息和用户人脸信息进行比对，来判断行车是否安全，但是这种方法对于遇到用户库中用户之外的情况，不能起到警示作用，故而失误率高。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提供一种行车安全监控方法、装置、车辆及存储介质，旨在解决现有技术中无法准确监控行车是否安全的技术问题。
5.为实现上述目的，本发明提供一种行车安全监控方法，所述行车安全监控方法包括以下步骤：
6.根据所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征；
7.将所述乘客人脸细节特征与用户库里的用户信息进行比对；
8.若所述乘客人脸信息细节特征与用户库里的用户信息不匹配，则将所述携带物品信息特征与预设的目标物品库图像进行比对；
9.若所述携带物品信息的细节特征与预设的目标物品库图像不匹配，则对所述乘客视频信息中的行为信息进行变化检验；
10.若所述行为信息出现异常行为，则开启所述提醒装置。
11.可选地，所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征，包括：
12.对携带乘客人脸信息和携带物品信息的乘客图像信息进行处理，得到灰度图；
13.对所述灰度图进行数据处理，得到灰度图矩阵；
14.将所述灰度图矩阵进行偏移，得到上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵；
15.将所述上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵和灰度图矩阵进行比对，得到图片轮廓特征信息矩阵；
16.对所述图片轮廓特征信息矩阵进行均值法降噪处理，得到乘客人脸细节特征和携带物品信息的细节特征矩阵。
17.可选地，所述对所述图片轮廓特征信息矩阵进行均值法降噪处理，得到乘客人脸细节特征和携带物品信息的细节特征矩阵，包括：
18.获取所述图片轮廓特征信息矩阵的灰度值；
19.将所述图片轮廓特征信息矩阵的灰度值与灰度值均值进行对比，剔除掉灰度值小于灰度均值的特征信息；
20.将剔除掉灰度值小于灰度均值的特征信息后的图片轮廓特征信息矩阵与所述灰度图矩阵叠加，得到图片轮廓特征清晰矩阵；
21.根据所述图片轮廓特征清晰矩阵上、下方向上差额的两个差额矩阵进行相减，左、右方向上差额的两个差额矩阵，得到水平细微局部特征矩阵和垂直细微局部特征矩阵；
22.将所述水平细微局部特征矩阵和垂直细微局部特征矩阵叠加，得到综合细微特征矩阵；
23.根据所述图片轮廓特征清晰矩阵和所述综合细微特征矩阵，得到乘客人脸细节特征和携带物品信息的细节特征矩阵。
24.可选地，所述对所述乘客视频信息中的行为信息进行变化检验，包括：
25.将所述乘客视频信息中的行为信息按预设周期截成行为信息图片；
26.将所述行为信息图片转化为行为信息灰度图；
27.根据相邻的行为信息灰度图对应像素点的灰度值的差值，得到灰度值变化的像素点个数；
28.若灰度值变化的像素点个数超过预设的像素点个数则判断为相邻的行为信息灰度图行为信息发生明显变化；
29.重复执行上述操作，直到相邻的行为信息发生明显变化信息灰度图超过预设张数，则判断为行为异常。
30.可选地，所述根据相邻的行为信息灰度图对应像素点的灰度值的差值，得到灰度值变化的像素点个数，包括：
31.将所述行为信息灰度图对应像素点的灰度值累加，得到归一化的值；
32.根据所述相邻的行为信息归一化的值和所述相邻的行为信息灰度图对应像素点的灰度值的差值，判断像素点值是否发生变化；
33.重复执行上述操作，直到像素点值未发生变化，得到灰度值变化的像素点个数。
34.可选地，所述根据所述红外摄像头采集的乘客图像信息进行细节特征值提取之前，还包括：
35.根据压力传感器，判断乘客是否上车；
36.若判断乘客上车，则开启红外传感器，以使红外传感器采集乘客图像信息；
37.可选地，所述若所述行为信息出现异常行为之后，还包括：
38.获取通过心率探测器采集乘客的心率信息；
39.若所述心率超过预设的心率阈值，则开启所述提醒装置以及铁栅栏升降装置。
40.可选地，所述行车安全监控方法，还包括：
41.若所述乘客人脸信息细节特征与用户库里的用户信息匹配，则开启所述提醒装置，并锁上车门，升起铁栅栏；
42.若所述携带物品信息的细节特征与预设的目标物品库图像匹配，则开启所述提醒
装置，升起铁栅栏。
43.此外，为实现上述目的，本发明还提出一种行车安全监控预测装置，所述行车安全监控装置包括：
44.特征提取模块，根据所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征；
45.对比模块，用于将所述乘客人脸细节特征与用户库里的用户信息进行比对；
46.所述对比模块，还用于若所述乘客人脸信息细节特征与用户库里的用户信息不匹配，则将所述携带物品信息特征与预设的目标物品库图像进行比对；
47.检测模块，用于若所述携带物品信息的细节特征与预设的目标物品库图像不匹配，则对所述乘客视频信息中的行为信息进行变化检验；
48.提醒模块，用于若所述行为信息出现异常行为，则开启所述提醒装置。
49.此外，为实现上述目的，本发明还提出一种车辆，所述车辆包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的行车安全监控程序，所述变行车安全监控程序配置为实现如上文所述的行车安全监控方法。
50.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有行车安全监控程序，所述行车安全监控程序被处理器执行时实现如上文所述的行车安全监控方法。
51.本发明中，本发明公开了一种行车安全监控方法、装置、车辆及存储介质，该方法包括：根据所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征；将所述乘客人脸细节特征与用户库里的用户信息进行比对；若所述乘客人脸信息细节特征与用户库里的用户信息不匹配，则将所述携带物品信息特征与预设的目标物品库图像进行比对；若所述携带物品信息的细节特征与预设的目标物品库图像不匹配，则对所述乘客视频信息中的行为信息进行变化检验；若所述行为信息出现异常行为，则开启所述提醒装置。从而在有乘客乘车时，可以实时检测乘客的特征信息和行为信息，在发现异常时能够开启提醒装置，升起铁栅栏，提醒并保护司机人身安全。
附图说明
52.图1是本发明实施例方案涉及的硬件运行环境的车辆结构示意图；
53.图2为本发明行车安全监控方法第一实施例的流程示意图；
54.图3为本发明行车安全监控方法一实施例的整体流程示意图；
55.图4为本发明行车安全监控方法第二实施例的流程示意图；
56.图5为本发明行车安全监控方法第三实施例的流程示意图；
57.图6为本发明行车安全监控装置第一实施例的功能模块示意图。
58.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其
他实施例，都属于本发明保护的范围。
60.参照图1，图1为本发明实施例方案涉及的硬件运行环境的车辆结构示意图。
61.如图1所示，该行车安全监控设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)，可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为usb接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
62.本领域技术人员可以理解，图1中示出的结构并不构成对行车安全监控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
63.如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及行车安全监控程序。
64.在图1所示的车辆中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述行车安全监控设备通过处理器1001调用存储器1005中存储的行车安全监控程序，并执行本发明实施例提供的行车安全监控方法。
65.基于上述硬件结构，提出本发明行车安全监控方法的实施例。
66.参照图2，图2为本发明行车安全监控方法第一实施例的流程示意图，提出本发明行车安全监控方法第一实施例。
67.在第一实施例中，所述行车安全监控方法包括以下步骤：
68.步骤s10：根据所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征。
69.应理解的是，本实施例的执行主体是为车辆，该车辆具有图像处理、数据通信及程序运行等功能。
70.在具体实现中，当有乘客上车时，启动装在副驾驶拉手上及后排右侧拉手上的红外摄像头分别采集前排及后排乘员的图像和视频信息，包括车辆当前行驶环境下乘客人脸信息和携带物品的信息，然后，对摄像头感知的图像利用基于细节特征值提取的目标识别算法对车内摄取的图像进行细节特征值提取，以便可以进行精确得到乘客人脸细节特征以及携带物品信息的细节特征。
71.需要说明的是，采用红外摄像头拍摄可以解决了在夜间行车光线不足的情况下图像采集装置收集到的图像视频信息缺失的问题。
72.步骤s20：将所述乘客人脸细节特征与用户库里的用户信息进行比对。
73.应理解的是，用户库应当至少包括用户人脸信息，包括每个用户的位置、大小和各个主要面部器官的位置信息。
74.在具体实现中，当收集到了乘客人脸信息时，会自动调取公开的用户库，提取出用户的人脸特征信息和收集到的人脸特征信息进行一一比对，从而可以确定上车的乘客是否
为用户，以便及时可以采取措施，保护司机的安全。
75.步骤s30：若所述乘客人脸信息细节特征与用户库里的用户信息不匹配，则将所述携带物品信息特征与预设的目标物品库图像进行比对。
76.应理解的是，还包括若所述乘客人脸信息细节特征与用户库里的用户信息不匹配，车辆会判定为“非常紧急”，则会立刻将后车门锁上，以防乘客开车离开汽车后打开前车门影响司机安全，或者直接弃车逃离，并升高铁栏杆将司机和乘客分隔开，防止乘客影响司机安全，并自动报警，等待工作人员起来救援。
77.需要说明的是，预设的目标物品库图像预设的目标物品库至少中包含棍子、绳子、针筒、小刀等目标物品各个角度的图像各10张。
78.在具体实施中，红外摄像头会在行车过程中不断拍摄乘客照片，若所述乘客人脸信息细节特征与用户库里的用户信息不匹配，则将所述携带物品信息特征与预设的目标物品库图像进行比对，若相似率大于95％以上可以认为识别成功，若相似率低于95％，可以认为是不成功，可继续执行一下步骤。进而，可以实现检测乘客是否携带影响司机安全的物品。
79.步骤s40：若所述携带物品信息的细节特征与预设的目标物品库图像不匹配，则对所述乘客视频信息中的行为信息进行变化检验。
80.应理解的是，还包当所述携带物品信息的细节特征与预设的目标物品库图像进行比较相似率达95％以上，则认为存在目标物品若此时危险情况提醒显示器提醒司机为“紧急”情况，且内置于驾驶员后侧和右侧的伸缩栅栏会自动升起，将驾驶员与乘客隔开，保证驾驶员在“危险的”情况下的人身安全。
81.步骤s50：若所述行为信息出现异常行为，则开启所述提醒装置。
82.需要说明的是，车内红外摄像头会持续采集乘客的视频，采用基于像素比较的变化检测算法监控车内乘客的行为，判断乘客的行为是否是若出现异常行为，则启动安装在座椅内的心率探测器，若探测到乘客心率超过阈值，则向驾驶员发送“异常”预警，提醒驾驶员注意后排乘员行为异常，否则视为“正常”情况而不报警，例如：判断乘客的行为是否是若出现异常行为，启动安装在座椅内的心率探测器，测到了乘客的心跳为150次每分钟，而我们预设的阈值是110次每分钟，这可以判定为乘客心跳异常，进一步可以确定乘客可能心怀鬼胎。从而本实施例通过对乘客心跳频率的检测进一步确定乘客是否行为异常，减小了误判的概率，也加强了判断的精确性。
83.具体实施中，如图3所示，系统启动的时候，会实时接收红外摄像头接收到的图像，然后基于细节特征值提取的目标识别算法判断是否存在用户，如果判断存在用户，则提醒驾驶员为“非常紧急”情况，并且车门自动锁上，自动报警并升起伸缩铁栏杆，如果判断为不存在用户，则会继续检测是否存在目标物品，若判断存在目标物品，则提醒驾驶员为“紧急”情况，并升起伸缩铁栏杆，若判断不存在目标物品，则基于像素比较的变化检测算法判断乘客是否突然发生行为变化，若判断为没有发生行为变化，则认定为正常情况不发生情况不发出提醒，如果判断为发生异常变化，则判断心率是否正常，若心跳不正常，则提醒驾驶员为“异常”情况，如果判断为正常情况，则不发出提醒。
84.在本实施例中，根据所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征；将所述乘客人脸细节特征与用户库
里的用户信息进行比对；若所述乘客人脸信息细节特征与用户库里用户信息不匹配，则将所述携带物品信息特征与预设的目标物品库图像进行比对；若所述携带物品信息的细节特征与预设的目标物品库图像不匹配，则对所述乘客视频信息中的行为信息进行变化检验；若所述行为信息出现异常行为，则开启所述提醒装置。从而在行车的过程中，时刻监控着车内乘客的人脸，物品，以及行为动作，并且一旦发现了异常时，可以及时精确定位危险等级，并采取对应危险等级的措施，从而保证了司机的安全。
85.参照图4，图4为本发明行车安全监控方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明行车安全监控方法的第二实施例。
86.在第二实施例中，所述步骤s10，包括：
87.步骤s101：对携带乘客人脸信息和携带物品信息的乘客图像信息进行处理，得到灰度图。
88.应当理解的是，灰度图，又称灰阶图。把白色与黑色之间按对数关系分为若干等级，称为灰度，灰度分为256阶。
89.需要说明的是，在获取到摄像头摄取的图片后，将图片转化为灰度图，获得m*n阶的即为灰度图矩阵a，从而可以使后续中的特征提取更加的精确、准确。
90.步骤s102：对所述灰度图进行数据处理，得到灰度图矩阵。
91.步骤s103：将所述灰度图矩阵进行偏移，得到上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵。
92.需要说明的是，在式1中，记灰度图矩阵a的上偏移矩阵为s
t1
，，当i《m 时，s
t1
(i,j)等于灰度图矩阵a的第i 1行，第j列的数值，即a(i 1,j)；当i＝m 时，s
t1
(i,j)＝s
t1
(i-1,j)，这样就得到一个与a同阶的m*n矩阵。如式1所示。
[0093][0094]
在具体实施中，重复上述的方法，分别取得下偏移矩阵s
t2
、左偏移矩阵s
t3
和右偏移矩阵s
t4
，如下面式2、式3、式4所示。
[0095][0096][0097][0098]
应当理解的是，此时的s
t1
、s
t2
、s
t3
、s
t4
为矩阵a分别向上、下、左、右移动一位之后的矩阵，其显示的结果几乎与原图相同。从而，得到了偏移矩阵。
[0099]
步骤s104：将所述上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵和灰度图矩阵进行比对，得到图片轮廓特征信息矩阵。
[0100]
需要说明的是，为了提取图形中的轮廓信息，令s1＝|a-s
t1
|，其中，s1为方位的偏移差额矩阵此时，如果灰度图矩阵a中的像素点a(i,j)与其上一行同列像素的值相同或者
相近，运算后s1(i,j)的值为0或者一个非常小的数值，如果a(i,j)与其上一行同列的像素的值存在较大的差距，表明该像素点很有可能是图像的轮廓，该值经过绝对值运算之后为正数，能够体现图像轮廓信息。上下偏移取差可以提取横向特征信息，左右偏移取差可以提取纵向特征信息。用同样的方法分别获取s2、s3、s4几个方位的偏移差额矩阵。其计算公式分别为：s2＝|a-s
t2
|、s3＝|a-s
t3
|、s4＝|a-s
t4
|。为了得到图片更全面的轮廓信息，将上述4个矩阵进行累加，得到图片轮廓特征信息矩阵sn，sn＝s1 s2 s3 s4。 sn图像的轮廓加宽的同时，亮度也增强了很多，将图片a的轮廓特征很好地显现了出来，经过累加后，灰度图矩阵对应的图片轮廓特征信息矩阵sn灰度最大值为255。从而可以得到灰度图矩阵对应的图片轮廓特征信息矩阵，方便了特征信息的提取。
[0101]
步骤s105：对所述图片轮廓特征信息矩阵进行均值法降噪处理，得到乘客人脸细节特征和携带物品信息的细节特征矩阵。
[0102]
需要说明的是，在得到得到乘客人脸细节特征和携带物品信息的细节特征矩阵之前要对灰度图矩阵对应的图片轮廓特征信息矩阵sn矩阵进行降噪处理。由于sn中存在较多地三点，这些散点大多并非图片轮廓相关特征信息，为了剔除散点的影响，采用均值法对该矩阵进行降噪处理。计算方法为式5 所示，其中在式5，mean为图片轮廓特征信息矩阵sn的灰度值均值。
[0103][0104]
应当理解的是，通过上述算法，去除部分散点，能更好地凸显图像的轮廓及纹理特征。最后，将sn矩阵与原灰度图矩阵a进行累加，获得新的图片轮廓特征清晰矩阵矩阵sm，sm＝a sn。叠加后的图片轮廓特征清晰。
[0105]
对上、下方向上的两个差额矩阵s1、s2进行相减，得到垂直细微局部特征矩阵sr，可以保留纵向(y轴)上更细微的局部特征。
[0106]
sr＝s
1-s2ꢀꢀ
(式6)
[0107]
对左、右方向上的两个差额矩阵s3、s4相减，得到水平细微局部特征矩阵sc，保留横向(x轴)上席位的局部特征。
[0108]
sc＝s
3-s4ꢀꢀ
(式7)
[0109]
在具体实施中，将s
rc
＝sr sc，可以得到图片水平、垂直方向上的综合细微特征图。s
rc
相对sm而言，提取的信息更加细腻。用s
rc
对应位置的像素值来减弱sm的亮点，增强图片的可识别性。令s
fig
＝s
m-s
rc
*r，即对sm矩阵减若干次s
rc
，r可以取实数。并经过大量实验证明r取4～10范围内的数字时，识别效果较好。s
fig
矩阵即为乘客人脸细节特征和携带物品信息的细节特征矩阵，该矩阵保留了原图更多的细节特征，从而有利于图片的识别。
[0110]
在本实施例中对携带乘客人脸信息和携带物品信息的乘客图像信息进行处理，得到灰度图；对灰度图进行数据处理，得到灰度图矩阵；将所述灰度图矩阵进行偏移，得到上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵；将所述上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵和灰度图矩阵进行比对，得到图片轮廓特征信息矩阵；对所述图片轮廓特征信息矩阵进行均值法降噪处理，得到乘客人脸细节特征和携带物品信息的细节特征矩阵。从而得到了细节特征矩阵，使提取的细节特征更加精确，进而增加了行车安全监控的准确性。
[0111]
参照图5，图5为本发明行车安全监控方法第三实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明行车安全监控方法的第三实施例。
[0112]
在第三实施例中，所述步骤s40之后，还包括：
[0113]
步骤s401：将所述乘客视频信息中的行为信息按预设周期截成行为信息图片。
[0114]
应当理解的是，所述乘客视频信息中的行为信息按预设周期截成行为信息图片，例如，从摄像头摄取的视频序列中每隔5秒截取一副图像，保证每幅图像的大小一致。
[0115]
需要说明的是，由于乘客上车调整位置期间摄像头系统启动，故刚启动的前6张图像不作为监控的乘客行为变化都的指标。从而将视频信息转化为了图片信息，方便了后续的处理。
[0116]
步骤s402：将所述行为信息图片转化为行为信息灰度图。
[0117]
步骤s403：根据相邻的行为信息灰度图对应像素点的灰度值的差值，得到灰度值变化的像素点个数。
[0118]
需要说明的是，在获取到摄像头摄取的图片后，将图片转化为灰度图，计算相邻时间内所截取的两幅图像对应像素点的灰度值的差值的累加和，并记录灰度值变化的像素点个数，设定如果两幅图像间变化的像素点个数大于整幅图像的60％，则认为两幅图像摄取的内容发生了明显变化。设截取的图片大小为m*n，第n幅图像与第n-1幅图像间像素的累计差值如式8所述，其中i(i,j)为像素值，d(i
n-i
n-1
)为图像间像素的累计差值。
[0119][0120]
对结果的归一化处理可以让两幅图像的像素差具有更强的可比性，可以避免不受图像尺寸和亮暗程度的影响。归一化的值是用图像中所有像素点的灰度值的累加和来表示的。灰度值的总和s(ik)被定义为式9所示。
[0121][0122]
则归一化后的两幅图像像素累计差值d(in，i
n-1
)为式10所示。
[0123][0124]
记|in(i,j)-i
n-1
(i,j)|》0时，该像素点的灰度值发生变化，并将像素点变化的个数g累加1，即初始化g＝0，令g＝g 1。从而实现了得到了灰度值变化的个数，为后续的行为异常变化做准备。
[0125]
步骤s404：若灰度值变化的像素点个数超过预设的像素点个数则判断为相邻的行为信息灰度图行为信息发生明显变化。
[0126]
步骤s405：重复执行上述操作，直到相邻的行为信息发生明显变化信息灰度图超过预设张数，则判断为行为异常。
[0127]
需要理解的是，重复执行上述操作，直到相邻的行为信息发生明显变化信息灰度图超过预设张数，则判断为行为异常，例如设定阈值为0.7，当 d(in,i
n-1
)》0.7，且像素点变化的数量大于整幅图像像素点个数的60％时，即时，认为第n幅图像相较于第
n-1幅图像的内容发生了明显的变化。于是重复上述方法向前追溯5幅图像，当发现第n幅图像与第n-2、n-3、n-4 及n-5幅图像都发生了明显的变化，则系统判定为乘客行为发生突然变化，从而执行后续的步骤。
[0128]
在本实施例中，将所述乘客视频信息中的行为信息按预设周期截成行为信息图片；将所述行为信息图片转化为行为信息灰度图；根据相邻的行为信息灰度图对应像素点的灰度值的差值，得到灰度值变化的像素点个数；若灰度值变化的像素点个数超过预设的像素点个数则判断为相邻的行为信息灰度图行为信息发生明显变化；重复执行上述操作，直到相邻的行为信息发生明显变化信息灰度图超过预设张数，则判断为行为异常。从而可以跟据乘客的行为信息，进行判断乘客是否发生行为异常，以通知司机并提前采取措施。
[0129]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有车安全监控程序，所述车安全监控程序被处理器执行时实现如上文所述的车安全监控方法的步骤。
[0130]
由于本存储介质可以采用上述所有实施例的技术方案，因此至少具有上述实施例的技术方案所带来的有益效果，在此不再一一赘述。
[0131]
参照图6，图6为本发明行车安全监控装置第一实施例的功能模块示意图。
[0132]
本发明行车安全监控装置第一实施例中，该行车安全监控装置包括：
[0133]
特征提取模块10，用于根据所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征。
[0134]
对比模块20，用于将所述乘客人脸细节特征与用户库里的用户信息进行比对。
[0135]
检测模块30，用于若所述携带物品信息的细节特征与预设的目标物品库图像不匹配，则对所述乘客视频信息中的行为信息进行变化检验。
[0136]
提醒模块40，用于若所述行为信息出现异常行为，则开启所述提醒装置。
[0137]
在本实施例中，根据所述红外摄像头采集的乘客图像信息进行细节特征值提取，得到乘客人脸细节特征以及携带物品信息的细节特征；将所述乘客人脸细节特征与用户库里的用户信息进行比对；若所述乘客人脸信息细节特征与用户库里的用户信息不匹配，则将所述携带物品信息特征与预设的目标物品库图像进行比对；若所述携带物品信息的细节特征与预设的目标物品库图像不匹配，则对所述乘客视频信息中的行为信息进行变化检验；若所述行为信息出现异常行为，则开启所述提醒装置。从而在行车的过程中，时刻监控着车内乘客的人脸，物品，以及行为动作，并且一旦发现了异常时，可以及时精确定位危险等级，并采取对应危险等级的措施，从而保证了司机的安全。
[0138]
在一实施例中，所述特征提取模块10，还用于对携带乘客人脸信息和携带物品信息的乘客图像信息进行处理，得到灰度图；
[0139]
对所述灰度图进行数据处理，得到灰度图矩阵；
[0140]
将所述灰度图矩阵进行偏移，得到上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵；
[0141]
将所述上偏移矩阵、下偏移矩阵、左偏移矩阵和右偏移矩阵和灰度图矩阵进行比对，得到图片轮廓特征信息矩阵；
[0142]
对所述图片轮廓特征信息矩阵进行均值法降噪处理，得到乘客人脸细节特征和携带物品信息的细节特征矩阵。
[0143]
在一实施例中，所述特征提取模块10，还用于获取所述图片轮廓特征信息矩阵的
灰度值；
[0144]
将所述图片轮廓特征信息矩阵的灰度值与灰度值均值进行对比，剔除掉灰度值小于灰度均值的特征信息；
[0145]
将剔除掉灰度值小于灰度均值的特征信息后的图片轮廓特征信息矩阵与所述灰度图矩阵叠加，得到图片轮廓特征清晰矩阵；
[0146]
根据所述图片轮廓特征清晰矩阵上、下方向上差额的两个差额矩阵进行相减，左、右方向上差额的两个差额矩阵，得到水平细微局部特征矩阵和垂直细微局部特征矩阵；
[0147]
将所述水平细微局部特征矩阵和垂直细微局部特征矩阵叠加，得到综合细微特征矩阵；
[0148]
根据所述图片轮廓特征清晰矩阵和所述综合细微特征矩阵，得到乘客人脸细节特征和携带物品信息的细节特征矩阵。
[0149]
在一实施例中，所述对比模块20，还用于将所述乘客视频信息中的行为信息按预设周期截成行为信息图片；
[0150]
将所述行为信息图片转化为行为信息灰度图；
[0151]
根据相邻的行为信息灰度图对应像素点的灰度值的差值，得到灰度值变化的像素点个数；
[0152]
若灰度值变化的像素点个数超过预设的像素点个数则判断为相邻的行为信息灰度图行为信息发生明显变化；
[0153]
重复执行上述操作，直到相邻的行为信息发生明显变化信息灰度图超过预设张数，则判断为行为异常。
[0154]
在一实施例中，所述对比模块20，还用于将所述行为信息灰度图对应像素点的灰度值累加，得到归一化的值；
[0155]
根据所述相邻的行为信息归一化的值和所述相邻的行为信息灰度图对应像素点的灰度值的差值，判断像素点值是否发生变化；
[0156]
重复执行上述操作，直到像素点值未发生变化，得到灰度值变化的像素点个数。
[0157]
在一实施例中，所述检测模块30，还用于车辆的座椅上设有压力传感器以及座椅内设有心率探测器；
[0158]
所述根据所述红外摄像头采集的乘客图像信息进行细节特征值提取之前，还包括：
[0159]
根据压力传感器，判断乘客是否上车；
[0160]
若判断乘客上车，则开启红外传感器，以使红外传感器采集乘客图像信息；
[0161]
所述若所述行为信息出现异常行为之后，还包括：
[0162]
获取通过心率探测器采集乘客的心率信息；
[0163]
若所述心率超过预设的心率阈值，则开启所述提醒装置以及铁栅栏升降装置。
[0164]
在一实施例中，所述提醒模块40，还用于若所述乘客人脸信息细节特征与用户库里的用户信息匹配，则开启所述提醒装置，并锁上车门，自动报警，升起铁栅栏；
[0165]
若所述携带物品信息的细节特征与预设的目标物品库图像匹配，则开启所述提醒装置，升起铁栅栏。
[0166]
本发明所述行车安全监控装置的其他实施例或具体实现方式可参照上述各方法
实施例，因此至少具有上述实施例的技术方案所带来的所有有益效果，此处不再赘述。
[0167]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0168]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。
[0169]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(readonly memory image，rom)/随机存取存储器(random access memory，ram)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0170]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。