车辆的安全监控方法和系统以及车辆与流程

1.本技术实施例涉及车辆安全领域，具体涉及一种车辆的安全监控方法和系统以及车辆。


背景技术：

2.智能汽车的快速发展，给人们的出行带来了极大的便利，而驾驶车辆过程中，车内人员的安全是最需要保障的。现有的车辆安全检测方法局限于检测驾驶人是否突发疾病、检测儿童是否被遗忘在车内或检测交通遇险时车内人员是否安全等问题。
3.然而，车内人员的危险不仅仅是由疾病、疏忽或者车祸等因素引发的，因此，如何对车内人员进行全面的安全保护是亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种车辆的安全监控方法和系统以及车辆，能够及时制止车内不法行为，保障车内人员的安全。
5.第一方面，本技术的实施例提供了一种车辆的安全监控方法，包括：在预设条件满足时，采集车辆内的图像信息和/或音频信息；根据车辆内的图像信息和/或音频信息，确定车辆内是否存在不法行为；如果车辆内存在不法行为，向车辆外部的第三方发送报警信息，报警信息用于指示车辆内存在不法行为。
6.在本技术某些实施例中，该安全监控方法还包括：采集车辆的车内人员的身体状态信息；根据车内人员的身体状态信息，确定车内人员是否处于紧张状态，其中，在预设条件满足时，采集车辆内的图像信息和/或音频信息，包括：如果车内人员处于紧张状态，采集车辆内的图像信息和/或音频信息。
7.在本技术某些实施例中，根据车辆内的图像信息和/或音频信息，确定车辆内是否存在不法行为，包括：将车内人员的身体状态信息以及图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
8.在本技术某些实施例中，该安全监控方法还包括：利用滤波算法对神经网络模型的输入信息或输出信息进行滤波处理。
9.在本技术某些实施例中，该安全监控方法还包括：采集车辆内的温度信息，其中，根据车内人员的身体状态信息，确定车内人员是否处于紧张状态，包括：根据车辆内的温度信息和身体状态信息，确定车内人员是否处于紧张状态。
10.在本技术某些实施例中，根据车辆内的温度信息和身体状态信息，确定车内人员是否处于紧张状态，包括：根据车辆内的温度信息对身体状态信息进行修正，得到修正后的身体状态信息；根据修正后的身体状态信息确定车内人员是否处于紧张状态。
11.在本技术某些实施例中，身体状态信息包括以下一种或多种：体温、心率、心跳脉搏、呼吸频率以及血糖浓度。
12.在本技术某些实施例中，根据车辆内的图像信息和/或音频信息，确定车辆内是否存在不法行为，包括：将图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
13.在本技术某些实施例中，如果车辆内存在不法行为，向车辆外部的第三方发送报警信息，包括：如果车辆内存在不法行为，则根据不法行为验证条件对车辆内存在不法行为进行验证，得到验证结果；在验证结果为通过验证时，向车辆外部的第三方发送报警信息。
14.在本技术某些实施例中，不法行为验证条件包括存在不法行为的危险程度超过预设阈值。
15.在本技术某些实施例中，预设条件为如下条件中的至少一种：预设的按钮被按下、预设的关键唤醒词被检测到、以及车内人员的身体状态出现异常。
16.在本技术某些实施例中，报警信息包括以下信息中的一种或多种：车辆内的图像信息、车辆内的音频信息以及车辆的位置信息。
17.在本技术某些实施例中，不法行为包括车内人员之间进行的以下行为：人身伤害。
18.第二方面，本技术的实施例提供了一种车辆的安全监控装置，包括：采集模块，用于在预设条件满足时，采集车辆内的图像信息和/或音频信息；确定模块，用于根据车辆内的图像信息和/或音频信息，确定车辆内是否存在不法行为；发送模块，用于在车辆内存在不法行为时，向车辆外部的第三方发送报警信息，报警信息用于指示车辆内存在不法行为。
19.在本技术某些实施例中，采集模块还用于采集车辆的车内人员的身体状态信息，并且在车内人员处于紧张状态时采集车辆内的图像信息和/或音频信息，确定模块还用于根据车内人员的身体状态信息，确定车内人员是否处于紧张状态。
20.在本技术某些实施例中，确定模块用于将车内人员的身体状态信息以及图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
21.在本技术某些实施例中，采集模块还用于采集车辆内的温度信息，确定模块用于根据车辆内的温度信息和身体状态信息，确定车内人员是否处于紧张状态。
22.在本技术某些实施例中，确定模块用于根据车辆内的温度信息对身体状态信息进行修正，得到修正后的身体状态信息；根据修正后的身体状态信息确定车内人员是否处于紧张状态。
23.在本技术某些实施例中，身体状态信息包括以下一种或多种：体温、心率、心跳脉搏、呼吸频率以及血糖浓度。
24.在本技术某些实施例中，确定模块用于将图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
25.在本技术某些实施例中，安全监控装置还包括：滤波模块，用于利用滤波算法对神经网络模型的输入信息或输出信息进行滤波处理。
26.在本技术某些实施例中，安全监控装置还包括：验证模块，用于在车辆内存在不法行为时，根据不法行为验证条件对车辆内存在不法行为进行验证，得到验证结果。发送模块，用于在验证结果为通过验证时，向车辆外部的第三方发送报警信息。
27.在本技术某些实施例中，不法行为验证条件包括存在不法行为的危险程度超过预
设阈值。
28.在本技术某些实施例中，预设条件为如下条件中的至少一种：预设的按钮被按下、预设的关键唤醒词被检测到、以及车内人员的身体状态出现异常。
29.在本技术某些实施例中，报警信息包括以下信息中的一种或多种：车辆内的图像信息、车辆内的音频信息以及车辆的位置信息。
30.在本技术某些实施例中，不法行为包括车内人员之间进行的以下行为：人身伤害。
31.第三方面，本技术的实施例提供了一种车辆的安全监控系统，包括：第一信息采集设备，用于在预设条件满足时，采集车辆内的图像信息和/或音频信息；信息发送设备，用于向车辆外部的第三方发送报警信息；控制设备，与第一信息采集设备以及信息发送设备通信连接，用于执行上述第一方面的安全监控方法。
32.在本技术某些实施例中，安全监控系统还包括第二信息采集设备，用于采集车辆的车内人员的身体状态信息，第一信息采集设备、第二信息采集设备以及控制设备基于modbus协议进行通信。
33.在本技术某些实施例中，第二信息采集设备包括以下一种或多种：温度传感器、红外传感器、呼吸频率传感器、压电传感器、光电传感器以及心率传感器。
34.在本技术某些实施例中，第一信息采集设备包括摄像设备和/或麦克风。
35.在本技术某些实施例中，控制设备为微控制单元mcu。
36.第四方面，本技术的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面的安全监控方法。
37.第五方面，本技术的实施例提供了一种车辆，包括：上述第二方面的安全监控装置、第三方面的安全监控系统或第四方面的电子设备。
38.第六方面，本技术的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面的安全监控方法。
39.本技术的实施例提出了一种车辆的安全监控方法和系统以及车辆，通过采集车辆内的图像信息和/或音频信息，根据图像信息和/或音频信息确定车内人员的不法行为，并及时向车辆外部发送报警信息，从而能够及时制止不法行为，避免了人员伤亡及意外交通事故的发生，保障了车内人员的安全。
附图说明
40.图1是本技术实施例提供的一种车辆的安全监控系统的结构示意图。
41.图2是本技术实施例提供的一种车辆的安全监控方法的示意性流程图。
42.图3是根据本技术另一实施例的车辆的安全监控方法的示意性流程图。
43.图4是根据本技术一实施例的车辆的安全监控装置的结构示意图。
44.图5是根据本技术另一实施例的车辆的安全监控方法的示意性流程图。
45.图6是根据本技术实施例的一种车辆的安全监控系统的结构示意图。
46.图7是根据本技术实施例的一种车辆的安全监控装置的结构示意图。
47.图8是根据本技术实施例的一种电子设备的框图。
具体实施方式
48.下面将结合本技术实施例的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。
49.智能汽车在人们的生活中越来越普及，自动驾驶等各种智能化方案提高了用户的体验。然而，驾驶安全始终是用户最关心的问题。目前，智能汽车在保障用户安全方面取得了一定的进展，可以利用车辆安全报警系统及时检测车辆的安全情况，为用户提供一定的安全保障。
50.例如，针对驾驶员突发疾病的安全保障系统可以利用图像识别技术判断驾驶员的身体状态，当发现驾驶员出现病态时及时拨打急救电话，告知医疗单位驾驶员的病情及车辆位置，并控制车辆停止行驶，以便医疗单位能准确、快速出诊，有效防止了事故的发生。再如，针对车内人员被困的安全保障系统，通过监测车内的生命信息并及时触发报警，使得车内人员能够得到及时的救助。
51.然而，上述安全方案主要针对人员突发疾病、意外遗忘、意外车祸等情况，而车内人员的安全威胁不仅由疾病意外或车祸引发，还有可能来自车内人员的不法行为。例如，驾驶员对乘客实施不法行为等等，不仅威胁到车内人员的人身安全，严重时还会导致意外交通事故的发生，威胁到车内人员的生命安全。
52.针对车内人员实施不法行为威胁安全驾驶的问题，本技术的实施例提供了一种车辆的安全监控方法和系统以及车辆，以监控车内人员的不法行为，当车内人员正在或可能实施不法行为时，或者当车内人员正在或可能被实施不法行为时，及时向车辆外部发送报警信息。
53.示例性系统
54.图1是本技术实施例提供的一种车辆的安全监控系统100的架构示意图。
55.车辆的安全监控系统100可以包括车载控制器110、摄像头120、麦克风 130、多个传感器140和执行模块150。车载控制器110可以与摄像头120、麦克风130、多个传感器140和执行模块150通信连接。车载控制器110可以从摄像头120获取图像信息(或视频信息)、从麦克风130获取音频信息，从多个传感器140获取身体状态信息。
56.车载控制器110还可以根据传感器140采集的身体状态信息确定车内人员是否处于紧张状态，并在车内人员处于紧张状态时根据摄像头120采集的图像信息和麦克风130采集的音频信息确定车内是否存在不法行为。执行模块150 在车载控制器110确定车内存在不法行为时，对不法行为进行验证，在通过不法行为验证后向车辆外部发送报警信息。
57.需要注意的是，上述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施例并不限于此。相反，本技术的实施例可以应用于可能适用的任何场景。
58.示例性方法
59.图2是本技术实施例提供的一种车辆的安全监控方法的示意性流程图。图2的方法可由车载控制设备(例如，处理器或控制器)执行。如图2所示，该安全监控方法包括如下内容。
60.210：在预设条件满足时，采集车辆内的图像信息和/或音频信息。
61.具体地，车辆可以是家庭轿车或网约车之类的小型车，也可以是公共汽车或货车之类的中大型车。根据需要可以在车辆上安装一个或多个摄像设备 (例如，摄像头)来采集
图像信息，例如，在驾驶员的前方安装一个摄像头拍摄驾驶员的面部图像和/或在车厢的四个角安装多个摄像头从不同角度拍摄整个车厢的图像。可选地，还可以根据需要安装一个或多个音频采集设备来采集音频信息，例如，在驾驶员前方安装一个麦克风采集驾驶员的音频或者在车厢的不同部位安装麦克风阵列来采集整个车厢的音频。应理解的是，也可以采用摄像头同时采集图像和音频。
62.图像信息可以包括车内环境的图像或视频，例如，车内人员的活动图像或者车内人员的面部图像。可以采用人脸识别技术通过摄像头捕捉车内人员人数以及面部图像等信息，例如，通过人脸识别可以确认车内人员的信息和人数。音频信息可以包括车内环境的音频，例如，车内人员发出的语音，或者武器发出的声响(例如，枪声)。
63.在本技术某些实施例中，预设条件为如下条件中的至少一种：预设的按钮被按下、预设的关键唤醒词被检测到、以及车内人员的身体状态出现异常。
64.具体地，该安全监控方法可以被周期性触发，例如，每隔1分钟触发一次。该安全监控方法也可以是驾驶员通过按钮或关键唤醒词触发，例如，可以是驾驶员预感到乘客有实施不法行为的可能时触发。该安全监控方法还可以是检测到若干条件满足时触发，例如，检测到车内人员的身体状态出现异常时自动触发。
65.应理解的是，车内人员可以是驾驶员，也可以是乘客，即不法行为可能是乘客对驾驶员实施的，适用于例如私家车的场景，也可能是驾驶员对乘客实施的，适用于例如网约车的场景，或者在乘客之间实施的，适用于例如公共汽车的场景。
66.220：根据车辆内的图像信息和/或音频信息，确定车辆内是否存在不法行为。
67.具体地，控制设备可以利用模型(例如，训练好的神经网络模型或其他数学模型)对图像信息和/或音频信息进行分析，以确定车辆内是否存在不法行为。图像信息用来提取危险动作、危险武器或危险环境等特征，音频信息用来提取危险用词或武器声响等特征。在训练神经网络模型时可以选择具有这些特征的图像和/或音频作为输入样本对神经网络模型进行训练。例如，可以将第三服务平台或报警平台提供的图像帧或音频片段作为训练样本。神经网络模型的输出可以为存在不法行为的概率。
68.230：如果车辆内存在不法行为，向车辆外部的第三方发送报警信息，报警信息用于指示车辆内存在不法行为。
69.具体地，控制设备在确定车内人员正在实施不法行为时，或者在确定车内人员正在被实施不法行为时，启动车载通信设备进行报警。
70.应理解的是，不法行为可以是驾驶员对乘客的不法行为，也可以是乘客对驾驶员的不法行为。例如，不法行为包括车内人员之间进行的以下行为：人身伤害等。
71.车载通信设备可以是具有拔号功能或联网功能的车载终端。第三方可以是报警平台、第三方服务平台(例如，网约车服务平台)、周边车辆或者紧急联系人等。
72.在一实施例中，车载通信设备可以拔通报警电话(例如，110)进行报警。
73.在一实施例中，报警信息可以包括以下信息中的一种或多种：车辆内的图像信息、车辆内的音频信息以及车辆的位置信息。例如，车载通信设备可以通过网络触发相关服务器或报警平台的报警功能进行报警，同时将图像信息、音频信息和/或车辆的地理位置同步上传到相关服务器或报警平台，以便相关人员能够根据这些现场数据对不法行为进行核实、及时处理不法行为或保存不法行为的证据。
74.在一实施例中，车载通信设备还可以通过车联网向正在周边行驶的车辆发出报警，或者通过紧急联系人或第三方服务平台进行报警。应理解，报警方式也可以是上述几种方式的组合。
75.根据本技术的实施例，通过采集车辆内的图像和/或音频信息，根据图像和 /或音频信息确定车内人员的不法行为，并及时向车辆外部发送报警信息，从而能够及时制止不法行为，保障车内人员的安全。
76.虽然如前所述可以周期性触发执行上述安全监控方法，但这种方法会占用车辆系统较多的计算资源。另外，单纯通过图像和/或音频判断是否存在不法行为有可能会出现误判的情况，例如，驾驶员有可能正在观看影片，影片中的不法行为产生的音频可能会导致误报警。再如，车内人员有可能正在玩耍中打闹，相关画面也有可能会导致误报警。
77.为了解决上述问题，图1的安全监控方法还可以包括：采集车辆的车内人员的身体状态信息，并根据车内人员的身体状态信息，确定车内人员是否处于紧张状态。身体状态信息包括以下一种或多种：体温、心率、心跳脉搏、呼吸频率以及血糖浓度。
78.在本实施例中，如果车内人员处于紧张状态(预设条件被满足)，则控制设备控制摄像设备采集车辆内的图像信息，和/或控制音频采集设备采集车辆内的音频信息，以及进行后续的分析和报警处理。
79.具体地，身体状态信息可以是生理特征指数，例如体温、心率、心跳脉搏、呼吸频率、以及血糖浓度等。身体状态信息包括一人的身体状态信息，也可以包括多人的身体状态信息。生理特征指数可以反映出人员是否处于紧张的状态。因此，可以根据车内人员的生理特征指数判断该人员是否处于紧张状态，例如，可以通过判断体温、心率、心跳脉搏、呼吸频率、以及血糖浓度中的一种或多种进行判断。
80.由于人在处于危险情况下难免会发生紧张、恐惧等生理反应，因此可以通过判断车内人员是否存在体温升高、心跳加快、呼吸急促等情况确定车内人员是否处于紧张状态。同样，在不法行为实施时，实施者或被实施者由于处于紧张状态可能会出现身体状态的急剧变化，因此，可以在检测到这些生理参数出现异常时再触发图像/音频信息的采集，这样可以节省计算资源。
81.可替代地，作为另一实施例，可以将采集到的身体状态信息输入神经网络模型中，利用神经网络算法来判断是否处于紧张状态。在本实施例中，神经网络模型的输入包括身体状态信息，神经网络模型的输出为处于紧张状态的概率。或者，神经网络模型的输出为无异常、不断的咽口水、身体发抖或呕吐等结果，当输出结果为不断的咽口水、身体发抖或呕吐等，可表明车内人员处于紧张状态。
82.根据本技术的实施例，可以根据车内人员的身体状态确定车内人员是否处于紧张状态，并在确认车内人员处于紧张状态时触发图像/音频信息的采集，从而能够减少对系统计算资源的占用。另外，通过车内人员的身体状态信息来确定是否触发图像/音频信息的采集过程还可以减少误报警的发生。
83.在220中，可以将图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
84.例如，可以采用反向传播(back-propagation，bp)神经网络模型对图像信息和/或音频信息进行特征提取，得到特征提取结果，并根据特征提取结果进行分类处理，以确定车
辆内是否存在不法行为。作为一个实施例，可以采用基于非线性最小二乘法(例如，levenberg-marquardt算法)的bp神经网络模型。应理解的是，本技术的实施例对所采用的神经网络模型的类型不作限制。
85.由于bp神经网络模型存在收敛速度慢和容易陷入局部最小值等问题，导致输出结果差异较大、成本较高。鉴于本技术所涉及场景复杂，神经网络模型涉及的输入变量较多，如果直接采用原始bp神经网络模型，可能会有收敛较慢的问题。而lm(levenberg-marquardt)算法可以在一定程度上克服这些问题。原始bp神经网络算法是梯度下降法，主要复杂度是由计算偏导数引起的，收敛速度很慢。由于lm算法具有局部收敛性和梯度下降法的全局特性，并且利用了近似的二阶导数信息，比梯度算法收敛快得多。
86.可替代地，作为另一实施例，在220中，还可以将车内人员的身体状态信息以及图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
87.例如，可以采用bp神经网络模型对车内人员的身体状态信息以及图像信息和/或音频信息进行特征提取，得到特征提取结果，并根据特征提取结果进行分类处理，以确定车辆内是否存在不法行为。
88.可选地，作为另一实施例，图2的方法还包括：利用滤波算法对神经网络模型的输入信息或输出信息进行滤波处理。
89.例如，滤波算法可以是卡尔曼滤波(kalman filtering)算法。卡尔曼滤波算法是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。在车辆行驶过程中，车辆内外存在噪声及干扰信息，因此，如果不消除这些噪声及干扰信息，可能会影响基于这些信息的判断结果或者对车辆的准确控制。作为一种示例，控制设备可以在使用传感器采集到的数据进行分析或使用之前，先采用卡尔曼滤波算法对需要分析或使用的数据进行滤波处理，以去除噪声及干扰信息。
90.根据本技术的实施例，通过对图像信息和/或音频信息和/或其它传感器采集到的数据进行滤波处理，可以消除噪声和干扰，从而数据分析和车辆控制的准确性。而且，先进行滤波处理，再进行数据分析，可以降低对算法的要求。
91.作为另一种示例，控制设备可以在神经网络模型对采集设备采集到的图像信息和/或音频信息进行分析之后，再采用卡尔曼滤波算法对分析结果进行噪声和干扰去除。在一实施例中，控制设备可以基于滤波处理后的数据确定是否存在不法行为。
92.根据本技术的实施例，通过对神经网络模型的输出信息进行滤波处理，可以消除噪声和干扰，从而提高了神经网络模型输出信息的准确性。而且，先进行数据分析，后进行滤波处理，可以避免污染数据源、避免过滤掉有用的信息，从而可以进一步提高最终结果的准确性。另外，由于神经网络模型的输出信息的数据量很少，因此对神经网络模型的输出信息进行滤波处理与对神经网络模型的输入信息进行滤波处理相比，能够减少计算时间和计算量，从而能够提高实时性，并减少对系统资源占用。
93.由于车内环境温度会对人的体温或心跳等生理参数造成影响，因此可能造成体温升高或心跳等生理参数异常，从而在确定车内人员是否处于紧张状态时出现误判的情况。
94.可选地，作为另一实施例，安全监控方法还包括：采集车辆内的温度信息。根据车内人员的身体状态信息，确定车内人员是否处于紧张状态，包括：根据车辆内的温度信息和
身体状态信息，确定车内人员是否处于紧张状态。
95.在一实施例中，可以根据车辆内的温度信息对身体状态信息进行修正，得到修正后的身体状态信息，并根据修正后的身体状态信息确定车内人员是否处于紧张状态。例如，身体状态信息包括车内人员的体温和/心率信息，在车辆内的温度过高的情况下，可以将检测到的体温向下调整，并且可将检测到的心率向下调整，从而能够对体温和心率是否异常进行准确的判断。由于采用环境温度对身体状态信息进行了修正，因此，能够避免或减少误判的情况。
96.在另一实施例中，可以将车辆内的温度信息和身体状态信息一起作为输入信息输入到神经网络模型中进行分类处理，以确定车内人员是否处于紧张状态。应理解的是，在对神经网络模型进行训练时，输入神经网络模型样本除了包括身体状态信息外，还可以包括车辆内的温度信息。例如，车辆内的温度升高会导致体温升高或心率加快，因此，可以将修正后体温数据输入神经网络模型，并将车辆内的温度与体温或心率等生理参数一同输入神经网络模型以训练该神经网络模型。由于在训练神经网络模型时考虑了车内环境温度的影响，因此，在利用训练好的神经网络模型确定车内人员是否处于紧张状态时能够避免或减少出现误判的情况。
97.在使用控制设备执行上述安全监控方法的过程中，有可能会出现由于系统性的问题(例如，数据传输错误、噪声干扰等)而导致误报警的情况，而误报警会对相关资源造成浪费，因此，需要提供一种验证机制以减少或避免误报警的发生。
98.可选地，作为另一实施例，步骤230包括：如果车辆内存在不法行为，则根据不法行为验证条件对车辆内存在不法行为进行验证，得到验证结果；在验证结果为通过验证时，向车辆外部的第三方发送报警信息。
99.具体地，不法行为验证条件包括存在不法行为的危险程度超过预设阈值。
100.该验证过程可以由车载的执行模块来执行。执行模块可以是与车载控制器连接的其它车载设备，用于进一步执行验证功能以及与外界通信的功能。
101.与上述采用神经网络模型确定是否存在不法行为的方式相比，不法行为验证条件可以相对简单，以节省系统的计算资源。具体地，不法行为危险程度可以基于身体状态信息、图像信息和/或音频信息来确定。例如，可以根据身体状态信息判断是否存在紧张状态、情绪暴躁等危险因素，根据图像信息判断是否存在武力威胁、肢体冲突等危险因素，根据音频信息判断是否存在言语威胁、求救词汇等危险因素。危险程度可以根据上述危险因素单独或综合判断。例如，可以先将上述危险因素进行量化，根据量化结果来衡量危险程度。如果量化结果超出预设阈值则认为验证通过。在一实施例中，上述危险因素可以由控制设备根据图像/音频信息进行确定，并对危险因素进行量化，将量化结果传递给执行模块，执行模块判断量化结果是否超过预设阈值，若超过则验证通过。或者，控制设备可将危险因素传递给执行模块，执行模块对危险因素进行量化，并判断量化结果是否超过预设阈值。
102.作为一种示例，危险程度可以被定义为多种危险因素的加权计算结果。例如，可以对多种危险因素进行评分，并对多种危险因素的评分进行加权计算，得到的加权结果作为评估危险程度的参数，当该参数大于或等于预设阈值时，验证通过。
103.作为另一种示例，危险程度可以被定义为多种危险因素的逻辑运算结果。例如，所有预设危险因素均出现则验证通过，或大于预设百分比的危险因素出现则验证通过。
104.根据本技术的实施例，通过采用车载控制器之外的执行模块对是否存在或可能存在不法行为进一步进行验证，避免或减少了车载控制器因为系统性错误而造成的误判。
105.图3是根据本技术另一实施例的安全监控方法的示意性流程图。图3的方法为图1的方法的例子，相同之处不再赘述，此处着重描述不同之处。如图3所示，该方法包括如下内容。
106.301：开启车载控制器。
107.例如，车载控制器可以在启动车辆时自动开启，也可以人工开启。
108.302：控制器接收传感器采集的车内人员身体状态信息。
109.具体地，控制器可以利用多种传感器来检测心率、心跳脉搏、呼吸频率、血糖浓度等生理参数。例如，控制器可以利用红外心率传感器实时检测心率信息。可选地，驾驶人员的心率信息还可以通过设置在方向盘上的压电传感器来检测；乘客的心率信息还可以借助光电心率传感器来检测。例如，光电心率传感器(也称为光学心率传感器)可以将光射向皮肤，透过皮肤组织反射回的光被光敏元件接受并转换成电信号，再经过电信号转换成数字信号，最后基于血液的吸光率计算出心率。
110.303：控制器对身体状态信息进行分析，以确定车内人员身体状态是否处于紧张状态。
111.例如，可以对心率及呼吸频率进行分析，正常人的心率是每分钟60～100 次，成人平静时的呼吸频率约为每分钟12-20次，当心率和呼吸频率分别超过预设阈值时，判断车内人员存在心率过高、呼吸急促的行为，即车内人员身体状态出现异常，如果车内人员身体状态出现异常，则确定车内人员处于紧张状态。例如，如果车内人员出现心率过高、呼吸急促的行为，控制器判定当前人员存在紧张或不安的情况。
112.如果控制器确定车内人员处于紧张状态，则执行304，否则继续监控车内人员的身体状态信息，即执行302。
113.304：控制器控制摄像头采集车内图像和/音频信息。
114.305：控制器根据图像/音频信息判断车内是否存在不法行为。
115.如果控制器的判断结果是存在不法行为，则执行306，否则继续监控车内人员的身体状态信息，即执行302。
116.例如，可以采用bp神经网络模型对图像和/音频信息进行分析，以确定车内是否存在威胁人员安全的不法行为。如果车内存在携带武器等威胁人员安全的不法行为，则控制器确定车内人员正受到胁迫，处于危险情况。
117.306：验证车内是否存在不法行为。
118.执行模块对车内的不法行为进行验证。如果执行模块验证结果为存在不法行为，则执行307，否则继续监控车内人员的身体状态信息，即执行302。
119.例如，执行模块可以根据图像信息、音频信息和/或身份状态信息对危险信息进行验证，以确认存在威胁安全的可能。例如，根据图像信息判断是否有武器威胁或肢体冲突等危险因素，根据音频信息判断是否存在言语威胁、求救词汇等危险因素，根据身份状态信息判断车内人员存在安全威胁的危险因素。可以通过上述危险因素的逻辑运算确定是否存在威胁安全的可能，以便对车载控制器的判断结果进行验证。例如，如果上述危险因素全部出现，则确定存在威胁安全的可能，或者如果上述危险因素之一出现，则确定存在威胁安全的
可能(即不法行为验证通过)。
120.在一实施例中，上述危险因素可以由控制设备根据图像/音频信息进行确定，并对危险因素进行量化，将量化结果传递给执行模块，执行模块判断量化结果是否超过预设阈值，若超过则验证通过。或者，控制设备可将危险因素传递给执行模块，执行模块对危险因素进行量化，并判断量化结果是否超过预设阈值。
121.307：启动信息发送设备，并将报警信息同步给相关部门。
122.图4是根据本技术另一实施例的安全监控装置400的结构示意图。
123.安全监控装置400包括：控制设备411、多个传感器协议适配器421-424、与多个传感器协议适配器421-424分别连接的多个传感器：温度传感器431、红外线传感432、麦克风433和摄像头434。多个传感器协议适配器421-424 分别通过rs232传输协议与多个传感器连接。控制设备411通过rs845传输协议与多个传感器协议适配器421-424连接。
124.例如，控制设备411可以采用主mcu为控制核心，传感器协议适配器运行优化的modbus从机协议，从机设备会通过统一接口接入主mcu，主 mcu上运行优化的modbus主机协议，通过rs485对传感器设备进行统一管理。
125.传感器协议适配器421-424用于接收这些传感器通过io接口上传的数据，将传感器的数据处理成统一的协议。另外，还可以在传感器协议适配器 421-424上运行tros操作系统，保证了数据的准确性和实时性。温度传感器431可以用于检测车内的温度，再将温度信息传递到控制设备411上。红外线传感器432用于检测车内人员的身体状态信息，包含体温、心率、心跳脉搏、血糖浓度等信息，再将检测到的信息传递到控制设备411中进行分析。摄像头434、麦克风433用于接收车内人员活动和交流内容等信息，并将接收到的信息同步到控制设备411中进行分析。
126.图5是根据本技术另一实施例的安全监控方法的示意性流程图。图5的方法为图1的方法的例子，相同之处不再赘述，此处着重描述不同之处。如图5所示，该方法包括如下内容。
127.501：开启车载控制器。
128.例如，车载控制器可以在启动车辆时自动开启，也可以人工开启。
129.502：控制器接收传感器采集的车内人员的体温和心率等其它生理参数。
130.503：控制器确定车内人员是否体温过高。
131.如果控制器确定车内人员体温过高，则执行505以及506，否则可以继续监控车内人员的体温等其它生理参数。
132.应理解的是，如果体温不高，仍然可以执行506以及后续的数据分析过程，但在采用bp神经网络模型进行数据分析时可以不将体温等身体状态信息输入bp神经网络模型，以便减少bp神经网络模型的计算量。这样可以避免某些人员在遇到不法行为时，因其体温仍在正常范围内而导致不法行为未被检测出的情况。
133.504：控制器确定车内人员是否存在心率、呼吸急促等行为。
134.如果存在心率、呼吸急促等行为，则执行505以及506，否则可以继续监控车内人员的心率等其它生理参数。
135.应理解的是，如果不存在心率、呼吸急促等行为，仍然可以执行506以后续的数据分析过程，但在采用bp神经网络模型进行数据分析时可以不将心率、呼吸等身体状态信息
输入bp神经网络模型，以便减少bp神经网络模型的计算量。这样可以避免某些人员在遇到不法行为时，因其心率、呼吸等身体状态信息仍在正常范围内而导致不法行为未被检测出的情况。
136.505：控制器确定车内人员处于紧张状态。
137.控制器可以在车内人员体温过高，和/或，车内人员存在心率、呼吸急促等行为的情况下，确定车内人员身体状态处于紧张状态。
138.506：控制器控制摄像头采集车内图像和/或音频信息。
139.否则可以继续监控车内人员的体温和心率等其它生理参数。
140.如果控制器确定车内人员处于紧张状态，可以进一步执行507，即将图像和/或音频信息以及身体状态信息(包括体温和/或心率等生理参数)输入 bp神经网络模型进行数据分析。
141.如果控制器确定车内人员体温不高但存在心率、呼吸急促等行为，也可以进一步执行507，即将图像和/或音频信息以及心率、呼吸等生理参数输入 bp神经网络模型进行数据分析。这种情况下体温不会输入bp神经网络模型。
142.如果控制器确定车内人员体温过高但不存在心率、呼吸急促等行为，也可以进一步执行507，即将图像和/或音频信息以及体温输入bp神经网络模型进行数据分析。这种情况下心率、呼吸等生理参数不会输入bp神经网络模型。
143.如果控制器确定车内人员体温不高并且不存在心率、呼吸急促等行为，也可以进一步执行507，即将图像和/或音频信息输入bp神经网络模型进行数据分析。这种情况下体温和心率、呼吸等生理参数不会输入bp神经网络模型。
144.507：控制器判断车内是否存在威胁车内人员安全的不法行为。
145.例如，可以采用基于lm算法的bp神经网络模型对图像和/或音频信息进行分析，以确定车内是否存在威胁人员安全的不法行为。
146.应理解，bp神经网络模型可以对图像和/或音频信息分析，还可以同时对异常生理参数(例如过高的体温、心率和/或呼吸急促行为)进行分析，以确定车内是否存在不法行为。
147.如果存在不法行为，则执行508，否则结束本轮监控过程，例如可以继续监控车内人员的体温和心率等其它生理参数。
148.508：控制器确定车内人员正受到胁迫，处于危险情况。
149.即车内存在不法行为或能存在不法行为，例如车内存在携带武器等威胁人员安全的不法行为。
150.509：执行模块验证车内是否存在不法行为。
151.如果执行模块验证结果为存在不法行为，则执行510，否则可继续执行 502，或结束本轮监控过程。509的具体验证过程与306类似，在此不再赘述。
152.510：启动信息发送设备，并将报警信息同步给相关部门。
153.根据本技术的实施例，控制器可以采用神经网络模型对采集到的图像信息和/音频信息进行分析。神经网络模型分为训练阶段和测试阶段，神经网络可以在车辆为未售出时训练完成，在车辆售出后驶过程中不断训练更新，以提高准确性。
154.下面介绍本技术实施例采用的神经网络模型。例如，可以采用bp神经网络模型。进
一步地，由于bp神经网络模型采用梯度下降算法，而梯度下降算法输出的结果差异比较大，为了避免梯度下降算法带来的误差，可以采用基于lm算法的bp神经网络模型。
155.下面描述本技术实施例采用的bp神经网络模型的训练过程：
156.根据本技术的实施例的神经网络模型可以包括输入层、隐含层和输出层。输入层的神经元节点的数目可以根据输入变量的维数来确定，例如，在输入变量包括语音、动作、武器、图像等输入单元的情况下，输入层的神经元节点的数目可以设置为4。输出层的神经元节点的数目可以根据神经网络模型的分类的个数确定，例如，对于输出为是否存在不法行为的情况来说，输出层的神经元节点的数目可以设置为2。隐含层可以根据经验公式或模型设置，也可以采用逐步试验方法得到，例如，可以先设置一个初始值，然后在这个值的基础上逐渐增加，每次比较神经网络模型的预测性能，选择性能最好神经网络模型对应的节点数作为隐含层神经元节点的数目。神经网络模型的训练方法具体如下：
157.1)获取实验数据集：收集具有危险用词、危险情况、武器等信息的视频/音频数据作为训练样本，利用这些样本训练神经网络模型。
158.2)创建神经网络模型：例如，如果输入的变量包括语音、动作、武器、图像四个维度，输入层的神经元节点可以对应的4个节点，隐含层神经元的节点数目也可设置为4，用于计算每个维度的影响因素以及运算结果，输出层数目为2，用于对应存在不法行为或不存在不法行为的概率。
159.针对不同的输入，例如音频信息，可以设置相应的权值，在隐含层中存在大量的神经元，这些神经元通过对应的激励函数计算输出结果。
160.3)将输入的数据归一化到[0,1)之间，并设置神经网络模型中的参数、训练进度、最大训练次数、学习率等。
[0161]
4)执行训练流程，得到训练结果。
[0162]
在训练过程中可以利用神经网络模型的神经元对各种样本进行特征提取，将提取的特征输出到分类器进行分类，得到训练结果；
[0163]
5)训练结果分析：利用成本函数对训练结果与预期结果进行比较分析，得到分类精度，如果分类精度低于预设阈值，则需要对神经网络模型的参数进行调整，并继续对调整后的神经网络模型进行训练，直到分类精度达到要求，训练过程完成。
[0164]
神经网络模型训练完成后，即可以利用该神经网络模型对输入的视频和/音频数据进行分析，以判断车内人员是否正在或可能实施不法行为。神经网络模型的输出信息可以是车内人员正在实施不法行为的概率。
[0165]
进一步地，神经网络模型的输入还可以包括车内人员的身体状态信息，在这种情况下，可以在输入层中增加针对身体状态信息的神经元节点。这样，神经网络模型可以结合视频和/音频数据及身体状态信息判断车内人员是否正在或可能实施不法行为，降低了误判的概率。
[0166]
由于车辆在行驶过程中会遇到很多的影响因素，为了确保输出的结果不会受到不相关因素的影响，可以设置线性整流函数作为神经网络模型的激活函数来排除不相关因素的影响。
[0167]
另外，由于本技术实施例的场景涉及的分类元素(例如，动作、语音、武器和图像等等)可能会比较多，因此，可以考虑在利用神经网络模型在分析数据时，可以利用频度值对
分类元素进行约束。例如，可以根据采集到数据的频度值及神经网络隐含层的第一层各节点对应的权重值，获取隐含层的第一层各节点的输出值，该算法表示如下：
[0168][0169]
其中，n代表单个输入层内分类元素的数量；
[0170]
pk表示第k个分类元素的频度，指一个分类元素训练集中总共出现的次数的值；
[0171]wik
表示第k个分类元素在隐含层的第一层第i个节点的权重；
[0172]ii
表示第k个分类元素在隐含层的第一层第i个节点的输入值。
[0173]
在ii所在的节点处，代入计算所得的ii，通过特定激活函数计算出该节点的输出值。
[0174]
根据本发明实施例，在利用神经网络模型进行训练时，主要对训练集中出现的分类元素到隐含层的节点进行训练，在利用该神经网络节点进行分类时，也仅对分类集中出现的分类元素输入神经网络。因此，可以降低神经网络模型输入节点的数量，减少了计算量。
[0175]
示例性装置
[0176]
图6是根据本技术实施例的一种车辆的安全监控系统600的结构示意图。安全监控系统600包括第一信息采集设备610、控制设备620以及信息发送设备630。
[0177]
第一信息采集设备610，用于在预设条件满足时，采集车辆内的图像信息和/或音频信息。信息发送设备630，用于向车辆外部的第三方发送报警信息。控制设备620，与第一信息采集设备以及信号发送设备通信连接，用于执行如上安全监控方法。
[0178]
可选地，作为另一实施例，安全监控系统600还包括第二信息采集设备 640，用于采集车辆的车内人员的身体状态信息，第一信息采集设备610、第二信息采集设备640以及控制设备620基于modbus协议进行通信。
[0179]
根据本技术的实施例，第二信息采集设备640包括以下一种或多种：温度传感器、红外传感器、呼吸频率传感器、压电传感器、光电传感器以及心率传感器。
[0180]
根据本技术的实施例，第一信息采集设备640包括摄像设备和/或麦克风。
[0181]
根据本技术的实施例，控制设备620可以为微控制单元(mcu)。
[0182]
第二信息采集设备640的采集内容是车内人员的身体状态信息，具体可以是生理特征指数，例如体温、心率等。应当理解，所采集的动作行为及生理特征指数可以反映出人员是否处于紧张状态。采集对象可以是驾驶员和/ 车内乘客，可以检测一人身体状态信息，也可以检测多人身体状态信息。
[0183]
作为一种实现方式，身体状态信息可以是体温、心率、心跳脉搏、呼吸频率以及血糖浓度中的一种或多种。
[0184]
作为一种实现方式，使用摄像设备和/或麦克风采集车内视频和/音频信息。
[0185]
图7是根据本技术实施例的一种车辆的安全监控装置700的结构示意图。
[0186]
该安全监控装置700包括：采集模块710，用于在预设条件满足时，采集车辆内的图像信息和/或音频信息；确定模块720，用于根据车辆内的图像信息和/或音频信息，确定车辆内是否存在不法行为；发送模块730，用于在车辆内存在不法行为时，向车辆外部的第三方发送报警信息，报警信息用于指示车辆内存在不法行为。
[0187]
根据本技术的实施例，通过采集车辆内的视频和/或音频信息，根据视频和 /或音频信息确定车内人员的不法行为，并及时向车辆外部发送报警信息，从而能够及时制止不法行为，避免了人员伤亡及意外交通事故的发生，保障了车内人员的安全。
[0188]
可选地，作为另一实施例，采集模块710还用于采集车辆的车内人员的身体状态信息，并且在车内人员处于紧张状态时采集车辆内的图像信息和/ 或音频信息，确定模块还用于根据车内人员的身体状态信息，确定车内人员是否处于紧张状态。
[0189]
根据本技术的实施例，确定模块720用于将车内人员的身体状态信息以及图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
[0190]
根据本技术的实施例，确定模块720用于将图像信息和/或音频信息输入至训练好的神经网络模型中，得到神经网络模型的输出信息，输出信息用于指示车辆内存在不法行为的概率。
[0191]
可选地，作为另一实施例，安全监控装置700还包括：滤波模块740，用于利用滤波算法对神经网络模型的输入信息或输出信息进行滤波处理。
[0192]
可选地，作为另一实施例，采集模块710还用于采集车辆内的温度信息，确定模块720用于根据车辆内的温度信息和身体状态信息，确定车内人员是否处于紧张状态。
[0193]
在本技术某些实施例中，确定模块720用于根据车辆内的温度信息对身体状态信息进行修正，得到修正后的身体状态信息；根据修正后的身体状态信息确定车内人员是否处于紧张状态。
[0194]
可选地，作为另一实施例，安全监控装置700还包括：验证模块750，用于在车辆内存在不法行为时，根据不法行为验证条件对车辆内存在不法行为进行验证，得到验证结果。发送模块730用于在验证结果为通过验证时，向车辆外部的第三方发送报警信息。具体地，不法行为验证条件包括存在不法行为的危险程度超过预设阈值。
[0195]
根据本技术的实施例，预设条件为如下条件中的至少一种：预设的按钮被按下、预设的关键唤醒词被检测到、以及车内人员的身体状态出现异常。
[0196]
根据本技术的实施例，报警信息包括以下信息中的一种或多种：车辆内的图像信息、车辆内的音频信息以及车辆的位置信息。
[0197]
根据本技术的实施例，身体状态信息包括以下一种或多种：体温、心率、心跳脉搏、呼吸频率以及血糖浓度。
[0198]
根据本技术的实施例，不法行为包括车内人员之间进行的以下行为：人身伤害。
[0199]
应当理解，上述实施例中的采集模块710、确定模块720、发送模块730、滤波模块740以及验证模块750的操作和功能可以参考上述实施例中提供的安全监控方法中的描述，为了避免重复，在此不再赘述。
[0200]
本技术的实施例还提供了一种车辆。该车辆包括：上述实施例所述的安全监控系统或安全监控装置。
[0201]
本技术的实施例对车辆的类型不作限制，其既可以是普通车辆，也可以是具有自动驾驶功能的智能车辆，其可以是小型轿车，也可以是大型的公共汽车或工程车辆。
[0202]
图8是根据本技术的实施例的电子设备800的框图。
[0203]
参照图8，电子设备800包括处理组件810，其进一步包括一个或多个处理器，以及
由存储器820所代表的存储器资源，用于存储可由处理组件810的执行的指令，例如应用程序。存储器820中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件810被配置为执行指令，以执行上述安全监控方法。
[0204]
电子设备800还可以包括一个电源组件被配置为执行电子设备800的电源管理，一个有线或无线网络接口被配置为将电子设备800连接到网络，和一个输入输出(i/o)接口。可以基于存储在存储器820的操作系统操作电子设备800，例如windows server
tm
，mac os x
tm
，unix
tm
，linux
tm
，freebsd
tm
或类似。
[0205]
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备800的处理器执行时，使得上述电子设备800能够执行一种安全监控方法。该安全监控方法包括：在预设条件满足时，采集车辆内的图像信息和/或音频信息；根据车辆内的图像信息和/或音频信息，确定车辆内是否存在不法行为；如果车辆内存在不法行为，向车辆外部的第三方发送报警信息，报警信息用于指示车辆内存在不法行为。
[0206]
本技术的实施例还提供了一种车辆。该车辆包括：上述实施例所述的电子设备。
[0207]
上述所有可选技术方案，可采用任意结合形成本发明的可选实施例，在此不再一一赘述。
[0208]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0209]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0210]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0211]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0212]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0213]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：u 盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram， random access memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
[0214]
需要说明的是，在本发明的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0215]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。