用于监视驾驶员的系统和方法与流程

1.本公开涉及一种用于监视驾驶员的系统和方法，更具体地，涉及可以考虑驾驶员的身体状况或车辆的驾驶状态来确定驾驶员的异常状况，警告驾驶员异常状况，并安全地将车辆移动到安全区域的用于监视驾驶员的系统和方法。


背景技术：

2.由于在方向盘上睡着已经成为导致交通事故的重要原因的社会问题，车辆制造商已经开发和应用了昏昏欲睡的驾驶预防系统，用于识别驾驶员的面部，以提前确定驾驶员是否感到困倦，并提前警告驾驶员。
3.然而，常规的系统仅仅识别使用相机捕获的驾驶员的面部，并通过图像处理确定驾驶员是否正在驾驶，因此不能在通过相机几乎不能识别驾驶员面部的环境中(例如，在夜间，外部强光照射在驾驶员座椅上的状态等)执行准确的面部识别。
4.此外，常规的系统主要基于驾驶员眼睛在识别的面部中的外观来确定驾驶员是否困倦，并且因此不能识别由于驾驶员的意外异常身体状况而不是困倦而导致驾驶员不能驾驶的状况。
5.此外，常规的系统在识别出驾驶员昏昏欲睡时仅采取诸如发出警报之类的措施，因此驾驶员即使在不能驾驶的状态下也可以继续驾驶车辆，导致严重事故。
6.在该背景技术部分中包括的信息仅是为了增强对本公开的一般背景的理解，而不可被视为对该信息构成本领域技术人员已知的现有技术的承认或任何形式的建议。


技术实现要素：

7.本公开是鉴于上述问题而做出的，并且本公开的目的是提供一种用于监视驾驶员的系统和方法，该系统和方法可以考虑驾驶员的各种状况、车辆状态和驾驶环境来确定驾驶员的异常状况，并根据确定结果将车辆移动到安全位置，以及通过使用相机捕获的图像识别驾驶员的面部来确定驾驶员的困倦。
8.根据本公开，上述和其他目的可以通过提供一种用于监视驾驶员的系统来实现，该系统包括：第一传感器，被配置为检测驾驶员的第一身体状况信息；第二传感器，被配置为检测车辆的第一驾驶状态信息；以及控制器，被配置为基于第一身体状况信息确定驾驶员的身体状况是否异常，以及基于第一驾驶状态信息确定驾驶员的驾驶模式是否异常。
9.在本公开的实施例中，控制器可以包括存储器，存储器被配置为存储关于驾驶员的第二身体状况信息的大数据分析值，并且控制器进一步被配置为基于第一身体状况信息和第二身体状况信息之间的比较结果来确定驾驶员的身体状况是否异常。
10.在本公开的实施例中，第一传感器可以包括：可穿戴设备，其被配置为由驾驶员穿戴，并被配置为检测驾驶员的心率并通过无线通信将心率发送到控制器；或者在车辆的方向盘中的心率监视器，其被配置为通过与心率监视器接触的驾驶员的手检测驾驶员的心率。
11.在本公开的实施例中，控制器可以包括存储器，存储器被配置为存储关于第二驾驶状态信息的大数据分析值，并且控制器进一步被配置为基于第一驾驶状态信息和第二驾驶状态信息之间的比较结果来确定驾驶模式是否异常。
12.在本公开的实施例中，第二传感器可以包括被配置为捕获车辆的前视图像的相机、被配置为测量车辆的偏航值的偏航传感器和被配置为检测车辆的转向角的转向角传感器中的至少一个。
13.在本公开的实施例中，控制器可进一步被配置为当确定所述驾驶员的所述身体状况异常或所述驾驶模式异常中的至少一个时，执行自动驾驶控制以将所述车辆引导到所述安全区域，并控制所述车辆在所述安全区域内停止。
14.在本公开的实施例中，该系统进一步包括图像传感器，该图像传感器被配置为感测车辆周围的对象并捕获车辆周围的图像，控制器可以基于由图像传感器捕获的图像来确定道路的最外车道和道路的最外结构，在确定驾驶员的所述身体状况异常和所述驾驶模式异常中的至少一个时，通过由图像传感器捕获的图像检查盲点内的跟随车辆，通过在降低车辆速度的同时调整车辆的方向盘来控制车辆向道路的边缘移动，并在到达道路的边缘后控制车辆停止。图像传感器包括捕获车辆的前视图像的相机、雷达(radar)和激光雷达(lidar)中的至少一个。
15.在本公开的实施例中，控制器可进一步包括存储器，该存储器包括被配置为从图像传感器捕获的图像中检测最外车道的深度学习网络和被配置为检测道路的最外结构的深度学习网络中的至少一个，并且控制器可以通过将图像传感器的捕获的图像或输入信号输入到深度学习网络来检测最外车道和最外结构中的至少一个。
16.根据本公开的另一方面，提供了一种由控制器监视驾驶员的方法，包括：接收由车辆的第一传感器检测到的驾驶员的第一身体状况信息和由车辆的第二传感器检测到的车辆的第一驾驶状态信息；基于第一身体状况确定驾驶员的身体状况是否异常；以及基于第一驾驶状态信息确定驾驶员的驾驶模式是否异常。在确定身体状况或驾驶模式中的至少一个异常时，该方法自动控制车辆移动到安全区域。
17.在本公开的实施例中，确定驾驶员的身体状况是否异常可以包括基于关于驾驶员的第二身体状况信息的大数据分析值和第一身体状况信息之间的比较结果，确定驾驶员的身体状况是否异常。
18.在本公开的实施例中，第一传感器可以包括：可穿戴设备，其被配置为由驾驶员穿戴，并被配置为检测驾驶员的心率并通过无线通信将心率发送到控制器；或者包括在车辆的方向盘中的心率监视器，其被配置为通过与心率监视器接触的驾驶员的手检测驾驶员的心率。
19.在本公开的实施例中，该确定可以包括基于关于第二驾驶状态信息的大数据分析值和第一驾驶模式信息之间的比较结果，确定驾驶模式是否异常。
20.在本公开的实施例中，第二传感器可以包括被配置为捕获车辆的前视图像的相机、被配置为测量车辆的偏航值的偏航传感器和被配置为检测车辆的转向角的转向角传感器中的至少一个。
21.在本公开的实施例中，该方法可进一步包括由控制器执行自动驾驶控制，以当确定驾驶员的身体状况异常和驾驶模式异常中的至少一个时，执行自动驾驶控制以将车辆引
导到安全区域，并控制车辆在安全区域内停止。
22.在本公开的实施例中，自动驾驶控制的执行可以包括，在确定驾驶员身体状况异常或驾驶模式异常时，基于由图像传感器在车辆周围感测到的对象或在车辆周围捕获的图像，检测道路的最外车道或最外结构，并通过图像传感器在盲停中感测到的对象检查跟随车辆，通过在降低车辆速度的同时调整车辆的方向盘来控制车辆向道路的边缘移动，以及在到达道路的边缘后控制车辆停止。图像传感器包括捕获车辆的前视图像的相机、雷达和激光雷达中的至少一个。
23.在本公开的实施例中，执行自动驾驶控制可以包括通过将图像输入到被配置为从图像中检测最外车道的深度学习网络或将图像传感器的输入信号输入到被配置为从输入信号中检测道路的最外结构的深度学习网络来检测最外车道或最外结构。
附图说明
24.结合附图，通过以下详细描述，本公开的上述和其他目的、特征和其他优点将得到更清楚的理解，其中：
25.图1是示出根据本公开的实施例的用于监视驾驶员的系统的框图；
26.图2是更详细地示出根据本公开的实施例的驾驶员监视控制器的框图；
27.图3是示出根据本公开的实施例的用于监视驾驶员的方法的流程图；以及
28.图4是示出根据本公开的实施例的通过应用于监视驾驶员的方法的自动驾驶控制将车辆移动到安全区域的方法的流程图。
具体实施方式
29.以下，将参考附图详细描述根据各种实施例的驾驶员监视系统和方法。
30.图1是示出根据本公开的实施例的用于监视驾驶员的系统的框图。图2是更详细地示出根据本公开的实施例的驾驶员监视控制器的框图。
31.参考图1，根据本公开的实施例的用于监视驾驶员的系统可以包括检测驾驶员的身体状况信息和车辆的驾驶状态信息的各种传感器10、20、30和40，以及控制器100，其基于从传感器10、20、30和40输入的信号确定驾驶员的状况，并警告驾驶员他/她的异常状况，或者通过自动驾驶将车辆移动到安全区域，然后在确定驾驶员的状况异常时停止车辆。
32.传感器可以分为用于检测驾驶员的身体状况信息的第一传感器和用于检测车辆的驾驶状态信息的第二传感器。
33.例如，第一传感器可以包括可穿戴设备20，例如能够测量驾驶员心率的智能手表、心率监视器30等等，心率监视器30设置在车辆的方向盘中，并且当驾驶员用手握住方向盘时，可以通过与其接触的驾驶员的手测量驾驶员的心率。
34.此外，第二传感器是用于检测车辆驾驶模式的传感器，并且可以包括捕获车辆的前视图像的相机10和驾驶信息传感器40(例如测量车辆的偏航值的偏航传感器或检测车辆的转向角的转向角传感器，作为能够检测驾驶员昏昏欲睡或无法驾驶车辆的状态下的车辆行为的传感器)。
35.控制器100可以包括：身体异常确定单元110，其能够使用从第一传感器收集的信息来确定驾驶员的异常身体状况；以及驾驶状态确定单元120，其能够使用从第二传感器收
集的信息来确定驾驶模式是否异常。
36.此外，控制器可进一步包括存储器130，其存储用于身体异常确定单元110和驾驶状态确定单元120确定异常的参考值。
37.存储器130可以存储关于驾驶员的身体状况信息的大数据分析值或关于驾驶员的驾驶模式的大数据分析值。
38.例如，存储器130可以存储使用先前积累的关于驾驶员心率的大数据信息导出的驾驶员的正常心率范围，或者使用从与驾驶员的年龄和性别相对应的随机人群收集的大数据信息导出的正常心率范围。身体异常确定单元110可以通过将存储在存储器130中的作为大数据分析信息的正常心率范围的信息与通过第一传感器接收的驾驶员的实时心率信息进行比较来确定驾驶员的身体状况是否异常。
39.此外，存储器130可以存储通过分析先前积累的驾驶员的驾驶模式相关信息而获得的大数据信息。这里，大数据信息可以包括通过使用相机收集的图像可以检测到的车道位置，通过偏航传感器检测到的车辆的偏航值的变化、指示方向盘旋转程度的转向角的变化等。驾驶状态确定单元120可以将存储在存储器130中的大数据分析信息中的前视图像中的车道位置模式、偏航值变化、转向角变化等与通过第二传感器接收的实时检测值变化模式进行比较，并且当模式之间的差异是预定水平或更大时，确定驾驶模式差异是由驾驶员的异常状况引起的。
40.虽然在上述描述中例示了相机10、偏航传感器和转向角传感器作为第二传感器，但是可以选择性地采用能够通过其确定驾驶员的驾驶模式即驾驶员的驾驶习惯的各种其他传感器。
41.当控制器100的身体异常确定单元110和驾驶状态确定单元120确定已经发生异常时，控制器100可以向车辆的音频视频导航(avn)系统50发送警告信号，avn系统50可以在接收到警告信号时通过视觉和听觉方法警告驾驶员。
42.此外，控制器100可进一步包括自动驾驶控制器140，其在输出警告信号之后，当驾驶员没有将车辆驾驶到安全区域或保持异常身体状况或驾驶模式时，控制车辆自动移动到安全区域。
43.自动驾驶控制器140可以使用设置在车辆中的相机10、雷达/激光雷达60和盲点碰撞警告(bcw)系统70来控制车辆移动到车辆正在行驶的道路的边缘，然后停止。
44.图3是示出根据本公开的实施例的用于监视驾驶员的方法的流程图。
45.如图3所示，根据本公开的实施例的用于监视驾驶员的方法由上述用于监视驾驶员的系统实施，并且可以包括步骤s11和s12，从包括在车辆中的传感器10、20、30和40接收驾驶员的身体状况信息和车辆的驾驶状态信息，以及步骤s13，由控制器100基于接收到的身体状况信息和车辆的驾驶状态信息来确定异常。
46.驾驶员的身体状况信息可以通过包括在驾驶员穿戴的可穿戴设备(智能手表)20中的心率测量传感器或包括在车辆方向盘中的心率监视器30来测量，并且可以通过已知的无线通信方法或车载信号通信方法(例如，can)将其提供给控制器100。
47.此外，车辆的驾驶状态信息可以是由相机10捕获的图像或通过分析图像获得的信息，或者通过诸如偏航传感器或转向角传感器的驾驶信息传感器40检测的信息，并且可以通过已知的无线通信方法或车载信号通信方法提供给控制器100。
48.随后，在步骤s13中，控制器100的身体异常确定单元110可以通过将存储在存储器130中的作为大数据分析信息的正常心率范围的信息(即大数据分析信息)与接收的驾驶员的实时心率信息进行比较，来确定驾驶员的身体状况是否异常。同样，在步骤s13中，控制器100的驾驶状态确定单元120可以将存储在存储器130中的作为大数据分析信息的前视图像中的车道位置、偏航值变化、转向角变化等的模式与通过第二传感器接收的实时检测值变化模式进行比较，并且当模式之间的差异是预定水平或更大时，确定驾驶模式差异是由驾驶员的异常状况引起的。
49.当在步骤s13中确定驾驶员的身体状况异常或者车辆的驾驶模式与先前的驾驶模式之间的差异是预定水平或更高时，控制器100可以向车辆的avn系统50发送警告信号，以使avn系统50通过视觉和听觉方法警告驾驶员(s14)。
50.随后，控制器100可以检查车辆是否已经移动到安全区域并停止(s15)。在步骤s14中生成警告之后，如果驾驶员的身体状况或驾驶模式返回到正常状态，或者驾驶员将车辆移动到安全区域并停止车辆，则控制器100可以确定不需要额外的后续措施，并且如果不是，则可以确定驾驶员不顾警告继续在异常状态下驾驶(s15)。
51.如果在步骤s15中没有根据警告采取后续措施(移动到安全区域或改善身体状况/驾驶状态)，则控制器100的自动驾驶控制器140可以使用设置在车辆中的自动驾驶所需的各种传感器和系统使车辆自动移动到安全区域(s16)。
52.图4是示出根据本公开的实施例的通过应用于监视驾驶员的方法的自动驾驶控制将车辆移动到安全区域的方法的流程图。
53.参照图4，在确定车辆需要通过自动驾驶移动到安全区域并停止时，控制器100可以使用设置在车辆中的相机10或能够检测车辆前面的对象的雷达/激光雷达60来识别车辆行驶的道路的最外车道或最外结构(护栏、墙等)(s161)。在允许高质量成像的白天驾驶的情况下，控制器100可以通过使用相机捕获的图像识别最外车道或最外结构，而在夜间驾驶的情况下，可以通过雷达/激光雷达60识别最外结构，然后确认由相机10捕获的图像中识别的最外结构的位置的方式识别车道。当然，车辆的位置信息和从在车辆中提供的avn系统50导出的地图信息可用于识别车道或安全区域。
54.当在步骤s162中确认存在安全区域，其中车辆可以通过在步骤s161中识别的最外车道或最外结构而停下来时，控制器100可以使用车辆的bcw系统70检查是否有另一车辆正在接近盲点，特别是在车辆行驶的车道之外的车道中(s163)。
55.随后，控制器100可以在确认盲区中没有车辆接近或确保了足够的安全距离时，控制车辆降低速度，然后通过控制方向盘移动到外部车道(s164)。这里，控制器100可以控制车辆速度，使得可以使用雷达/激光雷达60确保与前方对象的足够距离。
56.当车辆在检查车辆后面的区域、降低车辆速度和改变车道后到达识别的安全区域时，控制器100可以停止车辆并结束自动驾驶控制(s165)。在车辆到达安全区域之后，控制器100可以使用长距离通信功能或指定的电话号码通知控制中心驾驶员的异常状况的发生。
57.如上所述，根据本公开的各种实施例的用于监视驾驶员的系统和方法，可以快速检测驾驶员的异常身体状况或与其相应的异常驾驶状态，并使用关于驾驶员的身体状况的信息和驾驶员的驾驶模式信息来警告驾驶员，以及简单地使用驾驶员的面部图像来识别驾
驶员的困倦，从而辅助安全驾驶。
58.此外，根据本公开的各种实施例的用于监视驾驶员的系统和方法，即使当驾驶员的身体状况非常糟糕以至于驾驶员不能驾驶车辆时，也可以通过使用设置在车辆中的与车辆安全有关的各种传感器的相对基本级别的自动驾驶来使车辆安全地撤离到安全区域，以帮助预防交通事故。
59.尽管已经出于说明性目的公开了本公开的示例性实施例，但是本领域技术人员将理解，在不脱离如所附权利要求书中公开的本公开的范围和精神的情况下，可以进行各种修改，添加和替换。