基于深度学习的车辆防拥堵方法、控制器和存储介质与流程

1.本发明涉及智能驾驶领域，并且更具体地涉及一种基于深度学习的车辆防拥堵方法、车载控制器和计算机存储介质。


背景技术：

2.近年来，随着我国乘用车保有量的急剧上升，城市区域上下班高峰期及重点通行主干道路段经常发生车辆拥堵现象，其中部分拥堵现象是由于驾驶员在路口或拥堵路段的车流排队过程中存在玩手机、交谈、发呆、抽烟、犯困、精神不集中、甚至下车不在车内等原因导致。
3.目前，一些现有技术借助于雷达测距装置对高速场景中由本车驾驶员导致的拥堵现象进行警报。然而，诸如毫米波雷达和激光雷达之类的雷达测距装置存在成本高昂、刷新率低且对恶劣天气鲁棒性差等缺陷。此外，现有技术所采用的拥堵识别和警报方案仅仅针对于由本车驾驶员分心导致的拥堵现象，其并不涉及针对前车驾驶员分心状态的识别和警报。


技术实现要素：

4.为了解决或至少缓解以上问题中的一个或多个，提供了以下技术方案。本发明的实施例提供了一种基于深度学习的车辆防拥堵方法、车载控制器和计算机存储介质，以便以较低的软硬件成本为用户提供高速、普通道路等全类型路面排队等车场景下的智能化和人性化的防拥堵提示体验。
5.按照本发明的第一方面，提供一种基于深度学习的车辆防拥堵方法，包括：a、从车载立体相机接收以第一频率采集的车辆前方图像；b、将所述车辆前方图像输入深度学习算法模型，并利用所述深度学习算法模型识别本车与前车的车距信息、交通标志信息以及交通灯信息；c、基于所述车距信息、所述交通灯信息以及本车车速判断前车驾驶员是否处于分心状态；以及d、若前车驾驶员处于分心状态，则基于所述交通标志信息确定针对前车的提示方式。
6.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤b包括基于所述车辆前方图像进行的以下操作：b1、利用所述深度学习算法模型生成指示本车所处的车道内是否存在前车的第一判断信息；以及b2、若所述第一判断信息指示存在所述前车，则进一步基于所述车载立体相机的参数确定本车与前车的车距信息。
7.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤b包括基于所述车辆前方图像进行的以下操作：b3、利用所述深度学习算法模型生成指示车辆前方是否存在红灯或黄灯的第二判断信息；以及b4、若所述第二判断信息指示不存在所述红灯或黄灯，则进一步利用所述深度学习算法模型生成指示车辆前方是否存在禁止鸣笛标志的第三判断信息。
8.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤c包括：c1、从
车速传感器获取实时的本车车速；以及c2、若在第一时刻所述本车车速为零、所述车距信息指示前车与本车的车距处于第一范围之内、并且所述交通灯信息和/或从高精地图获取的导航信息指示车辆前方不存在红灯或黄灯，则在预设时间后判断前车驾驶员是否处于分心状态。
9.作为以上方案的替代或补充，在根据本发明一实施例的方法中，在步骤c2中，在预设时间后判断前车驾驶员是否处于分心状态包括：若在第二时刻所述本车车速仍为零、并且所述第二时刻与所述第一时刻的车距变化量小于或等于第一距离，则判定前车驾驶员处于分心状态。
10.作为以上方案的替代或补充，在根据本发明一实施例的方法中，在步骤c2中，在预设时间后判断前车驾驶员是否处于分心状态包括：若在第二时刻所述本车车速小于或等于第一速度、并且本车与前车的车距小于或等于第二距离，则判定前车驾驶员处于分心状态。
11.作为以上方案的替代或补充，根据本发明一实施例的方法进一步包括：e、若在第一时刻至第二时刻所述本车车速持续为零，并且所述第二时刻与所述第一时刻的车距变化量大于或等于第三距离，则进一步判断本车驾驶员是否处于分心状态。
12.作为以上方案的替代或补充，在根据本发明一实施例的方法中，判断本车驾驶员是否处于分心状态包括：将由车内相机采集的车内图像输入所述深度学习算法模型，并利用所述深度学习算法模型识别驾驶员视线是否处于路面前方，以及若所述驾驶员视线不处于路面前方，则判定本车驾驶员处于分心状态；和/或所述方法还包括：若判定本车驾驶员处于分心状态，则生成第三提示信号以触发车内提示装置对本车驾驶员进行提醒。
13.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤d包括：d1、若判定前车驾驶员处于分心状态、并且所述交通标志信息和/或从高精地图获取的导航信息指示车辆前方不存在禁止鸣笛标志，则生成第一提示信号以触发本车喇叭对前车进行提醒；以及d2、若判定前车驾驶员处于分心状态、并且所述交通标志信息和/或从高精地图获取的导航信息指示车辆前方存在禁止鸣笛标志，则生成第二提示信号以触发车前大灯对前车进行提醒。
14.作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤d进一步包括：d3、若判定本车驾驶员处于分心状态，则生成第三提示信号以触发车内提示装置对本车驾驶员进行提醒。
15.作为以上方案的替代或补充，在根据本发明一实施例的方法中，所述车内提示装置包括以下各项中的一项或多项：车内扬声器、方向盘振动装置以及主驾座椅振动装置。
16.根据本发明的第二方面，提供一种车载控制器，包含：存储器；处理器；以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序的运行使得根据本发明第一方面所述的方法中的任意一项被执行。
17.根据本发明的第三方面，提供一种计算机存储介质，所述计算机存储介质包括指令，所述指令在运行时执行根据本发明第一方面所述的方法中的任意一项。
18.首先，根据本发明的一个或多个实施例的基于深度学习的车辆防拥堵方案通过将车载立体相机与深度学习算法相结合，利用视觉感测和深度学习技术实现对前车驾驶员的分心状态的识别，相较于采用雷达、激光的现有技术方案，不仅节省了硬件成本，而且充分发挥了视觉感测技术环境覆盖范围广、感知数据丰富、分别率高等优势，从而提高了针对分
心状态的识别准确率。此外，根据本发明的一个或多个实施例的基于深度学习的车辆防拥堵方案能够基于对车辆前方环境中的交通标志信息的识别确定针对前车的提示方式，使得防拥堵提示方案更加人性化，从而提升了用户的体验。
附图说明
19.本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。在所述附图中：图1为按照本发明的一个或多个实施例的基于深度学习的车辆防拥堵方法10的示意性流程图；图2为按照本发明的一个或多个实施例的基于深度学习的车辆防拥堵方法20的示意性流程图；以及图3为按照本发明的一个或多个实施例的车载控制器的示意性框图。
具体实施方式
20.以下具体实施方式的描述本质上仅仅是示例性地，并且不旨在限制所公开的技术或所公开的技术的应用和用途。此外，不意图受在前述技术领域、背景技术或以下具体实施方式中呈现的任何明示或暗示的理论的约束。
21.在实施例的以下详细描述中，阐述了许多具体细节以便提供对所公开技术的更透彻理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他实例中，没有详细描述公知的特征，以避免不必要地使描述复杂化。
22.诸如“包含”和“包括”之类的用语表示除了具有在说明书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
23.在下文中，将参考附图详细地描述根据本发明的各示例性实施例。
24.图1为按照本发明的一个或多个实施例的基于深度学习的车辆防拥堵方法10的示意性流程图。
25.如图1所示，在步骤s110中，从车载立体相机接收以第一频率采集的车辆前方图像。示例性地，车载立体相机可以是设置并固定于汽车外部的前视双目摄像头、多目摄像头或环视摄像头。应理解，在本发明的实施例中，相机、镜头、摄像机、摄像头等均表示可以获取覆盖范围内的图像或影像的设备，其含义类似，且可以互换，本发明对此不做限制。在图像采集过程中，可以以固定频率（例如，每秒25帧）采集车辆前方图像。
26.在步骤s120中，将车辆前方图像输入深度学习算法模型，并利用深度学习算法模型识别本车与前车的车距信息、交通标志信息以及交通灯信息。示例性地，在获取到车载立体相机采集的车辆前方图像之后，利用深度学习和图像处理技术对车辆前方路况信息进行提取和处理。例如，该深度学习算法模型可以构造为多通道卷积神经网络（cnn）（例如，双通道cnn）算法模型，以识别车辆前方图像中的各个感兴趣对象的存在、位置和尺寸，从而获取本车与前车的车距信息、交通标志信息以及交通灯信息。该深度学习算法模型可以预先以
多组包括样本图像和相应标注信息的训练数据进行训练，其中，标注信息指示在该样本图像中是否存在诸如车辆、车道线、交通灯（例如，红灯、黄灯和绿灯）、交通标志（例如，禁止鸣笛标志）之类的感兴趣对象。
27.可选地，步骤s120包括：利用深度学习算法模型生成指示本车所处的车道内是否存在前车的第一判断信息。在一个示例中，可以首先利用深度卷积神经网络提取车辆前方图像中的车辆特征，实现对前车的识别和定位。若识别到前车，则获取车道信息以进一步判断识别到的前车是否处于本车所处的车道内。车道信息可以由从高精地图获取的导航信息提供，也可以通过图像识别算法对由车载立体相机采集的车辆前方图像中的车辆当前所处的车道进行识别，还可以将其两者提供的车道信息进行融合以获取精确的车道线位置信息。具体地，高精度地图为系统提供车辆和行车环境中标志物的精确位置信息，例如，可以从高精度地图直接获取车道线、道路指示牌、交通灯以及交通标志等的语义和图像。车载图像处理模块可以基于图像处理功能完成车辆前方图像中标志物（例如，车道线、交通标志、交通灯）的提取，其中图像处理功能包括图像预处理、图像分割、感兴趣区域识别、特征点提取、特征分类等。在一个示例中，可以将由高精度地图提供的车道线信息与车载图像处理模块提供的车道线信息进行匹配和融合，从而获取精确的车道线位置信息。进一步地，通过对比检测到的前车的定位信息和车道线位置信息，判断前车与本车是否位于相同车道。
28.可选地，步骤s120包括：若第一判断信息指示本车所处的车道内存在前车，则进一步基于车载立体相机的参数确定本车与前车的车距信息。示例性地，相机参数包括车载立体相机在标定过程中确定的内外参数，包括焦距、相机高度以及畸变参数等。需要说明的是，具体的车距信息可以是基于本领域已知的双目/多目相机测距方法，包括基于从相邻的两个视角（双目相机）获取同一环境的两幅独立图像来估计距离，本发明对此不作限制。
29.可选地，步骤s120包括：利用深度学习算法模型生成指示车辆前方是否存在红灯或黄灯的第二判断信息。在一个示例中，可以利用深度卷积神经网络提取车辆前方图像中的交通灯特征，以实现对车辆前方交通灯状态（例如，红灯、黄灯、绿灯）的识别。
30.可选地，步骤s120包括：若第二判断信息指示不存在红灯或黄灯，则进一步利用深度学习算法模型生成指示车辆前方是否存在禁止鸣笛标志的第三判断信息。可以理解的是，若判定车辆前方图像中不存在红灯或黄灯（例如，交通灯处于绿灯状态或无交通灯），则表征在本车所处车道内的前车处于可通行状态。当判定前车处于可通行状态时，可以进一步利用深度卷积神经网络提取车辆前方图像中的交通标志特征，以实现对交通标志（例如，禁止鸣笛标志）的识别。
31.在步骤s130中，基于车距信息、交通灯信息以及本车车速判断前车驾驶员是否处于分心状态。示例性地，可以基于从本车的车速传感器获取实时的车速和交通灯信息确定本车是否处于被动停滞状态，即，是否由于前方不可通行而导致本车车速为零。若并非由于前方不可通行而导致本车车速为零，则进一步基于车距信息确定前车是否对本车构成拥堵威胁。若前车对本车构成拥堵威胁，则在预设时间后继续判断本车是否处于拥堵状态以及该拥堵状态是否为前车驾驶员分心导致。
32.可选地，步骤s130包括：从车速传感器获取实时的本车车速；若在第一时刻本车车速为零、车距信息指示前车与本车的车距处于第一范围之内、并且交通灯信息和/或从高精地图获取的导航信息指示车辆前方不存在红灯或黄灯，则在预设时间后判断前车驾驶员是
否处于分心状态。在一个示例中，若在t1时刻本车车速为0，并且交通灯信息和/或从高精地图获取的导航信息指示车辆前方不存在红灯或黄灯，则确定本车处于被动停滞状态。此时，若本车与前车车距l1小于或等于3米，则确定前车对本车构成拥堵威胁。
33.可选地，步骤s130包括：若在第二时刻本车车速仍为零、并且第二时刻与第一时刻的车距变化量小于或等于第一距离，则判定前车驾驶员处于分心状态。在一个示例中，若在t2时刻（例如，距离t1时刻2秒之后）本车车速仍为0，并且t2时刻与t1时刻的车距变化量l
2-l1小于或等于2.5米，则确定本车已经处于拥堵状态并且该拥堵状态是由前车驾驶员分心导致。
34.可替代地，步骤s130包括：若在第二时刻本车车速小于或等于第一速度、并且本车与前车的车距小于或等于第二距离，则判定前车驾驶员处于分心状态。在一个示例中，若在t2时刻本车车速小于或等于1.2 m/s，并且t2时刻本车与前车之间的车距l2小于或等于1.5米，则确定本车已经处于拥堵状态并且该拥堵状态是由前车驾驶员分心导致。
35.在步骤s140中，若前车驾驶员处于分心状态，则基于交通标志信息确定针对前车的提示方式。示例性地，针对前车的提示方式包括喇叭提示和信号灯提示。
36.可选地，若判定前车驾驶员处于分心状态、并且交通标志信息和/或从高精地图获取的导航信息指示车辆前方不存在禁止鸣笛标志，则生成第一提示信号以触发本车喇叭对前车进行提醒；若判定前车驾驶员处于分心状态、并且交通标志信息和/或从高精地图获取的导航信息指示车辆前方存在禁止鸣笛标志，则生成第二提示信号以触发车前大灯对前车进行提醒。
37.可选地，方法30还可以包括步骤s150：基于车距信息以及本车车速判断本车是否处于无故停滞状态，若是，则进一步判断该无故停滞状态是否是由于本车驾驶员分心导致的。
38.可选地，在步骤s150中，若在第一时刻至第二时刻期间本车车速持续为零，并且第二时刻与第一时刻的车距变化量大于或等于第三距离，则进一步判断本车驾驶员是否处于分心状态。在一个示例中，若在t1时刻至t2时刻期间本车车速持续为0，并且t2时刻与t1时刻（例如，t
2-t1=2s）的车距变化量l
2-l1大于或等于5米，则确定本车处于无故停滞状态。
39.可选地，判断本车驾驶员是否处于分心状态包括：将由车内相机采集的车内图像输入深度学习算法模型，并利用深度学习算法模型识别驾驶员视线是否处于路面前方；以及若驾驶员视线不处于路面前方，则判定本车驾驶员处于分心状态。示例性地，可以将由驾驶员监控系统（dms）相机或舱内乘员监控系统（oms）相机采集的车内图像输入深度学习算法模型，并利用深度学习和图像处理技术对驾驶员视线信息进行提取和处理。在一个示例中，若驾驶员视线在一时间段期间（例如，3s内）均未处于路面前方，则判定本车驾驶员处于分心状态。
40.可选地，若判定本车驾驶员处于分心状态，则生成第三提示信号以触发车内提示装置对本车驾驶员进行提醒。示例性地，车内提示装置可以为车内扬声器、方向盘振动装置以及主驾座椅振动装置中的一项或多项。
41.可选地，若判定本车驾驶员未处于分心状态（例如，驾驶员视线处于路面前方），则减弱或不发出语音提醒、方向盘振动、主驾座椅振动，让用户体验更人性化。
42.需要说明的是，本文中所述的预设的值（例如，第一距离、第二距离、第一速度、预
设时间等）的数值范围可根据实际需求进行设置，不限于本实施例所示的数值范围。
43.根据一些实施例，方法10通过将车载立体相机（例如，双目摄像头、多目摄像头）与深度学习算法相结合，利用视觉感测和深度学习技术实现对前车驾驶员的分心状态的识别，相较于采用雷达、激光的现有技术方案，不仅节省了硬件成本，而且充分发挥了视觉感测技术环境覆盖范围广、感知数据丰富、分别率高等优势，从而提高了针对分心状态的识别准确率。此外，方法10能够基于对车辆前方环境中的交通标志信息（例如，禁止鸣笛标志）的识别确定针对前车的提示方式，使得防拥堵提示方案更加人性化，从而提升了用户的体验。
44.下面继续参考图2，图2为按照本发明的一个或多个实施例的基于深度学习的车辆防拥堵方法20的示意性流程图。需要说明的是，方法20的步骤可以参照上文中描述方法10的具体处理方式开展，相关内容一并引用于此。限于篇幅，不在此赘述。
45.在步骤s210中，持续检测本车车速，若本车车速在第一时刻为零，则继续步骤s220。
46.在步骤s220中，识别本车所处的车道内是否存在前车。若识别到前车，则继续步骤s230；否则，结束该流程。
47.在步骤s230中，识别车辆前方是否存在红灯或黄灯。若不存在红灯或黄灯，则继续步骤s240；否则，结束该流程。
48.在步骤s240中，判断在第一时刻本车与前车的车距是否处于第一范围之内（例如，车距l1是否小于或等于5米）。若是，则继续步骤s250；否则，结束该流程。
49.在步骤s250中，判断在第二时刻判断本车车速小于或等于第一速度（例如，1.2 m/s）。若是，则继续步骤s260；否则，结束该流程。
50.在步骤s260中，判断第二时刻与第一时刻的车距变化量是否小于或等于第一距离、以及在第二时刻本车与前车的车距是否小于或等于第二距离。若其中之一为是，则继续步骤s270；否则，结束该流程。
51.在步骤s270中，识别车辆前方是否存在禁止鸣笛标志。若是，则继续步骤s280；若否，则继续步骤s290。
52.在步骤s280中，生成第二提示信号以触发车前大灯对前车进行提醒。在步骤s290中，生成第一提示信号以触发本车喇叭对前车进行提醒。
53.本发明也可以被实施为一种车载控制器。图3示出了按照本发明的一个或多个实施例的车载控制器30的示意性框图。如图3所示，车载控制器30包含存储器310、处理器320、以及存储在存储器310上并可在处理器320上运行的计算机程序330，计算机程序330的运行使得如图1所示的方法10或如图2所示的方法20被执行。为了清晰地示出本发明的原理，图3中还示出了与车载控制器30配合工作的其他元件。
54.如图3所示，车载控制器30可以从车载立体相机40接收车辆前方图像，利用存储在存储器310中的深度学习算法模型识别本车与前车的车距信息、交通标志信息以及交通灯信息。可选地，车载控制器30可以从高精地图50获取导航信息以用于车道线、交通灯和交通标志信息的识别。有关前车驾驶员的分心状态以及本车驾驶员的分心状态的具体判断流程已经在上文中有详细描述，此处不再赘述。
55.车载控制器30还可以与车内提示装置60、本车喇叭70以及车前大灯80建立通信连接。当车载控制器30判定前车驾驶员处于分心状态，其可生成第一提示信号以触发本车喇
叭70对前车进行提醒、或生成第二提示信号以触发车前大灯80对前车进行提醒。当车载控制器30判定本车驾驶员处于分心状态时，其可生成第三提示信号以触发车内提示装置30对本车驾驶员进行提醒。示例性地，车内提示装置30包括但不限于车内扬声器、方向盘振动装置以及主驾座椅振动装置。
56.另外，如上所述，本发明也可以被实施为一种计算机存储介质，在其中存储有用于使计算机执行如图1所示的方法10或如图2所示的方法20的程序。在此，作为计算机存储介质，能采用盘类（例如，磁盘、光盘等）、卡类（例如，存储卡、光卡等）、半导体存储器类（例如，rom、非易失性存储器等）、带类（例如，磁带、盒式磁带等）等各种方式的计算机存储介质。
57.在可适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本发明提供的各种实施例。而且，在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合部件。在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。另外，在可适用的情况下，预期的是，软件部件可以被实现为硬件部件，以及反之亦然。
58.根据本发明的软件（诸如程序代码和/或数据）可以被存储在一个或多个计算机存储介质上。还预期的是，可以使用联网的和/或以其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文中标识的软件。在可适用的情况下，本文中描述的各个步骤的顺序可以被改变、被组合成复合步骤和/或被分成子步骤以提供本文中描述的特征。
59.提供本文中提出的实施例和示例，以便最好地说明按照本发明及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。