红绿灯剩余时长智能提醒方法、系统、存储介质及汽车与流程

1.本发明属于汽车智能座舱技术领域，更具体涉及一种红绿灯剩余时长智能提醒方法、系统、存储介质及汽车。


背景技术：

2.在日常驾驶过程等红灯时，需驾驶员实时关注红灯状态，若驾驶员在等红灯时看手机或其他情况未关注时，往往会错过最佳起步时间，一是带来后方驾驶人员的不满情绪，二是影响路口通行效率，加重交通堵塞。v2x技术，可通过交通灯与车辆实时通信来提前提醒用户，但目前v2x技术未普及，交通设施升级完善还需要大量时间，短时间内无法解决该问题。目前大多数车辆已配置360的全景摄像头，且基于深度学习的视觉感知技术也已经非常成熟，可实时探测交通灯状态。
3.如我国专利cn107945552a提供一种交通信号灯提醒方法，包括：采集交通信号灯的图像，所述交通信号灯具有时间信息；对所采集的图像进行图像处理并获取所述图像中交通信号灯的状态及时间信息；判断交通信号灯的状态，在交通信号灯为红灯时根据所述时间信息设置等待时间；在等待时间剩余预设时间值时输出提醒信息。该交通信号灯提醒方法，通过采集并识别交通信号灯上的状态信息和时间信息，根据获取的状态信息和时间信息可以对驾驶员进行提前提醒，以让驾驶员做好车辆启动前行准备，给用户带来更智能、更人性化的驾驶体验。该发明还提供交通信号灯提醒装置和车辆。但是该技术未具体描述剩余时长的检测方法。
4.又如我国专利cn108665719a公开的关于一种对信号灯变灯时间进行提示的方法及装置，属于ar技术领域。所述方法包括：当目标信号灯为红灯时，确定该目标信号灯在当前时间之后最近一次由红灯变为绿灯的时间，得到目标时间，并根据该目标时间生成第一提示信息，在ar设备的显示界面中显示该第一提示信息。由于目标信号灯为当前待经过路口处且与该ar设备所处的位置对应的信号灯，也即，当待经过路口处的信号灯为红灯时，ar设备可以确定该目标信号灯的变灯时间，并在ar显示界面中显示根据该变灯时间确定的第一提示信息，以提示用户该目标信号灯的变灯时间，避免了需要用户通过直接观察该目标信号灯才能确定该目标信号灯的变灯时间。该发明未解决路口多车道，多红绿灯情况下如何选择相应的红绿灯时间进行提醒。


技术实现要素：

5.为解决上述问题，本发明提供了一种红绿灯剩余时长智能提醒方法、系统、存储介质及汽车，在不对交通设施做任何改动同时不增加车辆成本的前提下，利用车辆已配置的360
°
环视摄像头，应用深度学习技术，在消耗极少算力情况下，实现红灯剩余时长的智能提醒功能。
6.为了解决上述技术问题，本发明采用的技术方案是这样的：一种红绿灯剩余时长智能提醒方法，包括以下步骤，
s1、获取车辆的行驶车道信息，确定车辆的行驶方向；s2、识别车辆前方的红色交通灯，并筛选出与行驶车道相对应的交通灯；s3、识别该与行驶车道相对应的交通灯的剩余时长数字；s4、当剩余时长数字小于预设值时，提醒用户。
7.作为优化，通过车载360
°
环视摄像头拍摄车辆前方图片，并识别该图片中的地面标识和车道线获取车辆的行驶车道信息，确定车辆的行驶方向为直行或左转或右转。
8.作为优化，在车辆停车时，获取车辆的行驶车道信息。
9.作为优化，步骤s3包括，s301、确定与行驶车道相对应的交通灯的检测框；s302、将所述检测框扩大预设像素，覆盖交通灯剩余时长的显示区域，作为红灯时长识别区；s303、提取所述红灯时长识别区，并识别所述剩余时长数字。
10.作为优化，步骤s4还包括，将所述剩余时长数字同步到车辆的车机或仪表进行显示。
11.作为优化，步骤s4还包括，获取车辆的dms系统信号，并判断用户的视线是否关注车辆前方，若未关注车辆前方，且剩余时长数字小于预设值时，提醒用户。
12.作为优化，步骤s4中，通过语音或提示音提醒用户。
13.基于上述方法，本发明还提供了一种红绿灯剩余时长智能提醒系统，包括，360
°
环视摄像头，用于拍摄车辆前方图片；dms系统，用于采集用户的动作信息；车机系统，用于对所述图片中的地面标识和车道线进行识别，获取车辆的行驶车道信息；还用于识别红色交通灯，筛选与车辆行驶车道相对应的交通灯，并提取和识别该交通灯的剩余时长数字；还用于根据所述动作信息判断用户的视线是否关注车辆前方；显示模块，用于同步显示剩余时长数字；提醒模块，当剩余时长数字小于预设值，且用户的视线未关注车辆前方，用于对用户进行语音或提示音提醒。
14.基于上述方法，本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行所述的红绿灯剩余时长智能提醒方法的步骤。
15.基于上述系统，本发明还提供了一种汽车，在汽车上安装有所述的红绿灯剩余时长智能提醒系统，在车辆停止在路口时启动。
16.与现有技术相比，本发明具有如下优点：本发明通过车辆行驶方向判断、交通灯检测、红灯剩余时长识别、提醒用户，能够在用户停车等红灯时提醒用户红灯剩余时长，让用户不错过最佳起步时间，同时乘客可在等红灯期间进行短暂的闭目养神，不用担心错过红灯，提升道路通行成本，充分利用车辆现有设备，不增加任何成本，且利用车辆已配置的360
°
环视摄像头，应用深度学习技术，在消耗极少算力情况下，实现红灯剩余时长的智能提醒功能。
附图说明
17.图1 为本发明的流程图；图2 车道标识识别区域示意图；图3 剩余时长识别区域示意图。
具体实施方式
18.下面将结合附图及实施例对本发明作进一步说明。
19.实施例：参见图1-图3，一种红绿灯剩余时长智能提醒方法，包括以下步骤，s1、获取车辆的行驶车道信息，确定车辆的行驶方向；具体的，在车辆行驶过程中不断缓存360环视前方摄像头拍摄的图片，每秒提取2张，缓存5秒数据。
20.车辆停止后，通过识别缓存图片中的地面标识识别区域，如图2所示，的地面标识和车道线定位车辆停止在直行、左转还是右转车道判断出车辆下一步的行驶方向，仅在停止时识别，降低整个行驶过程算力需求。
21.地面标识识别区域的确定：通过标定后可求得真实世界物体宽度（x）与其相机中成像的宽度（x’）的比例α，α= x/x
’ꢀ
；取车辆正前方3.5米宽的区域即x为3.5，则在图片中占像素x’=3.5/α；则地面标识识别区域为（u1=(u-x’)/2,0）(u2=u1 x’,v)。
22.s2、识别车辆前方的红色交通灯，并筛选出与行驶车道相对应的交通灯；具体的，将车辆前方存在的红色交通灯全部检出并定位。根据s1判断的车辆行驶方向，筛选出一个与车辆行驶车道相对应的交通灯。
23.s3、识别该与行驶车道相对应的交通灯的剩余时长数字；s301、确定与行驶车道相对应的交通灯的检测框；s302、将所述检测框扩大预设像素，覆盖交通灯剩余时长的显示区域，作为红灯时长识别区；红灯时长识别区的确定：如图3所示，检测到的红绿灯检测框的左上角位置，如坐标为（u1,v1）；则按照3倍的比例扩充像素后，右下角的位置坐标为:u4=u1 3*(u2-u1)。
24.v4=v1 3*(v2-v1)。
25.s303、提取所述红灯时长识别区，并识别所述剩余时长数字。
26.s4、当剩余时长数字小于5秒时，提醒用户。
27.识别到剩余时长数字后，将所述剩余时长数字同步到车辆的车机或仪表进行可视化倒计时显示。获取车辆的dms系统信号，并判断用户的视线是否关注车辆前方，若未关注车辆前方，且剩余时长数字小于5秒时，通过语音或提示音提醒用户。
28.基于上述方法，本发明还提供了一种红绿灯剩余时长智能提醒系统，包括，360
°
环视摄像头或前视摄像头，用于拍摄车辆前方图片；dms系统，用于采集用户的动作信息；
车机系统，用于对所述图片中的地面标识和车道线进行识别，获取车辆的行驶车道信息；还用于识别红色交通灯，筛选与车辆行驶车道相对应的交通灯，并提取和识别该交通灯的剩余时长数字；还用于根据所述动作信息判断用户的视线是否关注车辆前方；显示模块，用于同步显示剩余时长数字；提醒模块，当剩余时长数字小于预设值，且用户的视线未关注车辆前方，用于对用户进行语音或提示音提醒。
29.基于上述方法，本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被处理器运行时，执行所述的红绿灯剩余时长智能提醒方法的步骤。
30.基于上述系统，本发明还提供了一种汽车，在汽车上安装有所述的红绿灯剩余时长智能提醒系统，在车辆停止在路口时启动。
31.本发明通过车辆行驶方向判断、交通灯检测、红灯剩余时长识别、提醒用户，能够在用户停车等红灯时提醒用户红灯剩余时长，让用户不错过最佳起步时间，同时乘客可在等红灯期间进行短暂的闭目养神，不用担心错过红灯，提升道路通行成本，充分利用车辆现有设备，不增加任何成本，且利用车辆已配置的360
°
环视摄像头，应用深度学习技术，在消耗极少算力情况下，实现红灯剩余时长的智能提醒功能。
32.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。