一种日间前车灯语识别及预警方法及系统与流程

1.本发明属于汽车安全技术领域，涉及一种汽车预警方法及系统，具体涉及一种基于机器视觉的前方车辆灯语识别及预警方法及系统。


背景技术：

2.随着我国交通事业的迅速发展，汽车的普及率逐年上升，汽车的广泛使用在给人们生活带来便捷的同时，发生交通事故的频率也逐年上升。
3.环境感知作为无人驾驶的关键技术，其获取信息的准确性影响着后续的决策控制过程。目前，环境感知主要集中在车辆，障碍物，车道线，行人等的检测，针对车灯检测的研究较少，而车灯作为车辆行驶状态的重要特征，对车辆进行检测及信息获取方面发挥着重要作用。
4.车灯检测的研究主要应用传统图像处理方法，对图像进行全景处理，造成车灯提取困难，错误率高。且传统图像处理方法不具有良好的鲁棒性，易受光照条件的影响，在日间行车过程中难以进行有效的检测提取。
5.目前针对车灯检测的研究主要应用在夜间辅助检测车辆，而针对车灯灯语检测的研究较少。车灯灯语能够直接反映驾驶员的操作意图，对于无人驾驶进行后续决策控制起到重要作用。


技术实现要素：

6.为了解决日间行车车灯检测困难，灯语识别不准确，实时性差的问题，并能够根据反馈的灯语信息进行预警。本发明提供了一种基于神经网络与图像处理的前车灯语识别及预警方法及系统。
7.本发明的方法所采用的技术方案是：一种日间前车灯语识别及预警方法，包括以下步骤：
8.步骤1：利用车载摄像头采集的图像，基于神经网络对日间前方车辆进行车辆检测，提取车辆检测框，根据车辆检测框判断车辆相对位置；
9.将采集图像输入优化神经网络进行检测，提取车辆检测框；并将车辆检测框预处理为统一大小，其中，长宽为(img
h
,img
w
)，rgb三通道标准，记为img1；车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位；
10.所述优化神经网络，基于mobilenet
‑
yolo网络，利用深度可分离卷积替换 mobilenet
‑
yolo的加强特征提取网络panet中的3*3卷积；
11.步骤2：基于rgb和hsv颜色空间，利用(r
‑
g)
×
h
×
v对似车灯区域图像 img2进行提取；
12.步骤3：对似车灯区域图像中空区域进行调整，并筛选掉面积小于阈值的区域，并对车灯进行配对，获得车灯检测框img3；对img3进行裁剪，记裁剪后的图像为img
3c
；记img
3c
四点坐标分别(c
r
,c
l
,c
t
,c
b
)；
13.步骤4：对于img
3c
，进行颜色通道转换，识别车灯灯语，包括刹车灯语和转向灯语；
14.步骤5：灯语配对判断，根据灯语识别结果进行配对，如果双侧点亮判定为刹车灯语，单侧点亮判定为转向灯语；
15.步骤6：将识别结果映射回采集图像中；
16.步骤7：针对识别转向灯语，利用质心融合粒子滤波进行跟踪；
17.步骤8：根据反馈的灯语信息进行分级预警。
18.本发明的系统所采用的技术方案是：一种日间前车灯语识别及预警系统，包括以下模块：
19.模块1，用于利用车载摄像头采集的图像，基于神经网络对日间前方车辆进行车辆检测，提取车辆检测框，根据车辆检测框判断车辆相对位置；
20.将采集图像输入优化神经网络进行检测，提取车辆检测框；并将车辆检测框预处理为统一大小，其中，长宽为(img
h
,img
w
)，rgb三通道标准，记为img1；车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位；
21.所述优化神经网络，基于mobilenet
‑
yolo网络，利用深度可分离卷积替换 mobilenet
‑
yolo的加强特征提取网络panet中的3*3卷积；
22.模块2，用于基于rgb和hsv颜色空间，利用(r
‑
g)
×
h
×
v对似车灯区域图像img2进行提取；
23.模块3，用于对似车灯区域图像中空区域进行调整，并筛选掉面积小于阈值的区域，并对车灯进行配对，获得车灯检测框img3；对img3进行裁剪，记裁剪后的图像为img
3c
；记img
3c
四点坐标分别(c
r
,c
l
,c
t
,c
b
)；
24.模块4，用于对于img
3c
，进行颜色通道转换，识别车灯灯语，包括刹车灯语和转向灯语；
25.模块5，用于灯语配对判断，根据灯语识别结果进行配对，如果双侧点亮判定为刹车灯语，单侧点亮判定为转向灯语；
26.模块6，用于将识别结果映射回采集图像中；
27.模块7，用于针对识别转向灯语，利用质心融合粒子滤波进行跟踪；
28.模块8，用于根据反馈的灯语信息进行分级预警。
29.本发明提出了一种深度学习与图像处理结合的车灯检测方法及系统，提出了 (r
‑
g)
×
h
×
v的车灯提取方法，提出了利用颜色特征对车灯灯语识别的方法，提出了车灯质心融合粒子滤波跟踪方法，提出了基于车灯灯语的分级预警方法。
30.本发明有益效益为：
31.1、通过利用神经网络检测，能够极大降低环境因素对于车灯提取的干扰，提高车灯检测的准确性，便于进行颜色空间转换，降低车灯提取计算量。
32.2、利用车辆检测框进行车辆方位判断，在非结构化道路上能够有效提取前方车辆信息，实现多场景预警。
33.3、利用颜色通道混合增强，能够有效对日间车灯进行提取，提取准确性高，在各种环境下车灯检测率达到90％以上。
34.4、利用高尾灯与刹车灯辅助检测的方法，能够大大提高刹车灯语检测准确，减少了因为光照等因素导致的错检、误检。
35.5、利用质心融合粒子滤波对转向灯进行跟踪，保证了跟踪的准确性，降低了灯语漏检导致的跟踪失效等情况。
附图说明
36.图1是本发明实施例的车灯检测流程图；
37.图2是本发明实施例的刹车灯检测流程图；
38.图3是本发明实施例的转向灯检测流程图；
39.图4是本发明实施例的融合粒子滤波跟踪流程图；
40.图5是本发明实施例的车辆预警示意图；
41.图6是本发明实施例的车辆方位判定结果图；
42.图7是本发明实施例的车辆灯语识别图；
43.图8是本发明实施例的粒子滤波跟踪效果图。
44.图9是本发明实施例的优化网络结构图。
具体实施方式
45.为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
46.请见图1，本发明提供的一种日间前车灯语识别及预警方法，包括以下步骤：
47.步骤1：利用车载摄像头采集的图像，基于神经网络对日间前方车辆进行车辆检测，提取车辆检测框，根据车辆检测框判断车辆相对位置。
48.本实施例将采集图像输入优化神经网络进行检测，提取车辆检测框；并将车辆检测框预处理为统一大小，长宽均为256像素，3通道的标准；其中，长宽记为(img
h
,img
w
)，rgb三通道标准，记为img1；车辆检测框在采集图像上最右侧、最左侧、最上侧、最下侧的四点坐标分别记为根据车辆检测框与采集图像大小关系判断车辆相对于车载摄像头方位为：当则车辆位于正前方；当则车辆位于右前方；当则车辆位于左前方。
49.请见图9，本实施例的优化神经网络，采用了mobilenet
‑
yolo网络，该网络利用mobilenet网络替换了yolov4的主干提取网络cspdarknet53，减少了计算量。为了进步一步减少计算量，同时保证网络检测精度，本发明利用深度可分离卷积替换掉了mobilenet
‑
yolo的加强特征提取网络panet中的3*3卷积，大大减少了参数量(4千万下降到1千万)，同时将得到的13*13、26*26、52*52的多尺度特征层进行降维，减少卷积核的通道数，增加非线性激励。将13*13上采样放大到26*26进行特征层融合，26*26上采样放大到52*52进行特征层融合，进行多尺度特征提取，保证网络检测精度。同时在训练方式上，本发明采用正前近处、远处、左前侧、右前侧共计6032张样本。将样本统一缩放到voc2012 数据集大小输入网
络进行训练。提升网络对车辆尾部检测效果。
50.步骤2：基于rgb和hsv颜色空间，利用(r
‑
g)
×
h
×
v对似车灯区域图像 img2进行提取；
51.本实施例中，分解出img1中r、g、b三通道，为了消除前方车辆重叠对车灯检测带来的影响，将分解出的r、g、b通道进行分割，具体将图像规整为[80,200] 大小，分别为r
c
，g
c
，b
c
。
[0052]
将img1进行转换为hsv1，分解出hsv1中h、s、v三通道，为了消除前方车辆重叠对车灯检测带来的影响，将分解出的h、s、v通道进行分割，具体将图像规整为[80,200]大小，分别为h
c
，s
c
，v
c
。
[0053]
首先利用(r
‑
g)粗略提取车灯区域，在日间行车过程中，车灯特征偏暗且不明显，常常容易出现漏检，误检的情况，因此对图像进行色域转换并增强，凸显车灯特征。分割出h，v颜色通道，对h通道分割筛选得到车灯特征区域，选取下界为lb1＝[156,43,46]，上界为ub2＝[180,255,255]对图像hsv1进行二值化处理，具体步骤如下：
[0054][0055]
其中，(x,y)表示图像中的像素点坐标，如果这个点的h通道数值不在这个区间内，则令它的像素数值为0；
[0056]
v特征能够有效地对点亮后的车灯区域进行筛选。将分割后的图像与h，v 通道与(r
‑
g)进行混合，实现车灯位置的提取。
[0057]
img2＝(r
‑
g)
×
h
×
v；
[0058]
选取掩模为(5,5)大小，对图像img2进行高斯滤波，去除图像中的噪声：
[0059][0060]
其中，σ是标准差，用来调整远处像素对中心像素的影响程度，(x,y)表示进行高斯滤波点的坐标。
[0061]
步骤3：利用泛洪操作对似车灯区域图像中空区域进行调整，并筛选掉面积小于阈值的区域，并对车灯进行配对，获得车灯检测框img3；对img3进行裁剪，记裁剪后的图像为img
3c
；记img
3c
四点坐标分别(c
r
,c
l
,c
t
,c
b
)；
[0062]
本实施例中，将img1进行复制，提取复制后图像的长宽分别为x,y，设定掩模大小为(x 2,y 2)，从像素(0,0)开始对图像进行填充。对填充后的图像进行翻转，将两张图片结合起来得到前景。最后输出图像为img3。
[0063]
对img3进行裁剪，取原图像大小横向[80,200]，纵向[0,255]，记裁剪后的图像为img
3c
。
[0064]
img
3c
＝img3[80:200,0:255]；
[0065]
获取img
3c
中图像轮廓，筛选掉小于阈值的轮廓，本发明中取阈值为300像素。获取img
3c
中图像轮廓数量，如果轮廓数量大于1，则对尾灯进行配对，配对算法如下：
[0066]
[0067]
其中，light_x1，light_x2分别为配对尾灯的横坐标，light_y1，light_y2 分别为配对尾灯的纵坐标；threshold_x，threshold_y为横向及纵向匹配阈值。
[0068]
由于所有配对图像大小一致，本发明横纵向阈值分别取50，30。
[0069]
完成车灯配对筛选后，记车灯检测框四点坐标分别(c
r
,c
l
,c
t
,c
b
)。
[0070]
步骤4：对于img
3c
，进行颜色通道转换，识别车灯灯语，包括刹车灯语和转向灯语；
[0071]
本实施例中，步骤4的操作步骤具体为：
[0072]
步骤4.1：获取img
3c
的最小外接矩形及其对应的坐标l
r
＝(l
min
,l
max
,r
min
,r
max
)，其中，l
min
,l
max
,r
min
,r
max
分别表示纵向坐标最小值、最大值，横向坐标最小值、最大值；
[0073]
为了防止最小矩形框超出边界而导致的图像错误，需要对图像区域进行规整：
[0074][0075]
对规整后的最小矩形，获取其坐标信息：
[0076]
l
t
＝(l
x
,l
y
,h,w)；
[0077]
步骤4.2：识别车灯灯语，包括刹车灯语和转向灯语；
[0078]
请见图2，本实施例针对刹车灯语，首先hsv1进行筛选，选取下界为 lb2＝[0,43,46]，上界为ub2＝[10,255,255]对图像进行二值化处理，具体步骤如下：
[0079][0080]
将hsv3裁剪为[80:200,0:255]，并利用l
r
坐标筛选出车灯区域。
[0081]
为了减少光照对于灯语识别的影响，首先在v
c
中筛选出车灯区域，计算出区域亮度均值，最后筛选出高于亮度均值阈值的区域，并进行二值化，具体步骤如下：
[0082][0083][0084][0085]
其中，v
mean
表示区域亮度均值，threshold_v
mean
表示亮度阈值，v
s
(x,y)表示坐标点为(x,y)的亮度，表示均值v
mean
加上threshold_v
mean
后的亮度阈值；这步的目的是筛选出高于均值阈值的区域，减小光照对于灯语识别的影响。
[0086]
将处理后的hsv3与v
s
进行相乘，为了减小车灯形状各异对后续判断误差带来的影响，并将相乘后的图像规整为[60,60]大小，计算像素相乘后图像的面积，判断是否大于阈值，如果大于阈值则判定为刹车；其中，阈值计算如下：
[0087]
[0088]
其中，areas表示像素相乘后检测出来的刹车灯语有效面积，area_slow表示转向灯语判定的面积阈值；
[0089]
请见图3，本实施例针对转向灯语,首先hsv1进行筛选，选取下界为 lb3＝[10,43,46]，上界为ub3＝[35,255,255]对图像进行二值化处理，具体步骤如下：
[0090][0091]
同时，g分量能够有效对转向灯语进行提取，对g通道进行筛选，选取阈值为130，对图像进行二值化处理，具体步骤如下：
[0092][0093]
其中，g(x,y)表示g通道中(x,y)处的g通道像素值。
[0094]
将处理后的hsv4、g、v
s
进行像素相乘，为了减小车灯形状各异对后续判断误差带来的影响，并将相乘后的图像规整为[60,60]大小，计算相乘后图像的面积，判断是否大于阈值，若大于阈值则表示高尾灯点亮，车辆属于刹车状态。
[0095]
阈值计算如下：
[0096][0097]
其中，areat表示像素相乘后检测出来的刹车灯语有效面积，area_turn表示转向灯语判定的面积阈值。
[0098]
步骤5：灯语配对判断，根据灯语识别结果进行配对，如果双侧点亮判定为刹车灯语，单侧点亮判定为转向灯语；
[0099]
环境因素的对于车灯颜色提取的干扰是无法避免的，为了提高车灯检测精确率，准确率，利用车灯特征进行判断决策。刹车灯语是成对点亮的，而转向灯语是单侧点亮的，根据灯语识别结果进行配对，如果双侧点亮才判定为刹车灯语，单侧点亮才判定为转向灯语。
[0100]
由于光照条件的影响，会造成某些情况灯语的漏检，针对刹车灯语，高尾灯能够准确反映刹车状态，但是由于其无约束性，导致检测错误率较高，所以针对高尾灯，本实施例首先在img3中，利用车辆尾灯位置对高尾灯位置(x
gao
,y
gao
)进行筛选，选取img
3c
中轮廓横坐标最小和最大位置纵坐标最大位置筛选具体步骤如下：
[0101][0102]
将筛选出的高尾灯区域用最小矩形外接，计算矩形区域亮度均值，筛选高于均值阈值的区域并进行二值化，记做v
gao
。选取r通道，筛选高于阈值的区域并进行二值化，阈值取150，将v
gao
与r通道进行相乘，判断相乘后面积是否大于阈值，阈值取20。若大于阈值则表示高尾灯点亮，车辆属于刹车状态，此处采用了与车辆尾灯不同的检测方法，目的就是为了减少环境因素的干扰，提高刹车灯语识别的准确性。
[0103]
刹车灯语除了明显的颜色特征外，其频率信息也是最明显的特征，为了进一步提高转向检测精度，利用改进粒子滤波方法对刹车灯语进行跟踪。
[0104]
步骤6：将识别结果映射回采集图像中；
[0105]
本实施例中，首先计算读取帧图像的长宽(img
h
,img
w
)，由于img1长宽均为256，所以要进行坐标变换，具体步骤如下：
[0106][0107]
将坐标变化完成后的车灯矩形框映射回原图像，实现车灯位置准确标记。
[0108]
本实施例的灯语识别准确率(帧)
[0109][0110]
步骤7：针对识别转向灯语，利用质心融合粒子滤波进行跟踪；
[0111]
请见图4，本实施例中步骤7的操作具体步骤为：
[0112]
步骤7.1：获取质心；
[0113]
在车灯提取过程中，提取到了车灯区域，通过提取质心坐标(x
l
,y
l
)可以获得车灯区域，同时，通过对转向尾灯进行检测，可以获取转向尾灯质心坐标(x
t
,y
t
)，为了保证跟踪连续性，将两质心坐标进行融合，获得转向灯语区域质心坐标 (x
n
,y
n
)；
[0114][0115]
其中，β是一个系数；
[0116]
步骤7.2：质心匹配；
[0117]
获取检测到的转向尾灯信息提取其质心坐标(x
n
,y
n
)，及矩形边框 (width,height)。搜寻上一帧转向尾灯坐标信息(x
i
,y
i
)并进行配对，获得能够配对到的坐标x；
[0118][0119]
其中，threshold1表示欧氏距离阈值，q表示高斯白噪声，x表示此次配对后最终确认的坐标；
[0120]
步骤7.3：粒子滤波；
[0121]
针对配对到的x，在矩形边框内初始化粒子数为30得到粒子组n为粒子数。定义系统状态变量其中，v
x
,v
y
分别表示t
‑
1时刻的横向纵向质心坐标与速度。初始权重设定车辆为匀速直线运动，车辆状态方
程为x
t
＝ax
t
‑1 w，其中：
[0122][0123]
w表示噪声且w服从正态分布，对于粒子组进行预测：
[0124][0125]
其中，f
t
‑1‑
(x)表示所求得粒子的先验概率；
[0126]
检测到下一帧观测数据y
t
,得到粒子后验概率：
[0127][0128]
其中，η
t
表示常数f
r
[]表示似然概率，y
t
表示t时刻的观测值，h(x)表示状态转移方程；
[0129]
最后对粒子权重进行更新：
[0130][0131]
其中，f
r
[x
t
‑
h(x
t
‑
1i
)]表示利用更新步对t
‑
1时刻粒子权重进行更新。
[0132]
步骤8：根据反馈的灯语信息进行分级预警。
[0133]
本实施例，首先判定前方车辆方位，根据反馈的车辆判定结果，结合车辆的灯语信息进行分级预警，具体预警过程如下：
[0134][0135]
本实施例车辆根据反馈的分级预警信息，进行相应的决策及控制，保证车辆行驶安全性。
[0136]
请见图5，是本发明实施例的车辆预警示意图，以某车辆为中心，能够对右前方、左前方、正前方三个方位的车辆进行检测，获取三个方位车辆的灯语信息，进而获取前方车辆驾驶员的操作意图。根据不同灯语语义进行分级预警，从而进行避让减速操作。
[0137]
请见图6，是本发明实施例的车辆方位判定结果图，可以看出不同方位的车辆都进行了不同方位的标记，包括：left、right、middle。这样就可以与预警系统结合起来，结合灯语信息，对前方车辆变道、减速操作进行预警。
[0138]
请见图7，是本发明实施例的车辆灯语识别图，可以看出，在高速公路上，能够对前方车辆灯语进行有效识别，左前方车辆显示刹车灯语与转向灯语，系统对其标记了slow、turn。通过本发明方法能够对车辆灯语进行有效识别，从而传递给预警系统进行后续分级预警。
[0139]
请见图8，是本发明实施例的粒子滤波跟踪效果图，可以看出，通过质心融合粒子
滤波方法，在转向灯完全熄灭的情况下，仍然能够跟随转向车灯检测框，对转向灯语进行有效地跟踪，保证灯语识别的连续性与准确性。
[0140]
本发明主要技术体现在：
[0141]
1、针对性的改进目标检测网络，降低参数，降低运算时间，现有的很多网络，比如yolo参数量太大，在实际道路上应用fps会很低，而本发明网络对硬件配置要求较低，能够达到实时检测的要求。当然，因为参数量减少，所以检测精度不如yolo网络。本发明在训练网络时，自建数据集，选取了左前方、右前方、正前方的车辆尾部图片进行训练，能够一定程度上改善检测精度的问题。另外，网络还进行特征提取层融合，进而了保证检测精度。
[0142]
2、本发明提出的(r
‑
g)
×
h
×
v车灯提取方法在日间前车尾灯提取的效果非常好，另外本发明还用了高尾灯与尾灯相辅检测的方式保证刹车灯语检测精度，同时利用质心融合粒子滤波跟踪转向灯语，目的都是为了保证检测灯语的正确性。通过实验验证，单一的颜色特征对车灯灯语提取效果不好，环境因素影响太大，容易造成误检、漏检。
[0143]
3、本发明提出的根据灯语对前方车辆进行预警的方法是非常有效的，灯语直接反应前方驾驶员的意图，比起检测车辆位姿、轨迹预测等方法极大减低参数量，且具有有效性，是一种非常好的预警方法。
[0144]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明提供了一种高效检测车灯及识别灯语的方法，显然，本发明只提供检测步，算法后续可通过进一步决策到达更好的效果。本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。