一种交通广角镜图像投射方法、装置及汽车与流程

1.本发明属于汽车智能化应用技术领域，具体涉及一种交通广角镜的图像投射方法、装置及汽车。


背景技术：

2.广角镜装置被大量应用于地下停车场、沿山公路等事故易发地段，其目的是辅助驾驶员观察转弯处的来车情况，从而及时地采取减速、停车、避让等防撞操作。当前，有不少工作用于提升交通广角镜的性能，如防目眩、少死角、防雾等特性。但上述工作仍无法有效解决广角镜存在畸变，驾驶员无抬头观察广角镜的习惯等问题。


技术实现要素：

3.本发明公开的基于图像识别交通广角镜的安全防撞方法，基于图像识别技术。首先，通过高精度地图进行地下车库以及沿山公路等场景识别，在识别到地下车库以及沿山公路等场景后，便会触发基于深度学习的目标检测算法识别上述场景中是否存在广角镜。成功识别到广角镜后，进行广角镜的畸变矫正。最后，将校正后的图像投射到驾驶员前方的屏幕上，使得驾驶员能方便地查看转弯拐角的车辆情况，从而避免发生刮擦事故。
4.本发明的技术方案为：
5.本发明提供了一种交通广角镜图像投射方法，包括：
6.在车辆行驶至目标场景时，判断车辆前方是否存在交通广角镜；
7.若车辆前方存在交通广角镜，对采集到的交通广角镜图像进行畸变矫正；
8.将畸变矫正后的交通广角镜图像投射在车内驾驶员前方。
9.优选地，判断车辆前方是否存在交通广角镜的步骤包括：
10.将车辆前视摄像头所采集到的前方图像输入基于深度学习的神经网络目标检测模型中，输出车辆前视摄像头所采集到的前方图像中的目标类型和目标在所述前方图像中的位置；
11.基于车辆前视摄像头所采集到的前方图像中的目标类型来确定车辆前方有无交通广角镜。
12.优选地，基于多个卫星定位信息确定车辆的当前坐标，再基于车辆的当前坐标确定车辆是否行驶至目标场景；
13.目标场景为地下车库场景或沿山公路场景。
14.优选地，对采集到的交通广角镜图像进行畸变矫正的步骤包括：
15.利用径向畸变公式：
16.x
distorted
＝x(1 k1r2 k2r4 k3r6)
17.y
distorted
＝y(1 k1r2 k2r4 k3r6)
18.以及切向畸变公式：
19.x
distorted
＝x [2p1xy p2(r2 2x2)]
[0020]ydistorted
＝y [p1(r2 2y2) 2p2xy]
[0021]
将车辆前视摄像头采集到的交通广角镜图像矫正为正常图像；
[0022]
其中，x
distorted
，y
distorted
代表交通广角镜在畸变矫正前车辆前视摄像头采集到的前方图像中的像素坐标；x，y表示交通广角镜在畸变矫正后车辆前视摄像头采集到的前方图像中的像素坐标；ki，pj，r代表畸变系数，i＝1,2,3,j＝1,2。
[0023]
优选地，将畸变矫正后的交通广角镜图像投射在车内驾驶员前方的步骤包括：
[0024]
将畸变矫正后的交通广角镜图像投射在车内驾驶员前方的挡风玻璃或仪表盘屏幕上。
[0025]
本发明实施例还提供了一种交通广角镜图像投射装置，包括：
[0026]
判断模块，用于在车辆行驶至目标场景时，判断车辆前方是否存在交通广角镜；
[0027]
矫正模块，用于若车辆前方存在交通广角镜，对采集到的交通广角镜图像进行畸变矫正；
[0028]
投射模块，用于将畸变矫正后的交通广角镜图像投射在车内驾驶员前方。
[0029]
本发明实施例还提供了一种汽车，包括上述的交通广角镜图像投射装置。
[0030]
本发明有益技术效果为：
[0031]
通过高精度地图进行地下车库以及沿山公路等场景识别，然后采用基于深度学习的目标检测算法识别出上述场景中的交通广角镜，结合畸变矫正算法解决广角镜存在畸变的难点。再将矫正后的图像投射到驾驶员前方的屏幕上，进一步解决驾驶员无观察广角镜的习惯的问题，最终实现安全防撞功能，辅助驾驶员避免交通事故。
附图说明
[0032]
图1为本发明实施例的方法示意图。
具体实施方式
[0033]
下面结合附图对本发明做详细说明。
[0034]
如图1所示，本发明提供了一种交通广角镜图像投射方法，包括以下步骤：
[0035]
步骤s1)、基于高精度地图进行车辆场景定位。
[0036]
车辆位置的计算方法如下：
[0037]
[(x
1-x)2 (y
1-x)2 (z
1-x)2]
1/2
c(t
1-t0)＝d1[0038]
[(x
2-x)2 (y
2-x)2 (z
2-x)2]
1/2
c(t
2-t0)＝d2[0039]
[(x
3-x)2 (y
3-x)2 (z
3-x)2]
1/2
c(t
3-t0)＝d3[0040]
[(x
4-x)2 (y
4-x)2 (z
4-x)2]
1/2
c(t
4-t0)＝d4[0041]
其中，x,y,z为车辆当前的坐标值，t0表示当前的时间。xi,yi,zi代表第i个卫星对应的坐标值，ti表示第i个卫星对应的时间。
[0042]
步骤s2)、进行交通广角镜检测。
[0043]
在地下车库以及沿山公路等场景下，利用基于深度学习的目标检测算法，自动检测车辆的前方视野中是否存在交通广角镜，成功检测到交通广角镜后，将检测到的交通广角镜数据传入畸变矫正系统处理。
[0044]
基于深度学习的神经网络目标检测模型输入为车前视摄像头采集到的车辆前方
的视野图片，输出为检测到的目标类型以及目标在前方图像中所在的位置，其公式如下：
[0045]
l
cls
,l
reg
＝f(x)
[0046]
其中，x代表车前方的视野图片，l
cls
代表检测到的目标类别是否是交通广角镜，l
reg
标识检测到的物体在前方视野图片中所在的位置，f代表基于深度学习的神经网络，其训练的损失函数为：
[0047][0048]
其中，n
cls
代表训练样本总类别数，n
reg
代表训练样本中检测框的总数，i代表第i个检测框，pi是第i个检测框对应的概率，p
i*
是第i个检测框的真实值，如果i是正样本则为1，负样本则为0。ti代表网络预测得到的第i个检测框的坐标，t
i*
表示第i个检测框的真实坐标，l
cls
代表类别损失函数，l
reg
代表坐标回归损失函数，λ是控制参数。
[0049]
步骤s3)、交通广角镜图像畸变矫正。
[0050]
利用径向畸变公式
[0051]
x
distorted
＝x(1 k1r2 k2r4 k3r6)
[0052]ydistorted
＝y(1 k1r2 k2r4 k3r6)
[0053]
以及切向畸变公式
[0054]
x
distorted
＝x [2p1xy p2(r2 2x2)]
[0055]ydistorted
＝y [p1(r2 2y2) 2p2xy]
[0056]
其中，x
distorted
，y
distorted
代表交通广角镜在畸变矫正前车辆前视摄像头采集到的前方图像中的像素坐标；x，y表示交通广角镜在畸变矫正后车辆前视摄像头采集到的前方图像中的像素坐标；ki，pj，r代表畸变系数，i＝1,2,3,j＝1,2。
[0057]
步骤s4)、交通广角镜图像投射。
[0058]
将矫正后的交通广角镜图像(即该交通广角镜上所显示的道路转角后的交通状况)投射至驾驶员前方的仪表盘屏幕或前挡风玻璃上，方便驾驶员判断对向来车情况。
[0059]
本发明上述方法通过高精度地图进行地下车库以及沿山公路等场景识别，然后采用基于深度学习的目标检测算法识别出上述场景中的交通广角镜，结合畸变矫正算法解决广角镜存在畸变的难点。再将矫正后的图像投射到驾驶员前方的屏幕上，进一步解决驾驶员无观察广角镜的习惯的问题，最终实现安全防撞功能，辅助驾驶员避免交通事故。
[0060]
本发明实施例还提供了一种交通广角镜图像投射装置，包括：
[0061]
判断模块，用于在车辆行驶至目标场景时，判断车辆前方是否存在交通广角镜；
[0062]
矫正模块，用于若车辆前方存在交通广角镜，对采集到的交通广角镜图像进行畸变矫正；
[0063]
投射模块，用于将畸变矫正后的交通广角镜图像投射在车内驾驶员前方。
[0064]
本发明实施例还提供了一种汽车，包括上述的交通广角镜图像投射装置。