车辆内轮盲区可视化方法、装置、系统、电子设备及介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种车辆内轮盲区可视化方法、装置、系统、电子设备及介质。


背景技术：

2.大型货运车辆和大型乘用车辆等车辆在转弯的过程中，由于前后轮距离较长，导致前轮、后轮的行驶轨迹不一致，并且后轮的转向半径小于前轮的，因此会形成转向内轮盲区。而且，车辆后续行驶时会扫过该盲区，这对可能位于转向内轮盲区的行人和非机动车辆等造成了极大的风险。
3.目前，驾驶人员只能通过个人的经验预估车辆前后轮行驶轨迹，但这种依赖个人经验的方式安全隐患较大。因此，目前缺乏有效地辅助驾驶人员确定转向内轮盲区情况减小安全隐患的方法。


技术实现要素：

4.本发明实施例的目的在于提供一种车辆内轮盲区可视化方法、装置、系统、电子设备及介质，以辅助驾驶人员确定转向内轮盲区情况，减小安全隐患。
5.第一方面，本发明实施例提供了一种车辆内轮盲区可视化方法，包括：
6.获取目标车辆的车速和方向盘转角；
7.当所述车速小于预设车速阈值或所述方向盘转角的绝对值大于预设角度阈值时，获取安装在所述目标车辆上的各个图像采集设备所采集的多个图像；其中，所述图像采集设备为四路环视相机或六路环视相机；
8.将所述多个图像进行拼接，得到拼接后的俯视图像；
9.基于所述目标车辆的位置、所述目标车辆的俯视模型图以及所述俯视图像，生成全景环视图；
10.根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹；
11.基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，并将所述内轮盲区叠加显示在所述全景环视图中。
12.可选的，所述根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹，包括：
13.根据所述方向盘转角，确定所述目标车辆的转向；
14.如果所述转向为左转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右前轮转向半径为半径确定第一弧线，作为右前轮行驶轨迹；
15.以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左后轮转向半径为半径确定第二弧线，作为左后轮行驶轨迹；
16.如果所述转向为右转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左前轮转向半径为半径确定第三弧线，作为左前轮行驶轨迹；
17.以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右后轮转向半径为半径确定第四弧线，作为右后轮行驶轨迹。
18.可选的，所述基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，包括：
19.在所述全景环视图中绘制所述前轮行驶轨迹和所述后轮行驶轨迹；
20.如果所述转向为左转，将所述右前轮行驶轨迹、所述左后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区；
21.如果所述转向为右转，将所述左前轮行驶轨迹、所述右后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
22.可选的，所述根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹，包括：
23.根据所述世界坐标系与所述全景图坐标系之间的第一预设坐标转换矩阵，将所述目标车辆的旋转中心在所述世界坐标系下的位置坐标转换为在所述全景图坐标系下的坐标，作为中心位置坐标；
24.基于所述世界坐标系与所述全景图坐标系之间的预设尺寸缩放因子，将所述目标车辆的前轮转向半径和所述目标车辆的后轮转向半径分别转换为所述全景图坐标系下的目标前轮转向半径和目标后轮半径；
25.根据所述目标前轮转向半径、所述目标后轮半径和所述中心位置坐标，在所述全景环视图中绘制所述目标车辆的前轮行驶轨迹和后轮行驶轨迹。
26.可选的，所述将所述多个图像进行拼接，得到拼接后的俯视图像，包括：
27.根据各个图像采集设备的内参对所述多个图像进行畸变校正，得到对应的校正后图像；
28.根据世界坐标系与每个图像采集设备的像素坐标系之间的第二预设坐标转换矩阵，将多个校正后图像的像素点在所述像素坐标系下的坐标转换为在所述世界坐标系下的第二坐标；
29.根据所述世界坐标系与全景图坐标系之间的第一预设坐标转换矩阵，将所述第二坐标转换为在所述全景图坐标系下的第三坐标；
30.根据所述第三坐标对所述多个校正后图像进行拼接，得到拼接后的俯视图像。
31.可选的，所述将所述内轮盲区叠加显示在所述全景环视图中，包括：
32.将所述全景环视图显示在所述目标车辆的中控显示屏中；
33.将所述内轮盲区叠加至所述中控显示屏中的所述全景环视图上；
34.确定所述内轮盲区是否显示在所述中控显示屏中的预设中心区域；
35.如果否，调整所述目标车辆的俯视模型图在所述中控显示屏中的显示位置，以使所述内轮盲区显示在所述预设中心区域。
36.第二方面，本发明实施例提供了一种车辆内轮盲区可视化装置，包括：
37.信息获取模块，用于获取目标车辆的车速和方向盘转角；
38.图像获取模块，用于当所述车速小于预设车速阈值或所述方向盘转角的绝对值大于预设角度阈值时，获取安装在所述目标车辆上的各个图像采集设备所采集的多个图像；其中，所述图像采集设备为四路环视相机或六路环视相机；
39.图像拼接模块，用于将所述多个图像进行拼接，得到拼接后的俯视图像；
40.全景图生成模块，用于基于所述目标车辆的位置、所述目标车辆的俯视模型图以及所述俯视图像，生成全景环视图；
41.轨迹生成模块，用于根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹；
42.内轮盲区确定模块，用于基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，并将所述内轮盲区叠加显示在所述全景环视图中。
43.可选的，所述轨迹生成模块，具体用于根据所述方向盘转角，确定所述目标车辆的转向；如果所述转向为左转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右前轮转向半径为半径确定第一弧线，作为右前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左后轮转向半径为半径确定第二弧线，作为左后轮行驶轨迹；如果所述转向为右转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左前轮转向半径为半径确定第三弧线，作为左前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右后轮转向半径为半径确定第四弧线，作为右后轮行驶轨迹。
44.可选的，所述内轮盲区确定模块，具体用于在所述全景环视图中绘制所述前轮行驶轨迹和所述后轮行驶轨迹；如果所述转向为左转，将所述右前轮行驶轨迹、所述左后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区；如果所述转向为右转，将所述左前轮行驶轨迹、所述右后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
45.可选的，所述轨迹生成模块，具体用于根据所述世界坐标系与所述全景图坐标系之间的第一预设坐标转换矩阵，将所述目标车辆的旋转中心在所述世界坐标系下的位置坐标转换为在所述全景图坐标系下的坐标，作为中心位置坐标；基于所述世界坐标系与所述全景图坐标系之间的预设尺寸缩放因子，将所述目标车辆的前轮转向半径和所述目标车辆的后轮转向半径分别转换为所述全景图坐标系下的目标前轮转向半径和目标后轮半径；根据所述目标前轮转向半径、所述目标后轮半径和所述中心位置坐标，在所述全景环视图中绘制所述目标车辆的前轮行驶轨迹和后轮行驶轨迹。
46.可选的，所述图像拼接模块，具体用于根据各个图像采集设备的内参对所述多个图像进行畸变校正，得到对应的校正后图像；根据世界坐标系与每个图像采集设备的像素坐标系之间的第二预设坐标转换矩阵，将多个校正后图像的像素点在所述像素坐标系下的坐标转换为在所述世界坐标系下的第二坐标；根据所述世界坐标系与全景图坐标系之间的第一预设坐标转换矩阵，将所述第二坐标转换为在所述全景图坐标系下的第三坐标；根据所述第三坐标对所述多个校正后图像进行拼接，得到拼接后的俯视图像。
47.可选的，所述内轮盲区确定模块，具体用于将所述全景环视图显示在所述目标车辆的中控显示屏中；将所述内轮盲区叠加至所述中控显示屏中的所述全景环视图上；确定所述内轮盲区是否显示在所述中控显示屏中的预设中心区域；如果否，调整所述目标车辆的俯视模型图在所述中控显示屏中的显示位置，以使所述内轮盲区显示在所述预设中心区域。
48.第三方面，本发明实施例提供了一种车辆内轮盲区可视化系统，包括：
49.安装于所述目标车辆上的图像采集设备，用于采集所述目标车辆车身四周的图像；其中，所述图像采集设备为四路环视相机或六路环视相机；
50.图像处理器，用于获取目标车辆的车速和方向盘转角；当所述车速小于预设车速阈值或所述方向盘转角的绝对值大于预设角度阈值时，获取安装在所述目标车辆上的各个图像采集设备所采集的多个图像；将所述多个图像进行拼接，得到拼接后的俯视图像；基于所述目标车辆的位置、所述目标车辆的俯视模型图以及所述俯视图像，生成全景环视图；根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹；基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，并将所述内轮盲区与所述全景环视图进行叠加，得到叠加后的全景环视图；
51.图像显示装置，用于显示所述叠加后的全景环视图。
52.第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
53.存储器，用于存放计算机程序；
54.处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
55.第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
56.本发明实施例有益效果：
57.采用本发明实施例提供的方法，获取目标车辆的车速和方向盘转角；当车速小于预设车速阈值或方向盘转角的绝对值大于预设角度阈值时，获取安装在目标车辆上的各个图像采集设备所采集的多个图像；将多个图像进行拼接，得到拼接后的俯视图像；基于目标车辆的位置、目标车辆的俯视模型图以及俯视图像，生成全景环视图；根据方向盘转角，预测目标车辆的前轮行驶轨迹和后轮行驶轨迹；基于前轮行驶轨迹和后轮行驶轨迹，确定目标车辆的内轮盲区，并将内轮盲区叠加显示在全景环视图中。即本发明实施例提供的方法可以预测目标车辆的前轮行驶轨迹和后轮行驶轨迹，然后根据前轮行驶轨迹和后轮行驶轨迹得到目标车辆的内轮盲区，并将内轮盲区显示在全景环视图，驾驶人员可以根据全景环视图中的内轮盲区直观地、方便地、快速地确定内轮盲区情况，判断出内轮盲区内是否有危险因素存在，较大程度上减小了安全隐患。
58.当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
59.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
60.图1为本发明实施例提供的车辆内轮盲区可视化方法的一种流程图；
61.图2为本发明实施例提供的图像拼接的一种流程图；
62.图3为本发明实施例提供的一种投影模型示意图；
63.图4为本发明实施例提供的世界坐标系的一种示意图；
64.图5为本发明实施例提供的预测车轮行驶轨迹的一种流程图；
65.图6为本发明实施例提供的目标车辆内轮盲区可视化的一种示意图；
66.图7为本发明实施例提供的预测车轮行驶轨迹的另一种流程图；
67.图8为本发明实施例提供的一种转向模型图；
68.图9为本发明实施例提供的车辆内轮盲区可视化装置的一种结构示意图；
69.图10为本发明实施例提供的车辆内轮盲区可视化系统的一种结构示意图；
70.图11为本发明实施例提供的电子设备的结构示意图。
具体实施方式
71.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
72.车辆被设计制造时，为了保证每个车轮不打滑，需要所有车轮绕同一圆心转动，但是由于车辆的前轮和后轮的旋转半径不同，行驶轨迹也不同，因此车辆转弯时会形成一个内轮盲区。而目前缺乏有效地辅助驾驶人员确定转向内轮盲区情况减小安全隐患的方法。因此，为了辅助驾驶人员确定转向内轮盲区情况，减小安全隐患，本发明实施例提供了一种车辆内轮盲区可视化方法、装置、系统、电子设备、计算机可读存储介质以及计算机程序产品。
73.下面首先对本发明实施例所提供的车辆内轮盲区可视化方法进行介绍。本发明实施例所提供的车辆内轮盲区可视化方法可以应用于具有图像处理功能的任何电子设备，例如，可以应用于目标车辆的中控设备，在此不做具体限定。
74.图1为本发明实施例提供的车辆内轮盲区可视化方法的一种流程图，如图1所示，所述方法包括：
75.s101，获取目标车辆的车速和方向盘转角。
76.s102，当所述车速小于预设车速阈值或所述方向盘转角的绝对值大于预设角度阈值时，获取安装在所述目标车辆上的各个图像采集设备所采集的多个图像。
77.其中，所述图像采集设备为四路环视相机或六路环视相机。
78.s103，将所述多个图像进行拼接，得到拼接后的俯视图像。
79.s104，基于所述目标车辆的位置、所述目标车辆的俯视模型图以及所述俯视图像，生成全景环视图。
80.s105，根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹。
81.s106，基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，并将所述内轮盲区叠加显示在所述全景环视图中。
82.采用本发明实施例提供的方法，获取目标车辆的车速和方向盘转角；当车速小于预设车速阈值或方向盘转角的绝对值大于预设角度阈值时，获取安装在目标车辆上的各个图像采集设备所采集的多个图像；将多个图像进行拼接，得到拼接后的俯视图像；基于目标
车辆的位置、目标车辆的俯视模型图以及俯视图像，生成全景环视图；根据方向盘转角，预测目标车辆的前轮行驶轨迹和后轮行驶轨迹；基于前轮行驶轨迹和后轮行驶轨迹，确定目标车辆的内轮盲区，并将内轮盲区叠加显示在全景环视图中。即本发明实施例提供的方法可以预测目标车辆的前轮行驶轨迹和后轮行驶轨迹，然后根据前轮行驶轨迹和后轮行驶轨迹得到目标车辆的内轮盲区，并将内轮盲区显示在全景环视图，驾驶人员可以根据全景环视图中的内轮盲区直观地、方便地、快速地确定内轮盲区情况，判断出内轮盲区内是否有危险因素存在，较大程度上减小了安全隐患。
83.本发明实施例中，目标车辆可以安装多个图像采集设备，图像采集设备可以为摄像机或录像机等环视相机，具体的，图像采集设备可以为四路环视相机或六路环视相机。为了获得更广阔的视野，图像采集设备的图像采集镜头可以采用鱼眼镜头。
84.目标车辆安装的多个图像采集设备需要保证能够采集到目标车辆车身四周的图像。例如，目标车辆可以安装4路环视相机，且4路环视相机的安装位置分别可以为目标车辆的车头中间位置、车尾位置、车头左侧位置和车头右侧位置。目标车辆也可以安装6路环视相机，且6路环视相机的安装位置分别可以为目标车辆的车头中间位置、车头左侧位置、车头右侧位置、车尾中间位置、车尾左侧位置和车尾右侧位置。
85.本发明实施例中，目标车辆的中控设备可以实时获取目标车辆的车速和方向盘转角，当行驶中的目标车辆的车速小于预设车速阈值或方向盘转角的绝对值大于预设角度阈值时，表示目标车辆开始转弯，因此，此时可以获取安装在目标车辆上的各个图像采集设备所采集的多个图像，用于确定车辆内轮盲区。其中，预设车速阈值可以根据实际应用情况具体设定，例如设定为25km/h或30km/h等，预设角度阈值也可以根据实际应用情况具体设定，例如设定为15
°
或20
°
等。方向盘转角可以由角度传感器实时读取，中控设备可以获取角度传感器读取的目标车辆的方向盘转角。
86.在一种可能的实施方式中，图2为本发明实施例提供的图像拼接的一种流程图，如图2所示，所述将所述多个图像进行拼接，得到拼接后的俯视图像，可以包括如下步骤：
87.s201，根据各个图像采集设备的内参对所述多个图像进行畸变校正，得到对应的校正后图像。
88.具体的，本实施方式中，可以使用基于等距投影模型的图像采集设备，图像采集设备的内参包含焦距：fx、fy，主点：cx、cy，畸变系数：k1、k2、k3、k4，其中k0通常默认是1。
89.图3为本发明实施例提供的一种投影模型示意图，如图3所示，图像采集设备为相机，oc-xc-yc-zc为相机坐标系，o-x-y为相机的成像平面坐标系，ε为入射角。令pc[xc，yc，zc]为相机坐标系的点。pw[xw，yw，zw]为世界坐标系的点，二者之间的关系可以由图像采集设备的外参决定：pc＝rpw t。可以令畸变校正图坐标为pi[xi，yi，1]，相机的归一化成像平面的畸变坐标为[xd，yd，1]，像素点在像素坐标系中的坐标为[u，v，1]。
[0090]
本实施方式中，可以通过以下公式将畸变校正图坐标pi映射回相机坐标系：
[0091][0092]
其中，c
′
x与c
′y分别是畸变校正图的宽和高的一半。
[0093]
然后，可以令a＝xc/zc，b＝yc/zc，计算相机的归一化成像平面的去畸变极坐标：
[0094][0095]
实际的图像采集设备的镜头由于畸变的存在，像点到图像中心的距离r被压缩成rd。可以结合等距投影模型rd＝f
·
εd，相机的归一化成像平面上f＝1，则rd＝εd。对于εd，εd为基于畸变系数和入射角ε所确定的角度，具体的可以采用如下公式计算得到εd：
[0096]
εd＝ε(1 k1·
ε2 k2·
ε4 k3·
ε6 k4·
ε8)
[0097]
进而，可以根据相似三角形得到相机的归一化成像平面的畸变坐标：
[0098][0099]
然后，可以采用如下公式，根据相机的内参，将相机的归一化成像平面的畸变坐标[xd，yd，1]映射为像素点在像素坐标系中的坐标为[u，v，1]：
[0100][0101]
本实施方式中，给定一个畸变校正图坐标pi，就可以求取对应的像素坐标系中的坐标[u，v，1]。实际应用中可以遍历畸变校正图的每个像素点来求取对应像素坐标系下的坐标及像素值，完成畸变校正。即根据上述流程，可以将畸变校正图坐标为pi[xi，yi，1]映射回像素点在像素坐标系中的坐标为[u，v，1]，而畸变校正图坐标pi[xi，yi，1]即为像素点在像素坐标系中的坐标为[u，v，1]对应的校正后坐标。因此，可以采用上述流程，得到所述多个图像的每个像素点在像素坐标系中的坐标对应的畸变校正图坐标，得到对应的校正后图像。
[0102]
s202，根据世界坐标系与每个图像采集设备的像素坐标系之间的第二预设坐标转换矩阵，将多个校正后图像的像素点在所述像素坐标系下的坐标转换为在所述世界坐标系下的第二坐标。
[0103]
本发明实施例中，世界坐标系为：目标车辆的车身中心为坐标原点，过坐标原点朝向目标车辆车尾的方向为世界坐标系横轴的正方向，过坐标原点朝向目标车辆车右方的方向为世界坐标系纵轴的正方向。
[0104]
例如，图4为本发明实施例提供的世界坐标系的一种示意图，如图4所示，矩形abcd为目标车辆401，目标车辆401为四轮车，o点为目标车辆的车身中心，a点、b点、c点和d点分别为目标车辆401的左前轮质心点、左后轮质心点、右后轮质心点、右前轮质心点。目标车辆401的尺寸信息包括后轮距d与轴距l。则可以得到世界坐标系的坐标原点为o点，过o点朝向目标车辆201车尾的方向为世界坐标系横轴的正方向，过o点朝向目标车辆401右方的方向为世界坐标系纵轴的正方向。
[0105]
每个图像采集设备自身的坐标系为像素坐标系，本发明实施例中，可以预先针对每个图像采集设备，确定图像采集设备的像素坐标系与世界坐标系之间的第二预设坐标转
换矩阵h，然后，可以将该图像采集设备采集图像进行畸变校正，将校正后图像的像素点在像素坐标系下的坐标乘以第二预设坐标转换矩阵h，得到在世界坐标系下的第二坐标。
[0106]
s203，根据所述世界坐标系与全景图坐标系之间的第一预设坐标转换矩阵，将所述第二坐标转换为在所述全景图坐标系下的第三坐标。
[0107]
全景图坐标系为目标车辆的中控设备的显示屏所采用的坐标系。本发明实施例中，可以预先定义世界坐标系与全景图坐标系之间的第一预设坐标转换矩阵，然后，将第二坐标乘以第一预设坐标转换矩阵所得到的坐标作为在全景图坐标系下的第三坐标。
[0108]
具体的，第一预设坐标转换矩阵可以根据预设尺寸缩放因子k(单位为像素/米)和平移向量确定。其中，平移向量h为目标车辆的车身中心在全景图坐标系下的横坐标，w为车身中心在全景图坐标系下的纵坐标。平移向量具体可以表示中控设备的显示屏中目标车辆的车身中心与全景图坐标系的坐标原点之间的度量。全景图坐标系的坐标原点通常可以设置为显示屏左上角的点。
[0109]
为了使目标车辆在转向时，中控设备的显示屏中目标车辆的内轮盲区能够更加地靠近显示屏中心，平移向量可以根据目标车辆的左转和右转定义不同的值：目标车辆的左转时平移向量目标车辆的右转时平移向量其中，w1和wr均为车身中心在全景图坐标系下的纵坐标。
[0110]
根据预设尺寸缩放因子k和平移向量可以得到第一预设坐标转换矩阵m：
[0111][0112]
其中w也可以取w
l
和wr。
[0113]
如果令像素点a的第二坐标为[x，y，1]
t
，则根据第一预设坐标转换矩阵m，将像素点a的第二坐标转换为在全景图坐标系下的第三坐标[x，y，1]
t
：
[0114][0115]
其中，w可以被w
l
和wr替换，当[x，y，1]
t
＝[0，0，1]
t
时，[x，y，1]
t
＝[h，w，1]
t
，表示目标车辆的车身中心在全景图坐标系下的坐标为[h，w
l
]或[h，wr](目标车辆左转时为[h，w1]，目标车辆右转时为[h，wr])。
[0116]
s204，根据所述第三坐标对所述多个校正后图像进行拼接，得到拼接后的俯视图像。
[0117]
本发明实施例中，得到各个图像中所有像素点在全景图坐标系下的第三坐标后，可以将各个像素点绘制在全景图坐标系中，并在中控设备的显示屏中显示所绘制的图像，作为拼接后的俯视图像。
[0118]
由于相邻目标车辆的相邻图像采集设备之间存在共同的可视区域，在拼接后的俯视图像中也会出现重合区域，因此，可以对拼接后的俯视图像中的重合区域进行平滑处理，实现对拼接后的俯视图像的优化，将优化后的图像作为最终得到的拼接后的俯视图像。最
终得到的拼接后的俯视图像展示了目标车辆车身四周区域俯视视角的全景图。
[0119]
本发明实施例中，也可以将第一预设坐标转换矩阵m与第二预设坐标转换矩阵h相乘，得到图像采集设备的像素坐标系与全景图坐标系之间的映射关系。然后，将所述多个图像的像素点经畸变校正后在所述像素坐标系下的校正后坐标乘以第一预设坐标转换矩阵m和第二预设坐标转换矩阵h相乘，直接得到该像素点在全景图坐标系下的坐标。然后，可以将各个像素点绘制在全景图坐标系中，并在中控设备的显示屏中显示所绘制的图像，作为拼接后的俯视图像。
[0120]
本发明实施例中，为了防止逐像素进行坐标转换导致的计算导致耗时过大，可以预先制作一个2d映射表，该2d映射表用于表示图像采集设备的像素坐标系与全景图坐标系之间的映射关系。
[0121]
具体的，本发明实施例中可以采用如下方法确定第二预设坐标转换矩阵h。中控设备可以获取每路图像采集设备的外参。图像采集设备的外参包括：位置参数[h，w，z]和姿态参数，其中，位置参数[h，w，z]中h为目标车辆的车身中心在全景图坐标系下的横坐标，w为车身中心在全景图坐标系下的纵坐标，z为车身中心在全景图坐标系下的竖坐标，z通常设置为1。姿态参数有多种表示方法，例如，可以用欧拉角表示姿态参数[γ，β，α]，姿态参数[γ，β，α]具体表示绕z轴旋转角度γ、绕y轴旋转角度β、绕x轴旋转角度α。具体的，针对每个图像采集设备，世界坐标系与该图像采集设备的像素坐标系之间的第二预设坐标转换矩阵h可以表示为：
[0122]
h＝k[r
1 r
2 t]
[0123]
其中，r1、r2、r3分别为旋转矩阵r1的三个列，t为位置向量，k图像采集设备的内参矩阵。
[0124]
具体的，内参矩阵k为：
[0125][0126]
其中，图像采集设备的内参包含焦距、主点和畸变系数。焦距为f
x
和fy，主点为cx和cy，畸变系数包括：k1、k2、k3、k4。
[0127]
旋转矩阵r1为：
[0128]
r1＝rz(γ)*ry(β)*r
x
(α)
[0129]
其中，r
x
(α)为：
[0130][0131]ry
(β)为：
[0132][0133]rz
(γ)为：
[0134][0135]
采用本发明实施例提供的方法，可以预测目标车辆的前轮行驶轨迹和后轮行驶轨迹，然后根据前轮行驶轨迹和后轮行驶轨迹得到目标车辆的内轮盲区，并将内轮盲区显示在全景环视图，驾驶人员可以根据全景环视图中的内轮盲区直观地、方便地、快速地确定内轮盲区情况，判断出内轮盲区内是否有危险因素存在，较大程度上减小了安全隐患。并且，可以根据车辆的左转和右转，设定对应的左转时平移向量和右转时平移向量，使得基于左转时平移向量或右转时平移向量所确定的第一预设坐标转换矩阵可以更符合车辆的实际转弯情况，使得到的内轮盲区更准确。
[0136]
在一种可能的实施方式中，图5为本发明实施例提供的预测车轮行驶轨迹的一种流程图，如图5所示，所述根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹，可以包括：
[0137]
s501，根据所述方向盘转角，确定所述目标车辆的转向。
[0138]
s502，如果所述转向为左转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右前轮转向半径为半径确定第一弧线，作为右前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左后轮转向半径为半径确定第二弧线，作为左后轮行驶轨迹。
[0139]
s503，如果所述转向为右转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左前轮转向半径为半径确定第三弧线，作为左前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右后轮转向半径为半径确定第四弧线，作为右后轮行驶轨迹。
[0140]
举例说明，如图4所示，目标车辆401的转向为右转，则以目标车辆的旋转中心e的位置坐标为圆心，且以目标车辆401的左前轮转向半径ra为半径确定第三弧线作为左前轮行驶轨迹；以目标车辆的旋转中心e的位置坐标为圆心，且以目标车辆401的右后轮转向半径rc(图4中rc长度与线段ec相等)为半径确定第四弧线作为右后轮行驶轨迹。
[0141]
本实施例中，可以根据目标车辆的轴距、后轮距和方向盘转角，计算目标车辆的前轮转向半径和后轮转向半径。
[0142]
其中，目标车辆的轴距与后轮距可以从目标车辆的配置信息中获取，或者，驾驶人员或工作人员可以在中控设备的交互界面直接输入目标车辆的轴距与后轮距。
[0143]
具体的，如图4所示，目标车辆的后轮距为d，轴距为l，可以从角度传感器读取目标车辆的方向盘转角ρ。如图4所示。世界坐标系的坐标原点为目标车辆的车身中心o点，过o点朝向目标车辆401车尾的方向为世界坐标系横轴的正方向，过o点朝向目标车辆401右方的方向为世界坐标系纵轴的正方向。目标车辆401的后轮轴与中轴线的交点为f，目标车辆401的左前轮质心点、左后轮质心点、右后轮质心点、右前轮质心点的坐标分别为a(-l/2，-d/2)、b(l/2，-d/2)、c(l/2，d/2)、d(-l/2，d/2)。
[0144]
然后，可以根据方向盘转角ρ计算目标车辆的前轮转角和后轮转角。如图4所示，可以根据方向盘转角ρ计算目标车辆401的左前轮转角αa与右前轮转角αd，其中，如果目标车辆
按照顺时针旋转(即转向为右转)，则目标车辆的前轮转角和后轮转角取值为正值，如果目标车辆按照逆时针旋转(即转向为左转)，则目标车辆的前轮转角和后轮转角取值为负值。
[0145]
如图4所示，可以假设目标车辆的四个车轮的旋转轴交于同一点，该点即为目标车辆401当前转向时的车辆旋转中心e。e的具体计算方式可以为：
[0146]
在a点和b点分别沿各自旋转轴方向做垂线，且垂线交于直线bc，理论上，a点和b点分别沿各自旋转轴方向的垂线与直线bc的交点为同一点，即车辆旋转中心e点。但是考虑到实际应用中可能存在的误差，可以将a点沿自身旋转轴方向的垂线与直线bc的交点记为ea，将d点沿自身旋转轴方向的垂线与直线bc的交点记为ed，令最终的车辆旋转中心e点为ea和ed的中点。
[0147]
则可以得到：前轮质心点与车辆旋转中心e点之间的距离为目标车辆的前轮转向半径，后轮质心点与车辆旋转中心e点之间的距离为目标车辆的后轮转向半径。如图4所示，目标车辆401的左前轮转向半径、左后轮转向半径、右后轮转向半径和右前轮转向半径分别为ra、rb、rc和rd。ra＝l/sin(|αa|)，rd＝l/sin(|αd|)，rb＝l/cos(|αa|)，rc＝l/cos(|αd|)。
[0148]
本发明实施例中，目标车辆的旋转中心的位置坐标可以根据目标车辆的前轮转向半径、后轮转向半径、方向盘转角和目标车辆的轴距确定出。如图4所示，可以根据目标车辆401的方向盘转角计算目标车辆401的前轮转角，然后可以根据目标车辆401的前轮转向半径、后轮转向半径、前轮转角和尺寸信息，计算出目标车辆401的车辆旋转中心e点的坐标为[l/2，sgn(αa＞0)*(rb rc)/2]，sgn为指示函数，条件αa＞0成立为1，反之为-1。
[0149]
本发明实施例中，所述基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，可以包括如下步骤a1-a3：
[0150]
步骤a1，在所述全景环视图中绘制所述前轮行驶轨迹和所述后轮行驶轨迹。
[0151]
本发明实施例中，可以先确定出所述目标车辆在世界坐标系下的前轮行驶轨迹和后轮行驶轨迹，然后将前轮行驶轨迹和后轮行驶轨迹乘以预设尺寸缩放因子k，转换为在全景图坐标系下的轨迹，并将转换后的前轮行驶轨迹和后轮行驶轨迹绘制在全景环视图中，并显示在中控设备的显示屏中。
[0152]
步骤a2，如果所述转向为左转，将所述右前轮行驶轨迹、所述左后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
[0153]
步骤a3，如果所述转向为右转，将所述左前轮行驶轨迹、所述右后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
[0154]
图6为本发明实施例提供的目标车辆内轮盲区可视化的一种示意图，如图6所示，矩形abcd为目标车辆601，o点为目标车辆601的车身中心，f点为目标车辆601的后轮轴与中轴线的交点，目标车辆601的左前轮质心点、左后轮质心点、右后轮质心点、右前轮质心点的坐标分别为a点、b点、c点和d点。为预测的目标车辆601的左前轮行驶轨迹，为预测的目标车辆601的右后轮行驶轨迹，矩形602为全景环视图的边界，a1点为轨迹与全景环视图的边界的交点，c1点为轨迹与全景环视图的边界的交点。图6中，目标车辆601的转向为右转，则可以由轨迹轨迹折线段a1c1、线段ad、线段cd包围而成的封闭阴影区域为目标车辆401的内轮盲区。
[0155]
类似的，如果目标车辆601的转向为左转，则对点d、点b绕车辆旋转中心e顺时针旋
转，令旋转至全景环视图的边界的交点分别为d1、b1，则由弧线折线段d1b1、线段ad、ab包围而成的封闭区域为目标车辆401的内轮盲区。
[0156]
本发明实施例中，可以将全景环视图中的内轮盲区部分的rgb值统一进行少量偏移，使得该区域呈现高亮状；或者可以对上述目标车辆的前轮行驶轨迹和后轮行驶轨迹进行可视化，使驾驶人员能够更加直观方便地观察出转向内轮盲区的位置，快速判断出内轮盲区内是否有危险因素的存在。
[0157]
采用本发明实施例提供的方法可以将内轮盲区显示在全景环视图中，驾驶人员可以根据全景环视图中的内轮盲区直观地、方便地、快速地确定内轮盲区情况，判断出内轮盲区内是否有危险因素存在，较大程度上减小了安全隐患。
[0158]
在另一种可能的实施方式中，图7为本发明实施例提供的预测车轮行驶轨迹的另一种流程图，如图7所示，所述根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹，可以包括：
[0159]
s701，根据所述世界坐标系与所述全景图坐标系之间的第一预设坐标转换矩阵，将所述目标车辆的旋转中心在所述世界坐标系下的位置坐标转换为在所述全景图坐标系下的坐标，作为中心位置坐标。
[0160]
本步骤中，目标车辆的旋转中心在所述世界坐标系下的位置坐标可以记为第一坐标。具体的，如果目标车辆的转向为右转，则可以根据目标车辆的前轮转向半径、后轮转向半径、方向盘转角和轴距，计算得到目标车辆的旋转中心在世界坐标系下的第一坐标为：[l/2，sgn(αa＞0)*(rb rc)/2]，其中，sgn为指示函数，条件αa＞0成立为1，反之为-1，l为目标车辆的轴距，αa为目标车辆左前轮转角，rb和rc分别为目标车辆左后轮转向半径和右后轮转向半径。
[0161]
如果目标车辆的转向为左转，则可以根据目标车辆的前轮转向半径、后轮转向半径、方向盘转角和轴距，计算得到车辆旋转中心在世界坐标系下的第一坐标为：[l/2，sgn(αd＞0)*(rb rc)/2]，其中，sgn为指示函数，条件αd＞0成立为1，反之为-1，l为目标车辆的轴距，αd为目标车辆的右前轮转角，rb和rc分别为目标车辆左后轮转向半径和右后轮转向半径。
[0162]
αa和αd可以根据方向盘转角计算得到。具体的，方向盘转角与目标车辆的车轮转角之间的运算可以为：
[0163]
图8为本发明实施例提供的一种转向模型图，如图8所示，可以选用以断开式转向机构为基础，主销间距ad为b，梯形臂ab和cd长为r，横拉杆be和cf长为c，齿条拉杆ef长度为a，齿条轴线相对前轴线偏距为h。可以忽略各杆件之间的夹角及运动副间隙，车轮的偏转角度可以等同于梯形臂ab、cd的偏转角度。假设目标车辆初始状态下梯形臂ab、cd与ad之间所呈夹角为θ，方向盘旋转时，会经由齿轮带动齿条拉杆进行水平方向的平移。令平移距离为s，则横拉杆be和cf中的e移动至e’点、f移动至f’点，梯形臂ab和cd中的b移动至b’点、c移动至c’点。如图8所示，平移距离s所造成的∠adc变化为αd，平移距离s所造成的∠dab变化为αa，则可以由几何性质得出平移距离s与αd之间的关系：
[0164]
[0165]
同理，也可以得出平移距离s与∠bad之间的变化αa之间的关系：
[0166][0167]
令方向盘转角为ρ，与水平方向的平移距离s为线性关系，可以设比例系数k，即
[0168]
s＝kρ
[0169]
根据上面三个等式，即可获得方向盘转角ρ与目标车辆前轮转角αa和目标车辆后轮转角αd的关系。然后，可以根据方向盘转角与目标车辆前轮转角、目标车辆后轮转角的关系，根据所获得的方向盘转角，计算得到目标车辆前轮转角和目标车辆后轮转角。
[0170]
本步骤中，具体的可以采用如下公式，将所述目标车辆的旋转中心在所述世界坐标系下的位置坐标(即第一坐标)转换为在所述全景图坐标系下的中心位置坐标：
[0171][0172]
其中，x
1o
、y
1o
和z
1o
分别为所述中心位置坐标中的横坐标、纵坐标和竖坐标，xo、yo和zo分别为所述车辆旋转中心的第一坐标中的横坐标、纵坐标和竖坐标，k为预设尺寸缩放因子，h为所述目标车辆的车身中心在所述全景图坐标系下的横坐标，w为所述车身中心在所述全景图坐标系下的纵坐标。
[0173]
s702，基于所述世界坐标系与所述全景图坐标系之间的预设尺寸缩放因子，将所述目标车辆的前轮转向半径和所述目标车辆的后轮转向半径分别转换为所述全景图坐标系下的目标前轮转向半径和目标后轮半径。
[0174]
具体的，可以令所述目标车辆的前轮转向半径和所述目标车辆的后轮转向半径分别乘以预设尺寸缩放因子，得到的乘积即为对应的在全景图坐标系下的目标前轮转向半径和目标后轮半径。例如，目标车辆的左前轮转向半径、左后轮转向半径、右后轮转向半径、右前轮转向半径分别为ra、rb、rc、rd，可以令ra、rb、rc、rd乘以预设尺寸缩放因子得到对应的r
′a、r
′b、r
′c、r
′d，分别作为目标车辆的目标左前轮转向半径、目标左后轮转向半径、目标右后轮转向半径、目标右前轮转向半径。
[0175]
s703，根据所述目标前轮转向半径、所述目标后轮半径和所述中心位置坐标，在所述全景环视图中绘制所述目标车辆的前轮行驶轨迹和后轮行驶轨迹。
[0176]
具体的，如果目标车辆的转向为左转，在全景环视图中，以所述中心位置坐标为圆心，且以所述目标车辆的目标右前轮转向半径为半径确定弧线，作为右前轮行驶轨迹；以所述中心位置坐标为圆心，且以所述目标车辆的目标左后轮转向半径为半径确定弧线，作为左后轮行驶轨迹；然后，将所述右前轮行驶轨迹、所述左后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
[0177]
如果目标车辆的转向为右转，在全景环视图中，以所述中心位置坐标为圆心，且以所述目标车辆的目标左前轮转向半径为半径确定弧线，作为左前轮行驶轨迹；以所述中心位置坐标为圆心，且以所述目标车辆的目标右后轮转向半径为半径确定弧线，作为右后轮行驶轨迹；然后，将所述左前轮行驶轨迹、所述右后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
[0178]
在一种可能的实施方式中，所述将所述内轮盲区叠加显示在所述全景环视图中，
包括如下步骤b1-b4：
[0179]
步骤b1，将所述全景环视图显示在所述目标车辆的中控显示屏中。
[0180]
其中，中控显示屏即为中控设备的显示屏。
[0181]
步骤b2，将所述内轮盲区叠加至所述中控显示屏中的所述全景环视图上。
[0182]
步骤b3，确定所述内轮盲区是否显示在所述中控显示屏中的预设中心区域。
[0183]
其中，预设中心区域为中控显示屏的屏幕中心区域，具体可以设定为：以中控显示屏的中心点为原点，以预设半径为半径的区域。预设半径可以设定为8厘米或10厘米等。
[0184]
步骤b4，如果否，调整所述目标车辆的俯视模型图在所述中控显示屏中的显示位置，以使所述内轮盲区显示在所述预设中心区域。
[0185]
目标车辆转弯时，转弯方向存在内轮盲区，为了使之内轮盲区呈现在中控显示屏的中心，可以将车辆俯视模型图进行移动，使内轮盲区显示在预设中心区域，以保证驾驶人员的注意力集中在内轮盲区内。
[0186]
在另一种可能的实施方式中，所述将所述内轮盲区叠加显示在所述全景环视图中，包括如下步骤c1-c5：
[0187]
步骤c1，将所述全景环视图显示在所述目标车辆的中控显示屏中。
[0188]
步骤c2，确定所述内轮盲区在所述中控显示屏中的显示位置。
[0189]
步骤c3，判断所述内轮盲区在所述中控显示屏中的显示位置是否处于所述中控显示屏中的预设中心区域内。
[0190]
步骤c4，如果否，调整所述目标车辆的俯视模型图在所述中控显示屏中的显示位置，以使所述内轮盲区在所述中控显示屏中的显示位置处于所述中控显示屏中的预设中心区域内，并将所述内轮盲区叠加至所述中控显示屏中的所述全景环视图上。
[0191]
步骤c5，如果是，将所述内轮盲区叠加至所述中控显示屏中的所述全景环视图上。
[0192]
采用本发明实施例提供的方法可以预测目标车辆的前轮行驶轨迹和后轮行驶轨迹，然后根据前轮行驶轨迹和后轮行驶轨迹得到目标车辆的内轮盲区，并将内轮盲区显示在全景环视图，驾驶人员可以根据全景环视图中的内轮盲区直观地、方便地、快速地确定内轮盲区情况，判断出内轮盲区内是否有危险因素存在，较大程度上减小了安全隐患。并且，可以将内轮盲区调整至中控显示屏的中心，使驾驶人员的注意力集中在盲区内，更好地确定内轮盲区情况，判断内轮盲区内是否有危险因素存在。
[0193]
相应于上述车辆内轮盲区可视化方法，本发明实施例还提供了一种车辆内轮盲区可视化装置。下面对本发明实施例所提供的车辆内轮盲区可视化装置进行介绍。如图9所示，一种车辆内轮盲区可视化装置，所述装置包括：
[0194]
信息获取模块901，用于获取目标车辆的车速和方向盘转角；
[0195]
图像获取模块902，用于当所述车速小于预设车速阈值或所述方向盘转角的绝对值大于预设角度阈值时，获取安装在所述目标车辆上的各个图像采集设备所采集的多个图像；其中，所述图像采集设备为四路环视相机或六路环视相机；
[0196]
图像拼接模块903，用于将所述多个图像进行拼接，得到拼接后的俯视图像；
[0197]
全景图生成模块904，用于基于所述目标车辆的位置、所述目标车辆的俯视模型图以及所述俯视图像，生成全景环视图；
[0198]
轨迹生成模块905，用于根据所述方向盘转角和所述尺寸信息，预测所述目标车辆
的前轮行驶轨迹和后轮行驶轨迹；
[0199]
内轮盲区确定模块906，用于基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，并将所述内轮盲区显示在所述全景环视图中。
[0200]
可见，采用本发明实施例提供的装置，获取目标车辆的车速和方向盘转角；当车速小于预设车速阈值或方向盘转角的绝对值大于预设角度阈值时，获取安装在目标车辆上的各个图像采集设备所采集的多个图像；将多个图像进行拼接，得到拼接后的俯视图像；基于目标车辆的位置、目标车辆的俯视模型图以及俯视图像，生成全景环视图；根据方向盘转角，预测目标车辆的前轮行驶轨迹和后轮行驶轨迹；基于前轮行驶轨迹和后轮行驶轨迹，确定目标车辆的内轮盲区，并将内轮盲区叠加显示在全景环视图中。即本发明实施例提供的装置可以预测目标车辆的前轮行驶轨迹和后轮行驶轨迹，然后根据前轮行驶轨迹和后轮行驶轨迹得到目标车辆的内轮盲区，并将内轮盲区显示在全景环视图，驾驶人员可以根据全景环视图中的内轮盲区直观地、方便地、快速地确定内轮盲区情况，判断出内轮盲区内是否有危险因素存在，较大程度上减小了安全隐患。
[0201]
可选的，所述轨迹生成模块905，具体用于根据所述方向盘转角，确定所述目标车辆的转向；如果所述转向为左转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右前轮转向半径为半径确定第一弧线，作为右前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左后轮转向半径为半径确定第二弧线，作为左后轮行驶轨迹；如果所述转向为右转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左前轮转向半径为半径确定第三弧线，作为左前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右后轮转向半径为半径确定第四弧线，作为右后轮行驶轨迹。
[0202]
可选的，所述内轮盲区确定模块906，具体用于在所述全景环视图中绘制所述前轮行驶轨迹和所述后轮行驶轨迹；如果所述转向为左转，将所述右前轮行驶轨迹、所述左后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区；如果所述转向为右转，将所述左前轮行驶轨迹、所述右后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
[0203]
可选的，所述轨迹生成模块905，具体用于根据所述世界坐标系与所述全景图坐标系之间的第一预设坐标转换矩阵，将所述目标车辆的旋转中心在所述世界坐标系下的位置坐标转换为在所述全景图坐标系下的坐标，作为中心位置坐标；基于所述世界坐标系与所述全景图坐标系之间的预设尺寸缩放因子，将所述目标车辆的前轮转向半径和所述目标车辆的后轮转向半径分别转换为所述全景图坐标系下的目标前轮转向半径和目标后轮半径；根据所述目标前轮转向半径、所述目标后轮半径和所述中心位置坐标，在所述全景环视图中绘制所述目标车辆的前轮行驶轨迹和后轮行驶轨迹。
[0204]
可选的，所述图像拼接模块903，具体用于根据各个图像采集设备的内参对所述多个图像进行畸变校正，得到对应的校正后图像；根据世界坐标系与每个图像采集设备的像素坐标系之间的第二预设坐标转换矩阵，将多个校正后图像的像素点在所述像素坐标系下的坐标转换为在所述世界坐标系下的第二坐标；根据所述世界坐标系与全景图坐标系之间的第一预设坐标转换矩阵，将所述第二坐标转换为在所述全景图坐标系下的第三坐标；根据所述第三坐标对所述多个校正后图像进行拼接，得到拼接后的俯视图像。
[0205]
可选的，所述内轮盲区确定模块906，具体用于将所述全景环视图显示在所述目标车辆的中控显示屏中；将所述内轮盲区叠加至所述中控显示屏中的所述全景环视图上；确定所述内轮盲区是否显示在所述中控显示屏中的预设中心区域；如果否，调整所述目标车辆的俯视模型图在所述中控显示屏中的显示位置，以使所述内轮盲区显示在所述预设中心区域。
[0206]
本发明实施例还提供了一种车辆内轮盲区可视化系统。下面对本发明实施例所提供的车辆内轮盲区可视化系统进行介绍。如图10所示，一种车辆内轮盲区可视化系统，包括：
[0207]
安装于所述目标车辆上的图像采集设备1001，用于采集所述目标车辆车身四周的图像；其中，所述图像采集设备为四路环视相机或六路环视相机；
[0208]
图像处理器1002，用于获取目标车辆的车速和方向盘转角；当所述车速小于预设车速阈值或所述方向盘转角的绝对值大于预设角度阈值时，获取安装在所述目标车辆上的各个图像采集设备所采集的多个图像；将所述多个图像进行拼接，得到拼接后的俯视图像；基于所述目标车辆的位置、所述目标车辆的俯视模型图以及所述俯视图像，生成全景环视图；根据所述方向盘转角，预测所述目标车辆的前轮行驶轨迹和后轮行驶轨迹；基于所述前轮行驶轨迹和所述后轮行驶轨迹，确定所述目标车辆的内轮盲区，并将所述内轮盲区与所述全景环视图进行叠加，得到叠加后的全景环视图；
[0209]
图像显示装置1003，用于显示所述叠加后的全景环视图。
[0210]
可见，采用本发明实施例提供的车辆内轮盲区可视化系统，图像处理器可以获取目标车辆的车速和方向盘转角；当车速小于预设车速阈值或方向盘转角的绝对值大于预设角度阈值时，可以利用安装于所述目标车辆上的图像采集设备获取目标车辆车身四周的图像；将多个图像进行拼接，得到拼接后的俯视图像；基于目标车辆的位置、目标车辆的俯视模型图以及俯视图像，生成全景环视图；根据方向盘转角，预测目标车辆的前轮行驶轨迹和后轮行驶轨迹；基于前轮行驶轨迹和后轮行驶轨迹，确定目标车辆的内轮盲区，并将内轮盲区与全景环视图进行叠加，得到叠加后的全景环视图。然后利用图像显示装置显示叠加后的全景环视图。则驾驶人员可以根据显示装置显示的叠加后的全景环视图中的内轮盲区直观地、方便地、快速地确定内轮盲区情况，判断出内轮盲区内是否有危险因素存在，较大程度上减小了安全隐患。
[0211]
可选的，所述图像处理器1002，具体用于根据所述方向盘转角，确定所述目标车辆的转向；如果所述转向为左转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右前轮转向半径为半径确定第一弧线，作为右前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左后轮转向半径为半径确定第二弧线，作为左后轮行驶轨迹；如果所述转向为右转，以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的左前轮转向半径为半径确定第三弧线，作为左前轮行驶轨迹；以所述目标车辆的旋转中心的位置坐标为圆心，且以所述目标车辆的右后轮转向半径为半径确定第四弧线，作为右后轮行驶轨迹。
[0212]
可选的，所述图像处理器1002，具体用于在所述全景环视图中绘制所述前轮行驶轨迹和所述后轮行驶轨迹；如果所述转向为左转，将所述右前轮行驶轨迹、所述左后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮
盲区；如果所述转向为右转，将所述左前轮行驶轨迹、所述右后轮行驶轨迹、所述俯视模型图和所述全景环视图的边界所围成的区域确定为所述目标车辆的内轮盲区。
[0213]
可选的，所述图像处理器1002，具体用于根据所述世界坐标系与所述全景图坐标系之间的第一预设坐标转换矩阵，将所述目标车辆的旋转中心在所述世界坐标系下的位置坐标转换为在所述全景图坐标系下的坐标，作为中心位置坐标；基于所述世界坐标系与所述全景图坐标系之间的预设尺寸缩放因子，将所述目标车辆的前轮转向半径和所述目标车辆的后轮转向半径分别转换为所述全景图坐标系下的目标前轮转向半径和目标后轮半径；根据所述目标前轮转向半径、所述目标后轮半径和所述中心位置坐标，在所述全景环视图中绘制所述目标车辆的前轮行驶轨迹和后轮行驶轨迹。
[0214]
可选的，所述图像处理器1002，具体用于根据各个图像采集设备的内参对所述多个图像进行畸变校正，得到对应的校正后图像；根据世界坐标系与每个图像采集设备的像素坐标系之间的第二预设坐标转换矩阵，将多个校正后图像的像素点在所述像素坐标系下的坐标转换为在所述世界坐标系下的第二坐标；根据所述世界坐标系与全景图坐标系之间的第一预设坐标转换矩阵，将所述第二坐标转换为在所述全景图坐标系下的第三坐标；根据所述第三坐标对所述多个校正后图像进行拼接，得到拼接后的俯视图像。
[0215]
可选的，所述图像处理器1002，具体用于将所述全景环视图显示在所述目标车辆的中控显示屏中；将所述内轮盲区叠加至所述中控显示屏中的所述全景环视图上；确定所述内轮盲区是否显示在所述中控显示屏中的预设中心区域；如果否，调整所述目标车辆的俯视模型图在所述中控显示屏中的显示位置，以使所述内轮盲区显示在所述预设中心区域。
[0216]
本发明实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，
[0217]
存储器1103，用于存放计算机程序；
[0218]
处理器1101，用于执行存储器1103上所存放的程序时，实现任一所述车辆内轮盲区可视化方法的步骤。
[0219]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0220]
通信接口用于上述电子设备与其他设备之间的通信。
[0221]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0222]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0223]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一车辆内轮盲区可视化方法的步骤。
[0224]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一车辆内轮盲区可视化方法。
[0225]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0226]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0227]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备、计算机可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0228]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。