车辆全景图像生成方法、装置、设备及介质与流程

1.本技术涉及图像处理领域，尤其涉及一种车辆全景图像生成方法、装置、设备及介质。


背景技术：

2.随着科技的迅速发展和人们生活水平的提高，人们对于车辆行驶安全提出了更高的要求。而在提高行驶安全方面，减少视觉盲区是一种有效的方法。
3.现有技术中，通常在车辆上安装环视摄像头，获取车辆四周的图像，进而将图像进行拼接融合，即可得到车辆的环视图像，也就是车辆的俯视图像。但是对于车辆底盘下方区域，由于摄像头无法拍摄到该区域，导致环视图像中没有底盘下方区域的图像信息。
4.综上所述，现有的环视图像中没有底盘下方区域的图像信息，而驾驶员经常会遇到需要观察车底区域的场景，如越野过程中路过凹凸不平的路面、路过积水区域、启动车辆前进行车辆检查等，因此亟需一种车辆全景图像生成方法。


技术实现要素：

5.本技术实施例提供一种车辆全景图像生成方法、装置、设备及介质，用于解决现有的环视图像中没有底盘下方区域的图像信息，而驾驶员经常会遇到需要观察车底区域的场景，如越野过程中路过凹凸不平的路面、路过积水区域、启动车辆前进行车辆检查等，因此亟需一种车辆全景图像生成方法的问题。
6.第一方面，本技术实施例提供一种车辆全景图像生成方法，包括：
7.获取当前时刻以及所述当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据；
8.根据所述车辆行驶数据，在获取的每个车辆全景图像中确定所述当前时刻的下一时刻对应的车辆下方环境图像；
9.根据每个车辆下方环境图像中每个像素点的颜色数据，确定所述当前时刻的下一时刻对应的目标车辆下方环境图像；
10.获取所述当前时刻的下一时刻的车辆环视图像；
11.根据所述车辆环视图像和所述目标车辆下方环境图像，生成所述当前时刻的下一时刻的车辆全景图像。
12.在一种具体实施方式中，所述根据所述车辆行驶数据，在获取的每个车辆全景图像中确定所述当前时刻的下一时刻对应的车辆下方环境图像，包括：
13.根据所述车辆行驶数据，在获取的每个车辆全景图像中，确定所述当前时刻的下一时刻对应的车辆下方区域；
14.根据每个车辆全景图像中的所述当前时刻的下一时刻对应的车辆下方区域，在每个车辆全景图像中确定所述当前时刻的下一时刻对应的车辆下方环境图像。
15.在一种具体实施方式中，所述车辆行驶数据包括当前时刻的左前轮转角、右前轮
转角、左后轮转角、右后轮转角、车速，前后轴距离，轴长，所述当前时刻之前的预设数量个时刻对应的全景坐标变换矩阵和所述当前时刻之前的预设数量个时刻对应的车身旋转变换角度；
16.相应的，根据所述车辆行驶数据，在获取的每个车辆全景图像中，确定所述当前时刻的下一时刻对应的车辆下方区域，包括：
17.根据所述左前轮转角、所述右前轮转角、所述左后轮转角、所述右后轮转角、所述前后轴距离、所述轴长和所述车速，确定所述当前时刻对应的全景坐标变换矩阵和所述当前时刻对应的车身旋转变换角度；
18.根据每张全景图像中的车辆下方区域、所述当前时刻对应的全景坐标变换矩阵、所述当前时刻对应的车身旋转变换角度、所述当前时刻之前的预设数量个时刻对应的全景坐标变换矩阵和所述当前时刻之前的预设数量个时刻对应的车身旋转变换角度，在每个车辆全景图像中，确定所述当前时刻的下一时刻对应的车辆下方区域。
19.在一种具体实施方式中，所述根据所述左前轮转角、所述右前轮转角、所述左后轮转角、所述右后轮转角、所述前后轴距离、所述轴长和所述车速，确定所述当前时刻对应的全景坐标变换矩阵和所述当前时刻对应的车身旋转变换角度，包括：
20.根据所述左前轮转角、所述右前轮转角、所述左后轮转角、所述右后轮转角、所述前后轴距离、所述轴长和所述车速，确定预设车辆质心的转向角和角速度；
21.根据所述车速、预设时间间隔、所述预设车辆质心的转向角和角速度，确定所述当前时刻对应的全景坐标变换矩阵和所述当前时刻对应的车身旋转变换角度，所述预设时间间隔为所述当前时刻与所述当前时刻的下一时刻的时间间隔。
22.在一种具体实施方式中，所述根据每个车辆下方环境图像中每个像素点的颜色数据，确定所述当前时刻的下一时刻对应的目标车辆下方环境图像，包括：
23.对于每个车辆下方环境图像中相同位置对应的每个像素点，根据每个车辆下方环境图像对应的预设权重和所述每个像素点的颜色数据，确定所述目标车辆下方环境图像在所述相同位置对应的像素点的目标颜色数据；
24.根据所述目标车辆下方环境图像中每个像素点的目标颜色数据，确定所述目标车辆下方环境图像。
25.在一种具体实施方式中，车辆下方环境图像对应的预设权重与间隔时长成反比趋势，所述间隔时长为所述车辆下方环境图像对应的车辆全景图像的生成时刻与所述当前时刻的间隔时长。
26.第二方面，本技术实施例提供一种车辆全景图像生成装置，包括：
27.获取模块，用于获取当前时刻以及所述当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据；
28.处理模块，用于：
29.根据所述车辆行驶数据，在获取的每个车辆全景图像中确定所述当前时刻的下一时刻对应的车辆下方环境图像；
30.根据每个车辆下方环境图像中每个像素点的颜色数据，确定所述当前时刻的下一时刻对应的目标车辆下方环境图像；
31.所述获取模块，获取所述当前时刻的下一时刻的车辆环视图像；
32.生成模块，根据所述车辆环视图像和所述目标车辆下方环境图像，生成所述当前时刻的下一时刻的车辆全景图像。
33.第三方面，本技术实施例提供一种电子设备，包括：
34.处理器，存储器，通信接口；
35.所述存储器用于存储所述处理器的可执行指令；
36.其中，所述处理器配置为经由执行所述可执行指令来执行第一方面任一项所述的车辆全景图像生成方法。
37.第四方面，本技术实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一项所述的车辆全景图像生成方法。
38.第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现第一方面任一项所述的车辆全景图像生成方法。
39.本技术实施例提供的车辆全景图像生成方法、装置、设备及介质，通过获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据后，根据车辆行驶数据，在每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方环境图像，进而根据每个车辆下方环境图像中每个像素点的颜色数据，确定当前时刻的下一时刻对应的目标车辆下方环境图像。再将获取到的当前时刻的下一时刻的车辆环视图像和目标车辆下方环境图像进行拼接融合，得到当前时刻的下一时刻的车辆全景图像。本方案通过确定的当前时刻的下一时刻对应的目标车辆下方环境图像和车辆环视图像，实现了生成车辆全景图像，减小了视觉盲区，提高了车辆行驶安全性。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1a为本技术提供的车辆全景图像生成方法实施例一的流程示意图；
42.图1b为本技术提供的车辆首次启动时生成车辆全景图像的流程示意图；
43.图2a为本技术提供的车辆全景图像生成方法实施例二的流程示意图；
44.图2b为本技术提供的四轮转向车辆模型示意图；
45.图2c为本技术提供的自行车模型示意图；
46.图2d为本技术提供的世界坐标系和全景坐标系的示意图；
47.图3a为本技术提供的车辆全景图像生成方法实施例三的流程示意图；
48.图3b为本技术提供的确定目标覆盖图像的过程示意图；
49.图4为本技术提供的车辆全景图像生成装置实施例的结构示意图；
50.图5为本技术提供的一种电子设备的结构示意图。
具体实施方式
51.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在根据本实施例的启示下作出的所有其他实施例，都属于本技术保护的范围。
52.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
53.随着科技的迅速发展，减小车辆的视觉盲区的方法越来越多，由原来的在车辆上安装多个反光镜减小盲区，到现在的在车辆上安装摄像头减小盲区。
54.在车辆上安装四路环视摄像头，可根据拍摄的图像生成车辆环视图像，也就是俯视图像，但是在车辆环视图像中没有车底区域的图像。而在日常的驾驶中，驾驶员经常会遇到需要观察车底区域的场景，如越野过程中路过凹凸不平的路面、路过积水区域、启动车辆前进行车辆检查等，但是车辆环视图像中并没有车辆底盘区域的图像，所以亟需一种车辆全景图像生成方法，来减小视觉盲区。
55.针对现有技术中存在的问题，发明人在对车辆全景图像生成方法进行研究的过程中发现，为了减小视觉盲区，并且使得四轮转向车辆也能够生成车辆全景图像，确定出当前时刻的下一时刻对应的目标车辆下方环境图像后，结合当前时刻的下一时刻的环视图像即可得到车辆全景图像。首先获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据，进而根据车辆行驶数据，在获取的每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方环境图像；再根据每个车辆下方环境图像中每个像素点的颜色数据，确定当前时刻的下一时刻对应的目标车辆下方环境图像。进而获取到当前时刻的下一时刻对应的车辆环视图像后，根据该车辆环视图像和目标车辆下方环境图像，生成车辆全景图像，减小了视觉盲区，提高了行车安全性。基于上述发明构思，设计了本技术中的车辆全景图像生成方案。
56.本技术中车辆全景图像生成方法的执行主体可以是车载终端，还可以是服务器、电子控制单元(electronic control unit，简称：ecu)、整车控制器(vehicle control unit，简称：vcu)等可以进行图像处理的设备，本技术不对其进行限定，下面以车载终端为例进行说明。
57.下面对本技术提供的车辆全景图像生成方法的应用场景进行说明。
58.示例性的，在该应用场景中，用户驾驶四轮转向车辆行驶，经过颠簸路段，用户通过车载终端查看车辆全景图像来避免行驶至坑洼中或避免倾轧到石块等。
59.在当前时刻，车载终端根据获取的当前时刻的车辆环视图像和当前时刻的上一时刻确定的目标车辆下方环境图像生成车辆全景图像，并显示在车载终端上。为了使得在当前时刻的下一时刻能够显示对应的车辆全景图像，车载终端会获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据。
60.进而根据车辆行驶数据，在每个全景图像中，确定当前时刻的下一时刻对应的车辆下方环境图像，再根据每个车辆下方环境图像中每个像素点的颜色数据，确定当前时刻
的下一时刻对应的目标车辆下方环境图像。
61.车载终端获取到当前时刻的下一时刻的车辆环视图像时，将该车辆环视图像和当前时刻的下一时刻对应的目标车辆下方环境图像拼接融合，即可得到当前时刻的下一时刻的车辆全景图像。用户即可根据车辆全景图像进行驾驶，规避坑洼或石块，提高了行车安全性。
62.需要说明的是，上述场景仅是本技术实施例提供的一种应用场景的示意，本技术实施例不对该场景中包括的各种设备的实际形态进行限定，也不对设备之间的交互方式进行限定，在方案的具体应用中，可以根据实际需求设定。
63.下面，通过具体实施例对本技术的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
64.图1a为本技术提供的车辆全景图像生成方法实施例一的流程示意图，本技术实施例对车载终端获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据，进而确定出当前时刻的下一时刻对应的目标车辆下方环境图像。在获取到当前时刻的下一时刻的车俩环视图像时，结合目标覆盖图像，生成当前时刻的下一时刻的车辆全景图像的情况进行说明。本实施例中的方法可以通过软件、硬件或者软硬件结合的方式来实现。如图1a所示，该车辆全景图像生成方法具体包括以下步骤：
65.s101：获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据。
66.在本步骤中，车辆在生成当前时刻的车辆全景图像后，为了能够在当前时刻的下一时刻生成车辆全景图像，车载终端首先需要获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据。
67.需要说明的是，预设数量可以是4、5，还可以是7，本技术实施例不对预设数量进行限定，可根据实际情况进行设置。
68.需要说明的是，若车辆为首次启动，只需要获取当前时刻的车辆环视图像。
69.s102：根据车辆行驶数据，在获取的每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方环境图像。
70.在本步骤中，车载终端获取到车辆全景图像和车辆行驶数据后，根据车辆行驶数据，在获取的每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方区域，进而根据每个车辆全景图像中的当前时刻的下一时刻对应的车辆下方区域，确定出每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方环境图像。
71.需要说明的是，若车辆为首次启动，在本步骤中需要在当前时刻的车辆环视图像中确定出当前时刻的下一时刻对应的车辆下方环境图像。
72.s103：根据每个车辆下方环境图像中每个像素点的颜色数据，确定所述当前时刻的下一时刻对应的目标车辆下方环境图像。
73.在本步骤中，车载终端在每个车辆全景图像中确定出当前时刻的下一时刻对应的车辆下方环境图像后，由于确定出多张车辆下方环境图像，而生成当前时刻的下一时刻的全景图像时仅需要一张目标车辆下方环境图像，所以根据每个车辆下方环境图像中每个像素点的颜色数据，对多张车辆下方环境图像进行融合，确定当前时刻的下一时刻对应的目
标车辆下方环境图像。
74.需要说明的是，若车辆为首次启动，在本步骤中将在当前时刻的车辆环视图像中确定出的当前时刻的下一时刻对应的车辆下方环境图像，作为目标车辆下方环境图像即可。
75.s104：获取当前时刻的下一时刻的车辆环视图像。
76.在本步骤中，车载终端确定出目标车辆下方环境图像后，为了生成车辆全景图像，还需要获取当前时刻的下一时刻的车辆环视图像。
77.s105：根据车辆环视图像和目标车辆下方环境图像，生成当前时刻的下一时刻的车辆全景图像。
78.在本步骤中，车载终端获取到当前时刻的下一时刻的车辆环视图像后，将目标车辆下方环境图像与该车辆环视图像拼接融合，即可生成当前时刻的下一时刻的车辆全景图像。
79.示例性的，图1b为本技术提供的车辆首次启动时生成车辆全景图像的流程示意图；如图1b所示，黑色框表示车辆下方区域，黑色块表示视觉盲区，车辆首次启动时，由于之前未生成过车辆全景图像，所以获取当前时刻的车辆环视图像，进而从中确定出当前时刻的下一时刻的目标车辆下方环境图像，再结合当前时刻的下一时刻的车辆环视图像，即可生成当前时刻的下一时刻的车辆全景图像。
80.需要说明的是，本方案适用于四轮转向车辆和前轮转向车辆。
81.本实施例提供的车辆全景图像生成方法，通过获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据后，根据车辆行驶数据，在每个车辆全景图像中确定所述当前时刻的下一时刻对应的车辆下方环境图像；进而确定出当前时刻的下一时刻对应的目标车辆下方环境图像。再结合获取的当前时刻的下一时刻的车辆环视图像，即可生成车辆全景图像。相较于现有技术只能生成车辆环视图像，本方案通过当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据，确定出当前时刻的下一时刻对应的目标车辆下方环境图像，进而结合当前时刻的下一时刻的车辆环视图像，实现了当前时刻的下一时刻的生成车辆全景图像，有效减小了视野盲区，提高了行车安全性。
82.图2a为本技术提供的车辆全景图像生成方法实施例二的流程示意图，在上述实施例的基础上，本技术实施例对车载终端根据车辆运行数据，确定出当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角度。进而结合当前时刻之前的预设数量个时刻对应的全景坐标变换矩阵和当前时刻之前的预设数量个时刻对应的车身旋转变换角度，在每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方区域，进而确定出当前时刻的下一时刻对应的车辆下方环境图像的情况进行说明。如图2a所示，该车辆全景图像生成方法具体包括以下步骤：
83.s201：根据左前轮转角、右前轮转角、左后轮转角、右后轮转角、前后轴距离、轴长和车速，确定当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角度。
84.在本步骤中，车载终端获取当前时刻以及当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据后，由于车辆行驶数据包括当前时刻的左前轮转角、右前轮转角、左后轮转角、右后轮转角、车速，前后轴距离，轴长，所述当前时刻之前的预设数量个时刻对
应的全景坐标变换矩阵和所述当前时刻之前的预设数量个时刻对应的车身旋转变换角度，可根据左前轮转角、右前轮转角、左后轮转角、右后轮转角、前后轴距离、轴长和车速，确定当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角度。
85.具体的，先根据左前轮转角、右前轮转角、左后轮转角、右后轮转角、前后轴距离、轴长，确定预设车辆质心的转向角和角速度。
86.车辆行驶过程中，轮胎转向遵循阿克曼转向模型，即转向轮胎的转向圆心在同一位置。示例性的，图2b为本技术提供的四轮转向车辆模型示意图；如图2b所示，四个轮胎遵循阿克曼转向模型，共用同一个转向圆心o。圆心o到车身的垂直距离为l3，垂点c距离车辆前轴垂直距离为lf，垂点c距离车辆后轴垂直距离为lb。左前轮转角为θ1、右前轮转角为θ2、左后轮转角为θ3、右后轮转角为θ4。l1为前后轴距离，l2为车辆轴长。
87.需要说明的是，若车辆为前轮转向车辆，则θ3和θ4为0。
88.进而将四轮转向车辆模型转换为自行车模型，自行车模型的前轮位于车辆前轴中心，后轮位于车辆后轴中心。示例性的，图2c为本技术提供的自行车模型示意图；如图2c所示，预设车辆质心d在车辆中心，自行车模型的前轮转角为θf，自行车模型的后轮转角为θb，预设车辆质心的转向角为θ，预设车辆质心d到圆心o的距离为l4。
89.根据车辆轴长l2、左前轮转角θ1、右前轮转角θ2，可计算得到垂点c距离车辆前轴垂直距离lf，进而可计算得到圆心o到车身的垂直距离l3；根据lf和l3，可计算得到自行车模型的前轮转角为θf，同理可得到垂点c距离车辆后轴垂直距离lb、自行车模型的后轮转角θb；再结合预设车辆质心d的位置，即可计算得到预设车辆质心d到圆心o的距离l4，也就是旋转半径，还可得到预设车辆质心的转向角θ，再根据车速和旋转半径l4，可得到预设车辆质心的角速度。
90.需要说明的是，预设车辆质心的位置对于前轮转向车辆来说，位于车辆前轴的中心。需要说明的是，预设车辆质心的位置还可以是位于自行车模型前轮与后轮连线上的任意位置，本技术实施例不对预设车辆质心的位置进行限定，可根据实际情况进行设置。
91.车载终端确定预设车辆质心的转向角和角速度后，根据车速、预设时间间隔、预设车辆质心的转向角和角速度，可确定出车辆在当前时刻的下一时刻对应的世界坐标和车身旋转变换角度。世界坐标系的原点为预设车辆质心，纵坐标方向为车头方向，横坐标方向垂直于纵坐标方向，指向车身右方。
92.进而根据预设坐标系缩放比例，确定当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角度，预设时间间隔为当前时刻与当前时刻的下一时刻的时间间隔。全景坐标系的原点为当前时刻的车辆全景图像的左上角，横坐标防线为沿图像向下，纵坐标为沿图像向右。
93.示例性的，图2d为本技术提供的世界坐标系和全景坐标系的示意图；如图2d所示，世界坐标系的横坐标方向与全景坐标系的横坐标方向平行，世界坐标系的纵坐标方向与全景坐标系的纵坐标方向平行。
94.根据车速、预设时间间隔、预设车辆质心的转向角，结合运动学公式，即可得到在世界坐标系中，车辆在当前时刻的下一时刻的横向坐标和纵向坐标。根据预设时间间隔和角速度，可确定出车辆在当前时刻的下一时刻对应车身旋转变换角度。进而根据预设坐标系缩放比例，确定当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角
度。
95.s202：根据每张全景图像中的车辆下方区域、当前时刻对应的全景坐标变换矩阵、当前时刻对应的车身旋转变换角度、当前时刻之前的预设数量个时刻对应的全景坐标变换矩阵和当前时刻之前的预设数量个时刻对应的车身旋转变换角度，在每个车辆全景图像中，当前时刻的下一时刻对应的车辆下方区域。
96.在本步骤中，车载终端确定出当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角度后，根据每张全景图像中的车辆下方区域，确定每张全景图像中的预设车辆质心位置，进而根据当前时刻对应的全景坐标变换矩阵、当前时刻对应的车身旋转变换角度、当前时刻之前的预设数量个时刻对应的全景坐标变换矩阵和当前时刻之前的预设数量个时刻对应的车身旋转变换角度，以及前后轴距离、轴长，即可在每个车辆全景图像中，确定当前时刻的下一时刻对应的车辆下方区域。
97.根据当前时刻对应的全景图像中的预设车辆质心位置，以及当前时刻对应的全景坐标变换矩阵、当前时刻对应的车身旋转变换角度，可在当前时刻的全景图像中，确定出当前时刻的下一时刻对应的车辆下方区域。
98.根据前时刻的上一时刻对应的全景图像中的预设车辆质心位置，以及当前时刻对应的全景坐标变换矩阵、当前时刻对应的车身旋转变换角度、当前时刻的上一时刻对应的全景坐标变换矩阵、当前时刻的上一时刻对应的车身旋转变换角度，可在当前时刻的上一时刻的全景图像中，确定出当前时刻的下一时刻对应的车辆下方区域。依此类推，即可在每个车辆全景图像中，确定当前时刻的下一时刻对应的车辆下方区域。
99.s203：根据每个车辆全景图像中的当前时刻的下一时刻对应的车辆下方区域，在每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方环境图像。
100.在本步骤中，车载终端在每个车辆全景图像中，确定当前时刻的下一时刻对应的车辆下方区域后，将车辆下方区域对应的图像确定为车辆下方环境图像，也就是在每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方环境图像。
101.本实施例提供的车辆全景图像生成方法，通过根据车辆行驶数据，得到当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角度，进而再结合车辆行驶数据，在每个车辆全景图像中确定当前时刻的下一时刻对应的车辆下方环境图像。通过四轮转向车辆模型计算当前时刻对应的全景坐标变换矩阵和当前时刻对应的车身旋转变换角度，有效提高了确定车辆下方环境图像的准确性，提高了方案的适用性，既适用于四轮转向车辆又适用于前轮转向车辆。
102.图3a为本技术提供的车辆全景图像生成方法实施例三的流程示意图，在上述实施例的基础上，本技术实施例对车载终端确定出车辆下方环境图像后，根据每个像素点的颜色数据和预设权重，确定目标车辆下方环境图像的情况进行说明。如图3a所示，该车辆全景图像生成方法具体包括以下步骤：
103.s301：对于每个车辆下方环境图像中相同位置对应的每个像素点，根据每个车辆下方环境图像对应的预设权重和每个像素点的颜色数据，确定目标车辆下方环境图像在相同位置对应的像素点的目标颜色数据。
104.在本步骤中，车载终端确定出车辆下方环境图像后，由于每个车辆下方环境图像中的像素点的位置相同，所以对于每个车辆下方环境图像中相同位置对应的每个像素点，
根据每个车辆下方环境图像对应的预设权重和每个像素点的颜色数据，确定目标车辆下方环境图像在相同位置对应的像素点的目标颜色数据。
105.需要说明的是，车辆下方环境图像对应的预设权重与间隔时长成反比趋势，间隔时长为车辆下方环境图像对应的车辆全景图像的生成时刻与当前时刻的间隔时长。
106.示例性的，对于每个车辆下方环境图像中相同的目标位置，获取该目标位置对应的像素点的颜色数据，分别为：(100，20，200)、(110，30，210)、(120，30，220)、(110，30，210)、(100，25，220)。进而结合每个车辆下方环境图像对应的预设权重，分别为：0.1、0.1、0.2、0.2、0.4。即可得到目标车辆下方环境图像在目标位置的目标颜色数据，100*0.1 110*0.1 120*0.2 110*0.2 100*0.4＝107，20*0.1 30*0.1 30*0.2 30*0.2 25*0.4＝27，200*0.1 210*0.1 220*0.2 210*0.2 220*0.4＝215。所以目标车辆下方环境图像在目标位置的目标颜色数据为(107，27，215)。进而对车辆下方环境图像中的每个像素点进行计算，即可得到目标车辆下方环境图像中每个像素点对应的目标颜色数据。本技术实施例不对颜色数据、预设权重进行限定，可根据实际情况进行设置。
107.s302：根据目标车辆下方环境图像中每个像素点的目标颜色数据，确定目标车辆下方环境图像。
108.在本步骤中，车载终端得到目标车辆下方环境图像中每个像素点的目标颜色数据后，即可根据目标颜色数据，生成当前时刻的下一时刻对应的目标车辆下方环境图像。
109.示例性的，图3b为本技术提供的确定目标车辆下方环境图像的过程示意图；如图3b所示，上面五个图像为车辆下方环境图像，下面的一个图像为目标车辆下方环境图像，根据车辆下方环境图像中像素点的颜色数据，确定目标车辆下方环境图像中像素点的颜色数据，即可生成目标车辆下方环境图像。
110.需要说明的是，若存在尺寸小于车辆底盘在全景图像中的尺寸的车辆下方环境图像，可将其丢弃，使用剩余的车辆下方环境图像生成目标车辆下方环境图像；还可以在生成目标车辆下方环境图像时，对于车辆下方环境盖图像的每个像素点，从所有车辆下方环境图像中查找对应的像素点的颜色数据，再根据查找到的像素点的颜色数据，确定目标车辆下方环境图像中该像素点的颜色数据。
111.本实施例提供的车辆全景图像生成方法，通过根据每个车辆下方环境图像对应的预设权重和每个像素点的颜色数据，确定车辆底盘在下一时刻的目标车辆下方环境图像，有效提高了目标车辆下方环境图像的准确性，提高了目标车辆下方环境图像的清晰度。
112.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
113.图4为本技术提供的车辆全景图像生成装置实施例的结构示意图。如图4所示，该车辆全景图像生成装置40包括：
114.获取模块41，用于获取当前时刻以及所述当前时刻之前的预设数量个时刻的车辆全景图像和车辆行驶数据；
115.处理模块42，用于：
116.根据所述车辆行驶数据，在获取的每个车辆全景图像中确定所述当前时刻的下一时刻对应的车辆下方环境图像；
117.根据每个车辆下方环境图像中每个像素点的颜色数据，确定所述当前时刻的下一
时刻对应的目标车辆下方环境图像；
118.所述获取模块41，还用于获取所述当前时刻的下一时刻的车辆环视图像；
119.生成模块43，用于根据所述车辆环视图像和所述目标车辆下方环境图像，生成所述当前时刻的下一时刻的车辆全景图像。
120.进一步地，所述处理模块42，具体用于：
121.根据所述车辆行驶数据，在获取的每个车辆全景图像中，确定所述当前时刻的下一时刻对应的车辆下方区域；
122.根据每个车辆全景图像中的所述当前时刻的下一时刻对应的车辆下方区域，在每个车辆全景图像中确定所述当前时刻的下一时刻对应的车辆下方环境图像。
123.进一步地，所述车辆行驶数据包括当前时刻的左前轮转角、右前轮转角、左后轮转角、右后轮转角、车速，前后轴距离，轴长，所述当前时刻之前的预设数量个时刻对应的全景坐标变换矩阵和所述当前时刻之前的预设数量个时刻对应的车身旋转变换角度；所述处理模块42，具体用于：
124.根据所述左前轮转角、所述右前轮转角、所述左后轮转角、所述右后轮转角、所述前后轴距离、所述轴长和所述车速，确定所述当前时刻对应的全景坐标变换矩阵和所述当前时刻对应的车身旋转变换角度；
125.根据每张全景图像中的车辆下方区域、所述当前时刻对应的全景坐标变换矩阵、所述当前时刻对应的车身旋转变换角度、所述当前时刻之前的预设数量个时刻对应的全景坐标变换矩阵和所述当前时刻之前的预设数量个时刻对应的车身旋转变换角度，在每个车辆全景图像中，确定所述当前时刻的下一时刻对应的车辆下方区域。
126.进一步地，所述处理模块42，具体还用于：
127.根据所述左前轮转角、所述右前轮转角、所述左后轮转角、所述右后轮转角、所述前后轴距离、所述轴长和所述车速，确定预设车辆质心的转向角和角速度；
128.根据所述车速、预设时间间隔、所述预设车辆质心的转向角和角速度，确定所述当前时刻对应的全景坐标变换矩阵和所述当前时刻对应的车身旋转变换角度，所述预设时间间隔为所述当前时刻与所述当前时刻的下一时刻的时间间隔。
129.进一步地，所述处理模块42，具体还用于：
130.对于每个车辆下方环境图像中相同位置对应的每个像素点，根据每个车辆下方环境图像对应的预设权重和所述每个像素点的颜色数据，确定所述目标车辆下方环境图像在所述相同位置对应的像素点的目标颜色数据；
131.根据所述目标车辆下方环境图像中每个像素点的目标颜色数据，确定所述目标车辆下方环境图像。
132.进一步地，车辆下方环境图像对应的预设权重与间隔时长成反比趋势，所述间隔时长为所述车辆下方环境图像对应的车辆全景图像的生成时刻与所述当前时刻的间隔时长。
133.本实施例提供的车辆全景图像生成装置，用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。
134.图5为本技术提供的一种电子设备的结构示意图。如图5所示，该电子设备50包括：
135.处理器51，存储器52，以及通信接口53；
136.所述存储器52用于存储所述处理器51的可执行指令；
137.其中，所述处理器51配置为经由执行所述可执行指令来执行前述任一方法实施例中的技术方案。
138.可选的，存储器52既可以是独立的，也可以跟处理器51集成在一起。
139.可选的，当所述存储器52是独立于处理器51之外的器件时，所述电子设备50还可以包括：
140.总线54，存储器52和通信接口53通过总线54与处理器51连接并完成相互间的通信，通信接口53用于和其他设备进行通信。
141.可选的，通信接口53具体可以通过收发器实现。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
142.总线54可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
143.上述的处理器可以是通用处理器，包括中央处理器cpu、网络处理器(network processor，np)等；还可以是数字信号处理器dsp、专用集成电路asic、现场可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
144.该服务器用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。
145.本技术实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一方法实施例提供的技术方案。
146.本技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现前述任一方法实施例提供的技术方案。
147.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
148.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。