车辆倒车辅助线的形成显示方法、车辆、设备及存储介质与流程

1.本技术涉及倒车辅助技术领域，特别是涉及一种车辆倒车辅助线的形成与显示方法、车辆、设备及存储介质。


背景技术：

2.一般用户在停车的时候往往都是通过车辆后视镜甚至是自己的倒车经验完成倒车，但是对于新手而言倒车显得比较有难度。现有技术中也有一些倒车的辅助线，但是往往无法真实反映真实环境中车尾与障碍物之间的距离信息，或者需要采用人工标定真实环境中的坐标与图像坐标的关系，较为复杂。


技术实现要素：

3.本技术提供一种车辆倒车辅助线的形成与显示方法、电子设备、终端设备以及存储介质。
4.本技术采用的一个技术方案是：提供一种车辆倒车辅助线的形成与显示方法，其包括：
5.构造以车辆为中心的三维场景图；
6.获取所述车辆的方向盘的转动角度；
7.根据所述方向盘的转动角度在所述三维场景图中计算后车轮欲行驶的轨迹线
8.根据所述后车轮欲行驶轨迹线在二维后视图中显示所述后车轮倒车辅助线。
9.本技术还提供一种电子设备，其包括相互连接的图像采集装置、显示装置、传感器、处理器，其中所述图像采集装置用于采集构造以车辆为中心的三维场景图的二维图像，所述传感器用于采集车辆中方向盘的转动角度，处理器用于利用所述二维图像构造以车辆为中心的三维场景图，并根据所述方向盘的转动角度在所述三维场景图中计算后车轮欲行驶轨迹线；所述显示装置用于在二维后视图中显示所述后车轮倒车辅助线。
10.本技术还提供一种车辆，包括：图像采集装置、显示装置、传感器、处理器、存储器以及存储在所述存储器上的计算机程序，所述图像采集装置、显示装置、传感器、处理器耦合所述存储器，所述图像采集装置、显示装置、传感器、处理器在工作时执行所述计算机程序以实现如权利要求1～8任一项所述的车辆倒车辅助线的形成与显示方法。
11.本技术还提供一种存储介质，其存储有程序数据，所述程序数据被执行时实现如以上所述的车辆倒车辅助线的形成与显示方法。
12.本技术提供的车辆倒车辅助线的形成与显示方法中，首先构造以车辆为中心的三维场景图，并获取车辆的方向盘的转动角度。可以理解地，方向盘的转动角度与车轮的转动呈一定的关系，且车轮的移动会遵循一定规则，因此可以根据方向盘的转动角度在三维场景图中计算后车轮欲行驶的路线轨迹，最后结合二维后视图显示由后车轮欲行驶的轨迹线所转化形成的倒车辅助线。本技术采用三维场景图能够更准确的反应车辆与周围环境的位置关系，包括距离关系，在三维空间中绘制的倒车辅助线能够更好地反映真实世界中车辆
与周围环境的位置关系，且同时减少人工参与，提高效率。
附图说明
13.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1是本技术车辆倒车辅助线的形成与显示方法在一实施例中的流程示意图；
15.图2是本技术构造以车辆为中心的三维场景图在一实施例中的流程示意图；
16.图3是本技术车辆倒车后车轮轨迹线形成原理示意图；
17.图4是本技术根据所述方向盘的转动角度在所述三维场景图中计算后车轮欲行驶轨迹线在一实施例中流程示意图；
18.图5是本技术车辆在一实施例中结构示意图；
19.图6是本技术车辆在一实施例中的结构示意图；
20.图7是本技术存储介质一实施例中的结构示意图。
具体实施方式
21.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
22.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
23.以下结合不同实施例讲解本技术车辆倒车辅助线的形成与显示方法，参见图1，为本技术车辆倒车辅助线的形成与显示方法在一实施例中的流程示意图，该方法包括步骤s101至步骤s104，其中：
24.步骤s101：构造以车辆为中心的三维场景图。
25.具体地，车辆上装有多个摄像头，以获得不同方向的多张图片为构造以车辆为中心的三维场景图做准备，便于了解车辆与周围环境的位置关系。具体的步骤s101进一步包括以下步骤，如图2所示：
26.s101a：获取多张以车辆为中心的二维图像。
27.可以理解地，一般安装在车辆上的摄像头无法通过一个摄像头同一时间获得多个角度，或者很广范围的照片，因此一般情况下，车辆上安装有多个摄像头，进而可以同时获取基于车辆不同角度的二维图像。
28.s101b：将多张二维图像投影到三维模型内面上。
29.通过步骤s101b使得多张二维图像通过投影形成三维图片。可选地，三维模型可以
是球状的、碗状的或者圆柱形都可以，在此不做具体限定。
30.s101c：接缝融和相邻的二维图像，形成以车辆为中心的三维场景图。
31.具体地，本实施例中，相邻的二维图像具有重叠的部分，进而使得相邻的图片在靠近边缘的位置能够实现拼接或者融合，进而形成完整的三维场景图。在其他实施例中，相邻的二维图像中也可以有一些是刚好能够衔接上，不一定都有重合，在此不做具体限定。
32.步骤s102：获取车辆的方向盘的转动角度。
33.可以理解地，驾驶员通过转动方向盘来控制车轮的转向，且方向盘的转动方向与车轮的转动角度是相互对应的，因此通过获取方向盘的转动角度即可得到车轮的转动角度。具体地，方向盘转动控制的是车辆的前车轮的转动，而车辆的后车轮是前车轮的从动轮，后车轮的转动角度和方向与前车轮的转动角度和方向形成映射，知道前车轮的转动角度和方向即可得到后车轮的转动角度和方向。而后车轮的转动角度和方向直接决定后车轮的倒车轨迹。
34.具体地，在一实施例中，在车辆前后及左右倒车镜下侧各安装一个摄像头，例如鱼眼摄像头(俯仰视场角：30度～45度；水平视场角180度～190度之间)，保证四个摄像头视觉覆盖区域有重叠。当然在其他实施例中也可以是其他类型的摄像头，安装角度也可以根据需求做调整。摄像头安装完成后进行摄像头的内参数与外参数标定，使得最终能够准确获取二维平面到三维世界的投影关系。
35.步骤s103：根据方向盘的转动角度在三维场景图中计算后车轮欲行驶轨迹线。
36.可以理解地，获得了后车轮的转动角度，即可推算出倒车时后车轮欲行驶轨迹线。例如以自行车为例，如果前轮有一定转角，在维持转角不变状态和无径向移动前提下自行车走过的路径将会以某个圆点为中心旋转，同样的状态也会出现在汽车上，具体原理如下图所示：图中假设车轮不会出现轴向移动，故如果保持车轮转角不变的情况下，每个车轮只能沿着垂直其车轴的方向行进，这里取前车轮和后车轮的轴心作为轨迹跟踪点，则轨迹应该是以前车轮轴向线和后车轮的轴向线的焦点为圆心的圆。如图3所示，φ为前轮同水平方向的夹角，记前车轮到后车轮轴距为l，后车轮轴长为w，后车轮距离车尾的距离为d，从几何关系可知，后车轮轴心的运动轨迹可以描述为以半径lcot(φ)的圆周运动。两个后轮的轨迹分别为lcot(φ)-w/2和lcot(φ) w/2的圆。
37.辅助线根据方向盘的转动方向而不断改变。
38.具体地，在一实施例中，根据方向盘的转动角度在所述三维场景图中计算后车轮欲行驶轨迹线的步骤包括以下步骤，如图4所示：
39.步骤s103a：建立以车辆中心为原点的坐标系。
40.如图5所示，以车辆的车轴中心为原点建立坐标系，取车辆的宽度方向为x轴，其中x轴向左为正，取车辆的长度方向为z轴，其中z轴向车头方向为正，取车辆的厚度方向为y轴，其中y轴由车底向车顶方向为正。在其他实施例中，对于x轴，y轴和z轴的定义也可以根据实际情况进行调整，在此不做具体限定。其中图5中，w为车辆的宽度，h为车辆的长度，d为轴距，q和q’为圆心，左前车轮a点的所在坐标为(w/2，0，d/2)，右前车轮b点所在的坐标为(-w/2，0，d/2)，左后车轮c点的所在坐标为(w/2，0，-d/2)，右后车轮d点所在的坐标为(-w/2，0，-d/2)。
41.步骤s103b：根据方向盘的转动角度和转动方向及坐标系下后车轮的坐标，推算车
辆中后车轮的转动轨迹的圆心位置和车轮的转动轨迹半径大小。
42.图中假设车轮不会出现轴向移动，故如果保持车轮转角不变的情况下，每个车轮只能沿着垂直其车轴的方向行进，这里取前后轮的轴心作为轨迹跟踪点，则轨迹应该是以前后轮轴向线的焦点为圆心(q和q’)的圆。具体地，结合圆心的位置，车轮转动轨迹半径大小以及车轮的转向即可得到后车轮欲运行轨迹线，半径的大小即为车轮到圆心位置之间的距离。
43.图5中左边的两条虚线为顺时针倒车时预测的后车轮欲运行轨迹线(以q为圆心)，右边的两条虚线为逆时针倒车时预测的车轮轨迹线(以q’为圆心)。以下以顺时针倒车的情况为例，进行讲解，逆时针倒车的情况类似，不进行赘述。
44.具体的，推算圆心位置q(qx,qy,qz):
45.qx＝d*cot(ф)
46.qy＝0
47.qz＝-d/2
48.步骤s103c：根据圆心位置和后车轮的转动半径大小推算后车轮欲行驶的轨迹线。
49.可以理解地，方向盘每转动一个角度，圆心位置和运行半径即发生变化，相应的车轮行驶的方向和轨迹也发生变化。根据车轮圆心的位置即可推算后车轮欲行驶的轨迹线。
50.具体地，后车轮欲行驶的轨迹线包括左后车轮以及右后车轮欲行驶的轨迹线。根据左后车轮和右后车轮各自圆心所在位置即可推算相应的轨迹线。其中，以车向左后方倒车为例：
51.推算左后轮轨迹线:由模型可知，左后轮的轨迹线应以q为圆心，qc间距离为半径(r1)的圆，预设轨迹线长度为lleft，此处以c点为起点，顺时针方向将所述倒车轨迹线预设为90个点(c_x,c_y,c_z)，每个点间隔步长为度，
52.推算右后轮轨迹：由模型可知，右后轮的轨迹线应以q为圆心，qd间距离为半径(r2)的圆，预设轨迹线长度为lright,此处以d点为起点，顺时针方向将所述倒车轨迹线预设为90个点(d_x,d_y,d_z)，每个点对应角度为度，
53.向右后方倒车时，左后轮和右后轮以q’为圆心，具体推算方法与向左后方倒车的推算方法同理，在此不再复述。
54.步骤s104：根据所述后车轮欲行驶轨迹线在二维后视图中显示车轮倒车的辅助线。
55.可以理解地，一般在车辆的二维后视图中显示车轮欲行驶轨迹，能够让驾驶员在倒车的过程中同时预判车辆的行驶轨迹以及车尾附近的环境，以便更好地倒车。
56.在一实施例中，根据所述后车轮欲行驶轨迹线在二维后视图中显示倒车辅助线的步骤之前还包括：将三维场景图中的后车轮欲行驶的轨迹线经过投影转换成二维形态的辅助线。可以理解地，如果呈现给用户的是三维视图，容易出现无用的信息，对驾驶员产生干扰。本实施例中，将三维场景下的轨迹线投影到二维图像中显示，而非直接以3d形式提供给驾驶员，可在倒车过程中，减少无用信息对驾驶员的干扰。未采用3d俯视图而是采用投影到二维后视图的方式，可让驾驶员获取更多的车辆后侧环境信息。
57.具体地，步骤s101中构建三维场景图是将二维图像投影到三维模型的内面中，可得到真实的场景环境与车辆的位置关系。步骤s103中得到的轨迹线为三维空间中的线，而实际呈现给驾驶员的视图则为二维图像更利于驾驶员直接观察。因此需要将三维状态的轨迹线转化为二维辅助线并叠加在供驾驶员参考的二维二维后视图中。可选地，二维二维后视图可以由车辆上的摄像头直接拍摄所得，也可以是由步骤s101中构造的三维场景图中转化而来，在此不做具体限定。
58.例如摄像头的内参数为[f
x
f
y
c
x
c
y
]、外参数为[r(旋转矩阵)t(平移矩阵)]、畸变系数为[k1k2k3k4]，以下详述将3d轨迹线投影到二维二维后视图上的方法(鱼眼成像过程)，以左后车轮轨迹线为例，右后轮轨迹线投影方法同理，在此不做具体限定。
[0059]
具体地，在一实施例中，将三维场景图中的后车轮欲行驶的轨迹线经过投影转换成二维形态的辅助线的步骤包括：
[0060]
步骤s201：取三维场景中的后车轮轨迹线上的多个点投影到图像采集装置坐标下对应的多个空间点。
[0061]
具体的步骤s201取三维场景中的后车轮轨迹线上的多个点投影到图像采集装置坐标下对应的多个空间点，具体地，例如为90点，或者低于90或者比90更多，具体可根据实际情况进行调整，在此不做具体限定。本步骤采用的方程式为：
[0062]
x
c
＝r[c_xc_yc_z] t
[0063]
x＝x
c1
[0064]
y＝x
c2
[0065]
z＝x
c3
[0066]
可以理解地，本技术中，在将三维场景图中的轨迹线转化为二维状态辅助线过程中，以90个点为例，只需要保存90个点，两个车轮行走的轨迹为两条线，保存180个点即可，而不需要保存整张图片，能够进一步减少对存储空间的需求。
[0067]
步骤s202：将图像采集装置坐标系下对应的多个空间点转化到成像坐标系下的多个点。
[0068]
(1)具体的，步骤s202所采用的方程式为：
[0069]
x
c
＝r[c_xc_yc_z] t
[0070]
x＝x
c1
[0071]
y＝x
c2
[0072]
z＝x
c3
[0073]
步骤s203：将所述成像坐标系下的多个点转化到二维图像坐标系下的多个点。
[0074]
具体地，步骤s203所采用的方程式为：
[0075][0076]
步骤s204：顺滑连接图像坐标系下的多个点形成倒车的辅助线。
[0077]
将图像左边中的多个点顺滑连接形成二维状态最终辅助线。
[0078]
最后将二维形态的辅助线与二维的车辆二维后视图叠加。可以理解地，如果二维的二维后视图是由三维场景图转化过来，转化二维后视图和转化辅助线的顺序不分先后，也可以同时进行，在此不做具体限定。
[0079]
可以理解地，车辆倒车的辅助线和二维后视图实时更新，每更新一次步骤s101至步骤s104执行一遍。
[0080]
可选地，在一实施例中，在接缝融和相邻的二维图像，形成以车辆为中心的三维场景图的步骤之后包括：将二维图像实时更新。可以理解地，摄像头获取的画面实时更新，这样本技术只需要比较小的内存即可实现，能够进一步降低成本。
[0081]
本技术还提供一种电子设备，该电子设备包括相互连接的图像采集装置、显示装置、传感器、处理器。其中图像采集装置用于采集构造以车辆为中心的三维场景图的二维图像。传感器用于采集车辆中方向盘的转动角度。处理器用于利用二维图像构造以车辆为中心的三维场景图，并根据方向盘的转动角度在三维场景图中计算后车轮欲行驶轨迹线。显示装置用于在二维后视图中显示后车轮倒车辅助线。
[0082]
本技术还提供一种车辆100，如图6所示，该车辆100包括图像采集装置110、显示装置120、传感器130、处理器140、存储器150以及存储在存储器上的计算机程序，图像采集装置110、显示装置120、传感器130、处理器140耦合存储器150，图像采集装置110、显示装置120、传感器130、处理器140在工作时执行计算机程序以实现如以上实施例介绍的车辆倒车辅助线的形成与显示方法。
[0083]
如图7所示，本技术还提供一种存储介质200，存储有程序数据210，该程序数据210被执行时实现以上各实施例所描述的车辆倒车辅助线的形成与显示方法。
[0084]
可以理解的，以上软件集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0085]
以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本
申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。