车底透视显示方法、装置及计算机存储介质与流程

1.本发明涉及汽车辅助驾驶技术领域，尤其涉及车底透视显示方法、装置及计算机存储介质。


背景技术：

2.汽车辅助驾驶是车辆智能化领域的重要一环，其中对车载图像的要求也逐步提高。辅助驾驶最主要的部分是帮助驾驶员在倒车过程中清楚观察到车辆盲区情况，实时查看车辆后方和两侧的变化，避免车辆擦碰到路边障碍或冲撞行人。在车载图像辅助驾驶方面，最基础的应用是车辆尾部安装一个广角镜头，通过拍摄视角较宽广的区域图像，去除畸变后辅助驾驶员在倒车过程中观察车辆后方情况。该方法成本低，安装简单，但能够去除的盲区范围小，不利于驾驶员观察车辆两侧情况。为了解决这个问题，后续又提出了在车辆周围安装多个摄像头，获得车辆四周360度全景图像的方法。这种方法是在汽车前后左右四个方向安装摄像头，对于大型车辆需要根据实际情况考虑在两侧安装更多摄像头，将所有摄像头拍摄到的图像拼接到一起，获得车辆周围全景图像。该方法能够较好的体现车辆周围环境变化，去除盲区，但成本较高，另外需要将两两摄像头进行拼接配准，标定难度增加，耗时长，不利于广泛推广使用。


技术实现要素：

3.有鉴于此，本发明提供一种车底透视显示方法、装置、计算机存储介质及终端设备，用于解决现有技术的不足。
4.为达到上述目的，本发明采用如下技术方案：
5.本发明实施例提供了一种车底透视显示方法，包括：
6.将单个广角镜头拍摄的鱼眼图像进行畸变矫正处理；
7.对校正处理后的图像通过单应性矩阵映射获取对应的俯视图；
8.将获取的每帧俯视图像进行实时拼接更新以获得车底透视图像；其具体包括：
9.确定更新坐标系后坐标变换，根据车速和车辆前轮转角确定上一帧图像像素点在当前帧的坐标位置；
10.判断是否需要刷新显示，当当前帧坐标轴总位移超过第一阈值时进行刷新显示；
11.判断是否新增片段，当当前帧片段总跨度超过第二阈值时新增图像片段；
12.更新所有片段对角坐标；
13.将车模图、背景图、后视图和片段图插入到车底透视图的对应位置合成车底透视图。
14.进一步地，所述确定更新坐标系后坐标变换，根据车速和车辆前轮转角确定上一帧图像像素点在当前帧的坐标位置具体包括：
15.根据车辆前轮转角以及车辆速度确定车身转角；采用如下表达式
其中，angle是前轮转角，da是车身转角，vt是车辆速度，h是前轮与后轮之间距离，r是转弯半径；
16.更新坐标系确定当前帧与上一帧之间坐标系原点在x方向和y方向上的像素位移；采用如下表达式
17.dx＝vt*ts*cos(b)
18.dy＝vt*ts*sin(b)
19.其中，da是车身转角，vt是车辆速度，ts是两帧之间时间差，h是车辆后轮到坐标系原点像素距离；
20.计算更新确定上一帧图像像素点在当前帧的坐标位置坐标值；假设在上一帧坐标系中的位置坐标(oldx，oldy)，由于车辆运动转弯，在新坐标系中对应的坐标(newx，newy)满足如下
21.其中，da＝θ a，newy＝r*sin(a) dy shm
[0022][0023][0024]
da＝θ a；
[0025]
其中(swt/2,shm)是坐标轴原点在车底透视图中的像素坐标值。
[0026]
进一步地，所述第一阈值为1；第二阈值为-2。
[0027]
进一步地，所述对于新增图像片段在上下行各增加一行图像信息。
[0028]
本发明实施例还提供了一种车底透视显示装置，包括：
[0029]
畸变矫正模块，用于将单个广角镜头拍摄的鱼眼图像进行畸变矫正处理；
[0030]
映射获取模块，用于对畸变矫正模块处理的图像通过单应性矩阵映射获取对应的俯视图视角；
[0031]
图像拼接模块，用于将获取的每帧俯视图像进行实时拼接更新以获得车底透视图像；图像拼接模块具体用于：
[0032]
确定更新坐标系后坐标变换，根据车速和车辆前轮转角确定上一帧图像像素点在当前帧的坐标位置；
[0033]
判断是否需要刷新显示，当当前帧坐标轴总位移超过第一阈值时进行刷新显示；
[0034]
判断是否新增片段，当当前帧片段总跨度超过第二阈值时新增图像片段；
[0035]
更新所有片段对角坐标；
[0036]
将车模图、背景图、后视图和片段图插入到车底透视图的对应位置合成车底透视图。
[0037]
进一步地，所述所述确定更新坐标系后坐标变换，根据车速和车辆前轮转角确定上一帧图像像素点在当前帧的坐标位置具体包括：
[0038]
根据车辆前轮转角以及车辆速度确定车身转角；采用如下表达式其中，angle是前轮转角，da是车身转角，vt是车辆速度，h是前轮与后轮之间距离，r是转弯半径；
[0039]
更新坐标系确定当前帧与上一帧之间坐标系原点在x方向和y方向上的像素位移；采用如下表达式
[0040]
dx＝vt*ts*cos(b)
[0041]
dy＝vt*ts*sin(b)
[0042]
其中，da是车身转角，vt是车辆速度，ts是两帧之间时间差，h是车辆后轮到坐标系原点像素距离；
[0043]
计算更新确定上一帧图像像素点在当前帧的坐标位置坐标值；假设在上一帧坐标系中的位置坐标(oldx,oldy),由于车辆运动转弯，在新坐标系中对应的坐标(newx,newy)满足如下
[0044]
其中，da＝θ a，
[0045]
newy＝r*sin(a) dy shm
[0046][0047][0048]
其中(swt/2,shm)是坐标轴原点在车底透视图中的像素坐标值。
[0049]
进一步地，所述第一阈值为1；第二阈值为-2。
[0050]
进一步地，所述对于新增图像片段在上下行各增加一行图像信息。
[0051]
本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述车底透视显示方法的步骤。
[0052]
本发明实施例还提供了一种终端设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述的车底透视显示方法的步骤。
[0053]
本发明提供的车底透视显示方法，通过使用单个广角摄像头，实时拼接每一帧中的更新图像内容，使得驾驶员在倒车过程中能够获取展示车辆周围环境变化，消除驾驶员视觉盲区；本发明无需安装多个摄像头，不涉及摄像头之间的配准，不仅降低了生产成本以及算法难度和复杂性，同时还保证了驾驶员能够清楚观察到车辆后方和两侧的环境，完成了辅助驾驶的要求。
附图说明
[0054]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0055]
图1是本发明提供的车底透视显示方法的流程图；
[0056]
图2是车底透视图的各部分图像构成图；
[0057]
图3是车辆前轮转角与车声转角的转换关系示意图；
[0058]
图4是坐标系更新后原点坐标变化示意图；
[0059]
图5是坐标系更新后上一帧图像像素点在当前帧新坐标系中坐标值示意图；
[0060]
图6是片段依照对角坐标映射到车底透视图示意图。
具体实施方式
[0061]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0062]
图1所示为本发明实施例提供的一种车底透视显示方法的流程示意图。包括以下步骤：
[0063]
s101、将单个广角镜头拍摄的鱼眼图像进行畸变矫正处理。
[0064]
将单个广角镜头拍摄到的鱼眼畸变图像进行鱼眼校正，去除畸变。广角镜头拍摄到的视角广泛，能够采集到车辆后方较大范围图像信息，但存在畸变，需要进行校正，恢复成符合正常视觉的图像。一般地，可以采用张正友标定法、照相视角标定法、等距投影模型等方式对图像去畸变，获得校正图像。
[0065]
s102、对校正处理后的图像通过单应性矩阵映射获取对应的俯视图。
[0066]
将校正图映射获得俯视图。将图像映射到俯视图视角能够更大限度的消除盲区，保证在车辆整个倒车过程中实时的反应周边环境变化。车底透视图像的拼接是基于俯视图。俯视图能够很好地反应车辆四周地面环境变化，但是由于广角镜头安装在车辆上的角度不是正对地面，因此需要通过单应性矩阵映射获得对应的俯视图。
[0067]
校正图像映射得到俯视图采用如下表达式：
[0068][0069]
其中(u,v)为校正图对应的坐标，h为单应性矩阵，(x,y)为俯视图对应的坐标。通过单应性矩阵h，确定俯视图中每个点(x,y)对应校正图中坐标(u,v)，通过插值获得俯视图。
[0070]
s103、将获取的每帧俯视图像进行实时拼接更新以获得车底透视图像。
[0071]
其具体包括：
[0072]
s1031、确定更新坐标系后坐标变换，根据车速和车辆前轮转角确定上一帧图像像素点在当前帧的坐标位置。
[0073]
确定更新坐标系后坐标变换。车辆运动过程中，x轴始终以距离车尾部固定位置处，一般在标定时确定，y轴穿过车辆中心处且平行车辆。该坐标轴用于求取像素点的位移。根据车辆前轮转角和车速，计算上一帧图像像素点在当前帧的坐标位置。
[0074]
获得车底透视图像。将后视摄像头在倒车过程中拍摄到的每帧图像插入到车底透视图像对应位置，获得全景图像。如图2所示，车底透视图像主要四部分构成：车模图，背景图，后视图，片段图。图2展示了倒车过程中其中某一帧时间的车底透视图图像构成，车模图可以根据实际车辆特征绘制，也可以选择通用的车辆图像，可以使用半透明车模图像避免影响观察地面像素点。片段图是由之前帧中各部分后视图像确定的片段构成，在倒车过程中，片段图所占位置会不断变化，片段也会不断增加，将片段不断填充到车底透视图中。背景图是尚未被填充的部分，可以用灰色像素点代替，如果倒车距离较长，片段累积较多，整个背景图像都会被片段图替代。swt表示车底透视图的宽度。shm shr表示车底透视图的长度，其中shm表示坐标轴原点到透视图顶端的长度，shr表示坐标轴原点到透视图底端的长度。坐标轴原点在车底透视图中的像素坐标值为(swt/2,shm)。
[0075]
后视图是步骤s102中获得的当前帧无畸变俯视图图像。对于获得车底透视图的详细过程包括：
[0076]
确定更新坐标系后坐标变换。车辆运动过程中的参考坐标系车底透视图中是固定的，如附图2中所示，x轴即后视图起始位置，在标定过程中根据车辆和摄像头安装位置测定，保证后视图从x轴往后都是有效清晰的像素点，y轴穿过车模图中心。车辆所占位置在车底透视图中是不变的，因此插入片段时需计算片段中像素点在新的坐标系中对应坐标。
[0077]
在车辆运动过程中，传感器可以传回前轮转角角度，需要转换成车身角度，然后再求取前一帧坐标系与当前帧坐标系之间转换关系，从而确定前一帧中每个点在当前帧坐标系中的坐标值。
[0078]
(a)前轮转角转换成车身转动角度。参考图3，确定前轮转角angle与车身转角da之间的关系。
[0079][0080][0081]
其中，vt是车辆速度，h是前轮与后轮之间距离，r是转弯半径。
[0082]
(b)更新坐标系，确定坐标原点位移。参考图4，以向右前方行进为例，原点像素位移(dx,dy)。采用单车模型模拟车辆运动，即车辆在二维平面上运动，两个前轮具有相同转角，同样两个后轮也是如此，因此前后轮都可以使用一个轮胎来描述，且由前轮控制车辆转角。
[0083][0084][0085]
dx＝vt*ts*cos(b)
[0086]
dy＝vt*ts*sin(b)
[0087]
其中，h是车辆后轮到坐标系原点像素距离，ts是两帧之间时间差。上一帧的坐标系原点在当前帧的坐标为(dx，dy)，由此确定了当前帧与上一帧之间坐标系原点在x方向和
y方向上的像素位移。
[0088]
(c)计算更新后坐标值。上一帧图像上的任意一点在当前帧的坐标位置应符合图5。图像任一点在上一帧坐标系中的位置坐标(oldx,oldy),由于车辆运动转弯，在新坐标系中对应的坐标(newx,newy)，以车辆向右前方行进为例：
[0089][0090][0091]
da＝θ a
[0092][0093]
newy＝r*sin(α) dy shm
[0094]
其中(swt/2,shm)是坐标轴原点在车底透视图中的像素坐标值。
[0095]
s1032、判断是否需要刷新显示，当当前帧坐标轴总位移超过第一阈值时进行刷新显示；并将当前帧坐标轴总位移归零。
[0096]
对于一帧图像，不是求取每个像素点的位移，而是求出该帧图像上具有代表性的有限个点的位移即可，选取其中某一位移值判断是否超过阈值，从而判断是否需要刷新显示或新增片段。在本实施例中，将具有代表性的有限个点选取为坐标轴最左端最右端的两个点，分别求出坐标轴最左最右两个端点位移，选择位移最大的作为当前帧位移。
[0097]
根据当前帧坐标轴总位移，判定是否达到刷新显示要求。如果当前帧总位移超过第一阈值，说明车辆移动明显，需要将缓存的片段重新绘制到车底透视图指定位置；进行刷新显示。如果未超过阈值，无需刷新，片段图部分仍使用上一帧图像即可。
[0098]
判断是否刷新显示可根据s1031步骤计算上一帧坐标轴在车底透视图范围内的变化值(xdummy,ydummy)，则当前帧位移值rdummy：
[0099][0100]
当前帧的总位移由当前帧位移值rdummy与之前累计位移共同构成，如果当前帧的总位移值大于第一阈值，在本发明中第一阈值为1，说明累计到当前帧，车辆运动导致的图像像素变化超过一行像素点，则需要刷新显示，否则说明累计到本帧车辆位移不明显，图像未有较大变化，无需刷新显示。
[0101]
当前帧总位移由当前帧位移和之前帧累计位移共同构成，如果达到阈值，说明需要刷新，同时将帧累计位移值归0，以便用于下一帧计算；如果没有达到阈值，就将当前帧的总位移作为下一帧的之前帧累计位移参与下一帧计算和判断。
[0102]
对于判断是否新增片段采用类似的处理方法。
[0103]
s1033、判断是否新增片段，当当前帧片段总跨度超过第二阈值时新增图像片段；并将当前帧片段总跨度归零。
[0104]
判定是否新增片段。将当前帧与之前帧对比，仅有部分像素点是新的图像信息，当累计的新的图像信息较多时，这部分则构成新的片段。是否新增片段由当前帧位移和之前帧累计片段跨度共同决定，如果需要新增片段，计算新增片段高度，并在内存中记录该段片段的亮度信息、对角坐标和片段高度值。
[0105]
判断是否新增片段。将当前帧与之前帧对比，仅有部分像素点是新的图像信息，当累计的新的图像信息较多时，这部分则构成新的片段。对于是否产生新片段，主要依靠步骤(2)的当前帧位移和之前帧累计片段跨度。如果当前帧片段总跨度达到阈值说明需要增加新的片段，在本发明中阈值可设为-2，负值说明是倒车。新增片段高度h一般需要满足以下几点：首先h要大于等于当前帧总跨度，即片段高度要完全覆盖新增的图像信息；其次，为了避免图像抖动产生的缝隙，可以上下行各多补充一行图像信息到新增片段中；由于图像是ycbcr图像因此片段高度应为偶数，避免漏掉像素点信息。除了片段高度外，新增片段每个像素点亮度值，整个片段的对角坐标等信息也要记录到内存中。
[0106]
同样的，对于是否有新增片段，也是根据上面计算的当前帧位移和之前帧累计片段跨度。如果结果超过阈值，说明需要新增片段，那么之前帧累计片段跨度和本帧位移都用来计算片段高度了，所以对于下一帧就没有之前帧累计跨度了，也就是对于下一帧来说，之前帧累计跨度＝0；如果没有达到阈值，那么之前帧累计跨度值就要更新为(之前帧累计跨度 本帧位移)，用于下一帧判断总跨度是否达到阈值片段高度就是保证覆盖所有更新行就可以，所以其实就是要略大于总位移。
[0107]
s1034、更新所有片段对角坐标。
[0108]
更新所有片段对角坐标。对于每个片段需要记录其对角坐标数据，这样在将片段插入车底透视图时会映射到指定位置。对角坐标随着车辆运动是不断变化的，因此每一帧中都需要根据车速和转角重新更新所有片段的对角坐标，从而保证映射准确性。
[0109]
更新所有片段对角坐标。车辆运动过程中转角和车速不断变化，片段填充到车底透视图的位置也在变化，因此每一帧中都需要根据车速和转角重新更新所有片段的对角坐标，从而保证映射准确性。附图6中，一个高度为h的片段，根据当前帧运动，对角坐标对应关系如图所示。对于所有片段，都需要重新计算新的对角坐标值。
[0110]
更新对角坐标后，如果片段超出图像范围，则该片段无效。如果存储片段数目或累计存储像素行数超过内存设定，删除最早存储的图像片段。
[0111]
s1035、将车模图、背景图、后视图和片段图插入到车底透视图的对应位置合成车底透视图。
[0112]
合成车底透视图。在车底透视图中，将车模图像、背景图像、后视图像和片段插入到车底透视图的对应位置。其中后视图是车尾安装的广角镜头拍摄图像经过校正和单应性变换后得到的俯视图，片段图依据是否刷新显示，选择使用上一帧片段图或将内存中各片段依次映射到车底透视图指定位置。
[0113]
合成车底透视图。车底透视图中从摄像头拍摄的图像主要构成了片段图和后视图。其中后视图是鱼眼校正并映射成俯视图的当前帧，该部分是将完整的后视摄像头拍摄图像经过校正和映射后填充到车底透视图中。如果需要刷新显示，片段图是所有片段更新对角坐标后映射到车底透视图。如果无需刷新，该部分即上一帧图像即可。车模图像是绘制到车底透视图的固定位置，可以采用半透明图像，避免倒车过程中片段占据原车模位置，影响图像显示。其他部分为背景图像，初始时没有图像内容可用灰色填充，随着倒车过程，不断有新片段补充进图像，即可逐步替代背景点。
[0114]
本发明实施例还提供了一种车底透视显示装置，包括：
[0115]
畸变矫正模块，用于将单个广角镜头拍摄的鱼眼图像进行畸变矫正处理；
[0116]
映射获取模块，用于对畸变矫正模块处理的图像通过单应性矩阵映射获取对应的俯视图视角；
[0117]
图像拼接模块，用于将获取的每帧俯视图像进行实时拼接更新以获得车底透视图像；图像拼接模块具体用于：
[0118]
确定更新坐标系后坐标变换，根据车速和车辆前轮转角确定上一帧图像像素点在当前帧的坐标位置；
[0119]
判断是否需要刷新显示，当当前帧坐标轴总位移超过第一阈值时进行刷新显示；
[0120]
判断是否新增片段，当当前帧片段总跨度超过第二阈值时新增图像片段；
[0121]
更新所有片段对角坐标；
[0122]
将车模图、背景图、后视图和片段图插入到车底透视图的对应位置合成车底透视图。
[0123]
需要说明的是：上述实施例提供的车底透视显示装置在进行校正时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的车底透视显示装置与车底透视显示方法实施例属于同一构思，其具体实现过程详见方法实施例，其有益效果同方法实施例，这里不再赘述。
[0124]
本发明实施例还提供了一种计算机存储介质，是计算机可读存储介质，其上存储有计算机程序，上述计算机程序可由计算机设备的处理器执行，以完成前述车底透视显示方法的步骤。计算机可读存储介质可以是磁性随机存取存储器(fram，ferromagnet ic random access memory)、只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasa ble prog ramma ble read-only memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact di sc read-only memory)等存储器。
[0125]
本发明实施例还提供了一种终端设备，包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上所述的车底透视显示方法的步骤。
[0126]
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0127]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0128]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。